原文標題:WordPress網站正確設置Robots.txt文件方法

什么是Robots.txt？

Robots.txt文件規定了搜索引擎爬蟲可以或者不可以爬取的內容，在WordPress中通常像RanKMath SEO這樣的SEO插件都是會自動生成Robots.txt文件的，所以在默認情況下，不需要你手動修改。

如果你修改了反而很可能導致網站無法訪問，所以對于Robots.txt編輯你應該謹慎，編輯之前做好網站備份。

如何為你的WordPress網站生成Robots.txt文件？

使用SEO工具幫你自動生成即可，不需要手動編輯。

下圖是RankMath SEO生成的Robots.txt文件內容。

User-Agent（用戶代理）：指定哪些用戶代理可以訪問，*號代表所有用戶代理都可以訪問。

Disallow：代表要屏蔽的目錄和文件，/wp-admin/ 代表屏蔽網站所有后臺URL。

Allow：代表允許訪問的目錄和文件，admin-ajax.php文件包含在WordPress上路由Ajax請求的所有代碼。它的主要目的是使用Ajax在客戶端和服務器之間建立連接。WordPress使用它來刷新頁面內容而無需重新加載，從而使其動態且與用戶交互。

Sitemap：代表網站的站點地圖，是用來告訴搜索引擎你的網站目錄結構的，方便搜索引擎爬取和收錄頁面，RanKMath SEO可以幫你自動生成sitemap.xml文件。

本文來源：http://www.kyotomoriagedaisakusen.com/seo/226.html

版權聲明：本文為向前網絡工作室，未經站長允許不得轉載。