WordPress網(wǎng)站正確設(shè)置Robots.txt文件方法
本文有308個(gè)文字，大小約為2KB，預(yù)計(jì)閱讀時(shí)間1分鐘
原文標(biāo)題:WordPress網(wǎng)站正確設(shè)置Robots.txt文件方法
什么是Robots.txt？
Robots.txt文件規(guī)定了搜索引擎爬蟲可以或者不可以爬取的內(nèi)容，在WordPress中通常像RanKMath SEO這樣的SEO插件都是會(huì)自動(dòng)生成Robots.txt文件的，所以在默認(rèn)情況下，不需要你手動(dòng)修改。
如果你修改了反而很可能導(dǎo)致網(wǎng)站無法訪問，所以對(duì)于Robots.txt編輯你應(yīng)該謹(jǐn)慎，編輯之前做好網(wǎng)站備份。
如何為你的WordPress網(wǎng)站生成Robots.txt文件？
使用SEO工具幫你自動(dòng)生成即可，不需要手動(dòng)編輯。
下圖是RankMath SEO生成的Robots.txt文件內(nèi)容。
User-Agent（用戶代理）：指定哪些用戶代理可以訪問，*號(hào)代表所有用戶代理都可以訪問。
Disallow：代表要屏蔽的目錄和文件，/wp-admin/ 代表屏蔽網(wǎng)站所有后臺(tái)URL。
Allow：代表允許訪問的目錄和文件，admin-ajax.php文件包含在WordPress上路由Ajax請(qǐng)求的所有代碼。它的主要目的是使用Ajax在客戶端和服務(wù)器之間建立連接。WordPress使用它來刷新頁(yè)面內(nèi)容而無需重新加載，從而使其動(dòng)態(tài)且與用戶交互。
Sitemap：代表網(wǎng)站的站點(diǎn)地圖，是用來告訴搜索引擎你的網(wǎng)站目錄結(jié)構(gòu)的，方便搜索引擎爬取和收錄頁(yè)面，RanKMath SEO可以幫你自動(dòng)生成sitemap.xml文件。
本文來源：http://www.kyotomoriagedaisakusen.com/seo/226.html
版權(quán)聲明：本文為向前網(wǎng)絡(luò)工作室，未經(jīng)站長(zhǎng)允許不得轉(zhuǎn)載。
獲得更多外貿(mào)訂單