WordPress網(wǎng)站正確設(shè)置Robots.txt文件方法
本文有308個(gè)文字,大小約為2KB,預(yù)計(jì)閱讀時(shí)間1分鐘
原文標(biāo)題:WordPress網(wǎng)站正確設(shè)置Robots.txt文件方法
什么是Robots.txt?
Robots.txt文件規(guī)定了搜索引擎爬蟲可以或者不可以爬取的內(nèi)容,在WordPress中通常像RanKMath SEO這樣的SEO插件都是會(huì)自動(dòng)生成Robots.txt文件的,所以在默認(rèn)情況下,不需要你手動(dòng)修改。
如果你修改了反而很可能導(dǎo)致網(wǎng)站無法訪問,所以對(duì)于Robots.txt編輯你應(yīng)該謹(jǐn)慎,編輯之前做好網(wǎng)站備份。
如何為你的WordPress網(wǎng)站生成Robots.txt文件?
使用SEO工具幫你自動(dòng)生成即可,不需要手動(dòng)編輯。
下圖是RankMath SEO生成的Robots.txt文件內(nèi)容。

User-Agent(用戶代理):指定哪些用戶代理可以訪問,*號(hào)代表所有用戶代理都可以訪問。
Disallow:代表要屏蔽的目錄和文件,/wp-admin/ 代表屏蔽網(wǎng)站所有后臺(tái)URL。
Allow:代表允許訪問的目錄和文件,admin-ajax.php文件包含在WordPress上路由Ajax請(qǐng)求的所有代碼。它的主要目的是使用Ajax在客戶端和服務(wù)器之間建立連接。WordPress使用它來刷新頁(yè)面內(nèi)容而無需重新加載,從而使其動(dòng)態(tài)且與用戶交互。
Sitemap:代表網(wǎng)站的站點(diǎn)地圖,是用來告訴搜索引擎你的網(wǎng)站目錄結(jié)構(gòu)的,方便搜索引擎爬取和收錄頁(yè)面,RanKMath SEO可以幫你自動(dòng)生成sitemap.xml文件。
本文來源:http://www.kyotomoriagedaisakusen.com/seo/226.html
版權(quán)聲明:本文為向前網(wǎng)絡(luò)工作室,未經(jīng)站長(zhǎng)允許不得轉(zhuǎn)載。

獲得更多外貿(mào)訂單