原文標題:WordPress站點SEO優化：推薦的WordPress網站Robots.txt設置

如題

第一部分:

User-agent:

Disallow:/wp-admin/

Disallow:/readme.html

Disallow:/wp-login.php

Disallow:/wp-register.php

Disallow:/trackback/

Allow:/wp-admin/admin-ajax.php

Allow:*.js

Allow:*.CSS

Disallow:/wp-content/cache/Disallow:*/feed/

Disallow:/*?s=

Disallow:/search/

Disallow:*?ver=*

解釋:

User-agent: - 這行后面應該有一個值，但這里是空的。通常，它指定了適用的搜索引擎爬蟲。空值意味著以下規則適用于所有爬蟲。

Disallow:/wp-admin/ - 禁止爬蟲訪問 /wp-admin/ 目錄及其子目錄。

Disallow:/readme.html - 禁止爬蟲訪問 readme.html 文件。

Disallow:/wp-login.php - 禁止爬蟲訪問 WordPress 登錄頁面。

Disallow:/wp-register.php - 禁止爬蟲訪問 WordPress 注冊頁面。

Disallow:/trackback/ - 禁止爬蟲訪問 trackback 功能相關頁面。

Allow:/wp-admin/admin-ajax.php - 允許爬蟲訪問 admin-ajax.php 文件。

Allow:*.js - 允許爬蟲訪問所有 JavaScript 文件。

Allow:*.CSS - 允許爬蟲訪問所有 CSS 文件。

Disallow:/wp-content/cache/ - 禁止爬蟲訪問緩存目錄。

Disallow:*/feed/ - 禁止爬蟲訪問所有 feed 頁面(GSC報告中的feed索引是啥)。

Disallow:/*?s= - 禁止爬蟲訪問搜索結果頁面。

Disallow:/search/ - 禁止爬蟲訪問搜索頁面。

Disallow:*?ver=* - 禁止爬蟲訪問包含版本參數的 URL。

這些設置主要是為了保護網站的敏感區域，如管理后臺、登錄頁面等，同時允許爬蟲訪問一些必要的資源文件（如 JS 和 CSS）。

第二部分:

User-agent: CCBot

Disallow: /

User-agent: ChatGPT-User

Disallow: /

User-agent: GPTBot

Disallow: /

User-agent: Google-Extended

Disallow: /

User-agent: Applebot-Extended 

Disallow: /

User-agent: anthropic-ai

Disallow: /

User-agent: ClaudeBot 

Disallow: /

User-agent: Omgilibot

Disallow: /

User-agent: Omgili

Disallow: /

User-agent: FacebookBot

Disallow: /

User-agent: Diffbot

Disallow: /

User-agent: Bytespider

Disallow: /

User-agent: ImagesiftBot 

Disallow: /

User-agent: PerplexityBot

Disallow: /

User-agent: cohere-ai

Disallow: /

解釋:

這些屏蔽規則專門針對特定的AI爬蟲或機器人：

CCBot: 用于 Common Crawl 項目的爬蟲。

ChatGPT-User: 可能是 ChatGPT 用戶的爬蟲。

GPTBot: OpenAI 的 GPT 模型爬蟲。

Google-Extended: Google 的擴展爬蟲。

Applebot-Extended: Apple 的擴展爬蟲。

anthropic-ai: Anthropic 公司的 AI 爬蟲。

ClaudeBot: 可能是 Anthropic 的 Claude AI 模型爬蟲。

Omgilibot 和 Omgili: Omgili 搜索引擎的爬蟲。

FacebookBot: Facebook 的爬蟲。

Diffbot: 用于網頁內容提取的爬蟲。

Bytespider: 字節跳動（TikTok 母公司）的爬蟲。

ImagesiftBot: 圖像搜索爬蟲。

PerplexityBot: Perplexity AI 的爬蟲。

cohere-ai: Cohere AI 公司的爬蟲。

上面這些就是常見的AI內容生成工具, 它們會抓取我們網站的內容來做訓練素材, 或者直接在內容生產的時候調用我們的數據或進行總結, 有時候不想被"偷"內容, 可以直接屏蔽它們的爬蟲.

簡單總結, That's it.

本文來源：http://www.kyotomoriagedaisakusen.com/seo/83.html

版權聲明：本文為向前網絡工作室，未經站長允許不得轉載。