搜索引擎的運行原理也是SEO新手入門需要了解的知識，能夠幫助你對搜索引擎這個工具有個整體的認知。對于所有的搜索引擎來說，他們基本的工作流程都是相同的。

首先是抓取，搜索引擎通過蜘蛛（搜索引擎的抓取程序），抓取互聯網上的眾多網站信息；

然后是收錄，搜索引擎會把抓取到的網頁信息，收錄到自己的數據庫中；

最后是排名，搜索引擎根據用戶使用的搜索詞通過它的特定算法在數據庫中找到匹配的相關頁面，通過搜索結果的形式展示給用戶。

抓取規則（Crawling）

搜索引擎會利用蜘蛛工具抓取互聯網上可以抓取到的所有網頁信息。可能有人會問蜘蛛工具是什么？互聯網上的網站是相互鏈接的，網站內部的叫做內鏈，對外的鏈接叫做外鏈。這些鏈接就像一張大網一樣，把幾乎所有的網站都連接到了一起，從而組合成了整個互聯網。

而搜索引擎的抓取工具，就像蜘蛛一樣，可以順著這個網絡對網頁信息一個個地進行抓取。所以，我們把搜索引擎的抓取工具稱之為蜘蛛。谷歌的抓取工具就叫做谷歌蜘蛛，百度的抓取工具就叫做百度蜘蛛，有些人也把蜘蛛叫做機器人，都是同一個意思。

檢查網站是否可以被抓取

蜘蛛到你的網站上第一步會檢測你的網站是否處于可以抓取的狀態，因為不是所有的網站都愿意讓搜索引擎抓取。

比如，一個網站剛剛搭建，還沒有什么實質性的內容，不想立刻對外開放，也不想給搜索引擎留下不好的第一印象，于是可以選擇不讓蜘蛛抓取。這一步實現起來也很簡單，主要是利用網站中的一個叫做robots.txt的協議文件告訴蜘蛛是否可以抓取本網站，甚至進一步規定哪些頁面可以抓取，哪些頁面不可以抓取。

谷歌爬蟲抓取網頁

在獲得網站內容抓取權限后，蜘蛛就會開始自己的抓取工作，搜集網站中各個網頁的信息。前面提到過，蜘蛛是順著鏈接爬行的，所以你的網站中的各個頁面需要有鏈接聯系起來，這樣才能方便蜘蛛爬行抓取，這些鏈接也就是我們說的內鏈。

內鏈的一般形式有：各類導航鏈接、文中鏈接、圖片鏈接等。如果你的某一個網頁，其他頁面上均無法跳轉到，sitemap站點地圖里也沒有，外部也沒有任何鏈接指向它，那么這個頁面蜘蛛也就無法到達了，除非你單獨提交給搜索引擎，但這種頁面也就沒什么意義了。

另外，蜘蛛的抓取工作不一定都是通過首頁開始的，可能蜘蛛是順著別的網站指向你網站中的某個頁面的鏈接爬進來的，也就是通過外鏈來到了你的網站。所以，外鏈也能起到幫助網站被抓取的作用。

即便robots規則沒有阻止抓取，搜索引擎的蜘蛛抓取工具也不是任何內容都可以抓取到的。和我們肉眼查看網站的方式不一樣，搜索引擎看的是網站被抓取到的源代碼。

?