我們在SEO關鍵解碼書中以及”誰決定了網頁的抓取頻率？“都說過，你自己才是決定網頁抓取頻率的人。

這個問題許多人都問說: 真的嗎? 我可以自己決定搜尋引擎的抓取頻率嗎?

這篇”How to Increase Google’s Crawl Frequency“就提到，修正了網站的架構以及更多的新鮮內容，都是驅使搜尋引擎抓取頻率的好方法。我們在最近的文章”什麼是網站結構? 如何影響SEO?“也說到，正確的結構會影響可解讀性，也就是影響了抓取與索引的結果。

我們再夠透過這篇”How Many Pages Should A Site Have Indexed by Search Engines?“進一步來說明其他細節。

(1) 我的網站需要被索引多少頁面才能有好的搜尋排名?

這個沒有一定的答案。最好的情況當然是盡可能全部你的頁面都被索引，並且你的優秀內容越多越好。

但是很重要的是，搜尋引擎對於不同的網站有不一樣的對待，他不一定會索引你全部的頁面，被索引的頁面越多也不代表就會有好的搜尋排名。

因為搜尋引擎有太多的考慮因素，所以索引數量與搜尋排名並沒有一定的關係，但是如果沒有辦法讓搜尋引擎索引一定數量的頁面，很難有好的搜尋排名，而所謂一定數量到底是多少，至今仍然無法提出一個數字。

例如有些網站因為錯誤的robots.txt設定，把搜尋引擎阻擋在外而減少了索引數量，或是錯誤的rel=canonical設定或是錯誤的轉址，而使得搜尋引擎不索引某些頁面，都是非常致命的錯誤，這類錯誤而引起索引數目減少就會嚴重影響搜尋排名。

(2) 為什麼抓取頻率(Frequency of Crawl)很重要?

搜尋引擎索引了網頁不代表就會永遠的保存，就算保存著也不代表會參與搜尋排名，就算參與搜尋排名也不一定會曝光。也就是你的網頁還要讓搜尋引擎多次的回來抓取，才代表他重視你的資料。

為什麼搜尋引擎抓取了頁面還要多次回來重新抓取? 因為搜尋引擎不希望儲存老舊的內容或是錯誤的內容，如果搜尋引擎回來抓取幾次後，發現資料都沒有變化，他就會降低回訪頻率，如果搜尋引擎回來抓取幾次後，發現頁面都已經不存在，他就會把資料下架。

所以回訪的頻率對搜尋排名就很重要，因為它代表了搜尋引擎的重視程度。

(3) 抓取(crawling)與索引(indexing)是兩回事

這篇”How Googlebots Crawl and Index Your Website“提到，Google對於許多網站內容都感到興趣，因此他的爬蟲會到處抓資料，並且都是由系統自己決定抓取的對象。但是很重要的觀念就是，抓取網頁的內容不代表就會索引，而索引的保存長短又是另外一回事。

你可以讓搜尋引擎去抓取你的網頁，但是你不能或是很困難去決定搜尋引擎如何索引你的網頁。

並且還要注意的是索引數量是否被灌水? 因為搜尋引擎剛開始索引時不會查覺內容重覆，但是慢慢如果發現內容重覆，會取消重覆內容的索引，因此如果發現你的索引內容怎麼反而越來越少，就要注意是否哪些內容不小心變成重覆索引。

如果你能夠對於抓取(crawling)與索引(indexing)多些認識，那麼你就對於搜尋引擎優化的瞭解才能夠更上一層樓。

(1) 什麼是「編目」? 什麼是「索引」? Bing在Webmaster工具中的這兩個術語，經常讓人搞不清楚是什麼東西。

我們先看看Bing的說明頁面 (如下) : http://onlinehelp.microsoft.com/zh-tw/bing/gg132935.aspx

從上述的~ 編目程式 (又稱 robot 或 bot) ，可以清楚的知道，網頁是先經過「編目」再進行「索引」，當完成「索引」之後，才能參與網頁排名。

所以Bing所說的「編目」是指crawling (抓取)，「索引」就跟平常認知一樣是indexing，網頁被「索引」的數量當然希望越多越好。

(2) 如何提升網站被Bing「索引」的數量呢?

Bing的Webmaster工具中有兩個工具，可以讓Bing開始進行網頁「編目」

如下圖，送出XML Sitemap或是RSS Feed給Bing

如下圖，送出單獨的URL給Bing

以上這兩個方式有何不同呢?

(a) 送出sitemap到成功擷取的等待時間較長，提交URL比較快。
(b) 送出sitemap沒有次數限額，但是提交URL一天不得提交超過 10 個 URL，每月不得超過 50 個。
(c) 送出sitemap會看到是否成功，但是提交URL不會回報狀態。

一般而言，如果沒有特別狀況，送出sitemap之後約數天到一週的時間，應該就可以看到成功擷取。

(本網頁內容取材於台灣SEO搜尋引擎技術學院，參加SEO達人入門學習包，即可搶鮮閱讀喔)