我們在SEO關鍵解碼書中以及”誰決定了網頁的抓取頻率？“都說過，你自己才是決定網頁抓取頻率的人。

這個問題許多人都問說: 真的嗎? 我可以自己決定搜尋引擎的抓取頻率嗎?

這篇”How to Increase Google’s Crawl Frequency“就提到，修正了網站的架構以及更多的新鮮內容，都是驅使搜尋引擎抓取頻率的好方法。我們在最近的文章”什麼是網站結構? 如何影響SEO?“也說到，正確的結構會影響可解讀性，也就是影響了抓取與索引的結果。

我們再夠透過這篇”How Many Pages Should A Site Have Indexed by Search Engines?“進一步來說明其他細節。

(1) 我的網站需要被索引多少頁面才能有好的搜尋排名?

這個沒有一定的答案。最好的情況當然是盡可能全部你的頁面都被索引，並且你的優秀內容越多越好。

但是很重要的是，搜尋引擎對於不同的網站有不一樣的對待，他不一定會索引你全部的頁面，被索引的頁面越多也不代表就會有好的搜尋排名。

因為搜尋引擎有太多的考慮因素，所以索引數量與搜尋排名並沒有一定的關係，但是如果沒有辦法讓搜尋引擎索引一定數量的頁面，很難有好的搜尋排名，而所謂一定數量到底是多少，至今仍然無法提出一個數字。

例如有些網站因為錯誤的robots.txt設定，把搜尋引擎阻擋在外而減少了索引數量，或是錯誤的rel=canonical設定或是錯誤的轉址，而使得搜尋引擎不索引某些頁面，都是非常致命的錯誤，這類錯誤而引起索引數目減少就會嚴重影響搜尋排名。

(2) 為什麼抓取頻率(Frequency of Crawl)很重要?

搜尋引擎索引了網頁不代表就會永遠的保存，就算保存著也不代表會參與搜尋排名，就算參與搜尋排名也不一定會曝光。也就是你的網頁還要讓搜尋引擎多次的回來抓取，才代表他重視你的資料。

為什麼搜尋引擎抓取了頁面還要多次回來重新抓取? 因為搜尋引擎不希望儲存老舊的內容或是錯誤的內容，如果搜尋引擎回來抓取幾次後，發現資料都沒有變化，他就會降低回訪頻率，如果搜尋引擎回來抓取幾次後，發現頁面都已經不存在，他就會把資料下架。

所以回訪的頻率對搜尋排名就很重要，因為它代表了搜尋引擎的重視程度。

(3) 抓取(crawling)與索引(indexing)是兩回事

這篇”How Googlebots Crawl and Index Your Website“提到，Google對於許多網站內容都感到興趣，因此他的爬蟲會到處抓資料，並且都是由系統自己決定抓取的對象。但是很重要的觀念就是，抓取網頁的內容不代表就會索引，而索引的保存長短又是另外一回事。

你可以讓搜尋引擎去抓取你的網頁，但是你不能或是很困難去決定搜尋引擎如何索引你的網頁。

並且還要注意的是索引數量是否被灌水? 因為搜尋引擎剛開始索引時不會查覺內容重覆，但是慢慢如果發現內容重覆，會取消重覆內容的索引，因此如果發現你的索引內容怎麼反而越來越少，就要注意是否哪些內容不小心變成重覆索引。

如果你能夠對於抓取(crawling)與索引(indexing)多些認識，那麼你就對於搜尋引擎優化的瞭解才能夠更上一層樓。

從”Behold Google index secrets, revealed!“知道，從管理員工具的健康狀態>索引狀態，可以看到如下的統計圖。

圖一: 基本的索引狀態統計圖

圖二: 進階的索引狀態統計圖

以上的資料都是精確的數據，而不是site:example.com所得到的粗估數據。因此這個管理員工具新增索引狀態，可以提供網站管理者許多有用的訊息。

從這些數據當中，我們可以看到圖一的索引數量，每天都有可能不同，為什麼會這樣呢?

如果你從Google管理員工具的健康狀態>檢索統計資料，你就可以看到Google幾乎每天都會定期到網站爬資料，所以Google就有可能會抓到以往沒有抓到的資料，並且Google還會檢視資料的重覆性，如果發現內容相同而重覆索引，就會把重覆的索引刪除，因此你的索引狀態統計資料，就會發生增加或是減少的情況。

由這篇”Google “Reveals Index Secrets”: Charts Indexing of Your Site Over Time“可以知道，Google的索引狀態資料，可能會有數週的延遲。

但是資料的重覆性是怎麼發生的呢? 如我們在”Google Webmaster Tools 增加重複內容警示訊息“提過，許多不同的URL有相同的內容，有時是因為沒有適當的設置標準連結元素而發生，例如:

http://www.dns.com.tw/seo/?p=6483

http://www.dns.com.tw/seo/?p=6483&page=1

以上的URL其實是一樣的內容，但是如果你沒有設定讓搜尋引擎知道，搜尋引擎有可能會同時抓取，並且同時索引。

那麼我們知道這些索引狀態有什麼功用呢? 這些資料就可以讓你知道網站的狀態，並且採取某些步驟，來改善搜尋引擎更正確的處理你的資料。

(1) 什麼是「編目」? 什麼是「索引」? Bing在Webmaster工具中的這兩個術語，經常讓人搞不清楚是什麼東西。

我們先看看Bing的說明頁面 (如下) : http://onlinehelp.microsoft.com/zh-tw/bing/gg132935.aspx

從上述的~ 編目程式 (又稱 robot 或 bot) ，可以清楚的知道，網頁是先經過「編目」再進行「索引」，當完成「索引」之後，才能參與網頁排名。

所以Bing所說的「編目」是指crawling (抓取)，「索引」就跟平常認知一樣是indexing，網頁被「索引」的數量當然希望越多越好。

(2) 如何提升網站被Bing「索引」的數量呢?

Bing的Webmaster工具中有兩個工具，可以讓Bing開始進行網頁「編目」

如下圖，送出XML Sitemap或是RSS Feed給Bing

如下圖，送出單獨的URL給Bing

以上這兩個方式有何不同呢?

(a) 送出sitemap到成功擷取的等待時間較長，提交URL比較快。
(b) 送出sitemap沒有次數限額，但是提交URL一天不得提交超過 10 個 URL，每月不得超過 50 個。
(c) 送出sitemap會看到是否成功，但是提交URL不會回報狀態。

一般而言，如果沒有特別狀況，送出sitemap之後約數天到一週的時間，應該就可以看到成功擷取。

(本網頁內容取材於台灣SEO搜尋引擎技術學院，參加SEO達人入門學習包，即可搶鮮閱讀喔)

我們把上次的February Changes文章列出如下:

Google的40個搜尋演算法更新 (February Changes)之一

Google的40個搜尋演算法更新 (February Changes)之二

Google的40個搜尋演算法更新 (February Changes)之三

如果你都閱讀過的話，你應該會有一個感覺，那就是兩次的更新項目幾乎都是大同小異，或者應該說~其實Google在每一階段中，都有許多共通的演算法與界面修正的終極目標，當然就是[界面要更便利]、[資料來源要更正確]、[搜尋的結果要更符合搜尋意圖]、[過濾機制要更快更準確]、[行動與在地性的趨勢]、[Google服務的整體性]、[更有效率的抓取與組織資料]、[因應搜尋需求的趨勢做改善，如圖案與影片搜尋的增加]，這些就是每次的Google修正項目必定都會有的項目。

我們再回過頭來看看這次需要特別注意的八大項目:

(1)Anchor Text Tweaks (錨點文字改善)

可以參考 “Google更新連結訊號(link signal)演算法“，Google對於link與anchor text可以說是又愛又恨，因為這兩個是網路資料分類的根本，但是又是經常被誤用，因此Google最希望link spam與anchor spam馬上消失。

最近的兩次演算法更新結果，肯定的是link analysis與anchor text analysis已經有很大的不同了，至於不同點是什麼呢?  現在還不是很確定。

(2)Image Search Changes (圖案搜尋變更)

Google也在近兩次演算法更新都陸續修正圖案搜尋，最主要的是讓圖案搜尋更相關，以及資料更多，這點告訴我們的是，你的網站中必須更加注意圖案搜尋的優化，因為使用者會越來越多使用圖案搜尋。

根據我們的統計資料，確實發現圖案搜尋的流量有越來越高的趨勢。

(3)Indexing Symbols (索引符號擴大)

以往不被索引的符號都陸續被索引了，數學符號與特殊符號的加入，讓關鍵字分析必須特別注意了，因為如果你的內容以往喜歡加上一些符號，原本不會有任何影響，但是現在不同了。因此，必須正確的加入這些數學符號與特殊符號，但是不必要的時候，千萬不要亂加。

(4)Navigational Queries (導覽式搜尋改善)

導覽式搜尋表示搜尋者已經知道自己要拜訪哪個網站，透過搜尋只是為了找出正確的網址。Google會去改善導覽式搜尋，表示這類搜尋數量不少，你的網站是否能夠讓使用者透過導覽式搜尋找到你的網站呢? 如果不行的話，必須思考問題出在哪裡了。

(5)Local Search Changes (在地搜尋的改善)

Google最近對於在地搜尋越來越重視，並且很可能會將在地資料與全球資料分開，也就是如果你搜尋的是在地資訊，其速度會更快，並且如果你的網站是跟在地有關係的，也可以有搜尋排名的優勢。

因此，你的網站是否思考過在地搜尋的策略呢?

(6)Freshness And Stale (新鮮與陳舊的判斷)

新鮮與陳舊資料的判斷，一直都是Google重視的問題。因為某些搜尋就是要新鮮的資料，某些搜尋並不需要新鮮的資料。你的網站內容是否會跟新鮮與陳舊有關係呢? 如果會的話，新鮮與陳舊資料的處理策略就會影響你的搜尋排名。

(7)Queries Filter (搜尋詞的過濾改善)

這次Google的更新，很明白的表示某些關鍵字過濾後反而可能讓搜尋更精準。因為使用者並非都是搜尋專家，因此如果使用者輸入「到底什麼是搜尋引擎優化」，其實如果改成「什麼是搜尋引擎優化」應該會更好，因為「到底」這個詞根本就是贅詞。

如果Google能夠把搜尋詞的過濾與分類改善得更精準，那麼當然就能夠把搜尋結果的品質提高了。

(8)Others (其他，如影片搜尋、新聞搜尋、Google+相關的…等等)

在其他必須注意的地方，如Google改善影片搜尋的效率、改善新聞搜尋的分類與新鮮度、對於Google+Profile的索引處理、透過Freebase之類的資料來源取得短答案、以及改善行動設備的搜尋界面 … 等等。

我們先來看看這50個項目有哪些內容:

Flights to worldwide destinations (飛機航班的搜尋)
Redesigned Search App for Windows 7.5 phones (Windows 7.5手機上的APP搜尋重新設計)
SSL search around the globe (全球使用SSL加密搜尋)
“Recent” feature on mobile (手機搜尋的歷史搜尋資料功能)
Full-page themes in iGoogle (iGoogle板面新功能)
March Madness NCAA search feature (美國大學體育相關搜尋功能更新)
3D graphing calculator (3D數學函數繪圖)

這篇文章”Google’s March Updates: Anchor Text, Image Search, Navigational Search & More“把這次的更新歸納如下的類型，我們再另外加入我們認為要注意的項目:

(1)Anchor Text Tweaks (錨點文字改善)

(2)Image Search Changes (圖案搜尋變更)

(3)Indexing Symbols (索引符號擴大)

(4)Navigational Queries (導覽式搜尋改善)

(5)Local Search Changes (在地搜尋的改善)

(6)Freshness And Stale (新鮮與陳舊的判斷)

(7)Queries Filter (搜尋詞的過濾改善)

(8)Others (其他，如影片搜尋、新聞搜尋、Google+相關的…等等)

這些項目的深入探討，我們另文再各別討論。

如上圖描述，Google的舊架構以layer堆疊起來，每個layer的更新頻率不同，有些更新得快，也有些更新較慢，因此在抓取到資料到讓使用者搜尋，中間就會有顯著的延宕時間。

而新的Caffeine，把資料段切得更小，因此在新增與更新的效率上就會提升很多，因此使用者可以搜尋到更新的資料，這點跟real-time search有些相似，只是Caffeine還是有進行index，而real-time search並沒有。不過這個Caffeine已經可以縮短index的時間來說，已經在功能上躍進一大步。

這句話描述出了Google Caffeine的可怕: If this were a pile of paper it would grow three miles taller every second. Caffeine takes up nearly 100 million gigabytes of storage in one database and adds new information at a rate of hundreds of thousands of gigabytes per day. You would need 625,000 of the largest iPods to store that much information; if these were stacked end-to-end they would go for more than 40 miles.

Caffeine所索引的資料，如果以頁的長度來看的話，以每秒3哩成長，並在一個資料庫內有一億G的儲存，並且每天以數十萬G的速度成長，你必須有六十二萬五千個iPad來儲存這麼大的資料，如果堆疊起來可以達40哩 … 只能說 …. 哇!

你是否已經感覺到Google Caffeine的搜尋結果呢? Google Caffeine的推出對於SEO會有何衝擊呢? 我們再持續為您更新相關訊息了。

額外參考資料: Google’s new search index Caffeine goes live