我們在SEO關鍵解碼書中以及”誰決定了網頁的抓取頻率？“都說過，你自己才是決定網頁抓取頻率的人。

這個問題許多人都問說: 真的嗎? 我可以自己決定搜尋引擎的抓取頻率嗎?

這篇”How to Increase Google’s Crawl Frequency“就提到，修正了網站的架構以及更多的新鮮內容，都是驅使搜尋引擎抓取頻率的好方法。我們在最近的文章”什麼是網站結構? 如何影響SEO?“也說到，正確的結構會影響可解讀性，也就是影響了抓取與索引的結果。

我們再夠透過這篇”How Many Pages Should A Site Have Indexed by Search Engines?“進一步來說明其他細節。

(1) 我的網站需要被索引多少頁面才能有好的搜尋排名?

這個沒有一定的答案。最好的情況當然是盡可能全部你的頁面都被索引，並且你的優秀內容越多越好。

但是很重要的是，搜尋引擎對於不同的網站有不一樣的對待，他不一定會索引你全部的頁面，被索引的頁面越多也不代表就會有好的搜尋排名。

因為搜尋引擎有太多的考慮因素，所以索引數量與搜尋排名並沒有一定的關係，但是如果沒有辦法讓搜尋引擎索引一定數量的頁面，很難有好的搜尋排名，而所謂一定數量到底是多少，至今仍然無法提出一個數字。

例如有些網站因為錯誤的robots.txt設定，把搜尋引擎阻擋在外而減少了索引數量，或是錯誤的rel=canonical設定或是錯誤的轉址，而使得搜尋引擎不索引某些頁面，都是非常致命的錯誤，這類錯誤而引起索引數目減少就會嚴重影響搜尋排名。

(2) 為什麼抓取頻率(Frequency of Crawl)很重要?

搜尋引擎索引了網頁不代表就會永遠的保存，就算保存著也不代表會參與搜尋排名，就算參與搜尋排名也不一定會曝光。也就是你的網頁還要讓搜尋引擎多次的回來抓取，才代表他重視你的資料。

為什麼搜尋引擎抓取了頁面還要多次回來重新抓取? 因為搜尋引擎不希望儲存老舊的內容或是錯誤的內容，如果搜尋引擎回來抓取幾次後，發現資料都沒有變化，他就會降低回訪頻率，如果搜尋引擎回來抓取幾次後，發現頁面都已經不存在，他就會把資料下架。

所以回訪的頻率對搜尋排名就很重要，因為它代表了搜尋引擎的重視程度。

(3) 抓取(crawling)與索引(indexing)是兩回事

這篇”How Googlebots Crawl and Index Your Website“提到，Google對於許多網站內容都感到興趣，因此他的爬蟲會到處抓資料，並且都是由系統自己決定抓取的對象。但是很重要的觀念就是，抓取網頁的內容不代表就會索引，而索引的保存長短又是另外一回事。

你可以讓搜尋引擎去抓取你的網頁，但是你不能或是很困難去決定搜尋引擎如何索引你的網頁。

並且還要注意的是索引數量是否被灌水? 因為搜尋引擎剛開始索引時不會查覺內容重覆，但是慢慢如果發現內容重覆，會取消重覆內容的索引，因此如果發現你的索引內容怎麼反而越來越少，就要注意是否哪些內容不小心變成重覆索引。

如果你能夠對於抓取(crawling)與索引(indexing)多些認識，那麼你就對於搜尋引擎優化的瞭解才能夠更上一層樓。

在”瞭解搜尋引擎的運作原理“有說明，尋引擎的運作，可以分成四大部分~ 抓取、處理、評等、展示。[抓取]就是搜尋引擎最開始的第一步，它會派出許多程式到處抓資料，把這些資料抓到他們的資料中心。

但是先抓不代表先贏，只是優先被抓取，可以具有優先資料處理權，但是如果只是「小時了了」，後面的處理與評等沒有辦法脫穎而出的話，優先被抓取只是空歡喜一場。

我們經常看到一個情況，當我們的文章刊登出來，就同時被許多採集網站劫走內容，然後變成他們的文章，並且許多這類採集網站都很積極的進行社交優化的部分，因此在讀者的投入程度與點擊流量都具有優勢。

因此在這種情況下，可以發現有些時候這些採集網站都很快速的被搜尋引擎抓取並索引，而我們原創的內容反而沒有那麼快出現在搜尋引擎的索引上。

為什麼原創的內容反而沒有那麼快出現在搜尋引擎的索引上呢? 其實跟我們之前的一個測試有關係。在此之前，我們的文章都會在數秒鐘就被搜尋引擎抓走，但是在某個測試之後，這麼快速的抓取頻率突然就消失了。因為之前的測試跟結構有關係，目前尚無法馬上修正這個結構，因此暫時只能以其他得分來補強。

但是像Google搜尋引擎在處理資料時，雖然在剛開始這些採集網站比我們網站具有優勢，但是經過一些時間之後，可能數小時或是數天不等，我們網站的內容就會開始往上浮，採集網站開始往下沉，最後部分採集網站就會消失在搜尋排名當中。

所以這個代表的是，Google搜尋引擎優先資料處理權，只是讓網站在最初具有搜尋排名優勢，並且Google搜尋引擎優在處理原創內容的判定演算法有一定的準確度。

當你的網頁資料被抓取後的數週時間，就是搜尋排名的關鍵期，在這個期間網頁會被搜尋引擎不斷的以演算法過濾，被淘汰的網頁就會消失或是下降，通過考驗的就會留下來或是上升，然後不斷的汰換的過程之後，到一個時間點就會呈現穩定的狀態，短期間內都不太會變動。

抓取順序(Crawl Priority)雖然與Pagerank及社交因素有關聯，但是抓取順序與搜尋排名沒有一定的正向關係，Pagerank及社交因素也跟搜尋排名沒有一定的正向關係，但是網站還是要透過提高Pagerank與社交影響以爭取抓取順序優勢。

在 “Pagerank與Google Panda是否有關係?“有談過，「拼字與文法正確性」與Pagerank是相關的，也跟「品質訊號」是相關的，同時也都是跟Google Panda演算法有關係，並且Pagerank會跟Google的抓取頻率有關係。

所以Pagerank會跟Crawl Priority有關係，但是不是唯一的因素。另外可以由微軟的”PRIORITIZING CRAWL LISTS USING SOCIAL NETWORKING RANKINGS“看到，社交因素也會影響抓取順序。

這個內容說到: “Various scores are associated with users based on a variety of factors including activity levels with respect to social networking services, activity levels with respect to search engines, and interactions with other users in a social networking environment. The scores are used to compute a ranking for the users and, based on the rankings, a crawl list is prioritized such that content associated with the social networking environment is crawled at an appropriate time.” 也就是在社交網路上的活動情況會被考慮到搜尋引擎的抓取順序。雖然這是微軟的專利，但是既然有這個想法的產生，其他的搜尋引擎也應該有類似的處理方式。

社交網路上的活動情況，可以包含網頁內容被社交網路的使用狀況，以及被脽使用，或是網頁內容作者在社交網路上的活躍情況。

所以如我們在”Social SEO: 社交訊號(social signals)到底如何影響SEO?“說的，當時說Social Signals(社交訊號)與Ranking Factors(搜尋排名因素)可能會有直接的影響，但是尚未有直接的證據，因此我們把它列為未來的情況。

而現在這個專利的出現，證明了社交訊號不只透過訪客行為影響排名因素(下圖):

而已經如下圖的情況，Social Signals(社交訊號)、Visitors(訪客)、與Ranking Factors(搜尋排名因素)三者會互相影響。

所以社交訊號(social signals)與SEO的錯綜複雜程度，已經很難區分到底是在做社交行銷還是搜尋引擎優化，兩者的關係已經越來越密不可分了。