雖然在”SEO將是左腦與右腦最好的交叉點“說到，已經不能光是依靠技術性SEO來操作，但是千萬不要誤會說SEO已經可以脫離技術的範疇，對於許多網站而言，技術性的SEO還是非常重要，例如你的網站如果沒有辦法正確的被抓取(crawling)與索引(indexing)，那麼後續的搜尋排名策略都是空談 …
我們在SEO關鍵解碼書中以及”誰決定了網頁的抓取頻率？“都說過，你自己才是決定網頁抓取頻率的人。
這個問題許多人都問說: 真的嗎? 我可以自己決定搜尋引擎的抓取頻率嗎?
這篇”How to Increase Google’s Crawl Frequency“就提到，修正了網站的架構以及更多的新鮮內容，都是驅使搜尋引擎抓取頻率的好方法。我們在最近的文章”什麼是網站結構? 如何影響SEO?“也說到，正確的結構會影響可解讀性，也就是影響了抓取與索引的結果。
我們再夠透過這篇”How Many Pages Should A Site Have Indexed by Search Engines?“進一步來說明其他細節。
(1) 我的網站需要被索引多少頁面才能有好的搜尋排名?
這個沒有一定的答案。最好的情況當然是盡可能全部你的頁面都被索引，並且你的優秀內容越多越好。
但是很重要的是，搜尋引擎對於不同的網站有不一樣的對待，他不一定會索引你全部的頁面，被索引的頁面越多也不代表就會有好的搜尋排名。
因為搜尋引擎有太多的考慮因素，所以索引數量與搜尋排名並沒有一定的關係，但是如果沒有辦法讓搜尋引擎索引一定數量的頁面，很難有好的搜尋排名，而所謂一定數量到底是多少，至今仍然無法提出一個數字。
例如有些網站因為錯誤的robots.txt設定，把搜尋引擎阻擋在外而減少了索引數量，或是錯誤的rel=canonical設定或是錯誤的轉址，而使得搜尋引擎不索引某些頁面，都是非常致命的錯誤，這類錯誤而引起索引數目減少就會嚴重影響搜尋排名。
(2) 為什麼抓取頻率(Frequency of Crawl)很重要?
搜尋引擎索引了網頁不代表就會永遠的保存，就算保存著也不代表會參與搜尋排名，就算參與搜尋排名也不一定會曝光。也就是你的網頁還要讓搜尋引擎多次的回來抓取，才代表他重視你的資料。
為什麼搜尋引擎抓取了頁面還要多次回來重新抓取? 因為搜尋引擎不希望儲存老舊的內容或是錯誤的內容，如果搜尋引擎回來抓取幾次後，發現資料都沒有變化，他就會降低回訪頻率，如果搜尋引擎回來抓取幾次後，發現頁面都已經不存在，他就會把資料下架。
所以回訪的頻率對搜尋排名就很重要，因為它代表了搜尋引擎的重視程度。
(3) 抓取(crawling)與索引(indexing)是兩回事
這篇”How Googlebots Crawl and Index Your Website“提到，Google對於許多網站內容都感到興趣，因此他的爬蟲會到處抓資料，並且都是由系統自己決定抓取的對象。但是很重要的觀念就是，抓取網頁的內容不代表就會索引，而索引的保存長短又是另外一回事。
你可以讓搜尋引擎去抓取你的網頁，但是你不能或是很困難去決定搜尋引擎如何索引你的網頁。
並且還要注意的是索引數量是否被灌水? 因為搜尋引擎剛開始索引時不會查覺內容重覆，但是慢慢如果發現內容重覆，會取消重覆內容的索引，因此如果發現你的索引內容怎麼反而越來越少，就要注意是否哪些內容不小心變成重覆索引。
如果你能夠對於抓取(crawling)與索引(indexing)多些認識，那麼你就對於搜尋引擎優化的瞭解才能夠更上一層樓。