雖然在”SEO將是左腦與右腦最好的交叉點“說到,已經不能光是依靠技術性SEO來操作,但是千萬不要誤會說SEO已經可以脫離技術的範疇,對於許多網站而言,技術性的SEO還是非常重要,例如你的網站如果沒有辦法正確的被抓取(crawling)與索引(indexing),那麼後續的搜尋排名策略都是空談 …
我們在SEO關鍵解碼書中以及”誰決定了網頁的抓取頻率?“都說過,你自己才是決定網頁抓取頻率的人。
這個問題許多人都問說: 真的嗎? 我可以自己決定搜尋引擎的抓取頻率嗎?
這篇”How to Increase Google’s Crawl Frequency“就提到,修正了網站的架構以及更多的新鮮內容,都是驅使搜尋引擎抓取頻率的好方法。我們在最近的文章”什麼是網站結構? 如何影響SEO?“也說到,正確的結構會影響可解讀性,也就是影響了抓取與索引的結果。
我們再夠透過這篇”How Many Pages Should A Site Have Indexed by Search Engines?“進一步來說明其他細節。
(1) 我的網站需要被索引多少頁面才能有好的搜尋排名?
這個沒有一定的答案。最好的情況當然是盡可能全部你的頁面都被索引,並且你的優秀內容越多越好。
但是很重要的是,搜尋引擎對於不同的網站有不一樣的對待,他不一定會索引你全部的頁面,被索引的頁面越多也不代表就會有好的搜尋排名。
因為搜尋引擎有太多的考慮因素,所以索引數量與搜尋排名並沒有一定的關係,但是如果沒有辦法讓搜尋引擎索引一定數量的頁面,很難有好的搜尋排名,而所謂一定數量到底是多少,至今仍然無法提出一個數字。
例如有些網站因為錯誤的robots.txt設定,把搜尋引擎阻擋在外而減少了索引數量,或是錯誤的rel=canonical設定或是錯誤的轉址,而使得搜尋引擎不索引某些頁面,都是非常致命的錯誤,這類錯誤而引起索引數目減少就會嚴重影響搜尋排名。
(2) 為什麼抓取頻率(Frequency of Crawl)很重要?
搜尋引擎索引了網頁不代表就會永遠的保存,就算保存著也不代表會參與搜尋排名,就算參與搜尋排名也不一定會曝光。也就是你的網頁還要讓搜尋引擎多次的回來抓取,才代表他重視你的資料。
為什麼搜尋引擎抓取了頁面還要多次回來重新抓取? 因為搜尋引擎不希望儲存老舊的內容或是錯誤的內容,如果搜尋引擎回來抓取幾次後,發現資料都沒有變化,他就會降低回訪頻率,如果搜尋引擎回來抓取幾次後,發現頁面都已經不存在,他就會把資料下架。
所以回訪的頻率對搜尋排名就很重要,因為它代表了搜尋引擎的重視程度。
(3) 抓取(crawling)與索引(indexing)是兩回事
這篇”How Googlebots Crawl and Index Your Website“提到,Google對於許多網站內容都感到興趣,因此他的爬蟲會到處抓資料,並且都是由系統自己決定抓取的對象。但是很重要的觀念就是,抓取網頁的內容不代表就會索引,而索引的保存長短又是另外一回事。
你可以讓搜尋引擎去抓取你的網頁,但是你不能或是很困難去決定搜尋引擎如何索引你的網頁。
並且還要注意的是索引數量是否被灌水? 因為搜尋引擎剛開始索引時不會查覺內容重覆,但是慢慢如果發現內容重覆,會取消重覆內容的索引,因此如果發現你的索引內容怎麼反而越來越少,就要注意是否哪些內容不小心變成重覆索引。
如果你能夠對於抓取(crawling)與索引(indexing)多些認識,那麼你就對於搜尋引擎優化的瞭解才能夠更上一層樓。