誰決定了網頁的抓取頻率?

許多人會抱怨搜尋引擎通常很久才來抓資料,就算來抓了資料,也都抓幾頁資料就離開了。到底誰決定了網頁的抓取頻率?

我們在SEO關鍵解碼書中說過,你自己才是決定網頁抓取頻率的人。

也就是搜尋引擎隔多久來抓取你的網頁資料?搜尋引擎每次會抓取多少資料?不是搜尋引擎自己決定的。

請看下圖,這是戰國策硬碟毀損事件發生後,Google到本站抓取資料的趨勢圖:

google webmasters

戰國策硬碟毀損事件發生後,資料量驟減,並且本站也停止內容更新,再加上戰國策當時系統連線時好時壞。

GoogleBot發現有時無法連線,所以就降低了資料抓取。

GoogleBot發現資料量驟減,所以就降低了資料抓取。

GoogleBot發現資料更新停止,所以就降低了資料抓取。

雖然很不幸的發生戰國策硬碟毀損事件,但是我們將利用這個特殊的機會,把慘劇中得到的寶貴驗證,提出來給大家參考。

後續將會有更多的內容,敬請期待了。

在〈誰決定了網頁的抓取頻率?〉中有 5 則留言

  1. 自動引用通知: 誰決定了網頁的抓取頻率? | 台灣搜尋行銷部落

  2. Shingo 回覆

    真的很中肯…只有能不斷的提供googlebot豐富資訊、讓googlebot能輕易抓取網站資源,這樣bot也會越來越常抓資料!

  3. wu 回覆

    這個證明真的是用血淚換來的啊
    值得大家拍拍手的好資料
    GoogleBot發現有時無法連線,所以就降低了資料抓取。
    GoogleBot發現資料量驟減,所以就降低了資料抓取。
    GoogleBot發現資料更新停止,所以就降低了資料抓取。
    很有價值的三個條件呢

  4. 自動引用通知: SEO最重要的兩大項目:抓取(crawling)與索引(indexing) « Seo搜尋引擎優化 « 台灣搜尋引擎優化與行銷研究院:SEO:SEM

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *