誰決定了網頁的抓取頻率?

許多人會抱怨搜尋引擎通常很久才來抓資料,就算來抓了資料,也都抓幾頁資料就離開了。到底誰決定了網頁的抓取頻率?

我們在SEO關鍵解碼書中說過,你自己才是決定網頁抓取頻率的人。

也就是搜尋引擎隔多久來抓取你的網頁資料?搜尋引擎每次會抓取多少資料?不是搜尋引擎自己決定的。

請看下圖,這是戰國策硬碟毀損事件發生後,Google到本站抓取資料的趨勢圖:

google webmasters

戰國策硬碟毀損事件發生後,資料量驟減,並且本站也停止內容更新,再加上戰國策當時系統連線時好時壞。

GoogleBot發現有時無法連線,所以就降低了資料抓取。

GoogleBot發現資料量驟減,所以就降低了資料抓取。

GoogleBot發現資料更新停止,所以就降低了資料抓取。

雖然很不幸的發生戰國策硬碟毀損事件,但是我們將利用這個特殊的機會,把慘劇中得到的寶貴驗證,提出來給大家參考。

後續將會有更多的內容,敬請期待了。

5 留言

於 誰決定了網頁的抓取頻率?.
  1. |

    真的很中肯…只有能不斷的提供googlebot豐富資訊、讓googlebot能輕易抓取網站資源,這樣bot也會越來越常抓資料!

  2. wu
    |

    這個證明真的是用血淚換來的啊
    值得大家拍拍手的好資料
    GoogleBot發現有時無法連線,所以就降低了資料抓取。
    GoogleBot發現資料量驟減,所以就降低了資料抓取。
    GoogleBot發現資料更新停止,所以就降低了資料抓取。
    很有價值的三個條件呢

  3. |

    原來是這樣
    受教了

敬請留言

你的回應對我們是很重要的. 你的電子郵件將不會被公開.

請等待 ...
*
Loading Facebook Comments ...