網站優化中信息收集模塊包括“蜘蛛控制”和“網絡蜘蛛”兩部分，“蜘蛛”這個稱呼形象的描述出了信息收集模塊在網絡數據形成的“Web”上進行信息獲取的功能。總體而言，網絡蜘蛛從種子網頁出發，通過反復下載網頁并從文檔中尋找未曾見過的URL，達到訪問其他網頁得以遍歷Web的目的。而其工作策略一般則可以分為累積式抓取和增量式抓取兩種。

一、累積式抓取

1、網站優化中蜘蛛累積式抓取是指從某一個時間點開始，通過遍歷的方式抓取系統所能允許存儲和處理的所有網頁。在理想的軟硬件環境下，經過足夠的運行時間，累積式抓取的策略可以保證抓取到相當規模的網頁集合。

2、但在小編看來由于Web數據的動態特性，集合中網頁的被抓取時間點是不同的，頁面被更新的情況也不同，因此累積式抓取到的網頁集合事實上并無法與真實環境中的網絡數據保持一致。

二、增量式抓取

1、網站優化的蜘蛛增量式抓取與累積式抓取不同，增量式抓取是指在具有一定量規模的網絡頁面集合的基礎上，采用更新數據的方式選取已有集合中的過時網頁進行抓取，以保證所抓取到的數據與真實網絡數據足夠接近。

2、進行增量式抓取的前提是，系統已經抓取了足夠數量的網絡頁面，并具有這些頁面被抓取的時間信息。面向實際應用環境的網絡蜘蛛設計中，通常既包括累積式抓取，也包括增量式抓取的策略。

3、累積式抓取一般用于數據集合的整體建立或大規模更新階段，而增量式抓取則主要針對數據集合的日常維護與即時更新。

4、在確定了抓取策略之后，如何從充分利用網絡帶寬，合理確定網頁數據更新的時間點就成了網絡蜘蛛運行策略中的核心問題。

總體而言，網站優化在合理利用軟硬件資源進行針對網絡數據的即時抓取方面，已經形成了相對比較成熟的技術和實用性解決方案，小編覺得在這方面目前所需解決的主要問題是如何更好的處理動態網絡數據問題，以及更好的根據網頁質量修正抓取策略的問題。