如何監控網站流量並攔截惡意爬蟲流量

每日都有大量自動化流量在互聯網中傳輸，這類流量亦被稱為「爬蟲流量」，其影響有利有弊。

什麼是爬蟲流量？

爬蟲流量一般指並非真實人類用戶產生的自動化網站訪問流量。我們都聽說過入侵社交媒體帳戶、向收件箱發送垃圾郵件的惡意爬蟲，但亦存在能讓互聯網運作更順暢的良性爬蟲。

例如，Google 等搜尋引擎會使用爬蟲擷取網站資訊，用作整理及生成搜尋結果。

版權保護是良性爬蟲發揮作用的另一個場景。這類爬蟲會掃描網站上的圖片及其他內容，排查是否存在非法使用受版權保護內容的情況。如果你持有不希望被盜版或濫用的內容，這類爬蟲對你是有益的。

但當然，亦有很多爬蟲並非良性。

惡意爬蟲

部分爬蟲流量由惡意行為者產生，目的是竄改網站數據或干擾用戶正常訪問。和搜尋引擎一樣，黑客亦可以使用網頁擷取工具，但這類爬蟲掃描網站的目的是收集可被濫用的敏感資訊，例如電郵地址、聯絡方式、登入憑證、信用卡號，甚至是未經授權即可使用的圖片和內容。

另一類典型的惡意爬蟲是垃圾資訊爬蟲。這類爬蟲會填寫聯絡表單，向網站擁有者發送推廣資訊，在網誌文章下留下措辭奇怪的評論，還會發送大量一般毫無意義的電郵，這些自動生成的資訊會被盡可能發布到更多位置。

DDoS 網絡DDoS 網絡是惡意爬蟲活動的主要來源之一，可能對網站造成嚴重破壞，單靠流量體量就足以導致伺服器崩潰。SEO 垃圾爬蟲的危害同樣嚴重，這類爬蟲會偽裝成搜尋引擎爬蟲，實際目的是掃描網站系統中存在的薄弱點，供黑客後續入侵利用。

因此，網站擁有者必須能夠識別及過濾爬蟲流量，從而保護網站免受損害。

如何識別惡意流量

黑客可透過多種途徑入侵網站及其數據庫，該如何監測這類行為？如何判斷是否正在遭遇爬蟲攻擊？

出乎意料的是，監測網站安全最有效的方法之一就是觀察流量狀況。雖然這聽起來過於簡單，但監測該指標確實能提供大量相關實用線索，幫助你在問題演變成嚴重事故前察覺異常。

首先，你需要一款流量監控工具。Google Analytics 是適合大多數用戶的常用有效選項，使用該平台的唯一不足是需要你自行完成監控工作，必須主動排查線索，判斷網站是否正遭受攻擊。

以下是幾種識別爬蟲流量的方法：

• 留意大幅流量突增。如果網站流量突然出現無法解釋的增長，那麼網站可能已經成為botnet（殭屍網絡）——一組被用於向你的系統發送海量請求的電腦集群——的新目標。遇到流量突增時，請花時間確認流量來源，這可能幫助你及時發現可處置的攻擊行為。
• 留意訪問來源地理位置。Google Analytics 可以顯示網站流量來源。如果來自某個非核心受眾所在國家的流量突然激增，要麼是你發布的內容突然在該國走紅，要麼是該地區的大量電腦被劫持，正在向你的網站發送超出其承載能力的流量。
• 同時也要留意流量大幅下跌的情況。 如果您的網站日常訪問量穩定，卻突然出現流量斷崖式下跌，這也有可能是異常信號。請測試網站是否運作緩慢、是否出現錯誤，或是否因某些原因被Google標記為惡意軟件網站。出現這種情況也可能代表用戶無法再透過搜尋找到您的網站，導致無法訪問。如果自然流量是您業務的重要渠道，避免網站被列入Google黑名單 對您的業務至關重要。
• 留意銷量或網站活動的異常增長。 如果您發現網站活動突然激增，例如銷量、註冊量或表格提交量上升，有可能是機械人使用虛假資料填寫表格導致的

在您使用的工具中識別出惡意流量並修復問題後，您後續還需要過濾無關數據。來自不良網站的這類「惡意來源」流量會影響統計數據的準確性。

如何阻止網站的機械人流量

防範惡意流量是整體網站安全的必要環節。您需要盡可能保留健康的「良性」流量。您不能直接攔截網站的所有機械人，因為您仍然需要搜尋引擎機械人這類良性機械人訪問網站。如何在開放良性用戶訪問權限的同時，阻止惡意對象訪問網站？

攔截機械人流量的一個有效方法是部署可靠的防火牆解決方案。Sectigo旗下公司Sitelock可提供有效的Web Application Firewall (WAF)。我們的技術採用最新的病毒和機械人特徵庫，在流量嘗試訪問您的網站時進行實時掃描，確認訪問者為合法用戶或良性機械人後才會放行。惡意攻擊者在有機會訪問您的資源前就會被過濾、攔截。

該防火牆服務部署在雲端，只需極少配置即可遠程部署，能夠在完全不影響網站用戶體驗的前提下過濾惡意機械人，保護您的網站免受惡意流量、惡意威脅和DDoS攻擊等安全風險影響。

抵禦網絡攻擊的最佳方式是提前防範。監控實時流量及在伺服器端開展主動安全防護，是協助您盡可能全面防範惡意流量的兩種方式。Web防火牆 可以為您承擔所有繁重的防護工作，讓您將時間和精力投入到業務營運中。

聯絡我們 以了解更多關於保護網站免受潛在安全威脅的資訊。