如何监控网站流量并拦截恶意爬虫流量

每天都有大量自动化流量在互联网中传输，这类流量也被称为“爬虫流量”，其影响有利有弊。

什么是爬虫流量？

爬虫流量通常指非真实人类用户产生的自动化网站访问流量。我们都听说过入侵社交媒体账号、向收件箱发送垃圾邮件的恶意爬虫，但也存在能让互联网运行更顺畅的良性爬虫。

例如，谷歌等搜索引擎会使用爬虫抓取网站信息，用于整理生成搜索结果。

版权保护是良性爬虫发挥作用的另一个场景。这类爬虫会扫描网站上的图片和其他内容，排查是否存在非法使用受版权保护内容的情况。如果你持有不希望被盗版或滥用的内容，这类爬虫对你是有益的。

但当然，也有很多爬虫并非良性。

恶意爬虫

部分爬虫流量由恶意行为者生成，目的是篡改网站数据或干扰用户正常访问。和搜索引擎一样，黑客也可以使用网页抓取工具，但这类爬虫扫描网站的目的是收集可被滥用的敏感信息，比如邮箱地址、联系方式、登录凭证、信用卡号，甚至是未经授权即可使用的图片和内容。

另一类典型的恶意爬虫是垃圾信息爬虫。这类爬虫会填写联系表单向网站所有者发送推广信息，在博客文章下留下措辞怪异的评论，还会发送大量通常毫无意义的邮件，这些自动生成的信息会被尽可能发布到更多位置。

DDoS 网络是恶意爬虫活动的主要来源之一，可能对网站造成严重破坏，仅靠流量体量就能导致服务器崩溃。SEO 垃圾爬虫的危害同样严重，这类爬虫会伪装成搜索引擎爬虫，实际目的是扫描网站系统中存在的薄弱点，供黑客后续入侵利用。

因此，网站所有者必须能够识别并过滤爬虫流量，从而保护网站免受损害。

如何识别恶意流量

黑客可通过多种途径入侵网站及其数据库，该如何监测这类行为？如何判断是否正在遭遇爬虫攻击？

出乎意料的是，监测网站安全最有效的方法之一就是观察流量情况。虽然这听起来过于简单，但监测该指标确实能提供大量相关实用线索，帮助你在问题演变为严重事故前察觉异常。

首先，你需要一款流量监控工具。Google Analytics 是适合大多数用户的常用有效选项，使用该平台的唯一不足是需要你自行完成监控工作，必须主动排查线索，判断网站是否正遭受攻击。

以下是几种识别爬虫流量的方法：

• 关注大幅流量突增。如果网站流量突然出现无法解释的增长，那么网站可能已经成为botnet（僵尸网络）——一组资源被用于向你的系统发送海量请求的计算机集群——的新目标。遇到流量突增时，请花时间确认流量来源，这可能帮助你及时发现可处置的攻击行为。
• 留意访问来源地理位置。Google Analytics 可以显示网站流量来源。如果来自某个非核心受众所在国家的流量突然激增，要么是你发布的内容突然在该国走红，要么是该地区的大量计算机被劫持，正在向你的网站发送超出其承载能力的流量。
• 同时也要留意流量的大幅下跌。 如果您的站点平时访问量稳定，却突然出现流量断崖式下跌，这也可能是异常信号。请测试站点是否运行缓慢、是否出现报错，或是否因某些原因被Google标记为恶意软件站点。出现这种情况也可能是用户无法再通过搜索找到您的站点，导致无法访问。如果自然流量是您的业务的重要渠道，让站点避免被列入Google黑名单 对您的业务至关重要。
• 留意销量或网站活动的异常增长。 如果您发现网站活动突然激增，例如销量、注册量或表单提交量上升，可能是机器人使用虚假信息填写表单导致的

在您使用的工具中识别出恶意流量并修复问题后，您还需要在后续工作中过滤掉无关数据。来自不良站点的这类“恶意来源”流量会影响统计数据的准确性。

如何阻止网站的机器人流量

防范恶意流量是整体网站安全的必要环节。您需要尽可能保留健康的“良性”流量。您不能直接拦截站点的所有机器人，因为您仍然需要搜索引擎机器人这类良性机器人访问站点。如何在向良性用户保留访问权限的同时，阻止恶意对象访问站点？

拦截机器人流量的一种有效方法是部署可靠的防火墙解决方案。Sectigo旗下公司Sitelock可提供有效的Web Application Firewall (WAF)。我们的技术采用最新的病毒和机器人特征库，在流量尝试访问您的站点时进行实时扫描，确认访问者为合法用户或良性机器人后才会放行。恶意攻击者会在有机会访问您的资源前就被过滤、拦截。

该防火墙服务部署在云端，仅需极少配置即可远程部署，能够在完全不影响站点用户体验的前提下过滤恶意机器人，保护您的网站免受恶意流量、恶意威胁和DDoS攻击等安全风险影响。

抵御网络攻击的最佳方式是提前防范。监控实时流量和在服务器侧开展主动安全防护，是帮助您尽可能全面防范恶意流量的两种方式。Web防火墙 可以为您承担所有繁重的防护工作，让您将时间和精力投入到业务运营中。

联系我们 以了解更多关于保护网站免受潜在安全威胁的信息。