如果把互联网想象成一个很大的蜘蛛网,百度或谷歌(不是日常黑哦)就是上面的大“蜘蛛”,这只“蜘蛛”一刻不停的在网上寻找“食物”(互联网上的各种信息),然后把它们存到“冰箱”里以备后用。当用户在百度中搜索车票时,百度就会立即将“冰箱”中的购票网站提供给你,然后你就愉快的买到了车票。
问题来了,既然爬虫这么优秀,为什么还要反爬虫呢?
时间很快过去,有一天你要去旅游,于是用百度找到了那个购票网站,但这时你发现网站变得特别卡,搞了半天也没买到票,气得直想砸键盘。
问题又来了,这跟网络爬虫有什么关系呢?
爬虫程序,又称,蜘蛛程序。虽以多足动物命名但却起源于搜索引擎,即按照一定的规则,自动抓取互联网信息的程序或脚本。随着漫长进化,这一物种被用于各大互联网金融、电商平台、社交网络等。利用网络爬虫,票贩黄牛可以在几分钟内抢占所有热门线路的车票,大量的抢占会造成网站变得很卡。据业内人士估计,80%以上低价机票被票务公司的爬虫抢走。越是涉及个人利益的地方,越是布满了爬虫,包含政务、电商、银行、OTA、社交、招聘、出行等网站。
说到这里,我们对网络爬虫有了比较形象的认识。根据用途,网络爬虫分为两类:一类是善意爬虫,如百度、谷歌等搜索引擎;另一类是恶意爬虫,如黄牛占票软件。从实践来看,恶意爬虫的主要目标是有价值的互联网数据。
早期爬虫程序非常简单,快速爬取想要的内容,没有伪装。反爬虫系统只要能够将频繁访问的行为抓出来,就能找到爬虫并采取拦截手段;随着数据价值越来越突出,爬虫很快变得不再“君子”,一些公司利用爬虫技术爬取有价值的数据,成为弥补自身先天数据短板、提高自身估值的“捷径”。
为了越过反爬虫的拦截,爬虫使用了代理IP池,降低访问频率,伪装正常浏览器头部信息,甚至更高级的爬虫使用自动化工具驱动浏览器模仿正常人的访问行为,用机器学习的方法破解图片验证码,这些爬虫技术使得识别和拦截爬虫变得越来越难,常规的反爬虫手段已无法有效阻止爬虫访问,在商业利益的驱动下,爬虫与反爬虫正经历着一场激烈的对抗。
为了保障网络服务的正常运行,保护数据安全,反爬虫系统需要使用一系列新技术手段来提高识别率。近年来邦盛科技通过多维度、多层次的检测,并辅以后端大数据分析技术来识别网络爬虫逐渐兴起并成为主流。
如何提升准确率?
邦盛科技安全专家认为,可从客户端和服务端来融合实现。客户端安全指用浏览器、APP操作时,在设备上进行环境的检测,检测对方是否用自动化爬虫工具。同时人机识别技术从操作行为判别机器人点击和自动化点击。不但环境要是安全的,用户行为也必须是合理的。如,真实用户购票过程一定不会直接买票,而是有浏览轨迹或页面跳转,如果没有这些动作则被视为潜在风险用户。
在服务端,可基于对网站的全流量进行大数据的分析和智能决策,针对一个 IP或设备,结合多要素进行综合分析决策,如其中间的点击,访问轨迹,包括其访问网站时对静态资源(图片、CSS)的访问丰富度等。因为正常用户一定会去执行这些操作,但直接通过报文模拟就不会去做。
如何搭建智能分析决策平台?
邦盛科技安全专家认为,决策的过程依赖对相关领域的业务场景理解,可基于本地化的流量,结合针对性的专家规则,通过机器学习不断优化规则,或给出一些树模型、神经网络模型,可进一步的提升准确率和查全率,做到既要查的准,又要抓的多。但为了避免误伤真实用户,可以考虑除了封闭控制手段外,加入动态验证、限速、限流、延迟到达等多种方式。
爬虫是趋利的,而爬虫觉得有利益的地方,往往是我们不忍提及的隐痛。目前邦盛科技自动化攻击实时防御产品应用领域,已覆盖公积金、社保、工商信用、电子口岸、房产、教育、交通、市场监管等行业,并在应用中快速有效地控制住了网络爬虫的疯狂行为,减轻了服务器压力和保障了系统数据的安全,提升了业务系统稳定性。在这次疫情时期,更是有效保障了浙江大学在线教学平台的稳定运行。
