关灯
护眼
字体:大中小
();
read2();第二天,对方的爬虫换了策略。
不再是高频密集的抓取,而是降低了频率,变得更加隐蔽,混在真实用户的访问流量里,很难分辨。
赵磊和小李花了整整一个上午分析流量日志,发现了一个规律——爬虫访问的页面路径是固定的,而真实用户的路径是随机的。
基于这个发现,赵磊在反爬虫系统里加了一层行为分析的逻辑:连续访问同一个类型的数据超过一定次数,自动标记为可疑,加入黑名单。
第三天,对方的程序员大概也发现了这个规律,开始随机化访问路径,模仿真实用户的行为模式,不再只抓航班和酒店数据,而是随机地访问首页、用户中心、订单页面等无关内容。
赵磊看到流量日志的时候,盯着屏幕看了好一会儿,然后说了一句让俞飛鸿印象
******后面还有2087个字内容被隐藏了******
******后面还有2087个字内容被隐藏了******
textjavascript"
>loadBookInfo(25,10019,2097,重生87,半年爆赚200亿美金);
();
biqlugebook5919637730300934.html
();
::
();
请关闭浏览器阅读模式后查看本章节,否则将出现无法翻页或章节内容丢失等现象。