Selenium 的指纹识别问题,多人用久了都绕不开。selenium 特征去除这个 JS 文件就挺实用,能帮你绕过不少反爬机制,尤其是那种一眼识破的 navigator 特征啥的,得比较干净。
直接在 Selenium 执行前注入 JS,把navigator.webdriver
改掉、模拟真实环境,浏览器看起来就更“像人类”了。你要是之前被网站 ban 得头疼,不妨试试这个方式。
配合Python 爬虫框架用效果更,比如你用selenium + ChromeDriver
,提前加载这个文件,再开爬,稳定不少,识别率低多了。
别忘了,JS 注入的位置关键,建议在driver.get()
之前执行driver.execute_cdp_cmd()
或execute_script()
,否则加载网页太快,就来不及伪装。
哦对了,相关资源你也可以顺手看下,比如:Python 3 网络爬虫综述文件、Node.js 网络爬虫实战指南,还有个蛮实用的Python 爬虫源码合集,里面也提到了一些反检测技巧。
如果你最近在做爬虫项目,是目标站点检测得比较严,用上这个 JS 文件确实省事不少,跑得更稳更久。