分析各类反爬与机器人检测系统(Akamai、PerimeterX、Arkose、AWS WAF 等)的识别原理,并给出绕过浏览器指纹脚本的可行对策,适合做网页采集时参考。
命令行图片批量下载器,支持 Pixiv、Twitter、DeviantArt、Danbooru 等几十个图站,一条命令就能把画师主页或标签下的图集整批抓下来。
定制版 Selenium Chromedriver,开箱即用,能绕过 CloudFlare、Distil、Imperva 等主流反爬和机器人检测系统,适合做浏览器自动化时被拦截的场景。
云原生 Web 应用防火墙,基于 Nginx 和 ModSecurity,开箱即用地为容器与 Kubernetes 环境提供反爬虫、DNSBL、Let's Encrypt 等安全防护。
给 AI 代理用的隐身无头浏览器,能绕过 Cloudflare 和反爬检测,可直接替换 Puppeteer/Playwright。
基于 CDP 直接控制 Chromium 浏览器的自动化库,无需 WebDriver,能模拟真实用户交互并规避反爬检测,适合做网页抓取和自动化测试。
把任意网页抓取并转成干净 Markdown 或结构化数据,直接喂给 LLM 和 AI Agent,省去自己写爬虫和清洗的麻烦。
Python 网页抓取框架,从单次请求到大规模爬取都能处理,内置 Playwright 支持,还提供 MCP 服务方便接入 AI 工作流。
把 Playwright 浏览器自动化能力封装成 MCP 服务器,让 AI Agent 通过结构化接口操控网页、抓取页面内容,无需依赖截图识别。
一个开源的社交媒体下载器,支持从 Instagram、TikTok、Twitter、Reddit、SoundCloud 等平台保存视频和音乐,界面清爽、无需广告。
在终端里搜索、浏览并直接播放动漫的命令行工具,基于 fzf 交互选择,支持 Linux、macOS、Termux 和 Steam Deck,还能用 syncplay 和朋友同步观看。
把任意网站变成命令行工具,让 AI Agent 复用你已登录的浏览器会话执行网页操作,省去重复登录和手动点击。
基于 Claude Code 的求职自动化框架,在本地评估职位、定制简历、撰写求职信并准备面试,数据自己掌控。
一个基于 Chromium 的代理服务器,自动处理 Cloudflare 的浏览器验证,让爬虫和自动化脚本能顺利访问被防护的网站。
Node.js/TypeScript 网页抓取与浏览器自动化库,内置代理轮换和反封锁,兼容 Puppeteer、Playwright、Cheerio,可稳定采集数据供 AI、LLM、RAG 使用。
浏览器端自动验证码破解插件,能识别并绕过 reCAPTCHA、Cloudflare Turnstile、Arkose 等主流验证码,配合 Selenium、Puppeteer、Playwright 做自动化抓取。
基于 Chrome CDP 复用真实登录态抓取 BOSS 直聘职位数据,能绕过字体反爬,直接输出明文薪资的 JSON/CSV 并做薪资技能分析。
一个 MCP 服务器,让 AI 代理和 LLM 能稳定抓取公开网页,内置反爬与浏览器自动化,解决网页数据采集和提取的难题。
给 AI Agent 用的隐身浏览器自动化 MCP 服务,基于 Chrome DevTools 协议实现页面导航、网络拦截、DOM 提取和像素级 UI 克隆,能绕过反爬检测。
一个注重隐私的 Python HTTP 客户端,能模拟浏览器 TLS/HTTP2 指纹(JA3/JA4、Akamai),帮爬虫绕过反爬检测。
基于 Playwright 的隐身无头 Firefox,保持原有 API 不变,通过伪造指纹绕过 Cloudflare、Akamai 等反爬检测,避免触发验证码,适合网页抓取和浏览器自动化。
基于 Chrome DevTools 协议的异步网页抓取与自动化框架,能绕过 Cloudflare 等反爬检测,适合需要隐蔽采集的场景。
一个用 Rust 写的 HTTP 客户端,能模拟浏览器 TLS/HTTP2 指纹(JA3/JA4),帮爬虫绕过 Akamai 等反爬检测。
一套面向 40 多个热门网站的 Python 爬虫脚本合集,内置代理和反爬绕过能力,省去从零处理验证码与封禁的麻烦。
源码级修改 Chromium 内核的指纹浏览器,通过 C++ 补丁直接编译进二进制而非 JS 注入,让自动化浏览器在检测站上按普通 Chrome 评分,绕过 Cloudflare 等反爬。
改一行代码就能把 Playwright/Puppeteer 换成隐身 Chromium 内核,绕过反爬和指纹检测,让爬虫和浏览器自动化不再被封。
实时识别网站使用的反爬系统、验证码和浏览器指纹技术,能判断 Cloudflare、Akamai、DataDome、reCAPTCHA 等并给出置信度,帮爬虫开发者快速摸清目标站点的防护底细。
面向 AI 智能体的网页抓取与爬取基础设施,能把网页转成干净的 Markdown,并管理浏览器会话,绕过反爬限制,直接喂给下游模型。
给 AI Agent 用的自托管网页检索与浏览技能:SearXNG 搜索、Camofox 浏览、CloakBrowser 绕过反爬,从源头减少幻觉。
用 Python 配合 Oxylabs 的 Google Jobs Scraper API,同时按多个搜索词和地区抓取 Google 招聘信息,省去自己处理反爬和解析页面的麻烦。
自动获取被 Cloudflare 挑战拦截的网站所下发的 cf_clearance Cookie,方便爬虫绕过验证继续访问。
自托管的网页抓取引擎,能绕过 Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest 等 JS 挑战和验证码,可作为 FlareSolverr、Byparr 的替代品接入 *arr 套件。
批量下载 datanodes.to 和 fuckingfast.co 网盘文件的工具,通过 CDP 驱动真实 Chrome 或纯 HTTP 模拟 Chrome TLS 指纹绕过反爬,支持流式下载、WebView2 界面和无头 CLI。
基于 Playwright 的 MCP 服务器,让 AI Agent 在反检测隐身 Firefox 上浏览网页,绕过反爬和验证码,适合自动化抓取与求职等场景。
每周更新《经济学人》《纽约客》《卫报》等英文杂志的免费下载资源,提供 epub、mobi、pdf 多种格式,方便英语学习者获取原版阅读材料。
Oxylabs Web Scraper API 的 Python 快速上手指南,帮你用免费试用额度快速接入网页抓取接口,省去自己搭代理和反爬的麻烦。
…e 繁體中文 - maintenance 複查上版 11 個無法驗證的連結,區分可讀頁面、登入入口與反爬蟲阻擋,未發現確定失效。三語改用 Arena 現行路徑及 DeepLearning.AI 課程 canonical URL;不把受阻連結改列成功,也不放寬掃描基線。 [來源 1](https://github.com/WenyuChio
…unbook 又禁止把 security check 当成未登录,两条规则叠加把 Agent 推向「反爬滑块」的错误分支。 - 修复: check() 新增第 4 层只读探测 cdp zhipin login cookie() ,用纯标准库 实现的最小 WebSocket 客户端直接问 CDP 浏览器本体( Storage.getCook
…指南(环境要求、使用方法、3 步流程、已知限制、致谢、合规声明)。 - TikTok:增加地区限制、反爬、登录态、语言混合说明 - 微博:增加移动端 UA 伪装、m.weibo.cn 优先说明 - 知乎:增加独立视频 / 问答内嵌 / 专栏三种链接形态 - platform-status.md 自动化 :CI 现在会在每次 push 时用
…没人能配通 - 微博 :依赖一个久未维护的个人 fork,实际已不可用 - 微信公众号 :全文阅读被反爬拦截越来越严重( 339),却还在宣传"零配置可用" 与其展示坏掉的承诺,不如诚实下架。等有可靠的上游方案时它们会回来(v1.4.0 移除 Discord/头条是同样的逻辑)。现在的口径: 13 个平台,6 个真零配置 。 新功能 -