可视化无代码网页爬虫,通过图形界面设计和执行采集任务,让不懂编程的人也能批量抓取网页数据。
一站式爬虫工具箱,能自动抓取并导出 GitHub、邮箱、电商、运营商、社交平台等几十个网站的个人数据,帮用户把散落各处的数据拿回自己手里。
给一个示例 URL,自动学习网页结构并生成抓取规则,省去手写解析逻辑,适合快速采集相似页面的数据。
用 Flask + Redis 搭建的代理池,自动从多个来源抓取免费代理并持续检测可用性,通过 HTTP 接口给爬虫提供稳定可用的代理 IP。
提供 Python API 访问禁漫天堂,支持网页端和移动端,可配合 GitHub Actions 自动下载漫画。
Python 的高层网页抓取框架,帮你快速写爬虫,自动处理请求调度、页面解析和数据提取,适合大规模采集任务。
Python 写的代理池服务,自动抓取、校验并维护可用代理,通过 Redis 存储,给爬虫提供稳定的 HTTP 代理来源。
把任意网页抓取并转成干净 Markdown 或结构化数据,直接喂给 LLM 和 AI Agent,省去自己写爬虫和清洗的麻烦。
Python 网页抓取框架,从单次请求到大规模爬取都能处理,内置 Playwright 支持,还提供 MCP 服务方便接入 AI 工作流。
用 jQuery 风格的语法在服务端解析和操作 HTML/XML,写爬虫时提取页面数据比正则和原生 DOM 顺手得多。
Go 语言编写的高性能网页抓取与爬虫框架,提供简洁 API 处理请求、解析页面和并发抓取,适合快速搭建采集程序。
把 Apify Store 上数千个现成爬虫和自动化工具封装成 MCP 服务,让 AI Agent 直接抓取社交媒体、搜索引擎、地图和电商网站的数据。
用大语言模型驱动的 Python 爬虫,只需描述想抓什么,就能自动完成网页抓取和结构化数据提取,省去手写解析规则。
功能丰富的命令行音视频下载器,支持从 YouTube 等大量网站抓取视频和音频,还能调用 SponsorBlock 自动跳过广告片段。
命令行图片批量下载器,支持 Pixiv、Twitter、DeviantArt、Danbooru 等几十个图站,一条命令就能把画师主页或标签下的图集整批抓下来。
Node.js/TypeScript 网页抓取与浏览器自动化库,内置代理轮换和反封锁,兼容 Puppeteer、Playwright、Cheerio,可稳定采集数据供 AI、LLM、RAG 使用。
用 Python 3 从新闻网页里自动抽取正文、标题、作者等元数据,省去自己写解析规则,适合做新闻聚合和内容抓取。
一个基于 Chromium 的代理服务器,自动处理 Cloudflare 的浏览器验证,让爬虫和自动化脚本能顺利访问被防护的网站。
面向 AI 智能体的网页抓取与数据提取爬虫,把网页转成干净的 Markdown 喂给 LLM 和 RAG 流程,支持自托管。
用 Node.js 把任意网站的完整源码连同 JS、CSS、图片等资源一起抓下来,方便离线保存或本地研究页面结构。
把任意网站变成结构化 API,无需写代码就能抓取、自动化、搜索和监控网页数据,适合做数据采集和 RPA 场景。
用 Go 写的 Chrome DevTools Protocol 驱动,直接操控浏览器做网页自动化和爬虫,省去手动管理浏览器进程的麻烦。
聚合多平台热点与 RSS 订阅,用 AI 做关键词筛选、翻译和简报分析,并通过微信、飞书、钉钉等渠道推送到手机,帮你摆脱信息过载。
Python 网页抓取与浏览器自动化库,支持 Playwright、BeautifulSoup 和原始 HTTP,自带代理轮换,方便为 AI、LLM、RAG 稳定采集网页数据。
云原生 Web 应用防火墙,基于 Nginx 和 ModSecurity,开箱即用地为容器与 Kubernetes 环境提供反爬虫、DNSBL、Let's Encrypt 等安全防护。
开箱即用的 Python 财经数据接口库,一行代码就能拉取股票、债券、期货、外汇和宏观经济等公开数据,省去到处爬数据、清洗数据的麻烦。
面向 OPC 和中小微企业的自媒体获客智能体,用多智能体协作自动完成内容抓取、RPA 操作和营销获客流程。
自托管的抖音、TikTok、B站数据采集与无水印视频下载 API,提供异步 REST 接口、MCP 服务、CLI 和网页控制台,支持离线语音转文字,Docker 一键部署。
一条命令就能从 Google 图片批量抓取几百张图片,支持按颜色、尺寸等条件筛选,适合快速搭建图像数据集。
每天自动更新免费 HTTP、HTTPS 和 SOCKS 代理列表,方便做匿名访问、爬虫或网络测试时直接取用可用代理。
用一套 API 同时驱动 Chromium、Firefox 和 WebKit 的浏览器自动化与端到端测试框架,适合写跨浏览器测试和网页抓取脚本。
用声明式 DSL 描述网页数据抽取流程,由 Go 运行时执行,省去手写爬虫脚本,适合结构化抓取和浏览器自动化。
用 Rust 写的无头浏览器,专为 AI Agent 和网页抓取设计,自带反检测能力,能绕过网站对自动化浏览器的识别。
Shannon 是一款 AI 渗透测试工具,能分析 Web 应用和 API 的源码、定位攻击面,并在上线前实际执行漏洞利用来验证风险。
抖音和 TikTok 作品下载与数据采集工具,支持批量抓取视频、评论等数据并导出 CSV,可通过 Docker 部署。
定制版 Selenium Chromedriver,开箱即用,能绕过 CloudFlare、Distil、Imperva 等主流反爬和机器人检测系统,适合做浏览器自动化时被拦截的场景。
在任意网址前加上 https://r.jina.ai/ 前缀,就能把网页转成适合大模型读取的干净文本,省去自己写爬虫和清洗正文的麻烦。
从小红书链接中提取作品信息并批量采集下载,支持 Docker 部署和 API 调用,方便做内容归档或数据分析。
递归式互联网扫描器,面向渗透测试和漏洞赏金场景,自动完成资产发现、攻击面管理与 OSINT 信息收集。