可视化无代码网页爬虫,通过图形界面设计和执行采集任务,让不懂编程的人也能批量抓取网页数据。
用 Flask + Redis 搭建的代理池,自动从多个来源抓取免费代理并持续检测可用性,通过 HTTP 接口给爬虫提供稳定可用的代理 IP。
提供 Python API 访问禁漫天堂,支持网页端和移动端,可配合 GitHub Actions 自动下载漫画。
Python 的高层网页抓取框架,帮你快速写爬虫,自动处理请求调度、页面解析和数据提取,适合大规模采集任务。
Python 写的代理池服务,自动抓取、校验并维护可用代理,通过 Redis 存储,给爬虫提供稳定的 HTTP 代理来源。
Python 网页抓取框架,从单次请求到大规模爬取都能处理,内置 Playwright 支持,还提供 MCP 服务方便接入 AI 工作流。
用 jQuery 风格的语法在服务端解析和操作 HTML/XML,写爬虫时提取页面数据比正则和原生 DOM 顺手得多。
把 Apify Store 上数千个现成爬虫和自动化工具封装成 MCP 服务,让 AI Agent 直接抓取社交媒体、搜索引擎、地图和电商网站的数据。
命令行图片批量下载器,支持 Pixiv、Twitter、DeviantArt、Danbooru 等几十个图站,一条命令就能把画师主页或标签下的图集整批抓下来。
功能丰富的命令行音视频下载器,支持从 YouTube 等大量网站抓取视频和音频,还能调用 SponsorBlock 自动跳过广告片段。
用大语言模型驱动的 Python 爬虫,只需描述想抓什么,就能自动完成网页抓取和结构化数据提取,省去手写解析规则。
一个基于 Chromium 的代理服务器,自动处理 Cloudflare 的浏览器验证,让爬虫和自动化脚本能顺利访问被防护的网站。
面向 AI 智能体的网页抓取与数据提取爬虫,把网页转成干净的 Markdown 喂给 LLM 和 RAG 流程,支持自托管。
用 Node.js 把任意网站的完整源码连同 JS、CSS、图片等资源一起抓下来,方便离线保存或本地研究页面结构。
把任意网站变成结构化 API,无需写代码就能抓取、自动化、搜索和监控网页数据,适合做数据采集和 RPA 场景。
自托管的抖音、TikTok、B站数据采集与无水印视频下载 API,提供异步 REST 接口、MCP 服务、CLI 和网页控制台,支持离线语音转文字,Docker 一键部署。
聚合多平台热点与 RSS 订阅,用 AI 做关键词筛选、翻译和简报分析,并通过微信、飞书、钉钉等渠道推送到手机,帮你摆脱信息过载。
云原生 Web 应用防火墙,基于 Nginx 和 ModSecurity,开箱即用地为容器与 Kubernetes 环境提供反爬虫、DNSBL、Let's Encrypt 等安全防护。
开箱即用的 Python 财经数据接口库,一行代码就能拉取股票、债券、期货、外汇和宏观经济等公开数据,省去到处爬数据、清洗数据的麻烦。
一条命令就能从 Google 图片批量抓取几百张图片,支持按颜色、尺寸等条件筛选,适合快速搭建图像数据集。
把 VPN 客户端塞进轻量 Docker 容器,统一支持多家 VPN 服务商,内置 OpenVPN/WireGuard、DNS over TLS 和代理服务器,方便容器流量安全出网。
在任意网址前加上 https://r.jina.ai/ 前缀,就能把网页转成适合大模型读取的干净文本,省去自己写爬虫和清洗正文的麻烦。
用声明式 DSL 描述网页数据抽取流程,由 Go 运行时执行,省去手写爬虫脚本,适合结构化抓取和浏览器自动化。
抖音和 TikTok 作品下载与数据采集工具,支持批量抓取视频、评论等数据并导出 CSV,可通过 Docker 部署。
Shannon 是一款 AI 渗透测试工具,能分析 Web 应用和 API 的源码、定位攻击面,并在上线前实际执行漏洞利用来验证风险。
基于 MCP 协议的 Exa 搜索服务,让 AI 助手直接调用网页搜索与爬取能力,为 Agent 提供实时联网检索。
定制版 Selenium Chromedriver,开箱即用,能绕过 CloudFlare、Distil、Imperva 等主流反爬和机器人检测系统,适合做浏览器自动化时被拦截的场景。
从小红书链接中提取作品信息并批量采集下载,支持 Docker 部署和 API 调用,方便做内容归档或数据分析。
本地部署的 NotebookLM 替代品,AI 智能体能自动检索、改写和编辑你的文档,数据不出内网,适合对隐私敏感的研究场景。
给 Claude 用的免费 SEO MCP 服务器和开源技能包,能基于真实的 GSC、GA4 和广告数据做关键词研究、排名追踪、站点审计、外链分析,还能看 AI 搜索里的曝光情况。
浏览器端自动验证码破解插件,能识别并绕过 reCAPTCHA、Cloudflare Turnstile、Arkose 等主流验证码,配合 Selenium、Puppeteer、Playwright 做自动化抓取。