把任意网页抓取并转成干净 Markdown 或结构化数据,直接喂给 LLM 和 AI Agent,省去自己写爬虫和清洗的麻烦。
用一套 API 同时驱动 Chromium、Firefox 和 WebKit 的浏览器自动化与端到端测试框架,适合写跨浏览器测试和网页抓取脚本。
Python 网页抓取框架,从单次请求到大规模爬取都能处理,内置 Playwright 支持,还提供 MCP 服务方便接入 AI 工作流。
Python 的高层网页抓取框架,帮你快速写爬虫,自动处理请求调度、页面解析和数据提取,适合大规模采集任务。
面向 AI 智能体的网页抓取与数据提取爬虫,把网页转成干净的 Markdown 喂给 LLM 和 RAG 流程,支持自托管。
把 Playwright 浏览器自动化能力封装成 MCP 服务器,让 AI Agent 通过结构化接口操控网页、抓取页面内容,无需依赖截图识别。
Go 语言编写的高性能网页抓取与爬虫框架,提供简洁 API 处理请求、解析页面和并发抓取,适合快速搭建采集程序。
用 Rust 写的无头浏览器,专为 AI Agent 和网页抓取设计,自带反检测能力,能绕过网站对自动化浏览器的识别。
用 Zig 从零编写的无头浏览器,专为 AI 和自动化场景设计,兼容 CDP 协议,可替代 Playwright、Puppeteer 驱动网页抓取与 Agent 任务。
用大语言模型驱动的 Python 爬虫,只需描述想抓什么,就能自动完成网页抓取和结构化数据提取,省去手写解析规则。
Node.js/TypeScript 网页抓取与浏览器自动化库,内置代理轮换和反封锁,兼容 Puppeteer、Playwright、Cheerio,可稳定采集数据供 AI、LLM、RAG 使用。
用搜索引擎、网页抓取和大模型做迭代式深度调研的 AI 研究助手,能自动细化研究方向并深入某个主题,代码实现极简,适合快速上手或二次开发。
用大模型把任意网页抓取并转成结构化数据,底层靠 Playwright/Puppeteer 驱动浏览器,适合做网页信息抽取和自动化采集。
用 Go 写的高性能浏览器自动化桥接与多实例编排器,支持反检测注入和实时面板,适合大规模网页抓取与浏览器 Agent 调度。
基于 CDP 直接控制 Chromium 浏览器的自动化库,无需 WebDriver,能模拟真实用户交互并规避反爬检测,适合做网页抓取和自动化测试。
Firecrawl 官方 MCP 服务器,让 AI Agent 通过 MCP 客户端搜索、抓取网页并提取正文,支持批量处理、爬取、站点地图和监控。
Python 网页抓取与浏览器自动化库,支持 Playwright、BeautifulSoup 和原始 HTTP,自带代理轮换,方便为 AI、LLM、RAG 稳定采集网页数据。
一条命令行就能让 AI 智能体读取和搜索 Twitter、Reddit、YouTube、GitHub、B站、小红书等平台内容,不用付任何 API 费用。
用 jQuery 风格的语法在服务端解析和操作 HTML/XML,写爬虫时提取页面数据比正则和原生 DOM 顺手得多。
用 TypeScript 写的浏览器 Agent SDK,让 AI 能操作网页、抓取任意站点数据,支持 Playwright、CDP 和云端浏览器。
直接从 GitHub、GitLab 等发布源获取 Android 应用更新,绕过应用商店,适合追踪开源 APK 的最新版本。
一个能自主完成深度调研的智能体,可接入任意 LLM 提供商,自动搜索、抓取网页并汇总成研究报告。
用 Rust 打造的无头浏览器,主打轻量、快速、高兼容,专为 AI Agent 的网页操作与自动化任务设计。
用大模型驱动浏览器自动完成网页操作流程,无需写死选择器,适合抓取、填表等重复性网页任务。
把 Apify Store 上数千个现成爬虫和自动化工具封装成 MCP 服务,让 AI Agent 直接抓取社交媒体、搜索引擎、地图和电商网站的数据。
给一个示例 URL,自动学习网页结构并生成抓取规则,省去手写解析逻辑,适合快速采集相似页面的数据。
把任意网站变成结构化 API,无需写代码就能抓取、自动化、搜索和监控网页数据,适合做数据采集和 RPA 场景。
用 Python 写的开源深度研究工具,能对私有数据做推理式检索,替代闭源深度研究方案,支持接入 Milvus 和多种大模型。
一个面向人类的 Node.js 网页抓取库,用简洁的链式配置从 HTML 中提取结构化数据,省去手写选择器解析的麻烦。
一条命令就能从 Google 图片批量抓取几百张图片,支持按颜色、尺寸等条件筛选,适合快速搭建图像数据集。
用 LLM 驱动的网页抓取工具,支持 OpenAI、Gemini 和 Ollama,能按自然语言指令从网页中提取结构化数据,省去手写解析规则。
开箱即用的浏览器沙箱 API,让 AI Agent 和应用直接调用无头浏览器完成网页自动化,省去自建基础设施的麻烦。
从网页抓取正文和元数据的 Python 库与命令行工具,支持爬取、解析并导出为 CSV、JSON、Markdown 等格式,适合构建语料库和 RAG 数据。
自托管的网页抓取 API,能把任意网站转成干净的 Markdown 或结构化 JSON,自带反检测浏览器和代理自动选择,一条 make up 命令即可启动。
基于 Modest 和 Lexbor 引擎的 Python HTML5 解析库,解析速度快,支持 CSS 选择器,适合网页抓取时高效提取页面数据。
基于 Playwright 的隐身无头 Firefox,保持原有 API 不变,通过伪造指纹绕过 Cloudflare、Akamai 等反爬检测,避免触发验证码,适合网页抓取和浏览器自动化。
基于 Chrome DevTools 协议的异步网页抓取与自动化框架,能绕过 Cloudflare 等反爬检测,适合需要隐蔽采集的场景。
把网页抓取下来,转成排版干净的 PDF、EPUB、HTML 或 Markdown 文档,适合离线阅读和归档。
用 Scala 写网页抓取时,它提供一套简洁的 DSL 来解析 HTML、提取内容,省去手写解析逻辑的麻烦。
用 Java 调用 Chrome 和 Firefox 无头浏览器的 API,方便做网页抓取和自动化操作,省去自己封装浏览器协议。
…。 - 社区修复。 含 Unicode 行分隔符或换页符的行在 diff 里不再被拆开( 253);网页抓取会拒绝经 NAT64 或 IPv4 兼容 IPv6 地址访问内网( 254);危险命令筛查也能识别 /bin/rm -rf / 这类绝对路径写法( 255);项目放在名为 build 或 venv 的目录下时, glob 也能找到文
…不通过的问题,保障 AI 应用正常调用业务工具。 - 优化 AI 应用知识库、记忆库、MCP 搜索、网页抓取及模型异常提示。 - 优化 AI 会话与流程运行稳定性,修复会话闲置后首次提问卡顿、停止输出报错、子流程参数及结果传递异常、MCP 调用后无法继续对话等问题。 - AI Flow 新增当前登录用户信息节点,知识库写入节点支持文件写入