面向 AI 智能体的网页抓取与数据提取爬虫,把网页转成干净的 Markdown 喂给 LLM 和 RAG 流程,支持自托管。
用大语言模型驱动的 Python 爬虫,只需描述想抓什么,就能自动完成网页抓取和结构化数据提取,省去手写解析规则。
把任意网页抓取并转成干净 Markdown 或结构化数据,直接喂给 LLM 和 AI Agent,省去自己写爬虫和清洗的麻烦。
Python 网页抓取框架,从单次请求到大规模爬取都能处理,内置 Playwright 支持,还提供 MCP 服务方便接入 AI 工作流。
Python 的高层网页抓取框架,帮你快速写爬虫,自动处理请求调度、页面解析和数据提取,适合大规模采集任务。
用 TypeScript 写的浏览器 Agent SDK,让 AI 能操作网页、抓取任意站点数据,支持 Playwright、CDP 和云端浏览器。
把任意网站变成结构化 API,无需写代码就能抓取、自动化、搜索和监控网页数据,适合做数据采集和 RPA 场景。
用陀螺仪数据做视频防抖,支持 GoPro、Insta360、索尼等相机,还能校正卷帘快门畸变,适合 FPV 和运动相机素材后期稳定。
从 PDF 学术论文中自动抽取标题、作者、参考文献等结构化元数据的机器学习工具,支持全文解析与引文提取。
多语言文档智能解析引擎,能从 100 多种格式中提取文本、表格和元数据,并支持 OCR、语音转写和代码理解,适合为 RAG 流程准备高质量数据。
…更加的简单。 完全重写了和mpv.exe通信的代码,现在代码标准的多。 优化了和mpv.exe通信和数据提取的代码,现在正确的放入子线程处理,减轻主线程负担,减少操作卡顿。 改进了和mpv.exe通信的代码,现在代码不会造成2个线程对同一个变量进行并发竞态读写,从而避免程序启动一段时间后随机崩溃的问题。 仿高斯模糊改进,现在使用了完全重写
…修复数据包含非法字符导致报错的问题 8. 修复搜索接口关键词编码错误的问题 9. 优化视频作品分辨率数据提取逻辑 10. 修复提取下载地址失败时程序异常 11. 重构静态封面下载地址提取逻辑 12. 优化 latest 参数设置规则 13. 新增批量下载视频原画功能 14. 新增实况作品处理数量统计 15. 新增 TikTok 直播下载功
…width=60% 3. 加速 :对于循环提取数据的操作,如果没有额外的如执行JS,下载图片等操作,数据提取的速度将会得到极大的提升。 4. 用eval功能动态修改XPath和代码片段 :在任意的XPath,JavaScript代码片段中,均可以使用 eval("表达式值") 来直接表示python环境中的表达式,无需用自定义操作储存变量