用 jQuery 风格的语法在服务端解析和操作 HTML/XML,写爬虫时提取页面数据比正则和原生 DOM 顺手得多。
把 PDF、DOCX、HTML 等文档解析成结构化 Markdown 或 JSON,方便喂给大模型和 RAG 流程。
把任意网页抓取并转成干净 Markdown 或结构化数据,直接喂给 LLM 和 AI Agent,省去自己写爬虫和清洗的麻烦。
把 PDF 解析成带坐标信息的 JSON、Markdown 或 HTML,方便喂给 RAG 和 AI 流程,同时自动生成无障碍标签。
字节跳动开源的 HTML5 视频播放器,内置流媒体解析能力,支持 HLS、DASH、FLV 等格式,通过按需解析节省流量。
开源的 RAG 文档问答工具,上传文档后即可用大模型对话检索,快速搭建私有知识库问答。
用 Python 3 从新闻网页里自动抽取正文、标题、作者等元数据,省去自己写解析规则,适合做新闻聚合和内容抓取。
把持续不断的内容流变成可搜索、可监控的知识库,支持持久化摄取、混合检索、告警,以及格式、模型和业务规则插件。
在终端里用 curl 一行命令查天气,返回带 ASCII 艺术图标的天气预报,适合命令行用户和脚本调用。
把网页直接当像素图像来检索的 RAG 引擎,跳过 HTML 解析,靠视觉语言模型做原生搜索,适合构建多模态 Agent 的长期记忆。
能识别复杂表格、表单和手写内容的 OCR 模型,保留完整版面布局,适合把扫描件和图片转成结构化文本喂给 RAG 或文档解析流程。
批量下载微信公众号文章,支持评论、合集,可导出为 html/mhtml/md/pdf/docx/csv,并保存文中图片、视频、音频,还能通过 MCP/Skill 调用。
从网页抓取正文和元数据的 Python 库与命令行工具,支持爬取、解析并导出为 CSV、JSON、Markdown 等格式,适合构建语料库和 RAG 数据。
Go 语言编写的高性能网页抓取与爬虫框架,提供简洁 API 处理请求、解析页面和并发抓取,适合快速搭建采集程序。
纯 PHP 实现的 Word 文档读写库,无需 Office 环境即可生成和解析 docx、odt、rtf 等格式,适合在服务端批量导出报表或合同。
开源的 ML 与 LLM 可观测性框架,用 100+ 指标评估、测试并监控表格数据到生成式 AI 的数据管道与模型表现。
用 Rust 打造的无头浏览器,主打轻量、快速、高兼容,专为 AI Agent 的网页操作与自动化任务设计。
用 Rust 引擎扫描源码里的复制粘贴和重复代码,支持 220 多种语言,能输出 SARIF、HTML 和徽章报告,还提供 GitHub Action 与给 AI 代理用的 MCP 服务。
把 PDF、DOCX、图片等复杂文档解析成干净结构化数据,方便喂给语言模型做 RAG 和检索。
Python 网页抓取与浏览器自动化库,支持 Playwright、BeautifulSoup 和原始 HTTP,自带代理轮换,方便为 AI、LLM、RAG 稳定采集网页数据。
把任意网站变成结构化 API,无需写代码就能抓取、自动化、搜索和监控网页数据,适合做数据采集和 RPA 场景。
用声明式 DSL 描述网页数据抽取流程,由 Go 运行时执行,省去手写爬虫脚本,适合结构化抓取和浏览器自动化。
DIO 出品的 GitHub 开源贡献实操练习仓库,带你走一遍 fork、提交 PR 的完整流程,适合新手第一次参与开源项目。
把各类 BT 种子站统一封装成 Newznab/Torznab API,供 Sonarr、Radarr、Lidarr 等自动化下载工具直接检索和订阅资源。
给一个示例 URL,自动学习网页结构并生成抓取规则,省去手写解析逻辑,适合快速采集相似页面的数据。
用 TypeScript 写的浏览器 Agent SDK,让 AI 能操作网页、抓取任意站点数据,支持 Playwright、CDP 和云端浏览器。
直接从 GitHub、GitLab 等发布源获取 Android 应用更新,绕过应用商店,适合追踪开源 APK 的最新版本。
命令行图片批量下载器,支持 Pixiv、Twitter、DeviantArt、Danbooru 等几十个图站,一条命令就能把画师主页或标签下的图集整批抓下来。
基于插件架构的所见即所得 Markdown 编辑器框架,底层用 ProseMirror 和 remark 解析渲染,方便在网页里嵌入可扩展的富文本编辑能力。
Firecrawl 官方 MCP 服务器,让 AI Agent 通过 MCP 客户端搜索、抓取网页并提取正文,支持批量处理、爬取、站点地图和监控。
收集系统编程、计算机科学等领域的技术论文、规范、手册和演示文稿 PDF,并提供在线浏览与搜索入口,方便按主题查找硬核技术资料。
用 Pandoc 把 Markdown 转成排版精美的 PDF 或 LaTeX 的模板,基于 KOMA-Script,开箱即用,省去自己调 LaTeX 样式的麻烦。
从 Google Drive 下载公开文件的小工具,curl/wget 搞不定大文件或病毒扫描提示时用它,一条命令就能拿到文件。
…助 : 大纲可识别带格式和重音字符的章节标题,以及通过宏定义的分节命令。支持将网页或文档中的结构化 HTML 粘贴为 LaTeX,并用不同主题颜色区分命令用途;图形改为直接编辑源码,移除独立 TikZ 编辑器。([bd42dc33a](https://github.com/poco-ai/Agentero/commit/bd42dc33a
…隔行斑马纹、阅读模式纸张阴影与字号/列宽对齐。 - PDF 原生书签大纲(Outline)、富文本 HTML 粘贴与上下标语法( 515, 308, 284) :导出 PDF 时自动提取 H1 – H6 生成 PDF 阅读器左侧原生可折叠书签大纲(macOS 原生 PDFKit + 跨平台 jsPDF.outline );网页/Word/
… 1272),请求日志的周期维护也真正按时运行了( 1274)。 6. 安全与脱敏 两种 JSON 解析器会读出不同结果的请求体(重复键、非标准 JSON 等),在推理入口一律回 400( 1267)。 脱敏改动( 1260): 读不到脱敏设置时沿用上次读到的设置,不再当作关闭; 工具数据和工具描述也会被遮; 新共享的账号立即隐藏。 结构
….0 MinerU 4.2.0 重点升级 WebUI 交互与结果溯源,改善复杂 PDF、公式和表格的解析质量,并完善设备选择、模型缓存、服务管理与输入安全。以下为相对 4.1.0 的累计更新,包含 4.1.x 期间已发布的改进。 WebUI 交互与结果溯源 - 新增原文与结果双向定位 :点击 PDF 或图片中的区域,即可定位并高亮对应的解
…yuehua-meng。 修复 - 长思考渲染 ( 1858):思考块流式输出时不再每个增量都整块重解析,界面不再卡顿,流式期间粘贴图片附件卡会立即出现;带表头的表格、嵌套引用链接和四反引号代码块在流式全程保持正确,结束后渲染与整块解析一致。 - 跨会话消息串台 ( 1843):并发工具或子 Agent 产生重复消息编号时,切换会话不再把
…INE 适配器(旧版标记为 legacy)、Slack 线程、公众号自动模式主动发送、QQ 官方表情解析;新增 NVIDIA NIM 与 MiniMax 发现/推理回放。Native event-based LINE adapter, Slack threads, Official Account proactive sends, QQ