Go 语言编写的高性能网页抓取与爬虫框架,提供简洁 API 处理请求、解析页面和并发抓取,适合快速搭建采集程序。
一个能自主完成深度调研的智能体,可接入任意 LLM 提供商,自动搜索、抓取网页并汇总成研究报告。
从网页抓取正文和元数据的 Python 库与命令行工具,支持爬取、解析并导出为 CSV、JSON、Markdown 等格式,适合构建语料库和 RAG 数据。
面向 AI 场景的命令行网页抓取工具,可并行运行,把网页内容转成高质量 Markdown,方便喂给大模型或做知识库。