可视化无代码网页爬虫,通过图形界面设计和执行采集任务,让不懂编程的人也能批量抓取网页数据。
用 Elixir 写的高性能网页爬虫和抓取引擎,适合需要并发抓取并保存页面文件的场景。
多线程网页爬虫,递归抓取整站并把每个页面转成 Markdown 文件,为 LLM RAG 准备干净的语料。
一套面向 40 多个热门网站的 Python 爬虫脚本合集,内置代理和反爬绕过能力,省去从零处理验证码与封禁的麻烦。
用 Python 3 从新闻网页里自动抽取正文、标题、作者等元数据,省去自己写解析规则,适合做新闻聚合和内容抓取。
用 Go 写的 Chrome DevTools Protocol 驱动,直接操控浏览器做网页自动化和爬虫,省去手动管理浏览器进程的麻烦。
从网页抓取正文和元数据的 Python 库与命令行工具,支持爬取、解析并导出为 CSV、JSON、Markdown 等格式,适合构建语料库和 RAG 数据。
Go 语言编写的高性能网页爬虫与抓取框架,支持 JS 渲染,适合快速搭建大规模采集任务。
轻量级 Ruby 网页爬虫与抓取库,提供优雅的 DSL,用几行声明式代码就能从页面中提取结构化数据。
Ruby 编写的多功能网页爬虫库,可抓取单个站点、多个域名或指定链接,也能无限爬取,主打快速易用。
基于 Elixir 的高层网页爬取与抓取框架,用并发和容错能力帮你快速搭建爬虫、批量提取网页数据。
从新闻网站批量抓取文章正文、标题和元数据的 Python 库,是 Newspaper3k 的维护分支,适合做新闻语料采集和数据集准备。
用 Python 抓取 Redfin、Realtor 等房产网站的挂牌数据,直接输出结构化表格,省去自己写爬虫和解析页面的麻烦。
每天更新数据的 JavaScript 库,用来生成随机 User-Agent,方便爬虫和浏览器自动化时伪装请求头、降低被识别风险。
用 Python 写的批量获客脚本,让没有编程基础的人也能大规模采集潜在客户线索,内置多种爬虫与解析技巧。