抖音和 TikTok 作品下载与数据采集工具,支持批量抓取视频、评论等数据并导出 CSV,可通过 Docker 部署。
自托管的抖音、TikTok、B站数据采集与无水印视频下载 API,提供异步 REST 接口、MCP 服务、CLI 和网页控制台,支持离线语音转文字,Docker 一键部署。
可视化无代码网页爬虫,通过图形界面设计和执行采集任务,让不懂编程的人也能批量抓取网页数据。
用 Python 从 Instagram 批量下载图片、视频、配文和元数据,支持帖子、快照和用户主页,适合做数据采集和存档。
Python 的高层网页抓取框架,帮你快速写爬虫,自动处理请求调度、页面解析和数据提取,适合大规模采集任务。
Go 语言编写的高性能网页抓取与爬虫框架,提供简洁 API 处理请求、解析页面和并发抓取,适合快速搭建采集程序。
开源手机智能体模型与框架,让 AI 直接操作手机界面完成点按、输入等任务,把「AI 手机」能力开放给所有人。
开箱即用的通用验证码识别 OCR 库,Python 直接 pip 安装即可调用,省去自己训练模型和搭环境的麻烦。
把 Apify Store 上数千个现成爬虫和自动化工具封装成 MCP 服务,让 AI Agent 直接抓取社交媒体、搜索引擎、地图和电商网站的数据。
把任意网站变成结构化 API,无需写代码就能抓取、自动化、搜索和监控网页数据,适合做数据采集和 RPA 场景。
OpenTelemetry 的可观测性数据收集器,统一接收、处理和导出指标、日志、链路等遥测数据,帮你在不同后端之间解耦采集与上报。
基于 MCP 协议的 Exa 搜索服务,让 AI 助手直接调用网页搜索与爬取能力,为 Agent 提供实时联网检索。
每天自动更新免费 HTTP、HTTPS 和 SOCKS 代理列表,方便做匿名访问、爬虫或网络测试时直接取用可用代理。
从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册,覆盖微调、评估与 ML 系统设计。
…ollection to process management / 进程管理新增面板主服务诊断与性能数据采集功能 by @ssongliu in https://github.com/1Panel-dev/1Panel/pull/13852 ⚙️ Enhancements / 功能优化 Containers: Improved conta
- 优化功能 - 修复评论数据采集不到问题 - 增量解析优化解析方式,尽量减少风控风险
…. 优化 run command 参数功能 15. 新增实况/动图作品下载功能 16. 恢复作品评论数据采集功能 17. 恢复账号详细数据采集功能 18. 恢复搜索结果数据采集功能 19. 优化作品文件名称处理逻辑 20. 优化文件名称非法字符处理 21. 重构视频下载地址提取逻辑 22. 优化 earliest 参数设置规则 23. 适
… TikTok 直播视频下载功能 8. 新增 TikTok 合集作品下载功能 9. 暂时禁用抖音评论数据采集功能 10. 暂时移除抖音账号数据采集功能 11. 暂时移除抖音搜索数据采集功能 12. 优化抖音图集下载链接提取逻辑 13. 使用 HTTPX 替代 AIOHTTP 14. 更新项目映射数据储存位置 15. 更新作品下载记录储存位
…素XPath处写:point(10, 10)表示点击网页坐标(10, 10)。 31. 可选择是否在数据采集完成后 去除重复数据 ,注意此功能需要等到任务结束时执行,因此执行任务中途退出将无法进行去重!!! 32. 可在不固定循环列表/固定循环列表/文本列表/网址列表循环中,设置 跳过前n次循环 ,适用于任务中途断开不想从头开始任务的场景