连接与传输
共 37 个仓库 · 近 4 个月有推送 · Python
Python 的高层网页抓取框架，帮你快速写爬虫，自动处理请求调度、页面解析和数据提取，适合大规模采集任务。
汇总 ngrok、Cloudflare Tunnel、Tailscale、ZeroTier 等内网穿透与隧道方案的开源清单，重点收录可自托管的替代工具，方便按需选型。
自动为 Docker 容器生成 Nginx 反向代理配置，容器启停时无需手动改配置，适合多容器部署场景。
用 Python 3 从新闻网页里自动抽取正文、标题、作者等元数据，省去自己写解析规则，适合做新闻聚合和内容抓取。
Python 网页抓取与浏览器自动化库，支持 Playwright、BeautifulSoup 和原始 HTTP，自带代理轮换，方便为 AI、LLM、RAG 稳定采集网页数据。
给一个示例 URL，自动学习网页结构并生成抓取规则，省去手写解析逻辑，适合快速采集相似页面的数据。
基于 Django、Vue 和 Go 构建的远程监控与管理平台，可集中管理终端设备，执行远程桌面、脚本下发和自动化运维。
用 LLM 驱动的网页抓取工具，支持 OpenAI、Gemini 和 Ollama，能按自然语言指令从网页中提取结构化数据，省去手写解析规则。
把 X11 应用变成可断线重连的远程应用，支持屏幕共享和远程桌面，兼容 macOS 与 Windows 客户端。
用 Python 库和命令行抓取 X/Twitter 推文，支持多账号轮换和内置限流处理，解决大规模采集时账号被封或触发频率限制的问题。
输入邮箱即可在 5000+ 平台做 OSINT 排查，聚合身份线索并检测泄露记录，无需 API key，pip 装完就能用。
基于 Modest 和 Lexbor 引擎的 Python HTML5 解析库，解析速度快，支持 CSS 选择器，适合网页抓取时高效提取页面数据。
一个注重隐私的 Python HTTP 客户端，能模拟浏览器 TLS/HTTP2 指纹（JA3/JA4、Akamai），帮爬虫绕过反爬检测。
非官方的 Finviz 数据接口，用 Python 抓取股票筛选器、图表和 CSV 数据，省去自己写爬虫解析网页的麻烦。
用 Python 抓取和管理 IMDb 电影、演员与角色数据的工具包，方便做影视资料查询和数据集构建。
从新闻网站批量抓取文章正文、标题和元数据的 Python 库，是 Newspaper3k 的维护分支，适合做新闻语料采集和数据集准备。
一套面向 40 多个热门网站的 Python 爬虫脚本合集，内置代理和反爬绕过能力，省去从零处理验证码与封禁的麻烦。
匿名查看 Instagram 私密账号帖子的命令行工具，面向 OSINT 调查场景，无需登录或关注即可获取受限内容。
无需登录或 API Key 就能抓取 X/Twitter 的推文、回复、时间线和长文，给 AI Agent 和自动化流程提供数据来源。
把 Scrapy 爬虫包装成 HTTP API，让其他语言或服务能远程触发爬虫并实时拿到抓取结果，省去自己搭调度和传输层。
开放的国际制裁名单、关注人物和政治敏感人物数据库，供尽职调查、调查报道和反洗钱核查使用。
把任意网站抓取打包成 ZIM 离线文件，配合 Kiwix 就能在无网络环境下浏览完整站点。
从 Instagram、Twitch、TikTok、LinkedIn 抓取用户主页，提取简介里的邮箱并用 SMTP 验证有效性，最后导出 CSV，适合做免费线索挖掘。
整理 Twitter 内部 GraphQL 接口的非官方文档，方便开发者查阅未公开的 API 端点与参数，用于数据抓取和逆向分析。