连接与传输
共 51 个仓库 · Python
Python 的高层网页抓取框架，帮你快速写爬虫，自动处理请求调度、页面解析和数据提取，适合大规模采集任务。
汇总 ngrok、Cloudflare Tunnel、Tailscale、ZeroTier 等内网穿透与隧道方案的开源清单，重点收录可自托管的替代工具，方便按需选型。
自动为 Docker 容器生成 Nginx 反向代理配置，容器启停时无需手动改配置，适合多容器部署场景。
用 Python 3 从新闻网页里自动抽取正文、标题、作者等元数据，省去自己写解析规则，适合做新闻聚合和内容抓取。
Python 网页抓取与浏览器自动化库，支持 Playwright、BeautifulSoup 和原始 HTTP，自带代理轮换，方便为 AI、LLM、RAG 稳定采集网页数据。
给一个示例 URL，自动学习网页结构并生成抓取规则，省去手写解析逻辑，适合快速采集相似页面的数据。
无需 API Key 即可抓取 Twitter 数据的 Python 库，直接调用 Twitter 内部接口，支持发推、搜索、爬取用户信息，还能做机器人。
用 Python 抓取 LinkedIn 用户和公司公开数据的爬虫库，基于 Chrome/Firefox 驱动模拟浏览，适合做招聘信息或人脉数据采集。
基于 Django、Vue 和 Go 构建的远程监控与管理平台，可集中管理终端设备，执行远程桌面、脚本下发和自动化运维。
Movie metadata scraper
用 LLM 驱动的网页抓取工具，支持 OpenAI、Gemini 和 Ollama，能按自然语言指令从网页中提取结构化数据，省去手写解析规则。
用网页抓取和自动化脚本自动搜集 Udemy 免费优惠券，并批量注册付费课程，省去手动找券和报名的麻烦。
把 X11 应用变成可断线重连的远程应用，支持屏幕共享和远程桌面，兼容 macOS 与 Windows 客户端。
用 Python 库和命令行抓取 X/Twitter 推文，支持多账号轮换和内置限流处理，解决大规模采集时账号被封或触发频率限制的问题。
用 Python 配合 Oxylabs SERP API 抓取 Google Trends 数据，提取关键词热度、地区分布和相关查询，并做结果对比。
Scrape job websites into a single spreadsheet with no duplicates.
用 Python 配合 Oxylabs 的 Google Jobs Scraper API，同时按多个搜索词和地区抓取 Google 招聘信息，省去自己处理反爬和解析页面的麻烦。
输入邮箱即可在 5000+ 平台做 OSINT 排查，聚合身份线索并检测泄露记录，无需 API key，pip 装完就能用。
抓取 Google Play 上应用、游戏、影视和图书的公开信息，比如评分、评论和详情，省去自己解析页面。
基于 Modest 和 Lexbor 引擎的 Python HTML5 解析库，解析速度快，支持 CSS 选择器，适合网页抓取时高效提取页面数据。
用 Python 写的 Telegram 监控机器人，能批量监听群组和频道消息，适合做舆情追踪或加密货币相关情报收集。
一个注重隐私的 Python HTTP 客户端，能模拟浏览器 TLS/HTTP2 指纹（JA3/JA4、Akamai），帮爬虫绕过反爬检测。
非官方的 Finviz 数据接口，用 Python 抓取股票筛选器、图表和 CSV 数据，省去自己写爬虫解析网页的麻烦。
用 Python 抓取和管理 IMDb 电影、演员与角色数据的工具包，方便做影视资料查询和数据集构建。