OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「LinkedIn 爬虫」找到 74 个结果 · 35ms命中词:爬虫linkedinlinkedcrawlerscraperscraping只看有点评
E
EasySpider
NaiboWang·JavaScript

可视化无代码网页爬虫,通过图形界面设计和执行采集任务,让不懂编程的人也能批量抓取网页数据。

可视化爬虫+4
447810—
NaiboWang/EasySpider · 37.52
A
autoscraper
alirezamika·Python

给一个示例 URL,自动学习网页结构并生成抓取规则,省去手写解析逻辑,适合快速采集相似页面的数据。

网页抓取+3
80840—
alirezamika/autoscraper · 34.68
J
JMComic-Crawler-Python
hect0x7·Python

提供 Python API 访问禁漫天堂,支持网页端和移动端,可配合 GitHub Actions 自动下载漫画。

漫画下载器+4
79890—
hect0x7/JMComic-Crawler-Python · 34.03
P
ProxyPool
Python3WebSpider·Python

用 Flask + Redis 搭建的代理池,自动从多个来源抓取免费代理并持续检测可用性,通过 HTTP 接口给爬虫提供稳定可用的代理 IP。

代理池+4
62600—
Python3WebSpider/ProxyPool · 33.99
I
InfoSpider
kangvcar·Python

一站式爬虫工具箱,能自动抓取并导出 GitHub、邮箱、电商、运营商、社交平台等几十个网站的个人数据,帮用户把散落各处的数据拿回自己手里。

数据导出+4
82690—
kangvcar/InfoSpider · 33.41
L
llm-scraper
mishushakov·TypeScript

用大模型把任意网页抓取并转成结构化数据,底层靠 Playwright/Puppeteer 驱动浏览器,适合做网页信息抽取和自动化采集。

网页抓取+4
69550—
mishushakov/llm-scraper · 27.11
F
firecrawl
firecrawl·TypeScript

把任意网页抓取并转成干净 Markdown 或结构化数据,直接喂给 LLM 和 AI Agent,省去自己写爬虫和清洗的麻烦。

网页抓取+4
2007190—
firecrawl/firecrawl · 25.04
S
Scrapling
D4Vinci·Python

Python 网页抓取框架,从单次请求到大规模爬取都能处理,内置 Playwright 支持,还提供 MCP 服务方便接入 AI 工作流。

网页抓取+4
1014120—
D4Vinci/Scrapling · 24.27
C
crawl4ai
unclecode·Python

面向 AI 智能体的网页抓取与数据提取爬虫,把网页转成干净的 Markdown 喂给 LLM 和 RAG 流程,支持自托管。

网页抓取+4
872080—
unclecode/crawl4ai · 23.96
S
scrapy
scrapy·Python

Python 的高层网页抓取框架,帮你快速写爬虫,自动处理请求调度、页面解析和数据提取,适合大规模采集任务。

网页抓取+4
653250—
scrapy/scrapy · 23.9
Y
yt-dlp
yt-dlp·Python

功能丰富的命令行音视频下载器,支持从 YouTube 等大量网站抓取视频和音频,还能调用 SponsorBlock 自动跳过广告片段。

命令行下载器+4
2068350—
yt-dlp/yt-dlp · 23.26
S
Scrapegraph-ai
ScrapeGraphAI·Python

用大语言模型驱动的 Python 爬虫,只需描述想抓什么,就能自动完成网页抓取和结构化数据提取,省去手写解析规则。

智能爬虫+4
327110—
ScrapeGraphAI/Scrapegraph-ai · 23.26
C
colly
gocolly·Go

Go 语言编写的高性能网页抓取与爬虫框架,提供简洁 API 处理请求、解析页面和并发抓取,适合快速搭建采集程序。

爬虫框架+4
255890—
gocolly/colly · 22.97
C
crawlee
apify·TypeScript

Node.js/TypeScript 网页抓取与浏览器自动化库,内置代理轮换和反封锁,兼容 Puppeteer、Playwright、Cheerio,可稳定采集数据供 AI、LLM、RAG 使用。

网页抓取+4
264170—
apify/crawlee · 22.84
P
proxy_pool
jhao104·Python

Python 写的代理池服务,自动抓取、校验并维护可用代理,通过 Redis 存储,给爬虫提供稳定的 HTTP 代理来源。

代理池+4
237860—
jhao104/proxy_pool · 22.82
L
lux
iawia002·Go

用 Go 写的视频下载库和命令行工具,支持 B 站、优酷、爱奇艺等站点,一条命令就能把网页视频存到本地。

视频下载+4
318380—
iawia002/lux · 22.65
C
cheerio
cheeriojs·TypeScript

用 jQuery 风格的语法在服务端解析和操作 HTML/XML,写爬虫时提取页面数据比正则和原生 DOM 顺手得多。

HTML解析+4
305390—
cheeriojs/cheerio · 22.33
A
apify-mcp-server
apify·TypeScript

把 Apify Store 上数千个现成爬虫和自动化工具封装成 MCP 服务,让 AI Agent 直接抓取社交媒体、搜索引擎、地图和电商网站的数据。

MCP 服务+4
156910—
apify/apify-mcp-server · 22.32
G
gallery-dl
mikf·Python

命令行图片批量下载器,支持 Pixiv、Twitter、DeviantArt、Danbooru 等几十个图站,一条命令就能把画师主页或标签下的图集整批抓下来。

图片下载+4
204690—
mikf/gallery-dl · 22.3
D
Douyin_TikTok_Download_API
Evil0ctal·Python

自托管的抖音、TikTok、B站数据采集与无水印视频下载 API,提供异步 REST 接口、MCP 服务、CLI 和网页控制台,支持离线语音转文字,Docker 一键部署。

视频下载+4
213450—
Evil0ctal/Douyin_TikTok_Download_API · 22.26
M
maxun
getmaxun·TypeScript

把任意网站变成结构化 API,无需写代码就能抓取、自动化、搜索和监控网页数据,适合做数据采集和 RPA 场景。

网页抓取+4
182070—
getmaxun/maxun · 22.19
F
FlareSolverr
FlareSolverr·Python

一个基于 Chromium 的代理服务器,自动处理 Cloudflare 的浏览器验证,让爬虫和自动化脚本能顺利访问被防护的网站。

反爬绕过+4
161920—
FlareSolverr/FlareSolverr · 22.18
N
newspaper
codelucas·Python

用 Python 3 从新闻网页里自动抽取正文、标题、作者等元数据,省去自己写解析规则,适合做新闻聚合和内容抓取。

新闻抽取+4
151850—
codelucas/newspaper · 22.16
T
TrendRadar
sansan0·Python

聚合多平台热点与 RSS 订阅,用 AI 做关键词筛选、翻译和简报分析,并通过微信、飞书、钉钉等渠道推送到手机,帮你摆脱信息过载。

舆情监控+4
635800—
sansan0/TrendRadar · 22.03
C
crawlee-python
apify·Python

Python 网页抓取与浏览器自动化库,支持 Playwright、BeautifulSoup 和原始 HTTP,自带代理轮换,方便为 AI、LLM、RAG 稳定采集网页数据。

网页抓取+4
96640—
apify/crawlee-python · 21.77
B
bunkerweb
bunkerity·Python

云原生 Web 应用防火墙,基于 Nginx 和 ModSecurity,开箱即用地为容器与 Kubernetes 环境提供反爬虫、DNSBL、Let's Encrypt 等安全防护。

Web应用防火墙+4
112470—
bunkerity/bunkerweb · 21.67
I
instaloader
instaloader·Python

用 Python 从 Instagram 批量下载图片、视频、配文和元数据,支持帖子、快照和用户主页,适合做数据采集和存档。

Instagram 下载+4
138560—
instaloader/instaloader · 21.65
N
nopecha-extension
NopeCHALLC

浏览器端自动验证码破解插件,能识别并绕过 reCAPTCHA、Cloudflare Turnstile、Arkose 等主流验证码,配合 Selenium、Puppeteer、Playwright 做自动化抓取。

验证码破解+4
111050—
NopeCHALLC/nopecha-extension · 21.62
R
rod
go-rod·Go

用 Go 写的 Chrome DevTools Protocol 驱动,直接操控浏览器做网页自动化和爬虫,省去手动管理浏览器进程的麻烦。

浏览器自动化+4
71500—
go-rod/rod · 21.53
G
google-images-download
hardikvasa·Python

一条命令就能从 Google 图片批量抓取几百张图片,支持按颜色、尺寸等条件筛选,适合快速搭建图像数据集。

图片爬虫+4
87070—
hardikvasa/google-images-download · 21.39
W
Website-downloader
AhmadIbrahiim·HTML

用 Node.js 把任意网站的完整源码连同 JS、CSS、图片等资源一起抓下来,方便离线保存或本地研究页面结构。

网站源码下载+4
60840—
AhmadIbrahiim/Website-downloader · 21.22
O
obscura
h4ckf0r0day·Rust

用 Rust 写的无头浏览器,专为 AI Agent 和网页抓取设计,自带反检测能力,能绕过网站对自动化浏览器的识别。

无头浏览器+4
324700—
h4ckf0r0day/obscura · 21.2
T
trafilatura
adbar·Python

从网页抓取正文和元数据的 Python 库与命令行工具,支持爬取、解析并导出为 CSV、JSON、Markdown 等格式,适合构建语料库和 RAG 数据。

网页正文提取+4
71210—
adbar/trafilatura · 21.18
M
moli
lexmount·Rust

用 Rust 打造的无头浏览器,主打轻量、快速、高兼容,专为 AI Agent 的网页操作与自动化任务设计。

无头浏览器+4
233710—
lexmount/moli · 21
R
reader
jina-ai·TypeScript

在任意网址前加上 https://r.jina.ai/ 前缀,就能把网页转成适合大模型读取的干净文本,省去自己写爬虫和清洗正文的麻烦。

网页解析+3
122510—
jina-ai/reader · 20.81
F
ferret
MontFerret·Go

用声明式 DSL 描述网页数据抽取流程,由 Go 运行时执行,省去手写爬虫脚本,适合结构化抓取和浏览器自动化。

声明式抽取+4
60240—
MontFerret/ferret · 20.8
X
xiaobei
TeamWiseFlow·Python

面向 OPC 和中小微企业的自媒体获客智能体,用多智能体协作自动完成内容抓取、RPA 操作和营销获客流程。

多智能体+4
87110—
TeamWiseFlow/xiaobei · 20.65
S
SurfSense
MODSetter·Python

本地部署的 NotebookLM 替代品,AI 智能体能自动检索、改写和编辑你的文档,数据不出内网,适合对隐私敏感的研究场景。

本地部署+4
168380—
MODSetter/SurfSense · 20.59
P
PROXY-List
TheSpeedX

每天自动更新免费 HTTP、HTTPS 和 SOCKS 代理列表,方便做匿名访问、爬虫或网络测试时直接取用可用代理。

代理列表+4
58790—
TheSpeedX/PROXY-List · 20.53
S
shannon
KeygraphHQ·TypeScript

Shannon 是一款 AI 渗透测试工具,能分析 Web 应用和 API 的源码、定位攻击面,并在上线前实际执行漏洞利用来验证风险。

渗透测试+4
516860—
KeygraphHQ/shannon · 20.53

发布说明里提到「LinkedIn 爬虫」

来自 6 个版本
  • XiaochangXu/AVBoxv1.3.72026-11-08

    - 爬虫 jar 缓存迁到 cacheDir,清除缓存可释放 - py 缓存改写到用户数据目录,避免应用装到 Program Files 时源无法启动

  • WenyuChiou/awesome-agentic-ai-zhv2026.10.292026-10-29

    … 简体中文 - maintenance 复查上版 11 个无法验证的链接,区分可读页面、登录入口与反爬虫阻挡,未发现确定失效。三语改用 Arena 当前路径及 DeepLearning.AI 课程 canonical URL;不把受阻链接改列成功,也不放宽扫描基线。 [來源 1](https://github.com/WenyuChiou

  • stickerdaniel/linkedin-mcp-serverv4.28.02026-10-23

    …e step. ([ 1296](https://github.com/stickerdaniel/linkedin-mcp-server/pull/1296)) - Proxy credentials stay private. Search errors no longer quote them. ([ 1375](https://g

  • stickerdaniel/linkedin-mcp-serverv4.27.02026-10-10

    …essage. ([ 1224](https://github.com/stickerdaniel/linkedin-mcp-server/pull/1224)) - Apply links. get job apply url returns the apply type and the employer's link. ([ 1035

  • stickerdaniel/linkedin-mcp-serverv4.26.22026-10-03

    Breaking Changes - Python imports move from linkedin mcp server.scraping to linkedin mcp server.linkedin . ([ 1189](https://github.com/stickerdaniel/linkedin-mcp-server/p

  • linkedin/Liger-Kernelv0.8.32026-09-16

    …ear jsd forward by @TecJesh in https://github.com/linkedin/Liger-Kernel/pull/1367 feat: add LigerMLP module by @Pearblossom-M in https://github.com/linkedin/Liger-Kernel/