chubbyskills

chubbyguanMIT活跃维护

一套 14 个 AI Skill,把抖音、B站、小红书、公众号、播客等中文平台内容采集进个人知识库,支持图文存图、字幕优先免 GPU 转写、订阅调度和每日简报,还带知识库 MCP server。

把中文全渠道内容(抖音 / B站 / 小红书 / 公众号 / X / 播客)采集进个人知识库的 14 个 AI Skill:图文存图、视频转文字稿、字幕优先免 GPU、RSS/YouTube 订阅调度与每日情报简报,附带知识库 MCP server。| Ingest Chinese content into your personal knowledge base — image/video routing, subtitle-first transcription, feed subscriptions with daily digests, and a KB MCP server.

v0.15.0发布于 2026-10-08 09:38 UTC1,323star +8 / 7 天156fork同步于 2026-11-10 17:51 UTC

怎么上手

由 README 提炼,执行前请确认
git clone https://github.com/chubbyguan/chubbyskills.git
cd chubbyskills
python3 tools/chubby.py init --vault "$PWD/creator-vault"
python3 tools/chubby.py ingest "https://x.com/OpenAI/status/1663696190960173056" --no-enrich
硬件要求按 README 说明

README未说明显存或GPU型号要求;本地音视频转录在本机推理,首次运行可能下载模型,需系统ffmpeg;核心导入、搜索、资料包链路仅需Python标准库,可纯CPU运行。

支持 Apple Silicon
下载:源码 zip·GitHub Releases(安装包)本站不镜像安装包

项目说明

由 README 自动翻译提炼

把抖音B站小红书等中文内容采集成本地Markdown知识库的14个AI Skill与命令行工具

一套 14 个 AI Skill,把抖音、B站、小红书、公众号、播客等中文平台内容采集进个人知识库,支持图文存图、字幕优先免 GPU 转写、订阅调度和每日简报,还带知识库 MCP server。

核心能力

  • 按平台拆分14个Skill,可单独装进Agent或走CLI
  • B站YouTube字幕优先,无字幕才需转录依赖
  • 视频播客本地转录用funasr,可选云转录后端
  • 导出带原文行号与SHA-256的资料包便于回查
  • 提供知识库MCP server,含搜索与读取原文等工具

容易踩的坑

需Python 3.11及以上,macOS自带3.9会让subscribe订阅链路导入失败;B站YouTube字幕要另装yt-dlp,视频播客转录要跑setup.sh video/podcast并装ffmpeg;平台采集受Cookie与风控影响,X长文章默认只取预览,需配X_COOKIES。

内容由模型根据 README 生成,可能不完整或不准确,以官方文档为准。看原文 README

最近发版

5 个版本v0.15.0
  1. v0.15.0v0.15.0 — 文档补全与社区入口最新正式版2026-10-08 · 2026-10-08 09:38 UTC

    Chubby Skills v0.15.0 — 文档补全与社区入口

    2026-10-08


    新特性

    • Discussions 讨论区开启:欢迎帖已发布到 Announcements 分类(中英双语),README 双版同步加了「💬 讨论区」入口。使用问题、工作流晒单、功能想法请发到这里;可复现 bug 走 Issues。

    • README 互链相关项目:中文和英文 README 都加了「相关项目」区,链接到 chubby-recruitment-ops。

    • 订阅系统架构总览:新增 docs/subscription-architecture.md,用五层架构图解释 CLI 层、状态与调度层、执行引擎层、知识库输出层、平台 skill 层的职责边界和数据流。docs/subscriptions.md 继续保留为命令手册。

    文档补全

    • tiktok-transcribe / weibo-transcribe / zhihu-transcribe SKILL.md:从 49 行空壳补全为完整平台指南(环境要求、使用方法、3 步流程、已知限制、致谢、合规声明)。

      • TikTok:增加地区限制、反爬、登录态、语言混合说明
      • 微博:增加移动端 UA 伪装、m.weibo.cn 优先说明
      • 知乎:增加独立视频 / 问答内嵌 / 专栏三种链接形态
    • platform-status.md 自动化:CI 现在会在每次 push 时用 platform_health.py 重新生成 docs/platform-status.md,并通过 --check-output 断言 committed 副本是最新的。不再需要手动更新时间戳。

    • examples/outputs/ 补全:新增 tiktok / weibo / zhihu 三个示例输出文件,fixtures/golden/examples_outputs.json 已刷新,覆盖全部 8 个 skill 的样例。

    CI 改进

    • README locale parity 检查:新增 CI step,检查中英文 README 的结构锚点(相关项目 / Related projects、使用范围与许可 / Usage limits、关于 Chubby / About Chubby)是否同步存在。缺失时输出 warning,不阻塞 PR。

    • platform-status.md 生成断言:替换了原来 brittle 的 git diff --exit-code(会被 runner 时钟漂移误触发),改用 platform_health.py --check-output 内建的时间戳归一化比较。

    其他修复

    • fix(subscriptions): drain what the per-sync budget deferred
    • feat(schedule): carry the environment the tick needs
    • fix(ytdlp): name the lever that actually resolves a YouTube 403
    • fix(setup): make the documented transcription install work
    • feat(install): ship the skill directories so platform capture works from a pip install
    • feat(doctor): report credential state, how to obtain each one, and the last real outcome
    • feat(x-ingest): collect X threads along the author's self-reply chain (#37)

    完整提交历史:https://github.com/chubbyguan/chubbyskills/compare/v0.14.0...v0.15.0

    安装:pip install . 或 git pull && pip install -e .

  2. v0.14.02026-10-03 · 2026-10-03 08:16 UTC
    查看更新说明

    v0.14.0 — 转录栈统一与云端可选后端

    这次迭代把播客转录栈收敛到与视频技能一致的本地底座,同时把此前实验性的云后端换成可维护的两条线路,并解决了长音频的免费档限制。

    • 本地统一 SenseVoice-Small:播客本地转录改走共享的 chubby_common/funasr.py 封装,与视频技能同栈;faster-whisper(及其 av 版本锁定)已移除。SenseVoice 返回整段纯文本,播客转录稿不再带逐段时间戳。
    • 可选本地 Qwen3-ASR-0.6B:--provider local --model qwen3-asr-0.6b 启用新 local_qwen_asr.py 后端(官方 qwen-asr 包,transformers CPU float32),本地模型名做了白名单校验,qwen-asr 为可选依赖、不在默认安装内。实测(M3 Pro CPU,2026-10):SenseVoice RTF 0.11 vs Qwen RTF 0.80——Qwen 慢约 7 倍,专有名词更稳,但可能幻觉且没有 ITN,适合对准确率敏感、不在乎速度的场景。
    • 云后端换代:实验性的 Atlas Cloud / MuAPI 已移除,换成阿里云百炼 DashScope qwen3-asr-flash(--provider dashscope)和 Groq whisper-large-v3-turbo(--provider groq,保留 verbose_json 时间戳附录)。DashScope 同步响应被归一化进既有的可续传状态机;超过服务限制的音频在提交前拒绝并指向本地 SenseVoice。如实说明:两条云线路都尚未完成真实账号在线验收,欢迎有条件的用户反馈。
    • Groq 长音频自动分片:达到 25 MB 免费档上限的文件不再直接拒绝,而是用 ffmpeg 自动切成 20 分钟 / 16 kHz / 64 kbps MP3 分段(约 9.6 MB),按序提交;每段进度落盘(digest + 时长写进既有状态文件,兼容旧的单文件状态),中断后已完成的段落不会重传;文本按序拼接、时间戳按累计时长平移;HTTP 429 按 Retry-After / 指数退避等待。
    • 测试依赖修复:pyyaml 纳入测试依赖,跑测试不再需要手动 --with pyyaml。

    安装与使用

    git clone --branch v0.14.0 https://github.com/chubbyguan/chubbyskills.git
    cd chubbyskills
    python3 -m pip install -e .
    chubby init --vault "$HOME/Documents/creator-vault"
    chubby import "/你的文档目录/report.md" --no-enrich
    chubby search "报告中的关键词"
    

    安装包 chubbyskills-0.14.0-skills.tar.gz 包含 14 个可独立移动的技能目录,Python 和系统依赖需另外安装。

    社区贡献

    • 本版的云转录需求来自 PR #3 与 PR #5 的原始请求,归属保留;它们引入的 Atlas / MuAPI 后端在本版已被 DashScope / Groq 取代。

    验证范围

    本地 277 项测试通过、1 项跳过(含 Groq 分片续传、DashScope 状态归一化、Qwen3-ASR 本地后端与模型白名单的新增用例),测试命令不再需要额外声明 pyyaml。Quickstart 体检、示例输出 schema v1 校验、Ruff(E/F/W)与 git diff --check 均通过。

    发布包重新解压后验证 14 个技能目录脚本的隔离导入。DashScope 与 Groq 云后端只有 mock 层与协议层测试覆盖,未完成真实账号在线验收;调用失败时会在提交前或状态机中给出可读错误,不会静默出错。

    资产校验

    chubbyskills-0.14.0-skills.tar.gz SHA-256: b54f1318fd5aaeffa55dfecc8f64b5ea2547521173af55ea0b5adefe32c41b45(14 个技能目录,解压后 25 个脚本隔离导入验证通过)

  3. v0.13.1v0.13.1 — 社区反馈修复与首次跑通体验2026-10-01 · 2026-10-01 05:39 UTC
    查看更新说明

    v0.13.1 — 社区反馈修复与首次跑通体验

    这次迭代以社区反馈为主线:外部用户报告的 X 长文章采集缺口已修复并补了全文抓取通道,同时降低了新用户的首次跑通门槛。

    • X 长文章全文:syndication 端点对 Article 只返回预览,此前仅静默标注。现在检测到预览时 stderr 明确告警;提供 --cookies / X_COOKIES(自己账号的 auth_token + ct0)后,通过登录态 GraphQL 抓取全文,失败时告警回退为预览。platforms/x.yaml 新增 article_preview_only 失败模式。
    • 输出校验修复:文件名超过文件系统限制的声明输出,不再被误报为"文件缺失",恢复回归测试契约。
    • 新手引导:README(中英)Quickstart 旁新增平台可用性速览表,声明能力与实测证据分开链接;check_env 体检后给出零依赖的 init → import → search 三步命令,按平台检查在依赖就绪时给出可直接执行的采集命令。
    • pip 安装:pip install -e . 后任意目录可用 chubby 命令,核心保持零依赖,平台能力拆为 extras。非 editable 安装(pipx)尚未支持,见 #16。

    安装与使用

    git clone --branch v0.13.1 https://github.com/chubbyguan/chubbyskills.git
    cd chubbyskills
    python3 -m pip install -e .
    chubby init --vault "$HOME/Documents/creator-vault"
    chubby import "/你的文档目录/report.md" --no-enrich
    chubby search "报告中的关键词"
    

    安装包 chubbyskills-0.13.1-skills.tar.gz 包含 14 个可独立移动的技能目录,Python 和系统依赖需另外安装。

    社区贡献

    • Issue #11,AIcodexAN:报告 X 长文章只采到预览并给出完整根因分析,本版修复(#12)。登录态 GraphQL 路径未在真实 cookie 下实测,欢迎有条件的用户反馈。

    验证范围

    本地 226 项测试通过(含 X Article 预览标记、全文提取与 cookie 解析的新增用例),语法检查与 Ruff 通过。CI 在 Linux/Python 3.11 与 macOS/Python 3.12 通过,含新增的 editable 安装冒烟。

    发布包重新解压后验证技能脚本隔离导入。X 登录态 GraphQL 抓取只有解析层单元测试覆盖,未做真实账号实测;其 queryId 随 X 前端发版轮换,失效时会告警回退,不会静默出错。

  4. v0.13.0v0.13.0 — 本地文档入库与可恢复云转录2026-09-17 · 2026-09-17 05:35 UTC
    查看更新说明

    v0.13.0 — 本地文档入库与可恢复的可选云转录

    这次迭代吸收社区提出的安装、云转录和外部文档交接需求。已有本地文档可以直接进入知识库;播客新增共用接口的 Atlas Cloud 和 MuAPI 实验后端。

    • 本地导入:chubby import 支持 Markdown、TXT 和 PDF 文字层,保留来源和内容摘要,复制文档引用的本地附件,自动更新索引。附件变化会触发重新导入,旧产物保留。
    • 可选云转录:默认仍使用本地模型。显式选择 Atlas 或 MuAPI 后才向第三方提交音频;任务 ID 与完成结果持久保存,轮询失败和进程中断后可以恢复。
    • 重试与正文完整性:普通恢复不自动创建新任务;--resubmit 是一次性显式操作。新任务不会被旧成功缓存遮住,服务端完整正文不会因时间戳不完整而丢失。
    • 安全下载:认证请求不跟随重定向,播客自动下载限制为公网 HTTP(S) 直连。需要代理或跳转的音频先自行下载,再传本地文件。
    • 独立安装:知识库技能包含本地导入工具;播客技能包含全部 provider 和下载辅助模块。

    安装与使用

    git clone --branch v0.13.0 https://github.com/chubbyguan/chubbyskills.git
    cd chubbyskills
    python3 tools/chubby.py init --vault "$HOME/Documents/creator-vault"
    python3 tools/chubby.py import "/你的文档目录/report.md" --no-enrich
    python3 tools/chubby.py search "报告中的关键词"
    

    PDF 文字层提取需要可选 pymupdf,不含 OCR。完整用法见本地文档导入和云端转录。安装包 chubbyskills-0.13.0-skills.tar.gz 包含 14 个可独立移动的技能目录,Python 和系统依赖需另外安装。

    社区贡献

    • PR #1,catwithtudou:安装职责划分已由现行安装器等效解决,已说明并关闭旧 PR。
    • PR #3,binyangzhu000-sudo:吸收 Atlas Cloud 可选转录需求,在共用接口上重新实现。
    • PR #5,Anil-matcha:吸收 MuAPI 上传和转录流程,加入相同的恢复与安全约束。
    • PR #6,huhoo:纳入可选集成说明,实现本地 Markdown 交接;第三方实际解析仍待验证。

    旧 PR 没有原样合并。作者归属和公开处理结果见社区处理记录。

    验证范围

    本地 220 项测试通过,包含真实 CLI 文档导入、附件变化、索引与资料包导出,以及云任务生命周期的模拟回归。语法检查、Ruff、平台离线样例和真实 MCP stdio 初始化、工具发现、搜索与读取通过。

    发布包重新解压后,14 个技能的 24 个脚本隔离导入、独立知识库导入与资料包导出、真实 MCP 握手均通过;Python 3.9.6 资料包导出通过。精确候选提交的 Linux/Python 3.11 与 macOS/Python 3.12 CI 通过后发布,验证结果附在 release 资产中。

    Atlas 和 MuAPI 均为 experimental:本版没有调用真实付费服务,也没有把模拟请求当作真实转录验收。服务端兼容性、转录质量和费用仍需独立验证。cue-omni-reader 未安装或调用,其上游能力说明不代表本项目已验证集成。没有进行实际用户使用调研。

    补充验证:PyMuPDF 1.28.2 实际文字层 PDF 经库函数与统一 CLI 导入通过,空文字层明确拒绝。最终主分支提交 9db4245ded45fc55ef3aa9b701bde25470f16376 的 Linux/macOS CI 通过。社区 PR #1、#3、#5 已关闭,#6 保留待真实集成示例。

  5. v0.12.0v0.12.0 — 重复采集可复用,素材入库即可搜索2026-09-17 · 2026-09-17 03:11 UTC
    查看更新说明

    v0.12.0 — 重复采集可复用,素材入库即可搜索

    保存素材后可直接搜索并导出带出处的资料包,无需手动串联多个索引命令。

    • 统一入口:init --vault 配置知识库,search 检索素材,brief 导出 Markdown/JSON 原文资料包。doctor --platform 区分必需依赖与可选组件。
    • 增量索引:采集入库与 MCP 查询同步新增、修改和删除的笔记;保留未变化的向量,显式 --rebuild 才重建。数据库绑定知识库,避免串库。
    • 安全复用:规范化已知平台来源,相同任务复用有效产物;刷新保留旧版本,同名不同来源分别保存。缺失附件、参数或本地输入变化会重新采集。
    • 可恢复重试:保留原任务输出位置、知识库与处理参数,允许显式覆盖;状态和报告脱敏常见凭据。
    • 可回查资料包:来源链接、原文行号、逐字摘录和 SHA-256 一起导出;生成结果不会进入后续 brief 的证据候选,普通笔记不能被 --force 覆盖。
    • 独立安装:知识库技能包含资料包导出工具,支持搬离仓库后使用。

    安装与升级

    git clone --branch v0.12.0 https://github.com/chubbyguan/chubbyskills.git
    cd chubbyskills
    python3 tools/install_skill.py knowledge-base-management --dest ~/.codex/skills
    

    安装器保留已有同名目录,升级前将新版本安装到另一目录核对定制。0.12 升级说明记录索引迁移、参数语义和复用规则;创作者工作流给出完整命令。

    发布资产 chubbyskills-0.12.0-skills.tar.gz 包含 14 个可独立移动的技能目录。Python、系统包和可选 MCP SDK 仍需按安装文档配置。

    验证边界

    本地 167 项测试通过,Ruff 与语法检查通过;真实 MCP stdio 完成初始化、工具列表、搜索与原文读取。发布包解压后验证 14 个技能目录、21 个脚本隔离导入,以及独立知识库 MCP 和 Python 3.9 资料包导出。

    发布检查覆盖本地测试、真实 MCP stdio 交互、CLI 流程、便携包和 Linux/macOS CI。本轮 CLI 验收中的正文导入明确标记为人工 fallback;没有将离线样例计为新的平台自动抓取记录。

    资料包只核验摘录与本地文件相符,不证明事实正确。默认检索和资料包导出在本地执行;本轮没有调用付费模型。增量同步仍需扫描 Markdown,大库性能与后台监听留待后续优化。

用户点评

登录用户的真实使用记录,可按版本和硬件筛选
共 0 条

    还没有人点评。第一个说出真实体验的人最有价值。

    README 原文

    未翻译

    中文 · English

    🧰 Chubby Skills

    信息流会忘,知识库会记,Agent 会用。

    把视频、播客、文章和本地文档保存为 Markdown,整理成能搜索、能回查来源、能交给 Agent 使用的素材库。

    License Version Skills Stars

    快速开始 · 安装到 Agent · Skill 目录 · 文档 · 更新日志 · 💬 讨论区

    这是什么

    Chubby Skills 是一套面向内容创作者和个人知识库的 14 个 Agent Skills 与命令行工具。你可以按需安装技能,让 Agent 处理素材;也可以直接运行命令,把采集、入库、搜索和资料包导出串起来。

    适合经常收藏视频、文章和播客,希望在写作时找到原文、核对出处的人。产物保存在本地 Markdown 文件中,可以用 Obsidian、文本编辑器或你的 Agent 继续处理。

    链接 / 本地文档 → Markdown 原文与附件 → 本地搜索 → 带出处的资料包 → Agent 整理选题
    
    你想做什么项目提供什么
    保存平台素材视频字幕与转录、播客转录、文章和图文采集
    导入已有资料Markdown、TXT、PDF 文字层导入,保留来源和引用的本地附件
    写作时找回证据关键词搜索、可选语义检索、原文读取;采集入库后自动更新索引
    整理一份选题资料导出 Markdown / JSON 资料包,包含原文摘录、行号、来源和文件摘要
    让 Agent 使用知识库独立技能包,以及提供搜索、原文读取等工具的可选 MCP 服务
    持续跟踪可靠来源订阅公开 RSS / Atom / JSON Feed、YouTube 频道与用户自带 Provider 输出;发现、审核、转录与入库分离

    先看输出样例,或直接运行下面的本地示例。

    平台可用性速览

    声明能力(非实时探测),最近逐平台实测见真实平台验证,完整失败模式见平台状态:

    平台状态轻量路径
    B站 / YouTube稳定字幕优先,仅需 yt-dlp
    公众号测试HTML 需 beautifulsoup4,PDF 兜底
    抖音 / TikTok / 微博 / 知乎测试·重依赖视频转录需 funasr + ffmpeg
    播客重依赖funasr(SenseVoice-Small),可选 DashScope / Groq 云转录
    X / 小红书手动兜底零依赖采集正文;X 长文章可配 X_COOKIES 抓登录态全文,失败可手动补全文。凭据怎么拿、上次是否成功:chubby doctor --credentials
    RSS / YouTube 频道订阅P0 + P1公开 Feed;支持 RSSHub / RSS-Bridge BYO 标签,默认只发现
    本地文档稳定零依赖,Markdown/TXT/PDF 文字层

    本项目不做反爬对抗,选择轻量接口加手动兜底,原因与适用边界见为什么不对抗风控。

    快速开始

    核心链路只用 Python 标准库:不装第三方包、不配 API Key、不下载模型。需要 Python 3.11 及以上——先 python3 --version 确认一下:macOS 自带的是 3.9,核心命令能跑,但 subscribe 订阅链路会在导入时失败,建议 brew install [email protected] 或直接用下面的 venv 步骤。

    60 秒跑通(一):抓一条真实链接

    X 推文和小红书图文都走 Python 标准库,不需要 yt-dlp、ffmpeg 或任何模型(逐平台能力与失败模式见平台状态):

    git clone https://github.com/chubbyguan/chubbyskills.git
    cd chubbyskills
    python3 tools/chubby.py init --vault "$PWD/creator-vault"
    python3 tools/chubby.py ingest "https://x.com/OpenAI/status/1663696190960173056" --no-enrich
    python3 tools/chubby.py search "ChatGPT"
    
    ✅ 已写入配置:/path/to/chubbyskills/chubby.yaml
    ✅ 已准备队列:/path/to/chubbyskills/inbox/links.txt
    ✅ 已准备状态:/path/to/chubbyskills/.chubby/runs.jsonl
    ✅ 已准备报告目录:/path/to/chubbyskills/runs
    
    ✅ 完成:success=1 / failed=0 / dry_run=0
    🧾 报告:/path/to/chubbyskills/runs/2026-10-05.md
    /path/to/chubbyskills/creator-vault/00_Inbox/The-ChatGPT-iOS-app-is-now-available-in---<来源哈希>.md
    
    The ChatGPT iOS app is now available in
      00_Inbox/The-ChatGPT-iOS-app-is-now-available-in---<来源哈希>.md
      # The ChatGPT iOS app is now available in   > 👤 OpenAI @OpenAI | 👍 754 · 💬 115 …
    

    抓下来的笔记自带来源、作者、时间和互动数,引用时能回查到原帖:

    title: "The ChatGPT iOS app is now available in "
    platform: x
    source: "https://x.com/OpenAI/status/1663696190960173056"
    author: "OpenAI @OpenAI"
    created: 2023-05-30
    likes: 754
    

    把链接换成你要存的任意推文或小红书图文即可。

    平台采集会波动。 上面是一条样本,不构成成功率:没有登录态时可能被风控拦住,X 长文章默认只取到预览。失败时先看平台状态和替代处理方式,或保存正文后走下面这条。

    60 秒跑通(二):导入自己的文件

    这条完全不碰外网,任何环境都能跑通。导入一份文档,再把它搜回来(把示例换成你自己的 .md、.markdown 或 .txt;已知原始网页时加 --source-url "原始网页地址"):

    mkdir -p demo-input
    cat > demo-input/notes.md <<'NOTE'
    # 内容复用笔记
    
    内容复用从保留原文和来源开始。同一份材料可以用于选题、文章和播客,但引用前要重新核对上下文。
    NOTE
    
    python3 tools/chubby.py import demo-input/notes.md --no-enrich
    python3 tools/chubby.py search "内容复用"
    
    ✅ 完成:success=1 / failed=0 / dry_run=0
    🧾 报告:/path/to/chubbyskills/runs/2026-10-05.md
    /path/to/chubbyskills/creator-vault/00_Inbox/内容复用笔记--<来源哈希>.md
    
    内容复用笔记
      00_Inbox/内容复用笔记--<来源哈希>.md
      # 内容复用笔记  内容复用从保留原文和来源开始。同一份材料可以用于选题、文章和播客,但引用前要重新核对上下文。
    

    最后导出带出处的资料包——这是这个项目真正产出的东西:

    python3 tools/chubby.py brief --topic "内容复用" \
      --output "$PWD/creator-vault/30_Output/brief.md"
    
    {
      "markdown": "/path/to/chubbyskills/creator-vault/30_Output/brief.md",
      "json": "/path/to/chubbyskills/creator-vault/30_Output/brief.json"
    }
    

    brief.md 里是逐字摘录、原文行号、来源链接和文件 SHA-256,可以直接回查(文件名后缀由来源路径推导,SHA-256 覆盖导入副本的内容与元数据,两者都会随你实际使用的路径和时间变化):

    ## E1 · 内容复用笔记
    
    笔记相对路径:`00_Inbox/内容复用笔记--c2f47ab83782202c.md`
    原始来源:未提供可打开的网页链接。
    采集时间:2026-10-05T10:54:57+08:00
    文件 SHA-256:`<导入副本的内容哈希>`
    
    原文第 22–22 行:
    

    产物落在三处:

    • creator-vault/00_Inbox/:带来源信息的 Markdown 和引用的本地附件。
    • creator-vault/30_Output/brief.md 与 brief.json:资料包本体。
    • .chubby/runs.jsonl 与 runs/:任务状态和运行报告,方便检查失败与重试。

    brief 全程在本地完成,不调用云模型,也不判断原文观点是否正确;上面的演示材料是人工样例。再次导出请换一个文件名,确认要替换已生成的资料包后再加 --force。

    可选:把 chubby 装成命令

    上面用的是 python3 tools/chubby.py,不装也能跑。想要 chubby init 这种形式:

    python3 -m venv .venv && source .venv/bin/activate
    python3 -m pip install -e .   # 提供 chubby 命令,等价于 python3 tools/chubby.py
    

    也可以装成普通包(pip install .,或 pipx install git+https://github.com/chubbyguan/chubbyskills.git)。非 editable 安装下,知识库命令全部可用——init / import / search / brief / index / doctor / subscribe(含 digest 与 site build),用户状态写在你当前所在目录,不会写进安装目录。

    平台采集 ingest 同样可用:14 个 skill 目录随包一起安装(目录名 bilibili-transcribe 不是合法 Python 包名,构建时映射为 bilibili_transcribe,你不需要关心)。想把这些 skill 直接装进 Agent 而不是通过 CLI 调用,仍从仓库跑 tools/install_skill.py;两种方式互不影响。

    已有知识库时把 --vault 换成它的根目录(例如 docs/quickstart.md 里的 $HOME/Documents/creator-vault);已有配置的调整见创作者工作流。

    处理你的素材

    平台链接

    按所需能力安装运行依赖。以 YouTube 字幕为例:

    bash setup.sh light
    python3 -m pip install yt-dlp
    python3 tools/chubby.py doctor --platform youtube
    python3 tools/chubby.py ingest "替换为你的真实链接" --no-enrich
    python3 tools/chubby.py search "原文中的关键词"
    

    light 检查 Python 并提示轻量路径,不安装字幕或转录依赖。B站和 YouTube 优先取字幕;没有字幕时需要视频转录依赖。查看 Skill 目录选择平台,并按下表补依赖:

    处理路径安装 / 配置
    Markdown / TXT 导入、关键词检索、资料包Python 标准库,无需额外包
    X / 小红书图文Python 标准库;bash setup.sh light 检查环境,登录态与平台限制仍可能影响采集
    B站 / YouTube 字幕python3 -m pip install yt-dlp
    本地视频转录bash setup.sh video;需要系统 ffmpeg,本地模型首次使用会下载
    本地播客转录bash setup.sh podcast;使用 SenseVoice-Small(与视频转录共用 funasr 依赖)
    公众号及其 PDF 路径bash setup.sh wechat
    通用 PDF 文字层导入python3 -m pip install 'pymupdf>=1.24'

    平台抓取受 Cookie、字幕、地区和页面变化影响。失败时查看平台状态和替代处理方式,也可以保存正文后走本地导入。支持范围与最近的实测结果分开记录,见真实平台验证。

    YouTube 在部分出口 IP 上要求登录证明(Sign in to confirm you are not a bot)。两个环境变量会透传到所有平台技能的 yt-dlp 调用:YTDLP_COOKIES_FROM_BROWSER(如 chrome,对应 --cookies-from-browser)和 YTDLP_REMOTE_COMPONENTS(如 ejs:github,让 yt-dlp 下载 JS 挑战求解组件)。两者均为可选,按需配置。

    X 长文章(Articles)默认只能抓到预览文本并给出警告;配置 --cookies 或 X_COOKIES(自己账号的 auth_token + ct0)后走登录态接口抓全文,失效时回退为预览。详见 x-ingest。

    本地文档与 PDF

    python3 tools/chubby.py import "/你的资料目录/report.md" --no-enrich
    python3 tools/chubby.py import "/你的资料目录/report.pdf" \
      --source-url "https://example.org/original-report" --no-enrich
    

    导入器保留原文件,把文档引用的目录内附件复制到产物旁;缺失或越界的本地附件会报错。PDF 只提取文字层,不做 OCR;扫描件需先由其他工具识别。详见文档导入。

    播客与可选云转录

    默认在本地转录音频:

    python3 tools/chubby.py ingest "/你的音频目录/episode.mp3" \
      --skill podcast --provider local --no-enrich
    

    本地模型默认 SenseVoice-Small,也可选 Qwen3-ASR-0.6B(--provider local --model qwen3-asr-0.6b,需自行 pip install qwen-asr transformers torch)。2026-10 在 M3 Pro CPU 上的实测:SenseVoice RTF 0.11、Qwen RTF 0.80(慢约 7 倍);质量互有胜负——Qwen 专名/人名更稳但有幻觉改写风险且无 ITN,SenseVoice 输出带情感标签需清洗。CPU 场景保持默认,GPU 或专名敏感时选 Qwen。详见 podcast-transcribe。

    可选云端后端为 阿里云百炼 DashScope 的 qwen3-asr-flash(--provider dashscope,需 DASHSCOPE_API_KEY)和 Groq 的 whisper-large-v3-turbo(--provider groq,需 GROQ_API_KEY;免费层单文件上限 25MB、有速率限制,长音频自动分片转录并支持断点续传)。音频发送至云端并可能计费;DashScope 限制为编码后不超过 10MB、时长不超过 5 分钟,超限会在提交前拒绝并提示改用本地 SenseVoice-Small。完成结果持久保存,进程中断后可恢复;--resubmit 会明确创建新任务,可能再次计费。

    播客自动下载仅接受公网 HTTP(S) 直连地址,不跟随重定向,也不使用代理。需要跳转或代理的资源,先自行下载,再传本地文件。配置和恢复方法见云转录说明。云服务的真实转录尚未完成验收。

    重复采集、批量与重试

    相同来源、处理参数和目的地的有效产物会复用;原文件或引用附件变化后会重新导入。--refresh 重新处理并保留旧版本。

    把链接逐行放入 inbox/links.txt,再运行:

    python3 tools/chubby.py run --queue inbox/links.txt --no-enrich
    python3 tools/chubby.py status --failed
    python3 tools/chubby.py retry --all-failed
    

    采集入库后和统一查询前,索引会增量同步。更多例子见创作者工作流;已有索引的迁移和重建见知识库自动化。

    订阅 YouTube、播客和 RSS

    P0 将订阅扫描和媒体处理拆开:首次同步只建立已见基线,新条目先进入待审队列;确认来源质量后,可对该来源开启 auto_ingest,让 YouTube / 播客复用现有字幕优先和转录路径。

    python3 tools/chubby.py subscribe init
    python3 tools/chubby.py subscribe add \
      --id yt-3blue1brown --name "3Blue1Brown" \
      --kind youtube_channel --channel-id UCYO_jab_esuFRV4b17AJtAw \
      --content-profile video --mode discover_only
    python3 tools/chubby.py subscribe sync --all    # 首次只建立基线
    python3 tools/chubby.py subscribe pending
    

    定时运行使用 python3 tools/chubby.py subscribe tick --due --process-limit 3,交给 macOS launchd 或 Linux cron 每小时触发。subscribe digest 把近 N 天的订阅条目汇总成每日情报简报(零 LLM 可用,事件聚簇 + 知识库关联;--enrich 可选 DeepSeek 精选摘要,模型内容带标注);subscribe site build 再把聚簇渲染成可发 GitHub Pages 的纯静态日报站(只含标题/来源/链接/热度,无正文与本地路径),并同时产出 feed.xml 与 llms.txt 两个 Agent 出口。支持用户自带 RSSHub、RSS-Bridge 或其它 Provider 的最终公开 Feed;该标签不会启用平台抓取、认证或代理。X、小红书、抖音、B站、公众号账号扫描尚未支持。完整命令、调度、Provider 边界和失败恢复见订阅与调度,真实兼容性标准见Provider 7 天验收。

    安装到 Agent

    按需安装技能

    在完整仓库根目录运行。以 Codex 为例,安装知识库技能:

    python3 tools/install_skill.py knowledge-base-management --dest ~/.codex/skills
    

    查看技能列表;如果选择全部安装,用 --all 替代上面的单技能安装,并指定一个没有同名技能的目标目录:

    python3 tools/install_skill.py --list
    python3 tools/install_skill.py --all --dest /path/to/agent/skills
    

    Claude Code、OpenCode、OpenClaw、Hermes 等客户端使用各自实际配置的 skills 目录作为 --dest,并按客户端方式启用技能。运行环境中的 Python 和系统依赖仍需另外配置。

    安装器会打包仓库内依赖,生成可独立搬移的技能目录;setup.sh 负责安装运行依赖。已有同名技能时安装器会拒绝覆盖,升级时先安装到临时目录核对自己的修改。请使用安装器或 Release 技能包,避免只下载单个源码目录漏掉公共模块。完整安装指南

    首页的 tools/chubby.py 统一流程需要完整仓库。独立知识库技能使用其自带的 tools/import_document.py、tools/vault_index.py 和 tools/evidence_brief.py,命令见文档导入。

    通过 MCP 连接知识库

    python3 -m pip install -r knowledge-base-management/requirements-mcp.txt
    python3 tools/mcp_smoke.py --json
    

    MCP 提供搜索、语义检索、读取原文、最近笔记、重新索引和统计共 6 个工具。上面的命令用临时知识库检查真实服务启动和交互;连接自己的 Agent 时,还需配置服务器命令与 VAULT_DIR。见 MCP 配置。

    Skill 目录

    方向Skill主要用途
    视频bilibili-transcribeB站字幕优先、视频转录、批量处理
    视频youtube-transcribeYouTube 字幕、转录、可选翻译与中英对照
    视频douyin-transcribe抖音视频转文字稿
    视频tiktok-transcribeTikTok 视频转录
    视频weibo-transcribe微博视频转录
    视频zhihu-transcribe知乎视频转录
    播客podcast-transcribe单集、RSS、本地音频;可选 DashScope / Groq 云后端
    图文wechat-article-ingest公众号文章和 PDF 转 Markdown
    图文xiaohongshu-ingest小红书图文、视频及可选内容分析
    图文x-ingestX / Twitter 正文、长文章(支持登录态全文)、图片和视频
    加工content-enrich可选的摘要、要点和标签加工
    知识库knowledge-base-management文档导入、索引、资料包、归档与 MCP
    工作流industry-intelligence-radar多源情报扫描和趋势简报
    工作流learning-notes-automation学习笔记、闪卡和知识关联

    数据与处理边界

    素材默认保存在本地。不同处理路径的联网范围如下:

    功能处理位置与配置
    文档导入、关键词搜索、semantic-lite、资料包本地;本地导入不抓取远程附件
    平台采集访问来源平台;小红书可按需配置自己的 XHS_COOKIE,X 长文章可配 X_COOKIES,yt-dlp 路径可配 YTDLP_COOKIES_FROM_BROWSER 使用本机浏览器登录态
    本地音视频转录本机推理;首次运行可能需要下载模型
    内容加工、翻译、学习笔记提取可选 DEEPSEEK_API_KEY,内容发送至对应 API
    OpenAI 向量检索可选 OPENAI_API_KEY,参与向量化的内容发送至 API
    DashScope 播客云转录可选 DASHSCOPE_API_KEY,音频发送至阿里云百炼
    Groq 播客云转录可选 GROQ_API_KEY,音频发送至 Groq
    云端 Agent 读取素材被读取的内容进入该 Agent 的模型上下文

    API 服务可能计费,密钥和 Cookie 不要写入笔记或提交到仓库。外部解析工具可以把完整 Markdown 交给本地导入;cue-omni-reader 等入口及其验证状态见可选集成。

    输出协议

    采集与导入产物使用带 frontmatter 的 Markdown,记录标题、类型、平台、来源和日期。统一 CLI 还会补充 schema v1 的任务 ID、采集时间、来源摘要与附件信息,供索引和重试使用。查看输出样例

    python3 tools/validate_outputs.py output/ --schema-v1
    

    验证与社区贡献

    v0.13.0 发布记录包含 220 项测试、Linux / macOS CI、14 个技能包的 24 个脚本隔离导入、实际 PDF 导入和 MCP 交互验证。发布资产附带校验和与验证记录;这些结果不代表所有平台或云服务都已完成在线验收。

    本地环境自检:

    python3 tools/chubby.py quickstart --ephemeral --no-state
    

    这条命令检查离线样例和环境,不抓取真实平台内容。开发者的完整命令见发布检查。

    安装建议来自 catwithtudou 的 #1;Atlas 和 MuAPI 需求分别来自 binyangzhu000-sudo 的 #3 与 Anil-matcha 的 #5。这些需求已通过现行实现吸收并保留归属。 huhoo 的 #6 已进入可选集成文档,真实解析示例仍待补充。处理记录

    欢迎提交可复现的问题、修正 PR 或平台适配。贡献方式见 CONTRIBUTING.md 和平台适配指南。

    拿不准去哪说?使用问题、使用场景和功能想法请发到 Discussions 讨论区;可复现的 bug 走 Issues;也可以在微信公众号「关关不过」后台留言。

    文档入口

    文档内容
    项目介绍这是什么、能做什么、技术取舍与边界
    安装指南运行依赖、技能目录、独立安装与升级
    创作者工作流从素材到搜索、资料包和 Agent 选题
    文档导入Markdown / TXT / PDF、来源和附件规则
    云转录Provider 配置、任务恢复和计费边界
    订阅与调度(P0)公开 Feed / YouTube 订阅、队列、调度、故障恢复与限制
    知识库自动化索引、向量检索、归档和知识卡片
    验证模型三种陈述强度、真实来源验收协议、公开内容边界与第三方证据处理
    MCP 配置将知识库接入 Agent
    社区推广 / 榜单提交指南各渠道推广与榜单提交文案(已对齐当前 14 个 Skills 版本)
    平台状态与替代方式依赖、常见失败与补救路径
    可选集成外部解析工具的 Markdown 交接
    更新日志版本变化;当前版本为 0.15.0

    相关项目

    • chubby-recruitment-ops:Codex 与 Claude Code 的招聘运营插件——简历入库、评分与流程协同。

    使用范围与许可

    采集类技能用于个人学习与研究。请遵守来源平台条款、robots.txt 和相关法律,使用自己有权访问和保存的内容;不要用于批量抓取、商用爬取、二次分发或侵犯他人权益的场景。原内容版权归原作者,引用与转载按需要取得授权并注明来源。

    代码采用 MIT License,按现状提供。代码许可不授予第三方内容的使用权。

    感谢 Agent Skills、yt-dlp、SenseVoice、阿里云百炼 Qwen-ASR、MarkItDown、PyMuPDF、Obsidian、GraphRAG、DeepSeek 以及 khazix-skills 提供工具、标准和参考。

    关于 Chubby

    我是 Chubby,平时做内容、搭个人知识库,也记录 AI Agent / Skill 和电商实践。

    X / Twitter · 即刻 · 小红书 · 微信公众号:关关不过

    Gitee 镜像 · Made by @chubbyguan