推理与服务
751 个仓库把模型跑起来：吞吐、延迟、显存、批量调度与 API 服务化。
低代码 MCP 框架，用可视化方式快速搭建复杂 RAG 流水线，省去大量胶水代码，适合快速验证检索增强生成方案。
提供一套稳健的训练配方，用人类和 AI 偏好数据对齐语言模型，涵盖 SFT、DPO 等流程，帮你把基座模型调成听话好用的助手。
面向系统工程师的实战课程，在 Apple Silicon 上从零搭建一个迷你 vLLM 推理引擎并跑通 Qwen 模型，帮你搞懂大模型推理系统的内部机制。
基于 OpenAI Whisper 的语音转写工具，能自动识别不同说话人并切分对话，适合会议记录、访谈整理等多人语音场景。
面向 Agent 系统的模型路由网关，50ms 内把每个请求分派到最合适的模型，只改一个 endpoint 就能省下 40-70% 成本。
本地个人图书管理员 Agent，能解析电脑里的文档并建立向量索引，让你用自然语言问答检索文件、整理资料和记住重要信息。
整理大模型与多模态推理加速论文和配套代码的资源清单，涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向，方便快速定位和复现关键技术。
Obsidian 插件，写作时自动找出相关笔记和摘录，用本地嵌入模型做语义搜索，无需 API key 即可零配置使用。
从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。
把任意脚本自动生成多风格火柴人动画视频，自动配画面、配音、字幕和音效，适合做无露脸 YouTube 频道。
把数据库和 AI 模型直接打通的全栈框架，让你在 MongoDB 等数据源上直接做推理、训练和部署自定义 AI 应用与智能体。
面向生产环境的端到端语音识别工具包，基于 PyTorch 提供 Conformer、Transformer 等模型，可直接训练和部署 ASR 服务。
用 ML、LLM 和视觉大模型从文档、表单、发票等非结构化数据里抽取结构化字段，并支持指令调用和智能体工作流。
给 OpenOPC 的智能体 DAG 运行时加一层零改造的人在回路适配器，让外部智能体执行流程中能插入人工审核与干预。
一个能自主感知上下文的桌面 AI 伴侣，通过实时屏幕视觉、窗口追踪和 ONNX 语音合成，配合带表情的悬浮界面与你互动。
面向 AI 工程师和领域专家的数据标注协作平台，支持主动学习和人机协同，帮助团队高效构建高质量训练数据集。
面向文本嵌入模型的高性能推理服务，用 Rust 编写，可快速把文本转成向量，适合搭建检索和 RAG 的向量化后端。
基于身份和上下文的零信任访问代理，用统一身份认证替代传统 VPN，按用户身份和设备状态动态控制内网应用访问。
云原生一站式机器学习与大模型平台，覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调，支持国产算力生态。
一份持续更新的精选清单，收录真正开源的 AI 项目、模型、工具和基础设施，帮你在海量仓库里快速找到可用的开源方案。
一个支持 HTTP/1.1、HTTP/2、gRPC、WebSocket、TCP 的 mock 服务器和代理，能模拟 API、检查修改实时流量并注入故障，适合联调和混沌测试。
基于中文医学知识对 LLaMA 等大模型做指令微调，打造能回答医疗问题的中文医疗助手，开箱可用。
把文本转成向量矩阵的中文文本表征工具，内置 Word2Vec、Sentence-BERT、CoSENT 等模型，开箱即用做文本相似度计算与语义检索。
离线运行的本地音视频转字幕工具，能把语音识别成文字，输出 JSON、SRT 字幕和纯文本格式，适合不想上传云端、注重隐私的字幕制作场景。