推理与服务
751 个仓库把模型跑起来：吞吐、延迟、显存、批量调度与 API 服务化。
给 AI Agent 提供可移植的长期记忆层，本地优先、Markdown 原生、用户自持，跨应用和工具持续演化。
在个人设备上本地跑 RAG 的向量索引库，用图结构剪枝把索引体积压掉 97%，兼顾检索速度和准确率，数据不出本机。
提供 20 多个高性能大语言模型的训练配方，覆盖预训练、微调和规模化部署全流程，适合想快速上手 LLM 训练与推理的开发者。
面向创作者和开发者的 Gradio 语音工作台，集成多引擎 TTS、零样本声音克隆、Whisper 转写、人声分离与多语言翻译，一站式完成配音和字幕制作。
面向 JVM 的 Java LLM 应用开发库，统一封装主流大模型与向量库接口，让工具调用、Agent 和 RAG 在 Spring Boot、Quarkus 等企业框架里快速落地。
一个高性能 AI 网关，用统一 API 把请求路由到 1600+ 大模型，并内置 50+ 安全护栏，省去多模型接入和内容风控的重复开发。
冰霜之地的技术博客合集，深入拆解 Go、HTTP/2、密码学、算法与机器学习等源码，适合想系统啃底层实现和系统设计的工程师。
开源文生视频和图生视频模型，CogVideoX 支持从文本或图片生成视频，适合搭建视频生成推理服务。
从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。
面向大模型应用开发的 RAG 全栈实战教程，覆盖文本向量化、检索、重排与多模态等环节，手把手带你搭建检索增强生成系统。
汇总深度学习、强化学习、计算机视觉和 NLP 等方向的优质公开课与讲座资源，适合系统入门或查漏补缺。
基于飞桨的 NLP 与大模型开发库，提供丰富模型库，覆盖 BERT、ERNIE、LLaMA 等，支持分布式训练、压缩和文档智能等任务。
把任意代码库自动转成通俗易懂的教程，基于 Pocket Flow 的 LLM 工作流实现，适合快速理解陌生项目结构。
开箱即用的语音工具包，覆盖流式语音识别、语音合成、声纹识别、语音翻译和关键词唤醒，自带标点恢复与文本前端，适合快速搭建语音推理服务。
给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。
提供文本嵌入与重排模型，用于语义检索和 RAG 场景，把文档和查询转成向量并做相关性排序。
在任意网址前加上 https://r.jina.ai/ 前缀，就能把网页转成适合大模型读取的干净文本，省去自己写爬虫和清洗正文的麻烦。
把 FastAPI 接口一键暴露成 MCP 工具，自带认证授权，让 Claude、Cursor 等 LLM 客户端直接调用你的后端服务。
基于 PyTorch 的开源语音工具包，覆盖语音识别、说话人识别与分离、语音增强等任务，提供预训练模型和训练流程，方便快速搭建语音系统。
Private chat with local GPT with document, images, video, etc. 100% private, Apache 2.0. Supports oLLaMa, Mixtral, llama.cpp, and more. Demo: https://gpt.h2o.ai/ https://gpt-docs.h2o.ai/
用纯 C99 从零实现的 Kimi K3 推理引擎，单 CPU、8.24 GB 内存即可跑 2.78 万亿参数模型，不依赖 BLAS、框架或 GPU。
超低延迟的语音转文字、意图识别和语音合成工具，用来搭建语音助手和语音交互界面，响应快、适合实时对话场景。
Brigade 是一个 TypeScript 编写的自主智能体运行时，用来编排多智能体协作（AI crew），把个人 AI 助手做成企业级可靠的服务。
本地跑实时语音转文字，带流式识别、说话人分离和翻译，还兼容 OpenAI/Deepgram 接口，适合自建低延迟转写服务。