推理与服务
共 751 个仓库
把会议录音转成文字并实时分析，让 AI 智能体在会前、会中、会后持续跟进，自动生成会议纪要并驱动后续工作流。
在 iOS 和 macOS 上离线运行 LLaMA、GPT-2、RWKV 等大语言模型的 Swift 应用，基于 GGML 库，无需联网即可本地推理。
整理大模型高效化研究的资源清单，汇总量化、剪枝、知识蒸馏等压缩与加速方向的论文和工具，方便快速找到降低推理成本的方法。
按公司分类整理的 AI 工程面试题库，覆盖 LLM 推理等方向的问题与答案，适合面试前按目标公司集中刷题准备。
为 LLM 推理提供虚拟化弹性 KV Cache，让多个推理任务动态共享 GPU 显存，减少显存碎片和浪费，提升 GPU 利用率。
专为 AMD Ryzen AI NPU 深度优化的本地大模型推理引擎，几分钟内就能在 AMD NPU 上跑起 LLM，省去繁琐配置。
汇集各类 RAG（检索增强生成）框架、项目和资源的社区清单，方便快速找到并对比检索增强生成生态里的现成方案。
开源推理研究平台，用于在 AMD、CUDA 等不同 GPU 上对 LLM 推理服务做基准测试和性能对比，帮团队选型加速卡。
开源工业级语音识别模型，支持普通话、中文方言和英语，在公开普通话 ASR 榜单上刷新 SOTA，还能精准识别歌词。
为 400 多个大模型提供 token 价格估算，帮你在调用 OpenAI、Claude 等模型前算清成本，方便做预算和用量监控。
让 vLLM 在 Apple Silicon 的 Mac 上跑起来，通过 Metal 和 MLX 后端把大模型推理搬到本地苹果芯片，省去 GPU 服务器。
基于 Meta Llama 3 开发的中文大模型项目，提供中文 LLaMA-3 和 Alpaca-3 模型及训练、部署方案，解决中文场景下开源大模型可用性问题。
本地运行的代码语义搜索与调用图工具，让 AI 编程助手在不上传代码的前提下理解仓库结构、定位相关代码。
开源的大词汇量连续语音识别引擎，用 C 语言实现，可直接在本地完成语音转文字，适合搭建离线识别服务。
整理说话人分离（Speaker Diarization）领域的论文、开源库、数据集与工具资源，方便快速找到「谁在什么时候说话」相关的实现和评测材料。
Datawhale 与 SGLang 官方合作的 LLM 推理课程，从零手写 mini-sglang 理解推理原理，再读真实源码并完成第一个 PR。
Nomic 的 Python SDK，把文本等非结构化数据交给开发者 API 做向量化、聚类、主题建模和重复检测，省去自己搭建嵌入与聚类流程。
用 Rust 写的命令行语义搜索与文档解析工具，能在终端里对本地文档做向量化检索，省去自己搭服务。
面向印度 AI 开发者的非营利平台，提供算力额度、资助和资源，帮助团队跑通大模型推理与项目落地。
Kotlin 编写的 OpenAI API 客户端，支持多平台和协程，方便在 Kotlin 项目中调用 GPT、DALL·E、Whisper 等模型接口。
把 ChatGPT 式对话、AI 绘图、内容审核、自定义知识库和 YouTube 摘要整合进 Discord 的机器人，让社区频道直接变成可对话的 AI 助手。
面向 LLM 角色扮演的易用客户端，可自建角色与剧情，接入 GPT、Claude、Gemini、Llama 等多种模型聊天。
统一管理 VLLM、Sglang、llama.cpp、exllamav3 等本地大模型推理引擎的控制面板，省去逐个配置和切换的麻烦。
把草图或科学图表图片自动转成可编辑的 TikZ/LaTeX 绘图代码，省去手写矢量图代码的麻烦。