推理与服务
共 679 个仓库 · 一年内有推送
阿里开源的高性能大模型推理引擎，支持 GPT、Llama 等多种模型，面向各类应用提供低延迟、高吞吐的在线推理服务。
集音视频处理、图片编辑、文本操作与编码于一体的桌面工具箱，内置语音识别、OCR 等 AI 增强能力，并提供本地 MCP 服务来简化日常办公流程。
整理大语言模型检索增强生成（RAG）方向的进阶资源清单，涵盖嵌入、检索与信息获取等关键环节，方便快速找到相关论文、工具和实践方案。
基于 CTranslate2 加速的 Whisper 命令行客户端，接口与 OpenAI 官方客户端兼容，能更快地做语音转文字。
面向俄语的轻量级 NLP 工具集，把分词、词形还原、命名实体识别、句法分析等基础任务封装成统一 API，适合快速搭建俄语文本处理流程。
把大模型接入 Lean 4 定理证明流程的推理服务，支持在证明环境中调用模型做前提检索、策略建议和自动补全。
开箱即用的实时交互数字人，支持自定义形象和音色克隆，端到端对话延迟低至3秒，适合快速搭建虚拟主播或客服场景。
统一接入 OpenCode、Claude、Cursor 等多家编码 Agent 的控制平面，用一个入口调度和路由不同 Agent，省去逐个对接的麻烦。
用 PyTorch 复现 bert4keras 风格的 Transformer 实现，支持 BERT、LLaMA、ChatGLM 等模型，方便做 NLP 训练与推理。
用 Rust 写的高性能嵌入推理与索引库，支持从多种数据源摄取内容、本地跑 ONNX 模型生成向量并建索引，适合搭建生产级检索管线。
本地优先的语义代码搜索引擎，用向量嵌入理解代码含义，支持像 grep 一样搜索，但能按语义而非仅靠正则匹配找代码。
一套 14 个 AI Skill，把抖音、B站、小红书、公众号、播客等中文平台内容采集进个人知识库，支持图文存图、字幕优先免 GPU 转写、订阅调度和每日简报，还带知识库 MCP server。
跨 macOS 和 Windows 的实时语音翻译桌面应用，本地运行无需服务器，用自己的 API key 完成语音识别与翻译，并免费合成语音。
用 Go 写的 AI 网关，把 OpenAI、Anthropic、Gemini、Ollama 等多家模型统一成兼容接口，自带可观测性、限流防护、成本追踪、智能路由和故障转移，可作为 LiteLLM 的替代方案。
用 WebGL 在浏览器里跑力导向图布局和渲染，把大规模网络图的计算交给 GPU，适合做高节点数的交互式图可视化。
在 AMD Strix Halo 上本地跑 Qwen3.8-Flash-Next 和 NPU 小模型，用同一端口同时提供 OpenAI 与 Anthropic 兼容 API，让本地推理像调前沿云服务一样顺手。
Linux 上的原生语音转文字工具，提供系统级听写，速度快、准确率高且数据本地处理，适合注重隐私的用户。
面向 Apple Silicon 的本地语音工具箱，用 MLX 和 CoreML 在 iOS/macOS 上跑语音识别、语音合成、语音转换、VAD 和说话人分离，全程端侧推理。
免训练稀疏注意力方案，可直接接入任意模型推理，加速 LLM、视觉 Transformer 和视频生成，无需重新训练即可降低注意力计算开销。
Graphite 的基于文件的时间序列数据库格式，用固定大小文件存储监控指标，解决指标数据高效读写和长期保留的问题。
高通官方维护的预优化模型库，模型已针对延迟和内存调优，可直接部署到骁龙等高通设备上推理。
开源多模态训练框架，基于 Qwen3 等底座训练视觉语言模型，降低多模态模型训练门槛。
基于 PyTorch 微调 Whisper 语音识别模型，支持有无时间戳、无语音数据训练，并用 CTranslate2 加速推理，可部署到 Web、Windows 和安卓。
EAGLE-4 的官方推理代码，用投机解码加速大模型生成，可接入 SGLang、vLLM 等主流推理框架，显著提升 token 吞吐。