推理与服务
共 751 个仓库
汇集大语言模型自定义训练与推理的教程、最佳实践和可直接运行的代码，基于 HuggingFace 和 Transformers，帮开发者快速上手 BERT 等模型的微调与部署。
收录围绕 TypeSafe AI 的 System One 模型 Jev 打造的工具清单，方便开发者查找 Jev 的 API、连接器与生产部署方案。
把 YOLOv5 模型部署到 TensorRT、LibTorch、ONNX Runtime、TVM、NCNN 等推理后端的运行时工具链，省去自己写适配代码。
汇总大模型全栈优质资源的清单，覆盖训练、推理、LLMOps 等环节，帮开发者快速找到需要的工具和资料。
面向 LLM 推理系统的可扩展仿真器，能在不实际部署集群的情况下，大规模、高精度地模拟 Transformer 推理性能，用于容量规划与架构选型。
macOS 原生会议记录工具，用 Whisper 本地转写音频，再经 OpenRouter 生成摘要，全程注重隐私。
纯 Rust 实现的大模型推理引擎，支持 Transformer、Mamba/SSM、投机解码和 NVFP4 量化，兼容 OpenAI API，适合在 DGX 等硬件上部署高效推理服务。
用 Rust 写的引擎无关 LLM 网关，统一兼容 OpenAI 与 Anthropic 接口，把 vLLM、SGLang、Gemini 等后端接到同一入口，并支持 KV 缓存感知路由和 gRPC 流水线。
把大模型同时训练成嵌入模型和生成模型，一个模型既能做文本向量化检索，又能直接生成答案，省去部署两套模型的麻烦。
统一序列并行注意力实现，把 Ulysses 和 Ring Attention 混合成 2D 并行，让长上下文 Transformer 训练和推理能扩展到超长序列。
把 OpenAI Whisper 模型通过 TensorFlow Lite 搬到 Android 手机上，实现完全离线的语音识别，不用联网也能把说的话转成文字。
用 Whisper 把音频转成文字，再调用 GPT、Claude 等大模型翻译润色，直接输出 LRC 字幕文件，省去手动打轴和翻译的麻烦。
用 pyannote 做说话人分离、Whisper 做语音识别，把会议录音转成带说话人标记的文字，再交给 ChatGPT 生成会议纪要。
跨平台开源语音输入工具，按下热键自然说话，就能在任意应用中直接得到润色后的文字，省去手动打字。
开源的自动化代码审查工具，在 Code-Review-Bench 上排名第一，用 LLM 智能体自动审查 Pull Request 并给出评审意见。
在 16–64 GB 内存的 Apple Silicon Mac 上，从 SSD 流式加载 105 GB 的 4-bit 大模型跑推理，纯 Swift + MLX/Metal 实现，离线无需 Python。
用大模型对本地文档做检索问答，集成 HyDE、SPLADE、重排序和 Chroma 向量库，适合快速搭建 RAG 应用。
基于 llama.cpp 的 LLM 智能体框架，支持对话、结构化函数调用和结构化输出，即使模型未针对 JSON 或函数调用微调也能用。
围绕预训练权重做黑盒优化与神经进化，用 LoRA 集成多个任务专家，提升大模型后训练与推理表现。
让 Flutter 应用在手机、桌面和 Web 上直接跑 Gemma 等大模型，支持多模态、函数调用、向量嵌入、RAG 和语音，不用依赖云端。
纯 C99 实现的轻量级 ONNX 推理引擎，专为嵌入式设备设计，支持硬件加速，让单片机也能跑深度学习模型。
一键把 ChatGPT、Claude、Gemini 等平台的对话导出成干净 Markdown 上下文包，无需打开对话、纯本地处理不上传，方便喂给其他模型或存档。
统一接入 44 家模型厂商的 AI 网关，实时监控本机各编码代理的调用行为，并给 API 做 A–F 真实性评级，防止用错或被盗用。
Lynkr 是一个命令行 HTTP 代理，把 Claude Code CLI 包装成统一入口，让编辑器、Agent 等工具更顺畅地调用代码生成能力。