推理与服务
共 679 个仓库 · 一年内有推送
收录围绕 TypeSafe AI 的 System One 模型 Jev 打造的工具清单，方便开发者查找 Jev 的 API、连接器与生产部署方案。
把 YOLOv5 模型部署到 TensorRT、LibTorch、ONNX Runtime、TVM、NCNN 等推理后端的运行时工具链，省去自己写适配代码。
面向 LLM 推理系统的可扩展仿真器，能在不实际部署集群的情况下，大规模、高精度地模拟 Transformer 推理性能，用于容量规划与架构选型。
macOS 原生会议记录工具，用 Whisper 本地转写音频，再经 OpenRouter 生成摘要，全程注重隐私。
纯 Rust 实现的大模型推理引擎，支持 Transformer、Mamba/SSM、投机解码和 NVFP4 量化，兼容 OpenAI API，适合在 DGX 等硬件上部署高效推理服务。
用 Rust 写的引擎无关 LLM 网关，统一兼容 OpenAI 与 Anthropic 接口，把 vLLM、SGLang、Gemini 等后端接到同一入口，并支持 KV 缓存感知路由和 gRPC 流水线。
统一序列并行注意力实现，把 Ulysses 和 Ring Attention 混合成 2D 并行，让长上下文 Transformer 训练和推理能扩展到超长序列。
把 OpenAI Whisper 模型通过 TensorFlow Lite 搬到 Android 手机上，实现完全离线的语音识别，不用联网也能把说的话转成文字。
用 Whisper 把音频转成文字，再调用 GPT、Claude 等大模型翻译润色，直接输出 LRC 字幕文件，省去手动打轴和翻译的麻烦。
跨平台开源语音输入工具，按下热键自然说话，就能在任意应用中直接得到润色后的文字，省去手动打字。
在 16–64 GB 内存的 Apple Silicon Mac 上，从 SSD 流式加载 105 GB 的 4-bit 大模型跑推理，纯 Swift + MLX/Metal 实现，离线无需 Python。
开源的自动化代码审查工具，在 Code-Review-Bench 上排名第一，用 LLM 智能体自动审查 Pull Request 并给出评审意见。
用大模型对本地文档做检索问答，集成 HyDE、SPLADE、重排序和 Chroma 向量库，适合快速搭建 RAG 应用。
基于 llama.cpp 的 LLM 智能体框架，支持对话、结构化函数调用和结构化输出，即使模型未针对 JSON 或函数调用微调也能用。
围绕预训练权重做黑盒优化与神经进化，用 LoRA 集成多个任务专家，提升大模型后训练与推理表现。
让 Flutter 应用在手机、桌面和 Web 上直接跑 Gemma 等大模型，支持多模态、函数调用、向量嵌入、RAG 和语音，不用依赖云端。
纯 C99 实现的轻量级 ONNX 推理引擎，专为嵌入式设备设计，支持硬件加速，让单片机也能跑深度学习模型。
一键把 ChatGPT、Claude、Gemini 等平台的对话导出成干净 Markdown 上下文包，无需打开对话、纯本地处理不上传，方便喂给其他模型或存档。
统一接入 44 家模型厂商的 AI 网关，实时监控本机各编码代理的调用行为，并给 API 做 A–F 真实性评级，防止用错或被盗用。
Lynkr 是一个命令行 HTTP 代理，把 Claude Code CLI 包装成统一入口，让编辑器、Agent 等工具更顺畅地调用代码生成能力。
面向 LLM Agent 的推理与服务方案，帮助把大模型智能体能力落地到实际应用流程中。
用 Cython 加速 fastText 和 gensim 模型计算句向量，比原生 Python 实现快一个数量级，适合需要批量生成句向量做相似度检索的场景。
把安卓手机变成兼容 OpenAI 接口的本地大模型推理服务器，数据不出设备，可接入 Home Assistant 等应用。
把 Hugging Face 的 Transformers、Diffusers 等模型接到 Intel 的 OpenVINO 等优化工具上，加速 CPU/GPU 推理，覆盖 LLM、语音识别、语音合成和多模态模型。