统一接入 375 家模型供应商、1400+ 模型的 MIT 协议 AI 网关，配额感知自动降级，并用压缩省下 15-95% token，兼容 Claude Code、Cursor 等编码工具。
Official inference library for Mistral models
Large Language Model Text Generation Inference
面向云端和数据中心的高性能推理服务端，支持多种深度学习框架模型部署，并可在边缘设备上运行。
面向 NVIDIA Jetson 嵌入式设备的深度学习推理部署指南，用 TensorRT 加速图像识别等视觉任务，配套教程和预训练模型开箱即用。
一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。
面向文本嵌入模型的高性能推理服务，用 Rust 编写，可快速把文本转成向量，适合搭建检索和 RAG 的向量化后端。
把任意电脑或边缘设备变成计算机视觉推理服务器，一条命令部署目标检测、分类、实例分割等模型，省去自己搭服务的麻烦。
开源推理研究平台，用于在 AMD、CUDA 等不同 GPU 上对 LLM 推理服务做基准测试和性能对比，帮团队选型加速卡。
用 YOLOv5 + DeepSORT 做车辆和行人的多目标追踪与计数，封装成 Detector 类，方便直接嵌进自己的项目里。
用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。
本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。
统一加载和运行文本、视觉、音频、多模态的预训练模型，覆盖推理与训练，省去为每个模型重写代码的麻烦。
基于节点图的扩散模型图形界面与后端，支持本地快速推理和 API 调用，方便搭建和调试图像生成工作流。
面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
分布式 AI 计算引擎，提供核心分布式运行时和一组 AI 库，用来加速机器学习负载、大模型推理与超参搜索。
在 Apple 芯片 Mac 上本地运行的电脑操作代理，通过 macOS 无障碍 API 驱动，用 laya 做端侧决策、CUA-S1-FORMS 填表，无需云端。
高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。
开源本地 AI 推理引擎，无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型，提供兼容 OpenAI 的 API。
基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
OpenAI Whisper 语音识别模型的 C/C++ 移植版，无需 Python 和 GPU 依赖，在普通 CPU 上就能跑语音转文字。
开源计算机视觉库，提供图像处理、视频分析和深度学习推理的 C++ 接口，是视觉应用开发的基础设施。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。
跨平台机器学习框架，提供可定制的视觉、音频等实时流媒体处理方案，方便在移动端和桌面端搭建低延迟推理管线。
基于 PyTorch 的目标检测全家桶，覆盖训练、推理、实例分割、图像分类和模型导出，开箱即用，适合快速落地视觉任务。
汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。
开源的对话语音生成模型，能把文字转成自然流畅的日常对话语音，适合给聊天机器人和语音助手配音。
面向手机端的高性能神经网络推理框架，针对 ARM 平台深度优化，让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。
基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎，通过量化与高效推理大幅提速并降低显存占用，适合本地部署转录。
面向 RAG 的文档索引方案，不依赖向量数据库，用推理方式定位和检索文档内容，适合构建 Agent 式检索流程。
扫描 Git 仓库和提交历史，自动找出硬编码的密钥、令牌等敏感信息，帮你在 CI/CD 流程里提前拦截泄露风险。
用 Rust 封装 ONNX Runtime 跑 Ultralytics YOLO 推理，支持 CUDA、CoreML、OpenVINO 等 GPU 后端，还带命令行和 WebGPU/WASM，方便在本地或浏览器里做目标检测、分割、姿态估计。
一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。
用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
在 NVIDIA OpenShell 沙箱里安全运行 Hermes、LangChain Deep Agents、OpenClaw 等智能体，并统一托管推理调用，解决智能体执行环境隔离与模型接入管理问题。
一本面向大模型工程实践的开源手册，系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题，帮工程师把模型真正跑起来。
面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。
一套可复用的计算机视觉工具库，提供目标检测、实例分割、分类等任务的标注处理、指标计算与可视化组件，帮开发者省去重复造轮子的时间。