模型工具链
共 232 个仓库
把 YOLOv8 的检测、分割、姿态模型导出为 ONNX 并用 TensorRT 加速推理，支持 Jetson 和 DeepStream 部署。
腾讯开源的模型压缩工具包，支持量化、投机解码和扩散模型加速，帮你在部署大模型时降低显存占用、提升推理效率。
面向 Tenstorrent 加速卡的 TT-NN 算子库和 TT-Metalium 底层内核编程模型，让大模型和图像生成模型能在非 GPU 硬件上高效推理。
一站式视觉模型训练工具，支持 YOLO、ViT、RT-DETR、DINOv3 等模型的预训练、微调与知识蒸馏，省去自己搭训练流程的麻烦。
一套 0.8B 到 27B 的开源决策模型，一次前向就能为每个选项给出校准概率，只在不确定时才输出简短思考；配套 vLLM、llama.cpp 和 MLX 推理引擎。
Intel 开源的模型量化工具，用训练后量化的低成本达到量化感知训练级别的精度，支持 int4、GGUF、MXFP4 等格式，可直接对接 vLLM、SGLang 推理。
跨平台本地大模型推理引擎，支持 Godot、Flutter、Expo 等客户端，让 LLM 在任意设备上高效离线运行。
BiSeNet 语义分割网络的 PyTorch 实现，支持 Cityscapes、ADE20K、COCO-Stuff 数据集，并提供 ncnn、OpenVINO、TensorRT、Triton 等推理部署方案。
基于 ONNX/YOLOv8 和 DirectML 的通用 AI 瞄准辅助工具，为行动不便的玩家提供视觉对齐能力，用 C# 实现。
飞桨生态下的模型压缩与架构搜索库，提供剪枝、量化、蒸馏和 NAS 等能力，帮你在部署前把深度模型压小提速。
在树莓派等边缘设备上跑深度学习推理的网关，把模型部署到 IoT 终端并通过 MQTT 上报结果，省去云端往返。
基于 PyTorch 的神经网络量化库，支持训练后量化和量化感知训练，方便把模型部署到 FPGA 等硬件上做加速。
面向 Keras 和 TensorFlow 的模型压缩工具包，通过量化和剪枝把训练好的模型压小、跑得更快，方便部署到移动端和边缘设备。
面向 Windows 开发者的开源示例库，演示如何用本地模型和 API 给 Windows 应用加上 AI 能力，覆盖 ONNX Runtime、DirectML 和 NPU 加速。
自托管 Chatterbox 语音合成模型的服务端，带 Web 界面和 OpenAI 兼容 API，支持预置音色、声音克隆和长篇有声书文本处理，可在 NVIDIA、AMD 和 CPU 上加速运行。
OuteTTS 模型的推理接口，支持 GGUF 和 Transformers 后端，方便本地跑文本转语音。
把 ONNX 模型转成 TensorFlow 格式，方便在 TensorFlow 生态里直接加载和运行其他框架训练好的模型。
无需 ROOT 的安卓屏幕实时翻译工具，通过端侧或云端 OCR 识别游戏、视觉小说和漫画中的文字，再用离线 LLM 或在线翻译服务把译文直接叠加显示在画面上。
免训练稀疏注意力方案，可直接接入任意模型推理，加速 LLM、视觉 Transformer 和视频生成，无需重新训练即可降低注意力计算开销。
基于 PyTorch 的推荐模型训练框架，封装了 CTR 预估、生成式推荐等常用算法，开箱即用且方便扩展，支持昇腾 NPU 和 ONNX 导出。
面向 OpenVINO 推理的神经网络压缩框架，提供量化、剪枝和混合精度训练，把模型压小提速后再部署。
把 Keras、scikit-learn、LightGBM 等训练好的模型转成 ONNX 格式，方便跨框架部署和推理。
把 YOLO 全系列（v5 到 v12、YOLOX）模型转成 TensorRT 引擎做加速推理，内置 NMS 插件，省去自己写后处理的麻烦。
把对话语言模型压到 2-bit 量化，小到能在 8 位 Z80 处理器上跑，用 Python 训练后导出成 CP/M 的 .COM 程序，让老电脑也能聊天。