模型工具链
共 203 个仓库 · 一年内有推送
把 TensorFlow、Keras、TensorFlow.js 和 TFLite 模型一键转成 ONNX 格式，方便跨框架部署和推理。
一套用于计算机系统课程教学的自编译 C 编译器、自执行 RISC-V 模拟器和自托管 RISC-V 虚拟机监控器，帮助学生在动手实现中理解编译、执行与虚拟化的完整链路。
在 ComfyUI 里搭建 LLM Agent 的框架，接入 MCP、GraphRAG、语音合成与 OCR 节点，兼容 OpenAI 接口的各类模型和本地 GGUF 模型。
把 Keras、PyTorch、ONNX 训练好的神经网络模型自动转成 FPGA 可综合的 HLS 代码，方便在硬件上做低延迟推理。
在 CPU 上实时做人脸检测和面部关键点跟踪，附带 Unity 集成，适合做虚拟形象、动捕这类不需要 GPU 的场景。
用 C++ 写的轻量级 ONNX 推理库，靠流式加载把内存压到极低，能在树莓派 Zero 2 或 298MB 内存里跑 Stable Diffusion XL 1.0，桌面端也能跑 Mistral 7B。
专为 AMD Ryzen AI NPU 深度优化的本地大模型推理引擎，几分钟内就能在 AMD NPU 上跑起 LLM，省去繁琐配置。
让 vLLM 在 Apple Silicon 的 Mac 上跑起来，通过 Metal 和 MLX 后端把大模型推理搬到本地苹果芯片，省去 GPU 服务器。
本地运行的 AI 聊天应用与推理引擎，基于 llama.cpp 加载 GGUF 开源权重模型，完全离线、保护隐私，支持 Apple Silicon 桌面端。
macOS 上的本地语音转文字工具，基于端侧 AI 实现听写与转录，数据不出本机，也可按需接入云端。
一款简单易用、高性能的 AI 部署框架，支持 ONNX Runtime、MNN、昇腾等多种推理后端，用低代码方式把深度学习模型和生成式 AI 应用部署到各类硬件上。
一套面向大语言模型的实战课程 Notebook，覆盖 Hugging Face、LangChain、PEFT 微调、模型剪枝和向量数据库等，帮你从零动手跑通 LLM 应用与优化流程。
把 YOLOv8 的检测、分割、姿态模型导出为 ONNX 并用 TensorRT 加速推理，支持 Jetson 和 DeepStream 部署。
腾讯开源的模型压缩工具包，支持量化、投机解码和扩散模型加速，帮你在部署大模型时降低显存占用、提升推理效率。
一站式视觉模型训练工具，支持 YOLO、ViT、RT-DETR、DINOv3 等模型的预训练、微调与知识蒸馏，省去自己搭训练流程的麻烦。
一套 0.8B 到 27B 的开源决策模型，一次前向就能为每个选项给出校准概率，只在不确定时才输出简短思考；配套 vLLM、llama.cpp 和 MLX 推理引擎。
Intel 开源的模型量化工具，用训练后量化的低成本达到量化感知训练级别的精度，支持 int4、GGUF、MXFP4 等格式，可直接对接 vLLM、SGLang 推理。
跨平台本地大模型推理引擎，支持 Godot、Flutter、Expo 等客户端，让 LLM 在任意设备上高效离线运行。
BiSeNet 语义分割网络的 PyTorch 实现，支持 Cityscapes、ADE20K、COCO-Stuff 数据集，并提供 ncnn、OpenVINO、TensorRT、Triton 等推理部署方案。
基于 ONNX/YOLOv8 和 DirectML 的通用 AI 瞄准辅助工具，为行动不便的玩家提供视觉对齐能力，用 C# 实现。
飞桨生态下的模型压缩与架构搜索库，提供剪枝、量化、蒸馏和 NAS 等能力，帮你在部署前把深度模型压小提速。
在树莓派等边缘设备上跑深度学习推理的网关，把模型部署到 IoT 终端并通过 MQTT 上报结果，省去云端往返。
基于 PyTorch 的神经网络量化库，支持训练后量化和量化感知训练，方便把模型部署到 FPGA 等硬件上做加速。
面向 Keras 和 TensorFlow 的模型压缩工具包，通过量化和剪枝把训练好的模型压小、跑得更快，方便部署到移动端和边缘设备。