模型工具链
共 203 个仓库 · 一年内有推送
收集大量预训练模型，并已转成 TensorFlow、PyTorch、ONNX、OpenVINO、TFLite、CoreML 等格式，省去自己跨框架转换的麻烦。
一个轻量级 C++ AI 工具包，集成 100+ 模型，支持 MNN、ONNX Runtime 和 TensorRT 推理，覆盖目标检测、分割、Stable Diffusion、人脸融合等任务。
把 PyTorch 等导出的 ONNX 模型做图优化和算子融合，去掉冗余节点、简化计算图，方便部署和推理加速。
把 OpenAI Whisper 做成近实时的语音转文字服务，支持 TensorRT、OpenVINO、ROCm 等硬件加速，适合直播字幕和听写场景。
基于 MLIR 的可重定向机器学习编译器与运行时工具包，把 PyTorch、TensorFlow、JAX、ONNX 等模型编译到 CPU、CUDA、ROCm、Vulkan 等多种硬件上运行。
量化注意力算子库，在语言、图像、视频模型上比 FlashAttention 快 2-5 倍且不损失端到端精度，可直接替换加速推理。
面向 vLLM 生产推理的 LLM 压缩工具，支持量化等压缩算法，把大模型压小以便高效部署。
汇总知识蒸馏领域的论文、代码与资源清单，方便快速查找教师-学生模型压缩和知识迁移的相关工作。
给 LLM Agent 用的长期记忆系统，通过压缩和知识图谱把文本与多模态历史高效存下来，让 Agent 跨会话记住关键信息。
为 Transformers、Diffusers 等模型提供硬件加速与量化、ONNX 导出等优化工具，让推理和训练在各类硬件上跑得更快。
在手机或 Mac 上离线跑 GGUF 大模型、视觉识别、Whisper 语音转文字和 Stable Diffusion 生图，支持工具调用与局域网服务，无需账号和 API Key。
把 ONNX 模型直接转成 TensorRT 引擎的官方解析器，让训练好的模型能在 NVIDIA GPU 上做高性能推理部署。
基于 ONNX Runtime 和 DirectX 12 的图像/视频 AI 超分工具，带图形界面，支持 N 卡、A 卡和 Intel 显卡，可降噪、去压缩伪影，适合修复动漫和漫画素材。
用 Rust 写的轻量级推理引擎，能直接跑 TensorFlow 和 ONNX 模型，无需额外依赖，适合在边缘设备或嵌入式场景部署神经网络。
让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件，帮你在国产算力上部署大模型服务。
PyTorch 官方的量化与稀疏化工具库，支持训练和推理阶段的低精度计算，覆盖 float8、MX 等数据类型，可加速 Transformer 和 Llama 等大模型。
把 PyTorch、TorchScript 和 FX 模型编译成 TensorRT 引擎，在 NVIDIA GPU 上做推理加速，省去手写 TensorRT 网络的麻烦。
把 Nunchaku 的 4-bit 量化扩散模型推理接进 ComfyUI，让 FLUX 等模型在低显存下也能快速出图。
在自己的 GPU 上跑 GLM-5.3-Flash、DeepSeek-V4.1-Flash、MiniMax-M3.1-Flash 等大模型，统一引擎加可视化面板，兼容 OpenAI 与 Anthropic 接口。
一个跨平台本地大模型聊天客户端，通过统一界面连接 llama.cpp 本地模型以及 Anthropic、OpenAI、DeepSeek、Ollama 等远程服务。
面向已训练神经网络模型的量化与压缩库，提供剪枝、量化等高级技术，帮助在部署前压缩模型体积、降低推理开销。
面向 PyTorch、TensorFlow 和 ONNX Runtime 的模型压缩工具，支持 INT8/FP8/INT4 等低比特量化和稀疏化，帮大模型在低精度下保持精度并降低显存与推理成本。
汇集计算机视觉方向的实战项目合集，覆盖 Python、C++、CUDA 和嵌入式部署，方便直接上手跑通检测、识别等模型并落地到 TensorRT 等推理环境。
开源云原生一站式机器学习与大模型平台，覆盖拖拉拽 pipeline 编排、多机多卡训练、推理服务和 MaaS，支持昇腾等国产异构算力调度。