模型工具链
共 232 个仓库
一款 ONNX 模型优化工具，通过精简计算图和冗余节点来减小模型体积、提升推理速度，适合部署前做模型瘦身。
收录 CUDA、cuBLAS、CUTLASS、TensorRT-LLM、Triton、TVM、MLIR 等 GPU 加速与高性能计算开源项目的精选清单，方便按方向找底层算子、编译器和推理框架。
把手机里的图片和视频在本地用 ONNX 模型提取向量，建成可相似度检索的个人知识库，全程离线不传云端。
在单张 RTX 4090 加 110GB 内存的游戏 PC 上本地跑 552B 的 DeepSeek-V4.1-Flash 做编码智能体，MoE 专家分层放在显存、锁页内存和 NVMe 上，兼容 OpenAI 与 Anthropic API。
面向重度用户的纯本地 Android 输入法，内置无限剪贴板历史搜索与标签、待办、自研滑行输入和可配置纠错，数据不出设备。
解析、编辑、优化和性能分析 ONNX 模型的 Python 工具，方便查看模型结构、修改计算图并定位推理瓶颈。
为 VapourSynth 视频处理框架提供 CPU/GPU 高效推理运行时，内置 waifu2x、Real-ESRGAN、RIFE、Real-CUGAN 等超分、降噪、插帧模型，方便在视频后期流程里直接调用。
基于 Qwen3.6-27B 做去审查与能力增强的 abliteration 模型，配合 NVFP4 量化和 DFlash 投机解码，在 DGX Spark 上优化长上下文草稿接受率，附多种 HF 变体与 Docker 部署。
微软开源的神经架构搜索（NAS）研究框架，提供快速、可复现、模块化的实验流程，帮你在 PyTorch 上跑 DARTS、Petridish 等 NAS 算法并做超参优化与模型压缩。
用 LangChain.js、LlamaIndex.TS 和微软 Agent Framework 编排多个 AI 智能体，通过 MCP 协作，演示可部署到 Azure 容器应用的企业级旅行应用。
字节跳动开源的模型编译方案，基于 MLIR/LLVM 把 PyTorch、ONNX、TensorFlow 等模型编译到多种硬件上运行，解决跨平台部署和推理性能问题。
提供示例应用，演示如何把 TAO 训练的模型部署到 DeepStream 视频分析流水线，覆盖 YOLOv3、RetinaNet、DSSD 等模型。
面向 iPad 和 iPhone 的开源端侧 AI 智能体工作台，在设备本地跑 Linux、终端、Python/Node.js、Git 和 3D/CAD 编辑，支持自带密钥接入大模型。
面向边缘受限硬件的神经网络压缩工具包，提供量化感知训练和训练后量化等高级量化压缩能力，帮研究者把模型高效部署到资源紧张的设备上。
面向大模型的一站式压缩 Python 包，集成量化与 QEP 等技术，可压缩模型体积并接入 vLLM 加速推理部署。
免调优的 KV Cache 2bit 非对称量化方案，能大幅压缩大模型推理时的显存占用，让长上下文推理在有限显存下跑起来。
跨平台多媒体开发套件，提供 Dolby Vision、HDR、D3D12、Metal 等硬件加速解码与播放能力，方便在各类设备上集成高质量视频处理。
收录 Agent、模型架构、训练、RAG 与端侧 AI 等方向突破性论文的精选档案库，方便快速跟进大模型前沿研究。
把 ONNX 模型编译成纯 C 代码，方便在单片机和边缘设备上直接跑推理，不用带完整运行时。
面向 ASIC、FPGA 和 NPU 的加速器设计与编程框架，用 Python DSL 描述硬件，再经编译器生成高性能硬件实现。
基于 tensorRT_Pro 扩展的 TensorRT C++ 推理库，集成 YOLO、RT-DETR、PPOCR、车道线检测、深度估计等多类视觉模型，提供高性能部署方案。
在 NVIDIA GPU 上为 StartLux-Decision 模型提供快速精确推理，支持 int8 和 4-bit 量化的 GGUF 权重，延迟比 vLLM FP8 低至 5.3 倍且答案逐位一致。
纯 C 实现的 LLM 推理库，零依赖单头文件，通过无损 KV cache 压缩把上下文长度拉长到 7 倍，适合嵌入到资源受限环境。
汇总深度神经网络压缩与加速方向的论文清单，方便按主题查找剪枝、量化等模型轻量化研究。