模型工具链
共 43 个仓库 · C++
在笔记本 CPU 上本地跑二分类、多选和带概率打分的决策模型，是 Jev 和 Microsoft-Decision-1 的开源替代，支持 GGUF 量化推理。
C++ 编写的机器学习框架，同时支持深度学习与传统算法，可加载 ONNX 模型，适合在 C++ 项目中集成训练与推理能力。
用 C++ 把 YOLOv8 模型部署到 TensorRT 上做高性能推理，适合需要低延迟目标检测的工程落地场景。
基于 YOLO12 的 AI 瞄准辅助，支持所有 FPS/TPS 游戏，通过 TensorRT、CUDA 或 DirectML 在 GPU 上推理，并配合 Arduino、KMBox 等硬件实现鼠标控制。
纯 C++ 实时单目多人 3D 全身重建，输出带手部 70 关节骨架的 BVH 动作捕捉数据，ONNX + ggml 推理无需 Python。
Xilinx 官方运行时库，让 AIE 和 FPGA 加速卡在 Linux 上跑起来，提供驱动、用户态 API 和编译工具链，方便把 AI 负载卸载到 Versal、Ryzen AI 等硬件。
把 Depth Anything V3 单目深度估计模型封装成 ROS2 节点，用 TensorRT 加速推理，从相机图像直接输出米制深度图和点云。
面向单片机和微型计算机的轻量级深度学习库与推理框架，自带编译器，不绑定芯片厂商，可在 ESP32、Arduino 等边缘设备上跑模型。
在单张 RTX 4090 加 110GB 内存的游戏 PC 上本地跑 552B 的 DeepSeek-V4.1-Flash 做编码智能体，MoE 专家分层放在显存、锁页内存和 NVMe 上，兼容 OpenAI 与 Anthropic API。
为 VapourSynth 视频处理框架提供 CPU/GPU 高效推理运行时，内置 waifu2x、Real-ESRGAN、RIFE、Real-CUGAN 等超分、降噪、插帧模型，方便在视频后期流程里直接调用。
提供示例应用，演示如何把 TAO 训练的模型部署到 DeepStream 视频分析流水线，覆盖 YOLOv3、RetinaNet、DSSD 等模型。
基于 tensorRT_Pro 扩展的 TensorRT C++ 推理库，集成 YOLO、RT-DETR、PPOCR、车道线检测、深度估计等多类视觉模型，提供高性能部署方案。
把 LLM 推理中的 KV Cache 持久化到 DRAM、SSD 或 NFS 并跨请求复用，减少重复计算，加快推理速度，兼容昇腾 NPU 和 CUDA GPU。
基于 llama.cpp 的推理分支，针对 Ampere 架构 Nvidia 显卡（尤其 RTX 3090/3090 Ti）深度优化，在长上下文场景下显著提升生成速度，并支持低显存配置跑 200K 以上上下文。
基于 llama.cpp 和 GGUF 的 VLA 模型统一推理运行时，用 C++ 实现，支持量化部署，让机器人视觉-语言-动作模型能在本地高效跑起来。
RaBitQ 是 SIGMOD 2024 提出的高维向量量化方法，为近似最近邻搜索提供理论误差上界，适合构建向量检索系统时做有精度保证的压缩索引。
用 Python 把多路视频流、多个模型和多块 GPU 串起来做实时视频分析，底层靠 CUDA、TensorRT 和 DeepStream 加速，适合搭建高吞吐的视觉推理流水线。
基于 C++/CUDA 的高性能 SDK，把音频实时驱动成 3D 面部表情和口型，内置后处理，适合做虚拟人、数字主播这类实时动画。
ONNXim 是一个周期级多核 NPU 模拟器，能快速仿真 DNN 推理在 NPU 上的执行过程，帮助评估和优化硬件设计。