模型工具链
共 203 个仓库 · 一年内有推送
在 NVIDIA GPU 上为 StartLux-Decision 模型提供快速精确推理，支持 int8 和 4-bit 量化的 GGUF 权重，延迟比 vLLM FP8 低至 5.3 倍且答案逐位一致。
基于 tensorRT_Pro 扩展的 TensorRT C++ 推理库，集成 YOLO、RT-DETR、PPOCR、车道线检测、深度估计等多类视觉模型，提供高性能部署方案。
纯 C 实现的 LLM 推理库，零依赖单头文件，通过无损 KV cache 压缩把上下文长度拉长到 7 倍，适合嵌入到资源受限环境。
汇总深度神经网络压缩与加速方向的论文清单，方便按主题查找剪枝、量化等模型轻量化研究。
面向零基础读者的模型压缩教程，系统讲解剪枝、量化、知识蒸馏、低秩分解和神经架构搜索等让大模型变小变快的方法。
一站式虚拟化管理平台，用 Go 编写，统一管理 Proxmox VE、LXD/Incus（含 GPU）、Docker、Podman、KubeVirt 等多种虚拟化与容器运行时。
在 Apple Silicon 上做 W8A8/W4A8 量化推理，调用 M5 闲置的 INT8 TensorOps 让 LLM prefill 快 1.2–1.9 倍，并用类 FlashInfer 的 GQA 解码注意力加速 SDPA。
把 LLM 推理中的 KV Cache 持久化到 DRAM、SSD 或 NFS 并跨请求复用，减少重复计算，加快推理速度，兼容昇腾 NPU 和 CUDA GPU。
在 CH32V003 这类低端 32 位单片机上跑低比特权重量化神经网络，把 TinyML 推理压进几毛钱的芯片里。
safetensors 的扩展，能把稀疏量化后的张量高效存到磁盘，省空间又不牺牲加载速度，适合大模型量化权重的持久化。
面向 Apple Silicon 的本地大模型推理与微调框架，用 Rust 实现，支持 LoRA/QLoRA 微调、量化、模型服务和 MLX/Metal 加速。
在本地设备上跑大语言模型的推理引擎，靠 X-Bit 量化把模型压小，让 Llama、Gemma 这类模型在资源有限的机器上也能流畅生成。
基于 llama.cpp 的推理分支，针对 Ampere 架构 Nvidia 显卡（尤其 RTX 3090/3090 Ti）深度优化，在长上下文场景下显著提升生成速度，并支持低显存配置跑 200K 以上上下文。
在单张消费级显卡上跑 PPO、GRPO 和同策略蒸馏的轻量 RL 训练框架，让普通玩家也能做 LLM 对齐后训练。
爱芯元智 AI SoC 的示例代码集合，提供 YOLO 系列等视觉模型在 NPU 上的部署样例，帮开发者快速跑通模型推理。
西北工业大学本科、硕士、博士学位论文的 LaTeX 模板，按学校排版规范生成封面、目录和参考文献，省去手动调格式的麻烦。
用 ONNX 模型给视频做超分和插帧的图形界面工具，在 Windows 和 Linux 上通过 TensorRT 或 DirectML 加速推理。
一份边缘机器学习资源清单，汇总了研究论文、推理引擎、竞赛、书籍和线下活动，方便快速找到在嵌入式与移动端部署模型的相关资料。
把多智能体协作中积累的能力蒸馏进单个 LLM Agent，让一个模型就能跑出多智能体系统的效果，省去多路调用的开销。
基于 FastAI 和 PyTorch 的模型压缩工具，提供剪枝、蒸馏和量化，帮你在边缘设备上跑更小更快的神经网络。
基于 llama.cpp 和 GGUF 的 VLA 模型统一推理运行时，用 C++ 实现，支持量化部署，让机器人视觉-语言-动作模型能在本地高效跑起来。
在 Kubernetes 上自托管大模型推理的 Operator，统一调度 NVIDIA、AMD、Apple Silicon 等异构 GPU，支持多卡分片、模型缓存和 OpenAI 兼容接口。
RaBitQ 是 SIGMOD 2024 提出的高维向量量化方法，为近似最近邻搜索提供理论误差上界，适合构建向量检索系统时做有精度保证的压缩索引。
用 Python 把多路视频流、多个模型和多块 GPU 串起来做实时视频分析，底层靠 CUDA、TensorRT 和 DeepStream 加速，适合搭建高吞吐的视觉推理流水线。