模型工具链

quick-start-guide-to-llms

sinanuozdemir·Jupyter Notebook

《大型语言模型快速入门指南》配套代码仓库，用 Jupyter Notebook 演示 LLM 使用、提示工程、智能体、模型蒸馏等实操，适合上手大模型开发。

面向零基础读者的模型压缩教程，系统讲解剪枝、量化、知识蒸馏、低秩分解和神经架构搜索等让大模型变小变快的方法。

Neural network model repository for highly sparse and sparse-quantized models with matching sparsification recipes

oneclickvirt

oneclickvirt·Go

一站式虚拟化管理平台，用 Go 编写，统一管理 Proxmox VE、LXD/Incus（含 GPU）、Docker、Podman、KubeVirt 等多种虚拟化与容器运行时。

在 Apple Silicon 上做 W8A8/W4A8 量化推理，调用 M5 闲置的 INT8 TensorOps 让 LLM prefill 快 1.2–1.9 倍，并用类 FlashInfer 的 GQA 解码注意力加速 SDPA。

SlimSAM

czg1225·Python

用 0.1% 的数据通过剪枝和知识蒸馏把 Segment Anything 模型压缩成轻量版，大幅降低显存和计算开销，同时保持分割精度。

把 LLM 推理中的 KV Cache 持久化到 DRAM、SSD 或 NFS 并跨请求复用，减少重复计算，加快推理速度，兼容昇腾 NPU 和 CUDA GPU。

在 CH32V003 这类低端 32 位单片机上跑低比特权重量化神经网络，把 TinyML 推理压进几毛钱的芯片里。

safetensors 的扩展，能把稀疏量化后的张量高效存到磁盘，省空间又不牺牲加载速度，适合大模型量化权重的持久化。

面向 Apple Silicon 的本地大模型推理与微调框架，用 Rust 实现，支持 LoRA/QLoRA 微调、量化、模型服务和 MLX/Metal 加速。

在本地设备上跑大语言模型的推理引擎，靠 X-Bit 量化把模型压小，让 Llama、Gemma 这类模型在资源有限的机器上也能流畅生成。

基于 llama.cpp 的推理分支，针对 Ampere 架构 Nvidia 显卡（尤其 RTX 3090/3090 Ti）深度优化，在长上下文场景下显著提升生成速度，并支持低显存配置跑 200K 以上上下文。

基于截断 SVD 的大模型压缩方法，通过奇异值分解降低 LLM 参数量与显存占用，同时尽量保住生成质量，已中稿 ICLR 2025。

用 FP8/INT8 低精度做强化学习训练的 rollout 推理，在 vLLM 上跑出更快采样速度且不掉点，适合想压低 RL 训练推理成本的大模型团队。

在单张消费级显卡上跑 PPO、GRPO 和同策略蒸馏的轻量 RL 训练框架，让普通玩家也能做 LLM 对齐后训练。

爱芯元智 AI SoC 的示例代码集合，提供 YOLO 系列等视觉模型在 NPU 上的部署样例，帮开发者快速跑通模型推理。

西北工业大学本科、硕士、博士学位论文的 LaTeX 模板，按学校排版规范生成封面、目录和参考文献，省去手动调格式的麻烦。

VideoJaNai

the-database·C#

用 ONNX 模型给视频做超分和插帧的图形界面工具，在 Windows 和 Linux 上通过 TensorRT 或 DirectML 加速推理。

一份边缘机器学习资源清单，汇总了研究论文、推理引擎、竞赛、书籍和线下活动，方便快速找到在嵌入式与移动端部署模型的相关资料。

把多智能体协作中积累的能力蒸馏进单个 LLM Agent，让一个模型就能跑出多智能体系统的效果，省去多路调用的开销。

基于 FastAI 和 PyTorch 的模型压缩工具，提供剪枝、蒸馏和量化，帮你在边缘设备上跑更小更快的神经网络。

基于 llama.cpp 和 GGUF 的 VLA 模型统一推理运行时，用 C++ 实现，支持量化部署，让机器人视觉-语言-动作模型能在本地高效跑起来。

RaBitQ 是 SIGMOD 2024 提出的高维向量量化方法，为近似最近邻搜索提供理论误差上界，适合构建向量检索系统时做有精度保证的压缩索引。

LLMKube

defilantech·Go

在 Kubernetes 上自托管大模型推理的 Operator，统一调度 NVIDIA、AMD、Apple Silicon 等异构 GPU，支持多卡分片、模型缓存和 OpenAI 兼容接口。