模型工具链
232 个仓库模型的转换、量化、编译与硬件适配。
端侧唤醒词检测引擎，用深度学习在本地识别自定义唤醒词，无需联网即可实现语音激活。
华为开源的深度学习训练与推理框架，覆盖移动端、边缘和云场景，主打国产 NPU 生态适配。
100M 参数的多语言语音合成模型，能在 CPU 上实时推理，支持音色克隆和 48kHz 立体声输出，适合本地部署轻量 TTS。
收集大量预训练模型，并已转成 TensorFlow、PyTorch、ONNX、OpenVINO、TFLite、CoreML 等格式，省去自己跨框架转换的麻烦。
一个轻量级 C++ AI 工具包，集成 100+ 模型，支持 MNN、ONNX Runtime 和 TensorRT 推理，覆盖目标检测、分割、Stable Diffusion、人脸融合等任务。
把 PyTorch 等导出的 ONNX 模型做图优化和算子融合，去掉冗余节点、简化计算图，方便部署和推理加速。
把 OpenAI Whisper 做成近实时的语音转文字服务，支持 TensorRT、OpenVINO、ROCm 等硬件加速，适合直播字幕和听写场景。
extract internal monitoring data from application logs for collection in a timeseries database
基于 MLIR 的可重定向机器学习编译器与运行时工具包，把 PyTorch、TensorFlow、JAX、ONNX 等模型编译到 CPU、CUDA、ROCm、Vulkan 等多种硬件上运行。
量化注意力算子库，在语言、图像、视频模型上比 FlashAttention 快 2-5 倍且不损失端到端精度，可直接替换加速推理。
面向 vLLM 生产推理的 LLM 压缩工具，支持量化等压缩算法，把大模型压小以便高效部署。
汇总知识蒸馏领域的论文、代码与资源清单，方便快速查找教师-学生模型压缩和知识迁移的相关工作。
给 LLM Agent 用的长期记忆系统，通过压缩和知识图谱把文本与多模态历史高效存下来，让 Agent 跨会话记住关键信息。
AWQ 是一种激活感知的权重量化方法，能在几乎不损失精度的情况下把大模型压到 4bit，并配合高效推理内核显著降低显存占用、提升推理速度。
为 Transformers、Diffusers 等模型提供硬件加速与量化、ONNX 导出等优化工具，让推理和训练在各类硬件上跑得更快。
面向任意结构剪枝的通用框架，支持 LLM、视觉基础模型和 Transformer 等，用依赖图自动处理层间耦合，省去手工设计剪枝策略。
在手机或 Mac 上离线跑 GGUF 大模型、视觉识别、Whisper 语音转文字和 Stable Diffusion 生图，支持工具调用与局域网服务，无需账号和 API Key。
把 ONNX 模型直接转成 TensorRT 引擎的官方解析器，让训练好的模型能在 NVIDIA GPU 上做高性能推理部署。
基于 ONNX Runtime 和 DirectX 12 的图像/视频 AI 超分工具，带图形界面，支持 N 卡、A 卡和 Intel 显卡，可降噪、去压缩伪影，适合修复动漫和漫画素材。
用 Rust 写的轻量级推理引擎，能直接跑 TensorFlow 和 ONNX 模型，无需额外依赖，适合在边缘设备或嵌入式场景部署神经网络。
让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件，帮你在国产算力上部署大模型服务。
PyTorch 官方的量化与稀疏化工具库，支持训练和推理阶段的低精度计算，覆盖 float8、MX 等数据类型，可加速 Transformer 和 Llama 等大模型。
把 PyTorch、TorchScript 和 FX 模型编译成 TensorRT 引擎，在 NVIDIA GPU 上做推理加速，省去手写 TensorRT 网络的麻烦。
把 Nunchaku 的 4-bit 量化扩散模型推理接进 ComfyUI，让 FLUX 等模型在低显存下也能快速出图。