面向手机端的高性能神经网络推理框架，针对 ARM 平台深度优化，让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。

提供大量预训练、前沿的 ONNX 格式模型，可直接下载用于推理部署或迁移学习，省去自己转换和训练的成本。

面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。

Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

轻量级 OCR 工具包，能把图片和 PDF 转成结构化数据，支持 100 多种语言，方便接入 LLM 和 RAG 流程。

开源手机智能体模型与框架，让 AI 直接操作手机界面完成点按、输入等任务，把「AI 手机」能力开放给所有人。

MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

基于流匹配的语音合成模型官方实现，只需一段参考音频就能克隆音色并生成流畅自然的语音，适合做零样本 TTS 和语音克隆。

阿里开源的轻量级端侧推理引擎，主打手机和嵌入式设备上的高性能模型推理，能跑大模型和常规深度学习网络。

面向语音 AI 的可扩展生成式框架，覆盖语音识别、语音合成、说话人分离与语音翻译，方便研究和开发人员训练部署语音模型。

Facebook AI 开源的端到端语音识别训练工具包，用 C++ 实现，可基于 wav2letter 架构训练声学模型，省去传统 ASR 繁琐的特征工程流程。

把机器学习模型打包成标准 Docker 容器，自动生成 HTTP 推理服务接口，省去自己写 Dockerfile 和部署脚本的麻烦。

实时交互式数字人直播方案，基于 ER-NeRF、MuseTalk 等模型实现音频驱动口型同步与说话头生成，可用于虚拟主播和实时对话场景。

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型，几行代码就能接入，省去自己适配硬件的麻烦。

NVIDIA 官方的高性能深度学习推理 SDK，能把训练好的模型在 NVIDIA GPU 上做极致加速和部署，适合追求低延迟高吞吐的生产推理场景。

PyTorch 官方的端侧推理框架，把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行，覆盖 CPU、GPU 等多种后端。

在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理，靠 Metal GPGPU 把 MoE 模型塞进本地设备。

一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。

整理大模型与多模态推理加速论文和配套代码的资源清单，涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向，方便快速定位和复现关键技术。

汇总可私有化部署的中文大语言模型资源清单，覆盖小规模底座模型、垂直领域微调、数据集与教程，方便低成本选型落地。