单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。

OpenAI 开源的通用语音识别模型，基于大规模弱监督训练，支持多语言转写、翻译和语种识别，开箱即用。

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎，通过量化与高效推理大幅提速并降低显存占用，适合本地部署转录。

让视频扩散模型在普通显卡上也能跑起来，通过帧打包技术大幅降低显存占用，实现实用的长视频生成。

用 5 秒语音样本克隆音色，实时合成任意文本的语音，基于 PyTorch/TensorFlow 的说话人编码与声码器流水线。

快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。

让大模型在普通显卡上跑起来的 PyTorch 量化库，支持 8-bit 和 4-bit 权重压缩，也是 QLoRA 微调背后的核心依赖。

本地跑和训练大模型、扩散模型的图形界面，支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型，省去命令行配置的麻烦。

用一份 YAML 配置就能微调大模型，靠分层流式加载让 8B 模型在 4GB 显存的笔记本 GPU 上跑起来，省去手写训练脚本和显存焦虑。

面向本地部署的高速大模型推理引擎，通过稀疏激活与量化等技术，让消费级显卡也能流畅跑起 Llama 类模型。

一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。

用 CUDA 加速高斯泼溅光栅化，让 3D 高斯场景的训练和渲染跑得更快，适合做三维重建与实时渲染。

用纯 RNN 架构的 RWKV 语言模型驱动的开源聊天机器人，效果对标 ChatGPT，可在本地部署运行。

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。

基于节点图的扩散模型图形界面与后端，支持本地快速推理和 API 调用，方便搭建和调试图像生成工作流。

MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。

开源的大规模视频生成模型，支持高质量文生视频，为 AIGC 视频创作提供可用的生成能力。

RWKV 是一种兼具 RNN 与 Transformer 优势的语言模型架构，支持像 GPT 一样并行训练，推理时线性时间、常量显存、无限上下文，无需 KV 缓存。

本地运行的 ElevenLabs 开源替代品，支持声音克隆、语音设计、视频配音、听写、转写和有声书制作，覆盖 646 种语言。

开源音乐生成基础模型，用符号规划、零样本翻唱和智能体编辑从歌词生成完整歌曲，适合研究音乐生成与风格迁移。

用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子，减少显存占用并提升微调吞吐，兼容 Llama、Mistral、Gemma、Phi 等主流模型。

让大模型自主拆解目标、调用工具并连续执行任务的智能体平台，提供可视化搭建与运行环境，帮你把重复性工作交给 AI 自动完成。

用 Rust 实现的 3D 重建与高斯泼溅训练工具，让普通显卡也能跑三维重建，降低使用门槛。

面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。

基于 Ray 的高性能 RLHF 训练框架，支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速，可扩展地完成大模型和视觉语言模型的对齐后训练。

开源视频生成模型，用高效架构和训练方案降低高质量视频制作门槛，让普通开发者也能训练和部署文生视频模型。

从零手搓大模型全链路的教学项目，涵盖 Transformer、LLaMA、Qwen、RAG、Agent 和扩散模型，帮学习者拆开白盒子理解每个环节的实现细节。

3D Gaussian Splatting 的官方参考实现，用高斯点云做辐射场重建，实现实时可交互的逼真场景渲染。

用 ChatGPT 同款流程训练医疗大模型，覆盖增量预训练、有监督微调、RLHF、DPO、ORPO、GRPO 全链路，开箱即可复现。

单张图片就能快速重建出 3D 物体模型的前馈生成模型，适合需要批量产出 3D 资产的场景。

能识别复杂表格、表单和手写内容的 OCR 模型，保留完整版面布局，适合把扫描件和图片转成结构化文本喂给 RAG 或文档解析流程。

阿里云通义团队开源的多模态大模型系列，能同时理解图像和文本，用于视觉问答、图文推理等视觉语言任务。

开箱即用的视频扩散模型工具箱，支持文生视频和图生视频，重点解决高质量视频训练数据不足的问题。

像 htop 一样在终端里实时查看 NVIDIA GPU 的进程占用、显存和利用率，还能导出指标接入 Grafana 做监控面板。

汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。

一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。

单次前向传播即可对任意文本做类型化选择、打分和是非判断的非自回归决策引擎，支持100多种语言，并按请求自动路由到合适的检查点。