一套统一接口搞定 100+ 大语言模型和多模态模型的微调，支持 LoRA 等高效训练方式，省去为每个模型单独写训练脚本的麻烦。
在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
基于飞桨的 NLP 与大模型开发库，提供丰富模型库，覆盖 BERT、ERNIE、LLaMA 等，支持分布式训练、压缩和文档智能等任务。
SANA 是英伟达开源的高效扩散生成模型与配套训练推理引擎，支持文生图、文生视频和世界模型，用线性注意力和 NVFP4 量化在低显存下实现快速生成。
无需训练即可修改语言模型行为，通过消融技术去除审查、抑制废话、减少谄媚，让模型输出更直接可控。
让大模型在普通显卡上跑起来的 PyTorch 量化库，支持 8-bit 和 4-bit 权重压缩，也是 QLoRA 微调背后的核心依赖。
一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。
基于 TurboQuant 量化算法、用 Rust 实现并带 Python 绑定的向量索引，面向 RAG 和嵌入检索场景，提供高压缩比、低内存的近似最近邻搜索。
提供 20 多个高性能大语言模型的训练配方，覆盖预训练、微调和规模化部署全流程，适合想快速上手 LLM 训练与推理的开发者。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。
面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。
本地部署的 AI 量化投资研究平台，集成回测、机器学习选股与自动交易，帮个人开发者搭建从策略研究到实盘的完整量化流程。
汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。
用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。
用强化学习训练 Transformer 语言模型的全流程库，覆盖 SFT、奖励建模到 PPO/DPO 等 RLHF 算法，省去自己拼训练管线。
基于 PyTorch 的扩散模型工具箱，统一加载和训练 Stable Diffusion、FLUX 等模型，做图像、视频、音频生成。
面向稠密向量的高效相似度检索与聚类库，支持十亿级向量近邻搜索，是构建向量数据库和 RAG 检索层的底层引擎。
用 LoRA、Adapter 等少量参数微调大模型和扩散模型，大幅降低显存与训练成本，是 Hugging Face 生态里做参数高效微调的标准库。
开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。
一站式大模型微调工具，支持 LoRA、QLoRA、全参等多种训练方式，用配置文件就能跑起各种开源模型的微调任务。
面向手机等消费级设备的 LLM 推理引擎，用 2bit 量化和手写内核把大模型塞进端侧运行，主打低显存、跨 Android/iOS 的 ARM 部署。
Rust 写的张量库和深度学习框架，兼顾灵活性与效率，支持自动微分、跨平台后端和内核融合，可训练和部署神经网络。
提供大量预训练、前沿的 ONNX 格式模型，可直接下载用于推理部署或迁移学习，省去自己转换和训练的成本。
把多个预训练大模型按不同策略合并成一个新模型的工具集，不用重新训练就能组合各家能力，适合做模型融合实验。
用 LLM 智能体自动完成数据挖掘、模型训练等研发流程，让 AI 驱动数据驱动的 AI 开发。
CodeGeeX2 是多语言代码生成预训练模型，支持多种编程语言的代码补全与生成，可作为编码助手的底层模型。
用一份 YAML 配置就能微调大模型，靠分层流式加载让 8B 模型在 4GB 显存的笔记本 GPU 上跑起来，省去手写训练脚本和显存焦虑。
一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。
面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理，支持视觉、LLM 和生成式模型，省去自己折腾底层加速的麻烦。
基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎，通过量化与高效推理大幅提速并降低显存占用，适合本地部署转录。
在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。
NVIDIA 官方的高性能深度学习推理 SDK，能把训练好的模型在 NVIDIA GPU 上做极致加速和部署，适合追求低延迟高吞吐的生产推理场景。
中文 LLaMA-2 与 Alpaca-2 大模型二期项目，提供支持 64K 超长上下文的中文预训练和指令微调模型，可直接用于长文本理解与对话。
阿里云通义团队开源的多模态大模型系列，能同时理解图像和文本，用于视觉问答、图文推理等视觉语言任务。
在 Apple Silicon 上通过 MLX 框架运行大语言模型，支持加载、推理和微调，让 Mac 本地跑 LLM 更省心。
统一加载和运行文本、视觉、音频、多模态的预训练模型，覆盖推理与训练，省去为每个模型重写代码的麻烦。
开源文生视频和图生视频模型，CogVideoX 支持从文本或图片生成视频，适合搭建视频生成推理服务。
用有损量化把 PNG 压到原体积的几分之一，肉眼几乎看不出差别，适合给网页和 App 里的图片瘦身。