面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

统一调用 100+ 家 LLM API 的 AI 网关，用 OpenAI 格式或原生格式接入，自带成本追踪、限流护栏、负载均衡和日志。

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。

面向 LLM 推理的可编程语义路由层，按请求语义把流量分发到不同模型和算力，并内置护栏与 K8s 集成。

…ma, HuggingFace, LangChain, LlamaIndex, vLLM, DeepSpeed, Axolotl, etc.

面向系统工程师的实战课程，在 Apple Silicon 上从零搭建一个迷你 vLLM 推理引擎并跑通 Qwen 模型，帮你搞懂大模型推理系统的内部机制。

通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

基于 Ray 的高性能 RLHF 训练框架，支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速，可扩展地完成大模型和视觉语言模型的对齐后训练。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

面向数据中心的分布式推理服务框架，用 Rust 编写，支持 vLLM、SGLang、TensorRT-LLM 等后端，解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。

冰霜之地的技术博客合集，深入拆解 Go、HTTP/2、密码学、算法与机器学习等源码，适合想系统啃底层实现和系统设计的工程师。

一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。

统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。

把 AI 研究与工程技能打包成可复用模块，接入 Claude Code、Codex、Gemini 等编码代理后即可获得完整科研能力。

Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。

Llama 官方示例手册，手把手教你在推理、微调、RAG 等场景中落地 Llama 系列模型，并覆盖多家云服务商的端到端方案。

开源语音识别工具包，覆盖训练、推理、流式 ASR、VAD、标点恢复和说话人分离全流程，并提供 OpenAI 兼容与 MCP 服务接口。

在 Kubernetes 上统一部署生成式与预测式 AI 模型的推理平台，支持多框架、可扩展的分布式推理服务。

用 ML、LLM 和视觉大模型从文档、表单、发票等非结构化数据里抽取结构化字段，并支持指令调用和智能体工作流。

低代码 MCP 框架，用可视化方式快速搭建复杂 RAG 流水线，省去大量胶水代码，适合快速验证检索增强生成方案。

用多个 LLM 智能体分工协作模拟金融交易决策，把研究、分析、下单等环节拆给不同角色，适合做量化交易策略的智能体实验。

在 Docker 里跑 Android 模拟器，支持 noVNC 网页操作、录屏和 MCP 服务，方便在 CI 或云端做自动化测试与 AI 代理控制。

云原生一站式机器学习与大模型平台，覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调，支持国产算力生态。

统一加载和运行文本、视觉、音频、多模态的预训练模型，覆盖推理与训练，省去为每个模型重写代码的麻烦。

用 GRPO 强化学习给多步 Agent 做在线训练，让 Qwen、Llama 等模型在真实任务里边干边学，提升实际表现。

一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。

面向大模型后训练的强化学习框架，用混合编程模型把 RLHF 训练流程编排得灵活又高效，方便扩展和跑大规模实验。

本地跑和训练大模型、扩散模型的图形界面，支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型，省去命令行配置的麻烦。

轻量级开源个人 AI 助手，支持本地 LLM、MCP 协议和多智能体协作，可接入 Discord 等聊天平台做日常自动化。

统一评测语言模型少样本能力的框架，支持多种任务和模型，方便横向对比不同模型的性能表现。

开源本地 AI 推理引擎，无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型，提供兼容 OpenAI 的 API。

用角色扮演的方式编排多个自主 AI 智能体协作完成复杂任务，让每个智能体各司其职、像团队一样配合干活。

把 OpenAI、Claude、Gemini、通义千问等十几家主流大模型统一到一个 API 下，方便做密钥管理和二次分发，单文件部署开箱即用。

跑在终端里的开源 AI 编码 Agent，能理解代码库、执行命令并自动完成改代码、修 bug 等开发任务。

可自托管的个人 AI 第二大脑，能从网页和本地文档中检索答案，支持自定义智能体、定时自动化和深度研究，兼容多种在线或本地大模型。