面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

从零用 PyTorch 一步步实现类 ChatGPT 大语言模型，覆盖注意力机制、预训练、指令微调全流程，适合边跑代码边理解 LLM 内部原理。

统一调用 100+ 家 LLM API 的 AI 网关，用 OpenAI 格式或原生格式接入，自带成本追踪、限流护栏、负载均衡和日志。

本地优先的 AI 智能体工作台，把文档、对话和工具整合成可私有部署的知识库与代理，数据留在自己机器上，不用租用云端智能服务。

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

从零开始手把手教你构建大模型的开源教程，覆盖预训练、微调、RAG 与 Agent 等关键环节，适合想系统入门 LLM 原理与实践的开发者。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。

O'Reilly《Hands-On Large Language Models》官方配套代码，用 Jupyter Notebook 带你动手跑通大模型的分词、嵌入、提示工程、微调与 RAG 等核心环节。

通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

面向零基础开发者的大模型应用开发教程，手把手带你用 LangChain 搭建 RAG 应用，从调用 API 到构建知识库问答系统。

从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。

Accelerate local LLM inference and finetuning (LLaMA, Mistral, ChatGLM, Qwen, DeepSeek, Mixtral, Gem…

用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。

面向春招秋招的大模型面试知识库，用通俗方式讲清 LLM、RAG 和 Agent 核心概念，帮你在面试前快速补齐基础、和面试官聊得起来。

基于 OpenTelemetry 的 LLM 应用可观测性工具，能追踪调用链、采集指标并监控模型表现，帮你在生产环境定位 GenAI 应用的性能与质量问题。

用大模型把任意网页抓取并转成结构化数据，底层靠 Playwright/Puppeteer 驱动浏览器，适合做网页信息抽取和自动化采集。

持续更新的中文大模型能力评测榜单，已收录374个商用与开源模型，并提供超200万条缺陷库，方便研究者横向对比模型表现、定位问题并改进。

从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。

面向系统工程师的实战课程，在 Apple Silicon 上从零搭建一个迷你 vLLM 推理引擎并跑通 Qwen 模型，帮你搞懂大模型推理系统的内部机制。

用 100 多张原创原理图把 LLM 和强化学习的关键算法讲清楚，适合想系统理解大模型训练与 RL 机制的人对照学习。

面向 LLM 推理的可编程语义路由层，按请求语义把流量分发到不同模型和算力，并内置护栏与 K8s 集成。

无需写代码就能微调大语言模型的可视化界面，从数据准备到训练评估一站式完成，适合不想碰命令行直接调模型的团队。

面向大语言模型的强化学习训练框架，支持分布式训练与智能体工作流，让开发者能低成本训练和调优推理模型。

用大语言模型把编译后的二进制代码还原成可读源码，为逆向工程提供自动化反编译能力。

用 LLM 从非结构化文本里自动抽取实体和关系，直接建成 Neo4j 知识图谱，省去手工建模和写 Cypher 的麻烦，适合做 GraphRAG 和知识库。

面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

一个可随使用不断成长的 AI Agent 框架，支持接入 Claude、ChatGPT 等多种大模型，用于搭建和编排自主智能体。

自托管的大模型对话界面，兼容 Ollama、OpenAI API 等后端，内置 RAG 与 MCP 支持，让团队快速搭建私有 AI 聊天入口。

把任意网页抓取并转成干净 Markdown 或结构化数据，直接喂给 LLM 和 AI Agent，省去自己写爬虫和清洗的麻烦。

让大模型自主拆解目标、调用工具并连续执行任务的智能体平台，提供可视化搭建与运行环境，帮你把重复性工作交给 AI 自动完成。

用多个 LLM 智能体分工协作模拟金融交易决策，把研究、分析、下单等环节拆给不同角色，适合做量化交易策略的智能体实验。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

输入一个主题或关键词，就能自动完成文案生成、素材匹配、配音字幕和视频合成，一键产出高清短视频，省去手工剪辑的麻烦。

用 Python 搭建 LLM 应用和智能体的开发框架，把模型调用、工具、检索和记忆串成可组合的链路，省去自己拼装底层胶水代码。