面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

从零用 PyTorch 一步步实现类 ChatGPT 大语言模型，覆盖注意力机制、预训练、指令微调全流程，适合边跑代码边理解 LLM 内部原理。

统一调用 100+ 家 LLM API 的 AI 网关，用 OpenAI 格式或原生格式接入，自带成本追踪、限流护栏、负载均衡和日志。

本地优先的 AI 智能体工作台，把文档、对话和工具整合成可私有部署的知识库与代理，数据留在自己机器上，不用租用云端智能服务。

从零开始手把手教你构建大模型的开源教程，覆盖预训练、微调、RAG 与 Agent 等关键环节，适合想系统入门 LLM 原理与实践的开发者。

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。

O'Reilly《Hands-On Large Language Models》官方配套代码，用 Jupyter Notebook 带你动手跑通大模型的分词、嵌入、提示工程、微调与 RAG 等核心环节。

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。

通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。

面向零基础开发者的大模型应用开发教程，手把手带你用 LangChain 搭建 RAG 应用，从调用 API 到构建知识库问答系统。

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。

用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

一个可随使用不断成长的 AI Agent 框架，支持接入 Claude、ChatGPT 等多种大模型，用于搭建和编排自主智能体。

自托管的大模型对话界面，兼容 Ollama、OpenAI API 等后端，内置 RAG 与 MCP 支持，让团队快速搭建私有 AI 聊天入口。

把任意网页抓取并转成干净 Markdown 或结构化数据，直接喂给 LLM 和 AI Agent，省去自己写爬虫和清洗的麻烦。

用多个 LLM 智能体分工协作模拟金融交易决策，把研究、分析、下单等环节拆给不同角色，适合做量化交易策略的智能体实验。

用 Python 搭建 LLM 应用和智能体的开发框架，把模型调用、工具、检索和记忆串成可组合的链路，省去自己拼装底层胶水代码。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

微软出品的 21 节生成式 AI 入门课程，用 Jupyter Notebook 带你从零理解大模型、提示工程和 ChatGPT 应用开发。

输入一个主题或关键词，就能自动完成文案生成、素材匹配、配音字幕和视频合成，一键产出高清短视频，省去手工剪辑的麻烦。

把 PDF、Office 等复杂文档转成 LLM 可直接用的 Markdown/JSON，内置版面分析和 OCR，专为 RAG 与 Agent 工作流准备语料。

从零开始手把手教你构建 LLM 智能体的中文教程，覆盖 Agent 原理、RAG 等核心实践，适合入门与动手复现。

开源的 Python 库，让大模型直接操控浏览器完成点击、填表、抓取等网页任务，省去手写 Playwright 脚本的麻烦。

本地跑和训练大模型、扩散模型的图形界面，支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型，省去命令行配置的麻烦。

一个能自主写代码、改 bug、跑命令的 AI 开发代理，把大模型接入真实开发环境，让编码任务从对话直接落到执行。

微软开源的多智能体编程框架，让开发者用对话编排多个 LLM Agent 协作完成复杂任务，支持自定义角色与工具调用。

用大模型自动分析 A 股等多市场股票，整合多源行情、实时新闻和决策看板，还能零成本定时跑并推送结果。

轻量级开源个人 AI 助手，支持本地 LLM、MCP 协议和多智能体协作，可接入 Discord 等聊天平台做日常自动化。

用自然语言描述需求，就能让多个 LLM 智能体扮演产品经理、架构师、工程师等角色协作，自动产出需求文档、设计稿和代码。

可视化搭建 Agentic 工作流和 RAG 流水线，支持多种大模型与工具，可云端或私有化部署，帮团队从原型直接走到生产。

在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。

从零手写实现 AI 工程核心组件的实战课程，覆盖智能体、大模型、计算机视觉与深度学习，边学边构建可交付的项目。

开源 LLM 应用可观测与评估平台，能追踪调用链路、跑评测实验，帮团队定位问题并持续优化提示词和模型效果。

自托管的 LLM 网关，统一兼容 OpenAI、Claude、Gemini 等接口，提供模型路由、访问控制、用量统计与成本核算，方便团队集中管理和分发大模型调用。