用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
面向零基础开发者的大模型应用开发教程，手把手带你用 LangChain 搭建 RAG 应用，从调用 API 到构建知识库问答系统。
从零开始手把手教你构建大模型的开源教程，覆盖预训练、微调、RAG 与 Agent 等关键环节，适合想系统入门 LLM 原理与实践的开发者。
自托管的 LLM 网关，统一兼容 OpenAI、Claude、Gemini 等接口，提供模型路由、访问控制、用量统计与成本核算，方便团队集中管理和分发大模型调用。
把 OpenAI、Claude、Gemini、通义千问等十几家主流大模型统一到一个 API 下，方便做密钥管理和二次分发，单文件部署开箱即用。
面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。
用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
把 FastAPI 接口一键暴露成 MCP 工具，自带认证授权，让 Claude、Cursor 等 LLM 客户端直接调用你的后端服务。
用大模型把任意网页抓取并转成结构化数据，底层靠 Playwright/Puppeteer 驱动浏览器，适合做网页信息抽取和自动化采集。
通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。
从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。
一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。
基于 OpenTelemetry 的 LLM 应用可观测性工具，能追踪调用链、采集指标并监控模型表现，帮你在生产环境定位 GenAI 应用的性能与质量问题。
本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。
自托管的大模型对话界面，兼容 Ollama、OpenAI API 等后端，内置 RAG 与 MCP 支持，让团队快速搭建私有 AI 聊天入口。
基于节点图的扩散模型图形界面与后端，支持本地快速推理和 API 调用，方便搭建和调试图像生成工作流。
开源的 Python 库，让大模型直接操控浏览器完成点击、填表、抓取等网页任务，省去手写 Playwright 脚本的麻烦。
让大模型自主拆解目标、调用工具并连续执行任务的智能体平台，提供可视化搭建与运行环境，帮你把重复性工作交给 AI 自动完成。
一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。
给 dsh 装个插件就能免登录、免 API Key 直接用 DeepSeek V4.1 Flash、Kimi K3 等前沿大模型，完全免费且不限量。
输入一个主题或关键词，就能自动完成文案生成、素材匹配、配音字幕和视频合成，一键产出高清短视频，省去手工剪辑的麻烦。
给 AI 编程助手实时提供最新版本文档的 MCP 服务，解决大模型训练数据过时、写代码时引用旧 API 的问题。
用 LLM 从非结构化文本中抽取结构化信息，并给出精确的原文出处定位和交互式可视化，方便核对抽取结果。
给 ChatGPT 及 Llama、Claude、Gemini 等大模型套上清爽的网页界面，支持智能体、文件问答、联网搜索和模型微调，开箱即用。
微软出品的 21 节生成式 AI 入门课程，用 Jupyter Notebook 带你从零理解大模型、提示工程和 ChatGPT 应用开发。
让任意大模型通过 MCP 协议直接操控 Blender 建模的社区插件，用自然语言就能驱动 3D 创作流程。
用大模型驱动浏览器自动完成网页操作流程，无需写死选择器，适合抓取、填表等重复性网页任务。
一个把 QQ、Discord 等聊天平台与大模型、插件和 MCP 能力串起来的 AI Agent 开发框架，能快速搭建多平台聊天机器人和智能助手。
一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。
用大模型自动分析 A 股等多市场股票，整合多源行情、实时新闻和决策看板，还能零成本定时跑并推送结果。
面向 JVM 的 Java LLM 应用开发库，统一封装主流大模型与向量库接口，让工具调用、Agent 和 RAG 在 Spring Boot、Quarkus 等企业框架里快速落地。
基于 Envoy 的云原生 AI 网关，统一代理和路由大模型 API 与微服务流量，支持 AI 原生插件扩展。
用大模型加 RAG 把自然语言问题直接转成 SQL，做对话式数据分析，让不会写 SQL 的人也能查库出报表。
在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。
一个高性能 AI 网关，用统一 API 把请求路由到 1600+ 大模型，并内置 50+ 安全护栏，省去多模型接入和内容风控的重复开发。
LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。