面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

Official inference library for Mistral models

汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。

面向文本嵌入模型的高性能推理服务，用 Rust 编写，可快速把文本转成向量，适合搭建检索和 RAG 的向量化后端。

一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。

基于 OpenTelemetry 的 LLM 应用可观测性工具，能追踪调用链、采集指标并监控模型表现，帮你在生产环境定位 GenAI 应用的性能与质量问题。

面向系统工程师的实战课程，在 Apple Silicon 上从零搭建一个迷你 vLLM 推理引擎并跑通 Qwen 模型，帮你搞懂大模型推理系统的内部机制。

从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。

开源推理研究平台，用于在 AMD、CUDA 等不同 GPU 上对 LLM 推理服务做基准测试和性能对比，帮团队选型加速卡。

The Security Toolkit for LLM Interactions

在 Apple Silicon 上跑大模型的高性能推理服务，兼容 OpenAI 和 Anthropic 接口，支持 MLX 原生加速、连续批处理、多模态和 MCP 工具调用。

阿里开源的高性能大模型推理引擎，支持 GPT、Llama 等多种模型，面向各类应用提供低延迟、高吞吐的在线推理服务。

轻量级 Python 大模型推理与服务框架，主打高吞吐、易扩展，适合快速部署 GPT、LLaMA 等模型对外提供 API 服务。

让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件，帮你在国产算力上部署大模型服务。

用大模型对 Tesseract 的 OCR 结果做纠错、智能分块和 Markdown 排版，把扫描 PDF 转成干净可读的文本，支持本地或 API 模型。

一个面向 LLM 的推理优化代理，通过 API 网关接入，自动套用思维链等推理策略来提升模型回答质量并降低调用成本。

汇总大模型全栈优质资源的清单，覆盖训练、推理、LLMOps 等环节，帮开发者快速找到需要的工具和资料。

用命令行一键启动 vLLM 的 LLM 推理服务，省去手写配置和启动脚本的麻烦，适合快速部署和测试模型。

让 vLLM 在 Apple Silicon 的 Mac 上跑起来，通过 Metal 和 MLX 后端把大模型推理搬到本地苹果芯片，省去 GPU 服务器。

给 vLLM 推理服务器套上现代化 Web 界面，方便管理和对话，兼容 GPU/CPU，并针对 macOS Apple Silicon 与 OpenShift/Kubernetes 部署做了优化。

在 Unity 游戏引擎里直接跑本地大模型，让 NPC 和角色能自然对话，不用接云端 API。

把模型打包成 OCI 镜像来分发和运行，让任意 agent 都能跑在任意模型上，省去环境配置和模型管理的麻烦。

面向大模型的 React 组件库，专门处理流式输出中 Markdown 渲染不完整、代码块闪烁等问题，让聊天界面边生成边稳定显示。

在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。

面向 LLM、VLM、DiT 和 REC 模型的高性能推理引擎，针对多种 AI 加速卡做优化，适合在异构硬件上部署大模型服务。

开源复现并扩展 Google Research 的 PaperBanana，用多智能体自动生成学术论文配图、示意图和研究可视化，还能做幻灯片。

用 C++ 和 CUDA 手写一个高性能 LLM 推理引擎的教学项目，是 vLLM 的精简版，涵盖 PagedAttention 和连续批处理等核心机制。

基于 vLLM 的 Runpod 无服务器 worker 模板，用于快速部署大语言模型推理端点，省去自己搭建服务的工作。

纯 C++ 实现的大模型推理引擎，无需 Python 环境即可在电脑的 CPU 和 GPU 上实时运行对话模型。

把大语言模型接入 spaCy 的结构化 NLP 流水线，用提示词完成命名实体识别等任务，无需训练即可复用现有流程。

把 Discord 变成大模型聊天前端，接入 OpenAI、Gemini、Ollama 等多种 LLM，在服务器频道里直接对话。