面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

本地优先的 AI 智能体工作台，把文档、对话和工具整合成可私有部署的知识库与代理，数据留在自己机器上，不用租用云端智能服务。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。

把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务，省去自己搭推理后端的麻烦。

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册，覆盖微调、评估与 ML 系统设计。

统一调用 100+ 家 LLM API 的 AI 网关，用 OpenAI 格式或原生格式接入，自带成本追踪、限流护栏、负载均衡和日志。

用小型专用模型搭建企业级 RAG 流水线的统一框架，覆盖文档解析、检索和智能体编排，适合在本地或私有环境部署。

面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。

汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

面向零基础开发者的大模型应用开发教程，手把手带你用 LangChain 搭建 RAG 应用，从调用 API 到构建知识库问答系统。

用 LLM 从非结构化文本里自动抽取实体和关系，直接建成 Neo4j 知识图谱，省去手工建模和写 Cypher 的麻烦，适合做 GraphRAG 和知识库。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

可视化搭建 Agentic 工作流和 RAG 流水线，支持多种大模型与工具，可云端或私有化部署，帮团队从原型直接走到生产。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

轻量级 OCR 工具包，能把图片和 PDF 转成结构化数据，支持 100 多种语言，方便接入 LLM 和 RAG 流程。

社区共建的提示词分享与发现平台，可自托管部署，让团队在完全私密的环境里收集和管理 ChatGPT、Claude、Gemini 等模型的提示词。

开源本地 AI 推理引擎，无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型，提供兼容 OpenAI 的 API。

开源的长时程 SuperAgent 运行框架，借助沙箱、记忆、工具、技能、子代理和消息网关，自动完成从研究、编码到内容创作的分钟级到小时级复杂任务。

开源平台，用于构建和部署基于 GPT/LLM 的对话式 Agent，集成提示词编排、工具调用与多渠道发布，省去从零搭建对话机器人的重复工作。

微软开源的多智能体编程框架，让开发者用对话编排多个 LLM Agent 协作完成复杂任务，支持自定义角色与工具调用。

开源可观测性平台，统一收集日志、指标、链路、RUM 和会话回放，单二进制部署，存储成本比 Datadog、Splunk、Elasticsearch 低约 140 倍。

把 OpenAI、Claude、Gemini、通义千问等十几家主流大模型统一到一个 API 下，方便做密钥管理和二次分发，单文件部署开箱即用。

一套从数据工程、模型训练到部署迭代的完整教程，帮你把机器学习项目做成可上线的生产级应用。

一套端到端的代码实战教程，教你从原型一步步搭出可上线的 GenAI Agent，覆盖 LangGraph、MCP 等主流技术栈与企业级部署。

基于 Langchain 和 ChatGLM、Qwen、Llama 等本地大模型搭建的知识库问答应用，支持 RAG 检索增强与 Agent 能力，可离线部署私有文档问答系统。

用大模型自动分析 A 股等多市场股票，整合多源行情、实时新闻和决策看板，还能零成本定时跑并推送结果。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

阿里开源的轻量级端侧推理引擎，主打手机和嵌入式设备上的高性能模型推理，能跑大模型和常规深度学习网络。

基于大模型和 Agent 的数据库智能助手，用自然语言直接查询和分析数据库，支持 RAG 与私有化部署，方便搭建 AI+Data 应用。

把多家大模型、AI Agent 和 MCP 工具整合到一个桌面工作台里，方便日常对话、调用工具和提升生产力。

帮你把随手写的提示词改写成结构清晰、效果更好的版本，还能对比测试不同提示词的效果，适合经常和 LLM 打交道的人。

把任意网页抓取并转成干净 Markdown 或结构化数据，直接喂给 LLM 和 AI Agent，省去自己写爬虫和清洗的麻烦。

基于大模型和 RAG 的 AI 问答搜索引擎，接入 SearXNG 检索后生成带引用的答案，适合自建类似 Perplexica 的智能搜索服务。

开箱即用的个人 AI 助手，可本地或云端部署，接入多种聊天应用，并通过 MCP 与工具扩展能力。

在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。

Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。

用 Rust 写的开源 Agent 编排框架，主打极低资源占用，能在 10 美元的 VPS 上同时跑 500 多个 Agent，适合本地优先、注重隐私的个人 AI 助手场景。