用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。
一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
面向 LLM 推理的可编程语义路由层，按请求语义把流量分发到不同模型和算力，并内置护栏与 K8s 集成。
面向系统工程师的实战课程，在 Apple Silicon 上从零搭建一个迷你 vLLM 推理引擎并跑通 Qwen 模型，帮你搞懂大模型推理系统的内部机制。
分布式 AI 计算引擎，提供核心分布式运行时和一组 AI 库，用来加速机器学习负载、大模型推理与超参搜索。
一个能自主写代码、改 bug、跑命令的 AI 开发代理，把大模型接入真实开发环境，让编码任务从对话直接落到执行。
让大模型自主拆解目标、调用工具并连续执行任务的智能体平台，提供可视化搭建与运行环境，帮你把重复性工作交给 AI 自动完成。
把分散在多家云上的 GPU 资源统一调度成一台「AI 超算」，自动选最便宜的可用算力跑训练、微调和推理任务，省去手动比价与跨云管理。
把大语言模型和 Hugging Face 上的各类模型连起来，让 LLM 自动挑选、调用合适的模型完成多模态任务，相当于给模型加了个调度中枢。
用 Rust 写的开源 Agent 操作系统，为 AI Agent 提供统一的运行与编排环境，支持 MCP 协议和 LLM 接入。
一个可随使用不断成长的 AI Agent 框架，支持接入 Claude、ChatGPT 等多种大模型，用于搭建和编排自主智能体。
自托管的 AI 网关，把多个渠道的 API 密钥和订阅账号统一接入，提供调度、故障转移、请求日志与用量统计，适合集中管理 LLM 调用。
一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。
面向 Windows 的 GUI 智能体框架，用自然语言驱动 LLM 自动操作桌面应用完成跨应用任务，把繁琐的点击流程交给 AI 执行。
Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。
用自然语言描述需求，就能让多个 LLM 智能体扮演产品经理、架构师、工程师等角色协作，自动产出需求文档、设计稿和代码。
从零手写实现 AI 工程核心组件的实战课程，覆盖智能体、大模型、计算机视觉与深度学习，边学边构建可交付的项目。
高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。
轻量级 OCR 工具包，能把图片和 PDF 转成结构化数据，支持 100 多种语言，方便接入 LLM 和 RAG 流程。
基于多智能体模拟和知识图谱的群体智能预测引擎，可对舆情、金融走势等复杂社会系统做推演与预测。
开源的长时程 SuperAgent 运行框架，借助沙箱、记忆、工具、技能、子代理和消息网关，自动完成从研究、编码到内容创作的分钟级到小时级复杂任务。
统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。
用角色扮演的方式编排多个自主 AI 智能体协作完成复杂任务，让每个智能体各司其职、像团队一样配合干活。
开源的多智能体工作管理应用，用于编排、调度和治理自主 AI Agent，支持 Claude 及技能扩展，让团队像管理同事一样管理 Agent。
在 PostgreSQL 数据库内直接跑机器学习和向量检索，用 SQL 就能做嵌入、分类、聚类和 LLM 推理，省去单独搭推理服务的麻烦。
面向 LLM 应用的多智能体开发框架，支持多模态、语音与实时交互，让智能体的构建、运行和调试过程可见、可理解、可信。
轻量级 Python 框架，用于编排多智能体工作流，帮助开发者快速搭建基于 LLM 的协作式 Agent 系统。
开源多智能体编排框架，前身是 AutoGen，支持构建、协作和调度多个 LLM 智能体，并集成 MCP、A2A 等协议。
用 8 个专家 Agent 组成一个统一的虚拟高管团队，对外呈现一致的高管人格，基于 FastAPI 和 Next.js 搭建，适合做多智能体协作与 RAG 决策辅助。
开源个人 AI 助手与 Agent Harness，能规划任务、调用工具和技能，靠记忆与知识自我进化，支持多智能体、多模型、多渠道，一行命令即可安装。
用大模型驱动浏览器自动完成网页操作流程，无需写死选择器，适合抓取、填表等重复性网页任务。
给 AI Agent 做强化学习训练和调优的框架，把 Agent 的推理轨迹变成训练信号，让智能体越跑越强。
用 TypeScript 编写和部署持久化 AI Agent 与后台工作流，自带调度、重试和编排能力，无需自己搭建任务队列和基础设施。
Zipkin 是一个分布式追踪系统，用于收集和查看微服务间的调用链路与耗时，帮助定位跨服务延迟和故障。
高性能 AI 流水线引擎，C++ 内核搭配 50+ 可扩展 Python 节点，支持多模型提供商、向量数据库和 Agent 编排，可在 IDE 中构建调试 LLM 工作流。
用 Rust 写的高性能编码 Agent 运行框架，专为多 Agent 并行开发的重度工作流设计，在终端里跑 TUI 界面。
NVIDIA 的大规模 Transformer 训练框架，支持张量并行、流水线并行等模型并行策略，用来在成百上千张 GPU 上高效预训练大语言模型。
基于 TypeScript 的开源 AI Agent 框架与工程平台，帮开发者快速搭建、编排和观测 LLM 智能体应用。