用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

面向 LLM 推理的可编程语义路由层，按请求语义把流量分发到不同模型和算力，并内置护栏与 K8s 集成。

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

统一接入 OpenCode、Claude、Cursor 等多家编码 Agent 的控制平面，用一个入口调度和路由不同 Agent，省去逐个对接的麻烦。

用 C++ 复刻 vLLM 的推理引擎，支持连续批处理、分页 KV 缓存，并额外提供 GGUF 加载、RadixAttention 和缓存感知调度，适合想在 C++ 环境跑大模型推理的场景。

分布式 AI 计算引擎，提供核心分布式运行时和一组 AI 库，用来加速机器学习负载、大模型推理与超参搜索。

一个能自主写代码、改 bug、跑命令的 AI 开发代理，把大模型接入真实开发环境，让编码任务从对话直接落到执行。

在 Kubernetes 上自托管大模型推理的 Operator，统一调度 NVIDIA、AMD、Apple Silicon 等异构 GPU，支持多卡分片、模型缓存和 OpenAI 兼容接口。

自托管的 AI 网关，把多个渠道的 API 密钥和订阅账号统一接入，提供调度、故障转移、请求日志与用量统计，适合集中管理 LLM 调用。

把分散在多家云上的 GPU 资源统一调度成一台「AI 超算」，自动选最便宜的可用算力跑训练、微调和推理任务，省去手动比价与跨云管理。

把大语言模型和 Hugging Face 上的各类模型连起来，让 LLM 自动挑选、调用合适的模型完成多模态任务，相当于给模型加了个调度中枢。

用 Rust 写的开源 Agent 操作系统，为 AI Agent 提供统一的运行与编排环境，支持 MCP 协议和 LLM 接入。

用 Python 从零实现的教学版 vLLM，帮助理解大模型推理引擎的调度与 KV Cache 机制，适合边读代码边学习。

一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。

面向 Windows 的 GUI 智能体框架，用自然语言驱动 LLM 自动操作桌面应用完成跨应用任务，把繁琐的点击流程交给 AI 执行。

用自然语言描述需求，就能让多个 LLM 智能体扮演产品经理、架构师、工程师等角色协作，自动产出需求文档、设计稿和代码。

从零手写实现 AI 工程核心组件的实战课程，覆盖智能体、大模型、计算机视觉与深度学习，边学边构建可交付的项目。

统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

轻量级 OCR 工具包，能把图片和 PDF 转成结构化数据，支持 100 多种语言，方便接入 LLM 和 RAG 流程。

开源多智能体编排框架，前身是 AutoGen，支持构建、协作和调度多个 LLM 智能体，并集成 MCP、A2A 等协议。

基于多智能体模拟和知识图谱的群体智能预测引擎，可对舆情、金融走势等复杂社会系统做推演与预测。

开源的长时程 SuperAgent 运行框架，借助沙箱、记忆、工具、技能、子代理和消息网关，自动完成从研究、编码到内容创作的分钟级到小时级复杂任务。

用角色扮演的方式编排多个自主 AI 智能体协作完成复杂任务，让每个智能体各司其职、像团队一样配合干活。

开源的多智能体工作管理应用，用于编排、调度和治理自主 AI Agent，支持 Claude 及技能扩展，让团队像管理同事一样管理 Agent。

面向 LLM 应用的多智能体开发框架，支持多模态、语音与实时交互，让智能体的构建、运行和调试过程可见、可理解、可信。

轻量级 Python 框架，用于编排多智能体工作流，帮助开发者快速搭建基于 LLM 的协作式 Agent 系统。

给 AI Agent 做强化学习训练和调优的框架，把 Agent 的推理轨迹变成训练信号，让智能体越跑越强。

用大模型驱动浏览器自动完成网页操作流程，无需写死选择器，适合抓取、填表等重复性网页任务。

开源个人 AI 助手与 Agent Harness，能规划任务、调用工具和技能，靠记忆与知识自我进化，支持多智能体、多模型、多渠道，一行命令即可安装。

用 TypeScript 编写和部署持久化 AI Agent 与后台工作流，自带调度、重试和编排能力，无需自己搭建任务队列和基础设施。

Zipkin 是一个分布式追踪系统，用于收集和查看微服务间的调用链路与耗时，帮助定位跨服务延迟和故障。

高性能 AI 流水线引擎，C++ 内核搭配 50+ 可扩展 Python 节点，支持多模型提供商、向量数据库和 Agent 编排，可在 IDE 中构建调试 LLM 工作流。

用 Rust 写的高性能编码 Agent 运行框架，专为多 Agent 并行开发的重度工作流设计，在终端里跑 TUI 界面。

基于 TypeScript 的开源 AI Agent 框架与工程平台，帮开发者快速搭建、编排和观测 LLM 智能体应用。

NVIDIA 的大规模 Transformer 训练框架，支持张量并行、流水线并行等模型并行策略，用来在成百上千张 GPU 上高效预训练大语言模型。

把公司业务流程写成代码，用多智能体协作自动执行，可自托管或托管部署，让团队像操作操作系统一样管理公司。

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

一套纯 Markdown 的轻量技能包，让 Claude Code、Codex 等 LLM 智能体在无人值守时自主完成机器学习研究：跨模型评审、想法发现与实验自动化。