让 vLLM 推理引擎跑在华为昇腾 NPU 上的社区维护硬件插件，帮你在国产算力上部署大模型服务。
统一 API 接入多家大模型服务商，集中路由、管理并分析 LLM 请求，省去逐个对接和维护密钥的麻烦。
面向 LLM、VLM、DiT 和 REC 模型的高性能推理引擎，针对多种 AI 加速卡做优化，适合在异构硬件上部署大模型服务。
对本地大模型服务做并发压力测试，自动跑多轮请求并生成性能报告，方便对比 Ollama、vLLM 等推理后端的吞吐和延迟表现。
分布式 AI 计算引擎，提供核心分布式运行时和一组 AI 库，用来加速机器学习负载、大模型推理与超参搜索。
Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。
跨平台桌面 AI 助手兼 MCP 客户端，兼容主流大模型服务商，可通过 MCP 服务器接入本地知识库和外部工具。
Kubernetes 上的 LeaderWorkerSet API，用来编排多机多卡的分布式推理工作负载，把大模型服务拆成 leader 和 worker 组统一调度。
基于飞桨的高性能推理部署工具包，专门用来把大语言模型和多模态模型跑起来、服务化，支持 ERNIE 系列和 OpenAI 兼容接口。
原生 macOS 上的全能 AI 聊天客户端，一个界面就能接入 ChatGPT、Claude、Gemini、DeepSeek 等各家大模型服务，省去在多个网页和工具间来回切换。
…oud 大模型及视频生成服务 ，以及 Runcrate、CloudGPU、cheapaimodel 大模型服务。 - 完善 长时间视频生成的进度反馈 ，显示生成阶段、已用时间和轮询状态；刷新页面或查询短暂失败后可继续跟踪任务，并增加重复提交保护。 - 简化 WebUI 的 服务商设置与选择 ，便于查找和切换已经配置的服务。 - 新增 阿拉
…显存。 - 新增 Opper、onomeo、Muse Spark 和 EmpirioLabs AI 大模型服务，完善巴西葡萄牙语界面翻译。 - 新增 诊断日志设置 ，支持在 WebUI 中即时调整日志等级，按需记录经过脱敏和长度限制的 API 请求参数。 修复与改进 - 修复灰度图片亮度、透明图片背景、缩放蒙版对齐和字幕背景颜色问题；改善
…r Inference、Requesty、FutureInfra、Y-API 和讯飞星辰 MaaS 大模型服务。 - 新增 MuAPI 视频素材来源，支持配置模型接口和异步视频生成。 - 新增加泰罗尼亚语 WebUI 翻译。 - 视频主渲染流程统一使用 BT.709 色彩转换与标记，改善不同播放器中的颜色一致性。 - 新增按需启用的 本地
…，并自动读取服务端音色列表。 - 新增通过已认证 Claude 订阅使用的 Claude Code 大模型服务，提供专用 Docker 部署文件；同时新增 OpenAI 兼容的 API Route 大模型服务。 - 优化胜算云视频生成流程，支持读取当前账号可用模型、获取报价和确认费用，并根据旁白时长推荐素材数量。 - 减少同一任务批量生成