统一管理 GPU 集群,调度 vLLM、SGLang 等推理引擎做高性能模型服务,还能按需开出可 SSH 登录的 GPU 实例。
把分散在多家云上的 GPU 资源统一调度成一台「AI 超算」,自动选最便宜的可用算力跑训练、微调和推理任务,省去手动比价与跨云管理。
一套面向大模型训练的分布式并行框架,把数据、模型、流水线并行和异构训练整合成统一接口,让训练和推理更省显存、更快。
把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架,通过统一中间表示和自动调优提升推理性能。
让大模型自主拆解目标、调用工具并连续执行任务的智能体平台,提供可视化搭建与运行环境,帮你把重复性工作交给 AI 自动完成。
用 C++ 写的图像处理与数据并行计算 DSL,把算法和调度分开描述,自动生成适配 CPU、GPU 等硬件的高性能代码。
分布式 AI 计算引擎,提供核心分布式运行时和一组 AI 库,用来加速机器学习负载、大模型推理与超参搜索。
Triton 是一门面向 GPU 编程的类 Python 语言及其编译器,让开发者不用写 CUDA 就能写出接近手写性能的高效内核。
把大语言模型和 Hugging Face 上的各类模型连起来,让 LLM 自动挑选、调用合适的模型完成多模态任务,相当于给模型加了个调度中枢。
基于 PyTorch 的深度学习高层封装库,用少量代码就能训练出高精度模型,配套 notebook 教程降低入门门槛。
用 PyTorch 从零实现的轻量级 vLLM,代码精简易读,适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
NVIDIA 官方的高性能深度学习推理 SDK,能把训练好的模型在 NVIDIA GPU 上做极致加速和部署,适合追求低延迟高吞吐的生产推理场景。
一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型,省去逐个试跑和查显存的麻烦。
用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。
给 LLM 推理加速的 KV Cache 层,可对接 vLLM 等框架,复用和缓存键值对来降低显存占用、提升吞吐,支持 CUDA 和 ROCm。
NVIDIA 的大规模 Transformer 训练框架,支持张量并行、流水线并行等模型并行策略,用来在成百上千张 GPU 上高效预训练大语言模型。
开源手机智能体模型与框架,让 AI 直接操作手机界面完成点按、输入等任务,把「AI 手机」能力开放给所有人。
集成 Waifu2x、Real-ESRGAN、Real-CUGAN 等多种超分模型与 RIFE 等补帧算法的图形界面工具,可批量放大视频、图片和 GIF 并提升帧率。
面向手机端的高性能神经网络推理框架,针对 ARM 平台深度优化,让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。
把 Windows 系统装进 Docker 容器里跑,用容器方式启动完整 Windows 虚拟机,省去单独配置虚拟化环境的麻烦。
高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。
轻量级 OCR 工具包,能把图片和 PDF 转成结构化数据,支持 100 多种语言,方便接入 LLM 和 RAG 流程。
基于 Kubernetes 的云原生机器学习平台,把训练、流水线编排、模型服务和 Notebook 开发统一到容器化集群里,解决 MLOps 各环节割裂、难以规模化调度的问题。
把 Playwright 浏览器自动化能力封装成 MCP 服务器,让 AI Agent 通过结构化接口操控网页、抓取页面内容,无需依赖截图识别。
基于 Ray 的高性能 RLHF 训练框架,支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速,可扩展地完成大模型和视觉语言模型的对齐后训练。
轻量级命令行视频播放器,基于 FFmpeg 解码,支持硬件加速、字幕渲染和脚本扩展,适合在终端或嵌入其他应用中播放音视频。
开源个人 AI 助手与 Agent Harness,能规划任务、调用工具和技能,靠记忆与知识自我进化,支持多智能体、多模型、多渠道,一行命令即可安装。
给 AI Agent 做强化学习训练和调优的框架,把 Agent 的推理轨迹变成训练信号,让智能体越跑越强。
本地运行的网络录像机,接入 IP 摄像头后实时做目标检测,识别到人、车等对象再触发录像和 MQTT 通知,画面不出家门。
统一可扩展的分布式机器学习库,支持大规模训练、模型服务和联邦学习,还能跨云调度任意 AI 任务到 GPU 云或本地集群。
开源云原生一站式机器学习与大模型平台,覆盖拖拉拽 pipeline 编排、多机多卡训练、推理服务和 MaaS,支持昇腾等国产异构算力调度。
用 Rust 编写的本地优先控制平面,统一调度 Claude Code、Codex、Cursor、Devin 等编码 Agent,解决多 Agent 切换和协同管理麻烦的问题。
在 Kubernetes 上跑分布式模型训练和大模型微调的框架,把多机多卡任务编排成 K8s 原生作业,省去自己搭训练集群的麻烦。
为 LLM 推理提供虚拟化弹性 KV Cache,让多个推理任务动态共享 GPU 显存,减少显存碎片和浪费,提升 GPU 利用率。
一套 14 个 AI Skill,把抖音、B站、小红书、公众号、播客等中文平台内容采集进个人知识库,支持图文存图、字幕优先免 GPU 转写、订阅调度和每日简报,还带知识库 MCP server。
本地优先的全栈 AI 创作工作站,集成对话、漫画、漫剧、写作和知识学习五大模块,支持 vLLM、llama.cpp 等多引擎本地推理与显存智能调度。
跨平台多媒体处理框架,支持 GPU 加速和异构调度,可把转码、AI 推理、算法模块和直播流处理串成一条流水线。
基于 Kubernetes Operator 的大模型推理部署引擎,统一管理 GPU 调度与模型生命周期,兼容 SGLang、vLLM、TensorRT-LLM 和 Triton 等主流推理后端。