统一管理 GPU 集群,调度 vLLM、SGLang 等推理引擎做高性能模型服务,还能按需开出可 SSH 登录的 GPU 实例。
把分散在多家云上的 GPU 资源统一调度成一台「AI 超算」,自动选最便宜的可用算力跑训练、微调和推理任务,省去手动比价与跨云管理。
一套面向大模型训练的分布式并行框架,把数据、模型、流水线并行和异构训练整合成统一接口,让训练和推理更省显存、更快。
把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架,通过统一中间表示和自动调优提升推理性能。
分布式 AI 计算引擎,提供核心分布式运行时和一组 AI 库,用来加速机器学习负载、大模型推理与超参搜索。
Triton 是一门面向 GPU 编程的类 Python 语言及其编译器,让开发者不用写 CUDA 就能写出接近手写性能的高效内核。
把大语言模型和 Hugging Face 上的各类模型连起来,让 LLM 自动挑选、调用合适的模型完成多模态任务,相当于给模型加了个调度中枢。
基于 PyTorch 的深度学习高层封装库,用少量代码就能训练出高精度模型,配套 notebook 教程降低入门门槛。
NVIDIA 官方的高性能深度学习推理 SDK,能把训练好的模型在 NVIDIA GPU 上做极致加速和部署,适合追求低延迟高吞吐的生产推理场景。
一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型,省去逐个试跑和查显存的麻烦。
用 PyTorch 从零实现的轻量级 vLLM,代码精简易读,适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。
给 LLM 推理加速的 KV Cache 层,可对接 vLLM 等框架,复用和缓存键值对来降低显存占用、提升吞吐,支持 CUDA 和 ROCm。
NVIDIA 的大规模 Transformer 训练框架,支持张量并行、流水线并行等模型并行策略,用来在成百上千张 GPU 上高效预训练大语言模型。
开源手机智能体模型与框架,让 AI 直接操作手机界面完成点按、输入等任务,把「AI 手机」能力开放给所有人。
集成 Waifu2x、Real-ESRGAN、Real-CUGAN 等多种超分模型与 RIFE 等补帧算法的图形界面工具,可批量放大视频、图片和 GIF 并提升帧率。
面向手机端的高性能神经网络推理框架,针对 ARM 平台深度优化,让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。
把 Windows 系统装进 Docker 容器里跑,用容器方式启动完整 Windows 虚拟机,省去单独配置虚拟化环境的麻烦。
高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。
轻量级 OCR 工具包,能把图片和 PDF 转成结构化数据,支持 100 多种语言,方便接入 LLM 和 RAG 流程。
基于 Kubernetes 的云原生机器学习平台,把训练、流水线编排、模型服务和 Notebook 开发统一到容器化集群里,解决 MLOps 各环节割裂、难以规模化调度的问题。
把 Playwright 浏览器自动化能力封装成 MCP 服务器,让 AI Agent 通过结构化接口操控网页、抓取页面内容,无需依赖截图识别。
基于 Ray 的高性能 RLHF 训练框架,支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速,可扩展地完成大模型和视觉语言模型的对齐后训练。
轻量级命令行视频播放器,基于 FFmpeg 解码,支持硬件加速、字幕渲染和脚本扩展,适合在终端或嵌入其他应用中播放音视频。
开源个人 AI 助手与 Agent Harness,能规划任务、调用工具和技能,靠记忆与知识自我进化,支持多智能体、多模型、多渠道,一行命令即可安装。
给 AI Agent 做强化学习训练和调优的框架,把 Agent 的推理轨迹变成训练信号,让智能体越跑越强。
本地运行的网络录像机,接入 IP 摄像头后实时做目标检测,识别到人、车等对象再触发录像和 MQTT 通知,画面不出家门。
用 C++ 写的图像处理与数据并行计算 DSL,把算法和调度分开描述,自动生成适配 CPU、GPU 等硬件的高性能代码。
统一可扩展的分布式机器学习库,支持大规模训练、模型服务和联邦学习,还能跨云调度任意 AI 任务到 GPU 云或本地集群。
开源云原生一站式机器学习与大模型平台,覆盖拖拉拽 pipeline 编排、多机多卡训练、推理服务和 MaaS,支持昇腾等国产异构算力调度。
用 Rust 编写的本地优先控制平面,统一调度 Claude Code、Codex、Cursor、Devin 等编码 Agent,解决多 Agent 切换和协同管理麻烦的问题。
在 Kubernetes 上跑分布式模型训练和大模型微调的框架,把多机多卡任务编排成 K8s 原生作业,省去自己搭训练集群的麻烦。
为 LLM 推理提供虚拟化弹性 KV Cache,让多个推理任务动态共享 GPU 显存,减少显存碎片和浪费,提升 GPU 利用率。
一套 14 个 AI Skill,把抖音、B站、小红书、公众号、播客等中文平台内容采集进个人知识库,支持图文存图、字幕优先免 GPU 转写、订阅调度和每日简报,还带知识库 MCP server。
本地优先的全栈 AI 创作工作站,集成对话、漫画、漫剧、写作和知识学习五大模块,支持 vLLM、llama.cpp 等多引擎本地推理与显存智能调度。
跨平台多媒体处理框架,支持 GPU 加速和异构调度,可把转码、AI 推理、算法模块和直播流处理串成一条流水线。
基于 Kubernetes Operator 的大模型推理部署引擎,统一管理 GPU 调度与模型生命周期,兼容 SGLang、vLLM、TensorRT-LLM 和 Triton 等主流推理后端。
用 Go 写的轻量级 GPU 资源管理器,控制哪些应用能占用 GPU、何时占用以及如何交接,适合本地跑多个 LLM 推理服务时排队调度。
面向强化学习实验的 GPU 调度与训练编排系统,让多个 RL 实验共享 GPU 资源、减少排队等待,支持 LoRA 微调与 LLM 训练。
在 Kubernetes 上自托管大模型推理的 Operator,统一调度 NVIDIA、AMD、Apple Silicon 等异构 GPU,支持多卡分片、模型缓存和 OpenAI 兼容接口。
…档 新增 Kubernetes Dynamic Resource Allocation 专题,覆盖 GPU 等加速设备的动态分配与调度,面向 AI 工作负载场景。 - 无 Sidecar 服务网格架构对比 新增 Istio Ambient、Cilium、Linkerd 等无 Sidecar 架构的原理对比与选型建议,紧跟服务网格的扁平化演
…联,修复 OneDrive 凭据刷新覆盖新配置的问题。 - 改进 Telegram 暂停、恢复和归档调度,细化下载、上传、等待上传及重试进度,修正任务目标账户的存储冷却判断。 - 修复并发转存和同名文件写入问题,避免覆盖已有文件;正确保留 %20 等字面文件名及目录中的连续空格、点号。 - Google Drive 删除改为移入回收站,并
… 引入插件自更新机制,支持多源下载、SHA256校验及安装后提示重载 - 重构状态模型与定时器,统一调度状态探测、IP刷新与Gemini检测任务 - 同步更新构建脚本、架构文档及单元测试,完善多语言词条与Webview通信 🐛 Bug 修复 (Bug Fixes) - ide-extension : 修复实机测试缺陷并补充改造文档 -
… 上限,以及模型路由( 1168)。 进行中的请求计入 Key 的预算( 1215)。 4. 路由与调度 虚拟模型: 一个模型名可以在多个渠道分组之间回退( 1223)。 路由模拟: 按阶段、按凭据看一个请求会走到哪里( 1220);每个请求都会记录路由轨迹,还能列出进行中的请求( 1221)。 流式请求默认在首字节之前故障转移 ,另有首
…Key 可留空并使用无鉴权模式。 - 插件运行时:移除旧 Action 组件支持。 - 日志:将回复调度、消息防抖、WebUI 正常断线及逐步关停细节移至 DEBUG。 - 稳定性:降低内存占用,修复记忆去重、无效表情缓存和退出后进程残留等问题。 - 重构了统计页面,并大幅优化了统计计算速度
…义字段和模板准备移到后台。 - 改善系统密钥服务异常时的启动与恢复:输入法、自动填充、凭据导出和后台调度共用受控入口,避免重复同步读取及未捕获异常;保留原密文和配置,支持已有主密码保护材料的确认恢复。锁定后拒绝迟到的密钥结果,常用账号迁移遇到不可读字段时保留原值。直接依赖已永久丢失硬件密钥的旧内容仍需要原密钥或备份。 修复并发启动检查交接