统一管理 GPU 集群,调度 vLLM、SGLang 等推理引擎做高性能模型服务,还能按需开出可 SSH 登录的 GPU 实例。
把分散在多家云上的 GPU 资源统一调度成一台「AI 超算」,自动选最便宜的可用算力跑训练、微调和推理任务,省去手动比价与跨云管理。
一套面向大模型训练的分布式并行框架,把数据、模型、流水线并行和异构训练整合成统一接口,让训练和推理更省显存、更快。
把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架,通过统一中间表示和自动调优提升推理性能。
让大模型自主拆解目标、调用工具并连续执行任务的智能体平台,提供可视化搭建与运行环境,帮你把重复性工作交给 AI 自动完成。
分布式 AI 计算引擎,提供核心分布式运行时和一组 AI 库,用来加速机器学习负载、大模型推理与超参搜索。
用 C++ 写的图像处理与数据并行计算 DSL,把算法和调度分开描述,自动生成适配 CPU、GPU 等硬件的高性能代码。
Triton 是一门面向 GPU 编程的类 Python 语言及其编译器,让开发者不用写 CUDA 就能写出接近手写性能的高效内核。
把大语言模型和 Hugging Face 上的各类模型连起来,让 LLM 自动挑选、调用合适的模型完成多模态任务,相当于给模型加了个调度中枢。
Mooncake 是支撑 Kimi 大模型服务的推理平台,通过 KVCache 分离式架构和 RDMA 高速传输,把预填充与解码拆开部署,提升长上下文场景下的吞吐和资源利用率。
基于 PyTorch 的深度学习高层封装库,用少量代码就能训练出高精度模型,配套 notebook 教程降低入门门槛。
用 PyTorch 从零实现的轻量级 vLLM,代码精简易读,适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型,省去逐个试跑和查显存的麻烦。
NVIDIA 官方的高性能深度学习推理 SDK,能把训练好的模型在 NVIDIA GPU 上做极致加速和部署,适合追求低延迟高吞吐的生产推理场景。
用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。
在 PostgreSQL 数据库内直接跑机器学习和向量检索,用 SQL 就能做嵌入、分类、聚类和 LLM 推理,省去单独搭推理服务的麻烦。
给 LLM 推理加速的 KV Cache 层,可对接 vLLM 等框架,复用和缓存键值对来降低显存占用、提升吞吐,支持 CUDA 和 ROCm。
面向本地部署的高速大模型推理引擎,通过稀疏激活与量化等技术,让消费级显卡也能流畅跑起 Llama 类模型。
NVIDIA 的大规模 Transformer 训练框架,支持张量并行、流水线并行等模型并行策略,用来在成百上千张 GPU 上高效预训练大语言模型。
开源手机智能体模型与框架,让 AI 直接操作手机界面完成点按、输入等任务,把「AI 手机」能力开放给所有人。
集成 Waifu2x、Real-ESRGAN、Real-CUGAN 等多种超分模型与 RIFE 等补帧算法的图形界面工具,可批量放大视频、图片和 GIF 并提升帧率。
面向全模态模型的高效推理框架,支持图像、视频、音频生成与多模态模型服务,基于 PyTorch 提供统一的推理与部署能力。
把 Windows 系统装进 Docker 容器里跑,用容器方式启动完整 Windows 虚拟机,省去单独配置虚拟化环境的麻烦。
面向手机端的高性能神经网络推理框架,针对 ARM 平台深度优化,让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。
轻量级 OCR 工具包,能把图片和 PDF 转成结构化数据,支持 100 多种语言,方便接入 LLM 和 RAG 流程。
高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。
一站式桌面工具,用本地 Whisper、FunASR 等模型离线把视频转成字幕,还能翻译、AI 配音、声音克隆和烧录字幕,支持批量处理与全平台 GPU 加速。
基于 Kubernetes 的云原生机器学习平台,把训练、流水线编排、模型服务和 Notebook 开发统一到容器化集群里,解决 MLOps 各环节割裂、难以规模化调度的问题。
把 Playwright 浏览器自动化能力封装成 MCP 服务器,让 AI Agent 通过结构化接口操控网页、抓取页面内容,无需依赖截图识别。
轻量级命令行视频播放器,基于 FFmpeg 解码,支持硬件加速、字幕渲染和脚本扩展,适合在终端或嵌入其他应用中播放音视频。
基于 Ray 的高性能 RLHF 训练框架,支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速,可扩展地完成大模型和视觉语言模型的对齐后训练。
云原生一站式机器学习与大模型平台,覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调,支持国产算力生态。
在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理,靠 Metal GPGPU 把 MoE 模型塞进本地设备。
Python 图像处理算法库,提供滤波、分割、形态学、特征检测等常用算法,适合科研与工程中快速实现图像分析流程。
开源个人 AI 助手与 Agent Harness,能规划任务、调用工具和技能,靠记忆与知识自我进化,支持多智能体、多模型、多渠道,一行命令即可安装。
面向文本嵌入模型的高性能推理服务,用 Rust 编写,可快速把文本转成向量,适合搭建检索和 RAG 的向量化后端。
给 AI Agent 做强化学习训练和调优的框架,把 Agent 的推理轨迹变成训练信号,让智能体越跑越强。
给 OpenOPC 的智能体 DAG 运行时加一层零改造的人在回路适配器,让外部智能体执行流程中能插入人工审核与干预。
本地运行的网络录像机,接入 IP 摄像头后实时做目标检测,识别到人、车等对象再触发录像和 MQTT 通知,画面不出家门。
面向手机等消费级设备的 LLM 推理引擎,用 2bit 量化和手写内核把大模型塞进端侧运行,主打低显存、跨 Android/iOS 的 ARM 部署。
…档 新增 Kubernetes Dynamic Resource Allocation 专题,覆盖 GPU 等加速设备的动态分配与调度,面向 AI 工作负载场景。 - 无 Sidecar 服务网格架构对比 新增 Istio Ambient、Cilium、Linkerd 等无 Sidecar 架构的原理对比与选型建议,紧跟服务网格的扁平化演
…联,修复 OneDrive 凭据刷新覆盖新配置的问题。 - 改进 Telegram 暂停、恢复和归档调度,细化下载、上传、等待上传及重试进度,修正任务目标账户的存储冷却判断。 - 修复并发转存和同名文件写入问题,避免覆盖已有文件;正确保留 %20 等字面文件名及目录中的连续空格、点号。 - Google Drive 删除改为移入回收站,并
… 引入插件自更新机制,支持多源下载、SHA256校验及安装后提示重载 - 重构状态模型与定时器,统一调度状态探测、IP刷新与Gemini检测任务 - 同步更新构建脚本、架构文档及单元测试,完善多语言词条与Webview通信 🐛 Bug 修复 (Bug Fixes) - ide-extension : 修复实机测试缺陷并补充改造文档 -
… 上限,以及模型路由( 1168)。 进行中的请求计入 Key 的预算( 1215)。 4. 路由与调度 虚拟模型: 一个模型名可以在多个渠道分组之间回退( 1223)。 路由模拟: 按阶段、按凭据看一个请求会走到哪里( 1220);每个请求都会记录路由轨迹,还能列出进行中的请求( 1221)。 流式请求默认在首字节之前故障转移 ,另有首
…Key 可留空并使用无鉴权模式。 - 插件运行时:移除旧 Action 组件支持。 - 日志:将回复调度、消息防抖、WebUI 正常断线及逐步关停细节移至 DEBUG。 - 稳定性:降低内存占用,修复记忆去重、无效表情缓存和退出后进程残留等问题。 - 重构了统计页面,并大幅优化了统计计算速度
…义字段和模板准备移到后台。 - 改善系统密钥服务异常时的启动与恢复:输入法、自动填充、凭据导出和后台调度共用受控入口,避免重复同步读取及未捕获异常;保留原密文和配置,支持已有主密码保护材料的确认恢复。锁定后拒绝迟到的密钥结果,常用账号迁移遇到不可读字段时保留原值。直接依赖已永久丢失硬件密钥的旧内容仍需要原密钥或备份。 修复并发启动检查交接