统一管理 GPU 集群,调度 vLLM、SGLang 等推理引擎做高性能模型服务,还能按需开出可 SSH 登录的 GPU 实例。
基于 OpenGL 的 Android 图像与相机滤镜库,通过 GPU 着色器实时处理画面,支持 JNI 调用和计算着色器,适合给相机或图片应用加滤镜。
一套用 CPU、GPU 和 APU 做纹理与 3D 模型压缩、优化和分析的工具集,支持 BC、ASTC、ETC 等格式,帮图形开发者减小资源体积并检查画质。
用 Rust 写的跨平台 GPU 加速终端模拟器,基于 OpenGL 渲染,主打高帧率和低延迟,适合嫌普通终端卡顿、想要更顺滑操作体验的开发者。
用 Rust 写的 GPU 加速跨平台终端模拟器,同时内置终端复用功能,可替代 tmux 和传统终端,还支持串口连接。
用 Zig 编写、基于 GPU 加速的跨平台终端模拟器,界面采用各平台原生控件,启动快、功能全,适合追求流畅终端体验的开发者。
用 C/C++ 实现的大模型推理引擎,能在普通 CPU 和消费级显卡上跑 LLaMA 等模型,支持量化以降低显存占用。
把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU,写起来像 NumPy,跑起来像高性能计算。
开源本地 AI 推理引擎,无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型,提供兼容 OpenAI 的 API。
让视频扩散模型在普通显卡上也能跑起来,通过帧打包技术大幅降低显存占用,实现实用的长视频生成。
快速且省显存的精确注意力实现,支持训练和推理,能显著加速 Transformer 长序列计算。
面向大语言模型的高吞吐、低显存推理与服务引擎,通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用,适合部署在线推理服务。
微软官方的新版 Windows Terminal 终端模拟器,同时包含原版 Windows 控制台宿主,支持多标签、GPU 加速渲染和 WSL,替代老旧的 cmd 窗口。
面向 Apple silicon 的数组计算框架,让机器学习模型能直接在 Mac 芯片上高效训练和推理,省去折腾 CUDA 的麻烦。
跨平台高性能推理与训练加速引擎,可直接加载 ONNX 模型,兼容 PyTorch、TensorFlow 等框架导出,解决模型在不同硬件上高效部署的问题。
用 Rust 写的 GPU 加速终端模拟器,基于 Metal/Vulkan 渲染,桌面和浏览器里都能跑,适合追求流畅终端体验的开发者。
基于 GPU 渲染的跨平台终端模拟器,速度快、功能丰富,适合长期在终端里工作的人,支持 OpenGL 加速和分屏等特性。
自托管的大模型对话界面,兼容 Ollama、OpenAI API 等后端,内置 RAG 与 MCP 支持,让团队快速搭建私有 AI 聊天入口。
GPU 加速的 RAW 图像编辑器,支持非破坏性编辑、蒙版和调色,用 Rust + Tauri 打造,打开大文件也不卡。
NVIDIA 官方的高性能深度学习推理 SDK,能把训练好的模型在 NVIDIA GPU 上做极致加速和部署,适合追求低延迟高吞吐的生产推理场景。
一站式桌面工具,用本地 Whisper、FunASR 等模型离线把视频转成字幕,还能翻译、AI 配音、声音克隆和烧录字幕,支持批量处理与全平台 GPU 加速。
面向 LLM 推理服务的高性能 CUDA 内核库,提供注意力、MoE 等算子的 JIT 实现,用来加速 GPU 上的大模型推理。
本地运行的网络录像机,接入 IP 摄像头后实时做目标检测,识别到人、车等对象再触发录像和 MQTT 通知,画面不出家门。
给 LLM 推理加速的 KV Cache 层,可对接 vLLM 等框架,复用和缓存键值对来降低显存占用、提升吞吐,支持 CUDA 和 ROCm。
把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架,通过统一中间表示和自动调优提升推理性能。
OpenAI Whisper 语音识别模型的 C/C++ 移植版,无需 Python 和 GPU 依赖,在普通 CPU 上就能跑语音转文字。
基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎,通过量化与高效推理大幅提速并降低显存占用,适合本地部署转录。
在本地 GPU 和 NPU 上直接跑优化后的大模型,帮用户发现并启动本地 AI 应用,省去自己折腾推理环境的麻烦。
GPU 加速的数据预处理库,提供高度优化的图像、音频处理算子和执行引擎,解决深度学习训练中数据管道拖慢 GPU 的瓶颈。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。
免费开源的跨平台屏幕录制工具,支持 GPU 加速、无水印无订阅,内置语音转文字,适合快速录制产品演示视频。
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。
基于 PyTorch 的图神经网络库,提供图卷积等 GNN 模型的构建与训练组件,省去自己实现图数据结构和消息传递的麻烦。
轻量级命令行视频播放器,基于 FFmpeg 解码,支持硬件加速、字幕渲染和脚本扩展,适合在终端或嵌入其他应用中播放音视频。
用 CUDA 加速高斯泼溅光栅化,让 3D 高斯场景的训练和渲染跑得更快,适合做三维重建与实时渲染。
面向云端和数据中心的高性能推理服务端,支持多种深度学习框架模型部署,并可在边缘设备上运行。
用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。
在 Linux 上通过 Docker 和 RDP 运行 Windows 应用,实现接近原生的无缝集成,省去双系统或复杂虚拟机的麻烦。
Rust 写的张量库和深度学习框架,兼顾灵活性与效率,支持自动微分、跨平台后端和内核融合,可训练和部署神经网络。
在浏览器里直接跑 Hugging Face 的 Transformer 模型,不用后端服务器,前端就能做文本、视觉等机器学习推理。