统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。

基于 OpenGL 的 Android 图像与相机滤镜库，通过 GPU 着色器实时处理画面，支持 JNI 调用和计算着色器，适合给相机或图片应用加滤镜。

实时监控 NVIDIA GPU 的 Web 仪表盘，用图表展示显存、利用率、温度等指标，方便运维和 MLOps 排查显卡状态。

一套用 CPU、GPU 和 APU 做纹理与 3D 模型压缩、优化和分析的工具集，支持 BC、ASTC、ETC 等格式，帮图形开发者减小资源体积并检查画质。

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

轻量级 Web 面板，实时查看多块 GPU 的占用率、显存和温度等状态，方便跑深度学习训练时随时掌握显卡负载。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

用 Rust 写的跨平台 GPU 加速终端模拟器，基于 OpenGL 渲染，主打高帧率和低延迟，适合嫌普通终端卡顿、想要更顺滑操作体验的开发者。

开源监控系统与时序数据库，采集指标、配置告警规则并绘图展示，适合搭建从基础设施到 GPU 集群的可观测性平台。

微软官方的新版 Windows Terminal 终端模拟器，同时包含原版 Windows 控制台宿主，支持多标签、GPU 加速渲染和 WSL，替代老旧的 cmd 窗口。

用 Zig 编写、基于 GPU 加速的跨平台终端模拟器，界面采用各平台原生控件，启动快、功能全，适合追求流畅终端体验的开发者。

用 Rust 打造的高性能多人协作代码编辑器，由 Atom 和 Tree-sitter 作者开发，主打低延迟编辑与实时协同编码。

开源可组合的可观测性平台，把 Prometheus、Loki、Elasticsearch 等多源指标、日志和链路数据统一做成仪表盘，并支持告警。

把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU，写起来像 NumPy，跑起来像高性能计算。

基于 GPU 渲染的跨平台终端模拟器，速度快、功能丰富，适合长期在终端里工作的人，支持 OpenGL 加速和分屏等特性。

基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。

用 Rust 写的 GPU 加速跨平台终端模拟器，同时内置终端复用功能，可替代 tmux 和传统终端，还支持串口连接。

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

开源本地 AI 推理引擎，无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型，提供兼容 OpenAI 的 API。

一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。

Triton 是一门面向 GPU 编程的类 Python 语言及其编译器，让开发者不用写 CUDA 就能写出接近手写性能的高效内核。

快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。

一本面向大模型工程实践的开源手册，系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题，帮工程师把模型真正跑起来。

本地跑和训练大模型、扩散模型的图形界面，支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型，省去命令行配置的麻烦。

统一的 PyTorch 训练框架，让同一份代码在单卡到上万张 GPU 上都能跑，免去改代码就能做预训练和微调。

基于 PyTorch 的深度学习高层封装库，用少量代码就能训练出高精度模型，配套 notebook 教程降低入门门槛。

基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎，通过量化与高效推理大幅提速并降低显存占用，适合本地部署转录。

NVIDIA 官方的高性能深度学习推理 SDK，能把训练好的模型在 NVIDIA GPU 上做极致加速和部署，适合追求低延迟高吞吐的生产推理场景。

在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

用 LoRA、Adapter 等少量参数微调大模型和扩散模型，大幅降低显存与训练成本，是 Hugging Face 生态里做参数高效微调的标准库。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

让视频扩散模型在普通显卡上也能跑起来，通过帧打包技术大幅降低显存占用，实现实用的长视频生成。

OpenAI Whisper 语音识别模型的 C/C++ 移植版，无需 Python 和 GPU 依赖，在普通 CPU 上就能跑语音转文字。

GPU 加速的 RAW 图像编辑器，支持非破坏性编辑、蒙版和调色，用 Rust + Tauri 打造，打开大文件也不卡。

…ing from a Raspberry Pi 4 to high power GPU servers.

用一份 YAML 配置就能微调大模型，靠分层流式加载让 8B 模型在 4GB 显存的笔记本 GPU 上跑起来，省去手写训练脚本和显存焦虑。

把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架，通过统一中间表示和自动调优提升推理性能。

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。