极快的 C++/CUDA 神经网络框架，专为 MLP 等小网络在 GPU 上训练和推理加速，常用于 NeRF 等实时渲染场景。

GPU 加速的图像处理与计算机视觉库，专为云端大规模负载设计，用 CUDA 把预处理和视觉算子跑在 GPU 上，缓解 CPU 瓶颈。

面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。

用 CUDA 加速高斯泼溅光栅化，让 3D 高斯场景的训练和渲染跑得更快，适合做三维重建与实时渲染。

用 Go 语言调用 OpenCV 做计算机视觉的封装库，支持 DNN 推理、CUDA 加速、OpenVINO 和扩展模块，省去写 C++ 胶水代码的麻烦。

开源 AI 语音工作室，支持声音克隆、语音听写和语音生成，基于 Qwen3-TTS 与 Whisper，可在 CUDA 或 MLX 上本地运行。

面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。

跨平台高性能推理与训练加速引擎，可直接加载 ONNX 模型，兼容 PyTorch、TensorFlow 等框架导出，解决模型在不同硬件上高效部署的问题。

LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

基于 PyTorch 的 3D 深度学习加速库，提供可微渲染、光照、相机 API 和物理仿真等模块，帮研究者快速搭建 3D 重建与神经渲染实验。

把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架，通过统一中间表示和自动调优提升推理性能。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

Open3D 是一个现代 3D 数据处理库，提供点云、网格、RGB-D 和 3D 可视化等算法与工具，支持 C++ 和 Python，可用于 3D 感知、重建与机器学习研究。

Rust 写的张量库和深度学习框架，兼顾灵活性与效率，支持自动微分、跨平台后端和内核融合，可训练和部署神经网络。

NVIDIA 官方的高性能深度学习推理 SDK，能把训练好的模型在 NVIDIA GPU 上做极致加速和部署，适合追求低延迟高吞吐的生产推理场景。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

基于 PyTorch 的图神经网络库，提供图卷积等 GNN 模型的构建与训练组件，省去自己实现图数据结构和消息传递的麻烦。

在 Linux 上通过 Docker 和 RDP 运行 Windows 应用，实现接近原生的无缝集成，省去双系统或复杂虚拟机的麻烦。

在浏览器里直接跑 Hugging Face 的 Transformer 模型，不用后端服务器，前端就能做文本、视觉等机器学习推理。

从多张照片重建三维场景的 C++ 工具，集成了运动恢复结构（SfM）和多视图立体（MVS），可输出相机位姿与稠密点云。

基于飞桨的目标检测工具库，覆盖检测、实例分割、多目标跟踪和实时多人关键点检测，提供从训练到部署的完整流程。

基于 OpenAI Whisper 的离线音频转写与翻译工具，在本机就能把语音转成文字并翻译，不用联网也不上传数据。

把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理，支持视觉、LLM 和生成式模型，省去自己折腾底层加速的麻烦。

基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎，通过量化与高效推理大幅提速并降低显存占用，适合本地部署转录。

为容器提供用户态内核，在 Go 中实现 Linux 系统调用接口，让 Docker 和 Kubernetes 容器获得更强的安全隔离，同时保持 OCI 兼容。

本地运行的 AI 会议记录工具，用 Whisper/Parakeet 在设备上完成转写和说话人分离，不需要会议机器人，会议内容不出本机。

基于飞桨的 NLP 与大模型开发库，提供丰富模型库，覆盖 BERT、ERNIE、LLaMA 等，支持分布式训练、压缩和文档智能等任务。

面向 Transformer 模型的高性能推理引擎，用 C++ 实现并支持 CUDA、AVX、NEON 等硬件加速，让机器翻译等模型在 CPU/GPU 上跑得更快、显存占用更低。

量化注意力算子库，在语言、图像、视频模型上比 FlashAttention 快 2-5 倍且不损失端到端精度，可直接替换加速推理。

把 PyTorch、TorchScript 和 FX 模型编译成 TensorRT 引擎，在 NVIDIA GPU 上做推理加速，省去手写 TensorRT 网络的麻烦。

PyTorch 官方的量化与稀疏化工具库，支持训练和推理阶段的低精度计算，覆盖 float8、MX 等数据类型，可加速 Transformer 和 Llama 等大模型。

自托管的本地 NVR 与 AI 视觉监控软件，支持目标检测、移动侦测、人脸识别和车牌识别，可接入 IP 摄像头并利用 Coral、CUDA 等硬件加速，数据不出本地。

一个原生桌面应用，把 3D Gaussian Splatting 场景的训练、查看、编辑、自动化和导出都集成在一起，省去在多个工具间来回切换的麻烦。

开源推理研究平台，用于在 AMD、CUDA 等不同 GPU 上对 LLM 推理服务做基准测试和性能对比，帮团队选型加速卡。

面向 Tenstorrent 加速卡的 TT-NN 算子库和 TT-Metalium 底层内核编程模型，让大模型和图像生成模型能在非 GPU 硬件上高效推理。

把远程机器上的 GPU 通过 IP 网络桥接给只有 CPU 的机器使用，让无显卡设备也能跑 CUDA 计算和推理任务。