面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。
开源 AI 语音工作室，支持声音克隆、语音听写和语音生成，基于 Qwen3-TTS 与 Whisper，可在 CUDA 或 MLX 上本地运行。
面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。
跨平台高性能推理与训练加速引擎，可直接加载 ONNX 模型，兼容 PyTorch、TensorFlow 等框架导出，解决模型在不同硬件上高效部署的问题。
面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。
高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。
用 Go 语言调用 OpenCV 做计算机视觉的封装库，支持 DNN 推理、CUDA 加速、OpenVINO 和扩展模块，省去写 C++ 胶水代码的麻烦。
给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。
用 CUDA 加速高斯泼溅光栅化，让 3D 高斯场景的训练和渲染跑得更快，适合做三维重建与实时渲染。
用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。
把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架，通过统一中间表示和自动调优提升推理性能。
Open3D 是一个现代 3D 数据处理库，提供点云、网格、RGB-D 和 3D 可视化等算法与工具，支持 C++ 和 Python，可用于 3D 感知、重建与机器学习研究。
Rust 写的张量库和深度学习框架，兼顾灵活性与效率，支持自动微分、跨平台后端和内核融合，可训练和部署神经网络。
NVIDIA 官方的高性能深度学习推理 SDK，能把训练好的模型在 NVIDIA GPU 上做极致加速和部署，适合追求低延迟高吞吐的生产推理场景。
LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。
基于 PyTorch 的图神经网络库，提供图卷积等 GNN 模型的构建与训练组件，省去自己实现图数据结构和消息传递的麻烦。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
基于 PyTorch 的 3D 深度学习加速库，提供可微渲染、光照、相机 API 和物理仿真等模块，帮研究者快速搭建 3D 重建与神经渲染实验。
在 Linux 上通过 Docker 和 RDP 运行 Windows 应用，实现接近原生的无缝集成，省去双系统或复杂虚拟机的麻烦。
在浏览器里直接跑 Hugging Face 的 Transformer 模型，不用后端服务器，前端就能做文本、视觉等机器学习推理。
从多张照片重建三维场景的 C++ 工具，集成了运动恢复结构（SfM）和多视图立体（MVS），可输出相机位姿与稠密点云。
Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。
在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。
统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。
基于飞桨的目标检测工具库，覆盖检测、实例分割、多目标跟踪和实时多人关键点检测，提供从训练到部署的完整流程。
基于 OpenAI Whisper 的离线音频转写与翻译工具，在本机就能把语音转成文字并翻译，不用联网也不上传数据。
本地离线从视频画面中提取硬字幕并生成 srt 文件，基于深度学习做字幕区域检测和文字识别，不用调第三方 API。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理，支持视觉、LLM 和生成式模型，省去自己折腾底层加速的麻烦。
基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎，通过量化与高效推理大幅提速并降低显存占用，适合本地部署转录。
把 EPUB 电子书转成有声书的 Python 工具，基于 Kokoro 语音合成模型，适合想批量制作个人音频书的人。
GPU 加速的数据预处理库，提供高度优化的图像、音频处理算子和执行引擎，解决深度学习训练中数据管道拖慢 GPU 的瓶颈。
为容器提供用户态内核，在 Go 中实现 Linux 系统调用接口，让 Docker 和 Kubernetes 容器获得更强的安全隔离，同时保持 OCI 兼容。
一个简洁但完整的全注意力 Transformer 实现，集成了多篇论文中值得尝试的实验性特性，方便研究者快速试验各种注意力变体。
本地运行的 AI 会议记录工具，用 Whisper/Parakeet 在设备上完成转写和说话人分离，不需要会议机器人，会议内容不出本机。
把 EPUB、PDF 或纯文本一键转成有声书，并生成与语音同步的字幕，适合批量制作有声内容。
给 ChatTTS 套了个本地网页界面，输入文字就能合成语音，还能对外提供 API 接口，省去自己写前端和接口的功夫。
基于飞桨的 NLP 与大模型开发库，提供丰富模型库，覆盖 BERT、ERNIE、LLaMA 等，支持分布式训练、压缩和文档智能等任务。
8MB 的 RWKV 模型管理与启动工具，全自动部署推理，并提供兼容 OpenAI API 的接口，方便直接接入现有客户端。