基于 OpenGL 的 Android 图像与相机滤镜库,通过 GPU 着色器实时处理画面,支持 JNI 调用和计算着色器,适合给相机或图片应用加滤镜。
把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU,写起来像 NumPy,跑起来像高性能计算。
面向 Apple silicon 的数组计算框架,让机器学习模型能直接在 Mac 芯片上高效训练和推理,省去折腾 CUDA 的麻烦。
快速且省显存的精确注意力实现,支持训练和推理,能显著加速 Transformer 长序列计算。
一套可复用的计算机视觉工具库,提供目标检测、实例分割、分类等任务的标注处理、指标计算与可视化组件,帮开发者省去重复造轮子的时间。
开源计算机视觉库,提供图像处理、视频分析和深度学习推理的 C++ 接口,是视觉应用开发的基础设施。
给 LLM 推理加速的 KV Cache 层,可对接 vLLM 等框架,复用和缓存键值对来降低显存占用、提升吞吐,支持 CUDA 和 ROCm。
分布式 AI 计算引擎,提供核心分布式运行时和一组 AI 库,用来加速机器学习负载、大模型推理与超参搜索。
基于 PyTorch 的几何计算机视觉库,提供可微分的图像处理与几何变换算子,方便在空间 AI 和机器人任务中搭建视觉模型。
面向 MoE 模型的高效专家并行通信库,专门优化 GPU 间 all-to-all 分发与合并,降低大规模稀疏模型训练和推理的通信开销。
用 C++ 写的图像处理与数据并行计算 DSL,把算法和调度分开描述,自动生成适配 CPU、GPU 等硬件的高性能代码。
MIT 6.S191 深度学习入门课的实验材料,用 Jupyter Notebook 带你动手实现计算机视觉、强化学习和音乐生成等模型,适合边学理论边写代码。
云原生一站式机器学习与大模型平台,覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调,支持国产算力生态。
集成 Waifu2x、Real-ESRGAN、Real-CUGAN 等多种超分模型与 RIFE 等补帧算法的图形界面工具,可批量放大视频、图片和 GIF 并提升帧率。
用纯 RNN 架构的 RWKV 语言模型驱动的开源聊天机器人,效果对标 ChatGPT,可在本地部署运行。
PyTorch 官方的端侧推理框架,把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行,覆盖 CPU、GPU 等多种后端。
Python 图像处理算法库,提供滤波、分割、形态学、特征检测等常用算法,适合科研与工程中快速实现图像分析流程。
一套用于评估目标检测算法的常用指标实现,支持计算 AP、mAP 和 PR 曲线,兼容 Pascal VOC 等标注格式。
用 Go 语言调用 OpenCV 做计算机视觉的封装库,支持 DNN 推理、CUDA 加速、OpenVINO 和扩展模块,省去写 C++ 胶水代码的麻烦。
用强化学习训练 Transformer 语言模型的全流程库,覆盖 SFT、奖励建模到 PPO/DPO 等 RLHF 算法,省去自己拼训练管线。
用 PyTorch 从零实现的轻量级 vLLM,代码精简易读,适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
面向手机等消费级设备的 LLM 推理引擎,用 2bit 量化和手写内核把大模型塞进端侧运行,主打低显存、跨 Android/iOS 的 ARM 部署。
从多张照片重建三维场景的 C++ 工具,集成了运动恢复结构(SfM)和多视图立体(MVS),可输出相机位姿与稠密点云。
轻量高性能的 WebAssembly 运行时,面向云原生、边缘和去中心化场景,支撑无服务器函数、微服务、智能合约和 IoT 设备。
GPU 加速的图像处理与计算机视觉库,专为云端大规模负载设计,用 CUDA 把预处理和视觉算子跑在 GPU 上,缓解 CPU 瓶颈。
把远程机器上的 GPU 通过 IP 网络桥接给只有 CPU 的机器使用,让无显卡设备也能跑 CUDA 计算和推理任务。
一款 Android 相机应用,通过 GPU 加速的多帧合成与计算摄影算法提升手机拍照画质,适合想折腾夜景和降噪的用户。
统一可扩展的分布式机器学习库,支持大规模训练、模型服务和联邦学习,还能跨云调度任意 AI 任务到 GPU 云或本地集群。
用 WebGL 在浏览器里跑力导向图布局和渲染,把大规模网络图的计算交给 GPU,适合做高节点数的交互式图可视化。
汇总各家提供深度学习 GPU 算力的云服务商清单,方便按需挑选训练和推理用的云端 GPU 资源。
跨平台多媒体处理框架,支持 GPU 加速和异构调度,可把转码、AI 推理、算法模块和直播流处理串成一条流水线。
开源云原生一站式机器学习与大模型平台,覆盖拖拉拽 pipeline 编排、多机多卡训练、推理服务和 MaaS,支持昇腾等国产异构算力调度。
基于 GPU 的向量检索与聚类库,为近似最近邻搜索和相似度计算提供 CUDA 加速,适合大规模向量数据和 LLM 检索场景。
用 Python 写的高性能视觉库,把图像预处理、增强和 GPU 加速封装成简洁 API,省去重复样板代码,让研究者专注模型实验。
在 Kubernetes 集群里自动发现 GPU 节点故障并执行修复,减少加速计算任务因硬件异常中断。
把 LLM 推理中的 KV Cache 持久化到 DRAM、SSD 或 NFS 并跨请求复用,减少重复计算,加快推理速度,兼容昇腾 NPU 和 CUDA GPU。
面向 vLLM 和 SGLang 的 KV cache 复用层,用 Rust 实现,把前缀缓存扩展到 DRAM、SSD 和跨主机,降低大模型推理的重复计算和显存压力。
用 0.1% 的数据通过剪枝和知识蒸馏把 Segment Anything 模型压缩成轻量版,大幅降低显存和计算开销,同时保持分割精度。
一本从硬件约束和模型架构出发、用定量推导讲透 LLM 推理与训练系统设计的开源书稿,附全书正文、PDF 和配套计算工具,适合想搞懂 AI Infra 底层账怎么算的工程师。
收录 CUDA、cuBLAS、CUTLASS、TensorRT-LLM、Triton、TVM、MLIR 等 GPU 加速与高性能计算开源项目的精选清单,方便按方向找底层算子、编译器和推理框架。