为容器提供用户态内核,在 Go 中实现 Linux 系统调用接口,让 Docker 和 Kubernetes 容器获得更强的安全隔离,同时保持 OCI 兼容。
面向 LLM 推理服务的高性能 CUDA 内核库,提供注意力、MoE 等算子的 JIT 实现,用来加速 GPU 上的大模型推理。
用 Rust 打造的高性能多人协作代码编辑器,由 Atom 和 Tree-sitter 作者开发,主打低延迟编辑与实时协同编码。
Rust 写的张量库和深度学习框架,兼顾灵活性与效率,支持自动微分、跨平台后端和内核融合,可训练和部署神经网络。
Triton 是一门面向 GPU 编程的类 Python 语言及其编译器,让开发者不用写 CUDA 就能写出接近手写性能的高效内核。
用 Rust 写的跨平台 GPU 加速终端模拟器,基于 OpenGL 渲染,主打高帧率和低延迟,适合嫌普通终端卡顿、想要更顺滑操作体验的开发者。
一套面向大模型训练的分布式并行框架,把数据、模型、流水线并行和异构训练整合成统一接口,让训练和推理更省显存、更快。
快速且省显存的精确注意力实现,支持训练和推理,能显著加速 Transformer 长序列计算。
面向手机等消费级设备的 LLM 推理引擎,用 2bit 量化和手写内核把大模型塞进端侧运行,主打低显存、跨 Android/iOS 的 ARM 部署。
8MB 的 RWKV 模型管理与启动工具,全自动部署推理,并提供兼容 OpenAI API 的接口,方便直接接入现有客户端。
微软开源的跨平台代码编辑器,基于 Electron 和 TypeScript 构建,支持插件扩展、调试和 Git 集成,适合日常开发写代码。
在本地 GPU 和 NPU 上直接跑优化后的大模型,帮用户发现并启动本地 AI 应用,省去自己折腾推理环境的麻烦。
用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子,减少显存占用并提升微调吞吐,兼容 Llama、Mistral、Gemma、Phi 等主流模型。
PyTorch 官方的端侧推理框架,把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行,覆盖 CPU、GPU 等多种后端。
轻量级命令行视频播放器,基于 FFmpeg 解码,支持硬件加速、字幕渲染和脚本扩展,适合在终端或嵌入其他应用中播放音视频。
微软出品的推荐系统实践库,提供从数据准备、模型训练到部署上线的完整示例和最佳实践,帮算法工程师快速搭建推荐与排序模型。
用大语言模型驱动的 Python 爬虫,只需描述想抓什么,就能自动完成网页抓取和结构化数据提取,省去手写解析规则。
基于 PyTorch 的图神经网络库,提供图卷积等 GNN 模型的构建与训练组件,省去自己实现图数据结构和消息传递的麻烦。
一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK,覆盖 Android、iOS、Flutter,省去自己搭推理链路的麻烦。
Windows 上的现代图形界面媒体播放器,基于 libmpv 和 ffmpeg,支持命令行、Lua 与 JavaScript 脚本扩展,适合想要 mpv 内核又需要易用界面的用户。
LTX-Video 是 Lightricks 开源的视频生成模型,支持文生视频和图生视频,基于 DiT 扩散架构,可快速生成高质量短视频。
面向 Tenstorrent 加速卡的 TT-NN 算子库和 TT-Metalium 底层内核编程模型,让大模型和图像生成模型能在非 GPU 硬件上高效推理。
AWQ 是一种激活感知的权重量化方法,能在几乎不损失精度的情况下把大模型压到 4bit,并配合高效推理内核显著降低显存占用、提升推理速度。
面向 AI Agent 的 GPU 性能分析器,能追踪 GPU 内核执行和推理过程,帮开发者定位性能瓶颈、优化显存与算力使用。