开源本地 AI 推理引擎，无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型，提供兼容 OpenAI 的 API。

自托管的大模型对话界面，兼容 Ollama、OpenAI API 等后端，内置 RAG 与 MCP 支持，让团队快速搭建私有 AI 聊天入口。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。

面向人类友好的深度学习 API，用 Python 编写，可跑在 TensorFlow、JAX、PyTorch 上，帮开发者快速搭建和训练神经网络。

Triton 是一门面向 GPU 编程的类 Python 语言及其编译器，让开发者不用写 CUDA 就能写出接近手写性能的高效内核。

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

用 C++ 写的图像处理与数据并行计算 DSL，把算法和调度分开描述，自动生成适配 CPU、GPU 等硬件的高性能代码。

跨平台渲染库，屏蔽 DirectX、OpenGL、Metal、Vulkan 等图形 API 差异，让你自带引擎或框架也能统一接入渲染。

微软官方的新版 Windows Terminal 终端模拟器，同时包含原版 Windows 控制台宿主，支持多标签、GPU 加速渲染和 WSL，替代老旧的 cmd 窗口。

把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架，通过统一中间表示和自动调优提升推理性能。

面向云端和数据中心的高性能推理服务端，支持多种深度学习框架模型部署，并可在边缘设备上运行。

Rust 写的张量库和深度学习框架，兼顾灵活性与效率，支持自动微分、跨平台后端和内核融合，可训练和部署神经网络。

快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。

跨平台高性能推理与训练加速引擎，可直接加载 ONNX 模型，兼容 PyTorch、TensorFlow 等框架导出，解决模型在不同硬件上高效部署的问题。

在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。

让视频扩散模型在普通显卡上也能跑起来，通过帧打包技术大幅降低显存占用，实现实用的长视频生成。

通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。

基于 TypeScript 的 Web 3D 游戏与渲染引擎，封装 WebGL/WebGPU/WebXR，让开发者直接在浏览器里搭建高性能 3D 场景和游戏。

PyTorch 官方的端侧推理框架，把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行，覆盖 CPU、GPU 等多种后端。

基于节点图的扩散模型图形界面与后端，支持本地快速推理和 API 调用，方便搭建和调试图像生成工作流。

OpenAI Whisper 语音识别模型的 C/C++ 移植版，无需 Python 和 GPU 依赖，在普通 CPU 上就能跑语音转文字。

开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。

免费开源的跨平台 2D/3D 游戏引擎，支持 WebGL、Vulkan、Metal 等图形后端，帮助开发者高效制作并发布高性能游戏和网页互动内容。

把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理，支持视觉、LLM 和生成式模型，省去自己折腾底层加速的麻烦。

面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。

MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。

用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子，减少显存占用并提升微调吞吐，兼容 Llama、Mistral、Gemma、Phi 等主流模型。

面向稠密向量的高效相似度检索与聚类库，支持十亿级向量近邻搜索，是构建向量数据库和 RAG 检索层的底层引擎。

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型，几行代码就能接入，省去自己适配硬件的麻烦。

用 C++ 实现的 Xbox 360 模拟器，通过 PowerPC 指令翻译和 D3D12/Vulkan 图形后端，让 Xbox 360 游戏能在 PC 上运行。

让大模型自主拆解目标、调用工具并连续执行任务的智能体平台，提供可视化搭建与运行环境，帮你把重复性工作交给 AI 自动完成。

一个免代码的 RAG 服务器，能随文档更新自动同步答案，支持 8 种向量数据库，基于 Pathway 构建。

持续性能分析平台，能定位到具体代码行，帮你排查 CPU、内存等性能瓶颈，适合生产环境做可观测性监控。

一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。

一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK，覆盖 Android、iOS、Flutter，省去自己搭推理链路的麻烦。

开源版 Codespaces：客户端轻量、不绑定 IDE，用任意编辑器连上云、Kubernetes 或本地 Docker 就能拉起远程开发环境。

像 htop 一样在终端里实时查看 NVIDIA GPU 的进程占用、显存和利用率，还能导出指标接入 Grafana 做监控面板。

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

把强化学习接到 LLM Agent 应用上的训练框架，让 Agent 能在真实任务中通过 RL 持续优化策略，配置简单、扩展灵活。