把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架,通过统一中间表示和自动调优提升推理性能。
给 AI Agent 做强化学习训练和调优的框架,把 Agent 的推理轨迹变成训练信号,让智能体越跑越强。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案,通过逐层加载权重把显存需求压到极低,适合本地低配设备部署大模型。
用遗传编程自动搜索并优化机器学习流水线,涵盖特征工程、模型选择和超参数调优,省去手工试错。
飞桨核心框架,提供深度学习与机器学习的高性能单机及分布式训练能力,并支持跨平台部署,适合工业级模型开发。
面向 LLM 推理服务的高性能 CUDA 内核库,提供注意力、MoE 等算子的 JIT 实现,用来加速 GPU 上的大模型推理。
NVIDIA 官方的高性能深度学习推理 SDK,能把训练好的模型在 NVIDIA GPU 上做极致加速和部署,适合追求低延迟高吞吐的生产推理场景。
在 Apple Silicon 上通过 MLX 框架运行大语言模型,支持加载、推理和微调,让 Mac 本地跑 LLM 更省心。
Triton 是一门面向 GPU 编程的类 Python 语言及其编译器,让开发者不用写 CUDA 就能写出接近手写性能的高效内核。
开源金融大语言模型,提供训练好的模型和微调流程,用于金融情感分析、智能投顾等场景。
用 C++ 写的图像处理与数据并行计算 DSL,把算法和调度分开描述,自动生成适配 CPU、GPU 等硬件的高性能代码。
面向大语言模型的强化学习训练框架,支持分布式训练与智能体工作流,让开发者能低成本训练和调优推理模型。