把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架,通过统一中间表示和自动调优提升推理性能。
NVIDIA 官方的高性能深度学习推理 SDK,能把训练好的模型在 NVIDIA GPU 上做极致加速和部署,适合追求低延迟高吞吐的生产推理场景。
用遗传算法和进化式迭代自动优化提示词、代码与 Agent 配置,让 LLM 反复自我反思改进,省去手工调参。
在 AMD GPU 上自动调优 LLM 推理负载的智能体系统,通过自动搜索和优化 GPU kernel 提升大模型推理性能。
一个自动进化框架,用多智能体像 7×24 小时算法团队一样持续迭代优化任意目标,适合需要自动调优和自改进的场景。