高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。
把文本生成 CAD 模型拆成多个智能体协作完成,通过约束式测试时计算提升生成质量,适合机械设计与 3D 打印场景。
…7 支持GLM-4.5-Air MTP 6047 支持enable thinking为false时的约束解码 6248 重构MTP pre process 6358 MoE优化 支持GPT-OSS MXFP4量化 5435 支持FP8权重加载 5565 使用max tokens per expert优化MoE网格维度 6007 移除per