在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练,提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。
…安全修复 : 修复 7 个 Shape/执行算子中的越界访问、零步长、重复索引等安全漏洞 HQQ 大模型量化修复 : 修复 Qwen3.5-27B 等大模型 HQQ 量化 OOM 问题 Sana Diffusion 增强 : iOS/Android 全面支持 Sana 风格迁移、Omni 音频输出、视频输入等新功能 Metal 后端增强
…lama factory 支持多模态大模型训练 - 升级gpt5 - 支持vllm推理框架 - 丰富模型量化支持“gptq","awq","gguf","hf quantize” - 添加模型蒸馏任务模板 - 支持模型转换任务模板 - 增加opencompass模型评估 - 优化opencompass任务模板 - 优化llm评估 2. 任
…lama factory 支持多模态大模型训练 - 升级gpt5 - 支持vllm推理框架 - 丰富模型量化支持“gptq","awq","gguf","hf quantize” - 添加模型蒸馏任务模板 - 支持模型转换任务模板 - 增加opencompass模型评估 - 优化opencompass任务模板 - 优化llm评估 2. 任
…设置volcano允许k8s集群内其他pod访问 4. 推理服务增强 - 优化推理服务网关功能,增加模型量化(int8/int4) - 支持推理服务网关统一代理 - 修复推理服务设置域名为IP时的bug - 支持昇腾卡指定卡型 - 支持并发数设置(TFServing) - 修复多机推理的访问入口问题 5. 模型训练与评估 - 增加Llam