面向大语言模型的高吞吐、低显存推理与服务引擎,通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用,适合部署在线推理服务。
一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型,省去逐个试跑和查显存的麻烦。
面向本地部署的高速大模型推理引擎,通过稀疏激活与量化等技术,让消费级显卡也能流畅跑起 Llama 类模型。
…帧;“带我去”先打开章节所在的视图,再指向控件。 - 运行状态:设置新增可选的“运行状态”,顶栏显示显存和温度,面板列出显卡、显存、使用率、温度和硬盘剩余空间,并提供两步确认的“立即停止”。 - 等待提示:图片编辑器的上传、字体、找出物体和保存提示显示到任务完成并显示已用时间;分享视频导出显示已到的帧和用时;一直没有回应的上传会被中止,各
…同入口之间的行为差异。 - 改善多显卡识别 :通过物理 PCI 地址关联 Windows GPU 与显存信息,提高多显卡及同型号设备的匹配准确性。 - 调整自动档位推荐 :根据小模型后端实际选择的设备推荐档位。GPU 可开放全部档位;CPU 可用逻辑核数达到 4 核时开放 Basic,达到 12 核时开放 Standard。 - 完善 O
… 占用;窗口最小化或隐藏到托盘后停止绘制,并按需回收曲线图层缓存、过期图标与纹理图集,减少后台内存与显存开销。 - 繁忙与低内存环境 :托盘更新由独立线程合并处理,优化高负载或外壳阻塞下的操作与采样响应;内存紧张时自动缩小图表缓冲、降低纹理精度以保留实时曲线,余量恢复后还原完整精度;增强激活窗口时应对大面积置顶遮挡的能力。 修复 - 进程
…容相同时才折叠在一起。 - 参考视频编码现在会显示进度,预计时间从一开始就把参考视频算进去。 - 因显存不足而拒绝请求时,建议的尺寸改为能放行的最大一档,不再只在两个固定的较小尺寸里选。 - 视频参考的帧文件在编码后即删除,取消或失败的请求也会释放残留文件,带视频参考的生成不再在文件夹里留下每个参考超过 1 GB 的文件。更换模型后会一并
…er break their labels across lines\. 更新内容 提示词增强在可用显存较少时也能改写;安装或修复遇到还在生成的视频时会等待并自动继续。 - 提示词不再被补写 0\.4\.32 加入的自然声音描述。 - 音频参考:只有声音的 mp4 文件也可以使用。Agent 只需要视频里的声音时,可用小画面传入,生成明显
…sed to check MiniMax H3 only). Its label now says 24GB+ . - Interrogate always shows Artists : when no artist reaches the Kaloscope threshold, the Artists section now sho