SANA 是英伟达开源的高效扩散生成模型与配套训练推理引擎,支持文生图、文生视频和世界模型,用线性注意力和 NVFP4 量化在低显存下实现快速生成。
面向 PyTorch、TensorFlow 和 ONNX Runtime 的模型压缩工具,支持 INT8/FP8/INT4 等低比特量化和稀疏化,帮大模型在低精度下保持精度并降低显存与推理成本。
Intel 开源的模型量化工具,用训练后量化的低成本达到量化感知训练级别的精度,支持 int4、GGUF、MXFP4 等格式,可直接对接 vLLM、SGLang 推理。
纯 Rust 实现的大模型推理引擎,支持 Transformer、Mamba/SSM、投机解码和 NVFP4 量化,兼容 OpenAI API,适合在 DGX 等硬件上部署高效推理服务。
基于 Qwen3.6-27B 做去审查与能力增强的 abliteration 模型,配合 NVFP4 量化和 DFlash 投机解码,在 DGX Spark 上优化长上下文草稿接受率,附多种 HF 变体与 Docker 部署。
… model with --dynamic-quantization none fp8 mxfp8 nvfp4 and --dynamic-quantization-scope auto mlp all ( 910). Quantization remains disabled by default. - Compatible Black
…识别进程。 - 模型写清楚是哪一个 :语音模型页、各功能页的模型菜单、设置引导和历史都按系列、尺寸和量化称呼模型(Qwen3-ASR 1.7B (8bit)、Qwen3-ASR 0.6B (4bit)),和 Voxt 1.x 一样,不再写“精准语音识别”;卡片上有简短的标签(本地、准确或快速、实时、是否支持主语言)和使用位置,没有评分。
…行共用一个密码。 微调分身 - AstrBot、LangBot 等聊天机器人通过令牌接入分身。 - 量化配置在训练和推理中正确生效(@xhrxgr, 218)。 - 通过 dtype 选项支持 T4、V100 等不支持 bfloat16 的显卡(@octo-patch, 212)。 - test-model 在服务未启动时提示先启动服务(
…GPU/电视、干净Gatekeeper、长期弱网和完整应用内更新未验。保帧不消除网络/转码等待,也未量化逐帧黑屏耗时。系统原生画中画不显示网页保帧层。 未替换本机正式安装,未修改正式用户资料。来源可用性由平台决定,不提供付费内容解锁。
…图片 URL :此前已在 VARCHAR 列上支持语义索引:由 Embedding 模型将文本自动向量化,实现「Data in, Data out」的检索体验。随多模态检索需求增长(如电商以图搜图、内容审核、多模态 RAG),V4.6.0 BP1 版中语义索引新增对图片 URL 的支持能力:在 VARCHAR 列存放图片 URL,创建索引
…入分块 prefill 与 HMX 计算 Hexagon prefill 优化 :优化 INT4 反量化、HMX GEMM、分组因果 Attention、DMA 双缓冲和 VTCM 工作区,复用 prefill / decode 间的 KV 页面与动态内存池 Hexagon 模型与量化覆盖 :新增 Qwen3-VL 支持,完善对称 / 非