面向手机等消费级设备的 LLM 推理引擎,用 2bit 量化和手写内核把大模型塞进端侧运行,主打低显存、跨 Android/iOS 的 ARM 部署。
…识别进程。 - 模型写清楚是哪一个 :语音模型页、各功能页的模型菜单、设置引导和历史都按系列、尺寸和量化称呼模型(Qwen3-ASR 1.7B (8bit)、Qwen3-ASR 0.6B (4bit)),和 Voxt 1.x 一样,不再写“精准语音识别”;卡片上有简短的标签(本地、准确或快速、实时、是否支持主语言)和使用位置,没有评分。
…行共用一个密码。 微调分身 - AstrBot、LangBot 等聊天机器人通过令牌接入分身。 - 量化配置在训练和推理中正确生效(@xhrxgr, 218)。 - 通过 dtype 选项支持 T4、V100 等不支持 bfloat16 的显卡(@octo-patch, 212)。 - test-model 在服务未启动时提示先启动服务(
…GPU/电视、干净Gatekeeper、长期弱网和完整应用内更新未验。保帧不消除网络/转码等待,也未量化逐帧黑屏耗时。系统原生画中画不显示网页保帧层。 未替换本机正式安装,未修改正式用户资料。来源可用性由平台决定,不提供付费内容解锁。
…图片 URL :此前已在 VARCHAR 列上支持语义索引:由 Embedding 模型将文本自动向量化,实现「Data in, Data out」的检索体验。随多模态检索需求增长(如电商以图搜图、内容审核、多模态 RAG),V4.6.0 BP1 版中语义索引新增对图片 URL 的支持能力:在 VARCHAR 列存放图片 URL,创建索引
…入分块 prefill 与 HMX 计算 Hexagon prefill 优化 :优化 INT4 反量化、HMX GEMM、分组因果 Attention、DMA 双缓冲和 VTCM 工作区,复用 prefill / decode 间的 KV 页面与动态内存池 Hexagon 模型与量化覆盖 :新增 Qwen3-VL 支持,完善对称 / 非
…b.com/QuantumNous/new-api/pull/7918 feat: 支持阿里多模态向量化模型qwen3-vl-embedding by @feitianbubu in https://github.com/QuantumNous/new-api/pull/5179 fix(relaykit): keep tool call