给 vLLM 加一个免校准的 KV-cache 量化后端，只需一个开关就能把上下文拉长 3~5 倍，吞吐超过 FP16 且精度基本不掉，适合跑长上下文 Agent。
面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
让大参数 Qwen 模型在消费级显卡上跑得动、跑得快：通过 vLLM 补丁和重量化流水线，单张 24GB 卡即可服务 27B 模型，并附完整基准测试。
免调优的 KV Cache 2bit 非对称量化方案，能大幅压缩大模型推理时的显存占用，让长上下文推理在有限显存下跑起来。
纯 C 实现的 LLM 推理库，零依赖单头文件，通过无损 KV cache 压缩把上下文长度拉长到 7 倍，适合嵌入到资源受限环境。
基于 llama.cpp 的推理分支，针对 Ampere 架构 Nvidia 显卡（尤其 RTX 3090/3090 Ti）深度优化，在长上下文场景下显著提升生成速度，并支持低显存配置跑 200K 以上上下文。
基于特征基旋转和水填充比特分配的 KV-Cache 量化压缩方案，用于降低大模型推理时的显存占用。
从零手写的 LLM 推理引擎，实现分页 KV 缓存、连续批处理、投机解码和 CUDA 图等优化，并提供 OpenAI 兼容服务接口。
整理模型量化领域的论文、基准、综述和工具，覆盖低比特网络、大模型、多模态生成模型以及向量与格量化，方便做高效推理部署时查资料。
一本从硬件约束和模型架构出发、用定量推导讲透 LLM 推理与训练系统设计的开源书稿，附全书正文、PDF 和配套计算工具，适合想搞懂 AI Infra 底层账怎么算的工程师。
…识别进程。 - 模型写清楚是哪一个 ：语音模型页、各功能页的模型菜单、设置引导和历史都按系列、尺寸和量化称呼模型（Qwen3-ASR 1.7B (8bit)、Qwen3-ASR 0.6B (4bit)），和 Voxt 1.x 一样，不再写“精准语音识别”；卡片上有简短的标签（本地、准确或快速、实时、是否支持主语言）和使用位置，没有评分。
…行共用一个密码。 微调分身 - AstrBot、LangBot 等聊天机器人通过令牌接入分身。 - 量化配置在训练和推理中正确生效（@xhrxgr， 218）。 - 通过 dtype 选项支持 T4、V100 等不支持 bfloat16 的显卡（@octo-patch， 212）。 - test-model 在服务未启动时提示先启动服务（
…GPU／电视、干净Gatekeeper、长期弱网和完整应用内更新未验。保帧不消除网络／转码等待，也未量化逐帧黑屏耗时。系统原生画中画不显示网页保帧层。 未替换本机正式安装，未修改正式用户资料。来源可用性由平台决定，不提供付费内容解锁。
…语义检索。 向量索引后台任务框架重构 ：面向索引重建、增量 segment 冻结合并、IVF 聚类 cache 等后台任务，引入集中调度、优先级与并发控制，缓解任务抢占租户资源、内存失控及与 TTL Timer 耦合等问题。系统视图扩展任务状态与类型可读映射，并提供 DBMS VECTOR.TRIGGER ASYNC TASK 等手动触发
…融合 DFlash 投机解码优化 ：将特征投影、拼接与 argmax 放到设备端，增量维护草稿 KVCache，减少主机往返与重复计算；Metal 使用适合短验证块的 Q4 分块矩阵计算与 K 维切分 DFlash 权重复用 ：草稿模型共享目标模型的 lm head，减少磁盘与运行时的重复权重 升级提示：旧版 DFlash 草稿模型需重新
…nder name are set on their own. Dashboard : Added cache usage next to the total token count. Embeddings : Added Alibaba Bailian multimodal embeddings, starting with qwen3