面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。
面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理，靠 Metal GPGPU 把 MoE 模型塞进本地设备。
LMDeploy 是面向大模型的高效推理与服务工具包，支持模型压缩、部署和在线服务，内置 TurboMind 推理引擎和 CUDA 算子，可加速 Llama、InternLM 等模型的推理。
一本从硬件约束和模型架构出发、用定量推导讲透 LLM 推理与训练系统设计的开源书稿，附全书正文、PDF 和配套计算工具，适合想搞懂 AI Infra 底层账怎么算的工程师。
整理大模型与多模态推理加速论文和配套代码的资源清单，涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向，方便快速定位和复现关键技术。
…识别进程。 - 模型写清楚是哪一个 ：语音模型页、各功能页的模型菜单、设置引导和历史都按系列、尺寸和量化称呼模型（Qwen3-ASR 1.7B (8bit)、Qwen3-ASR 0.6B (4bit)），和 Voxt 1.x 一样，不再写“精准语音识别”；卡片上有简短的标签（本地、准确或快速、实时、是否支持主语言）和使用位置，没有评分。
…行共用一个密码。 微调分身 - AstrBot、LangBot 等聊天机器人通过令牌接入分身。 - 量化配置在训练和推理中正确生效（@xhrxgr， 218）。 - 通过 dtype 选项支持 T4、V100 等不支持 bfloat16 的显卡（@octo-patch， 212）。 - test-model 在服务未启动时提示先启动服务（
…GPU／电视、干净Gatekeeper、长期弱网和完整应用内更新未验。保帧不消除网络／转码等待，也未量化逐帧黑屏耗时。系统原生画中画不显示网页保帧层。 未替换本机正式安装，未修改正式用户资料。来源可用性由平台决定，不提供付费内容解锁。
…语义检索。 向量索引后台任务框架重构 ：面向索引重建、增量 segment 冻结合并、IVF 聚类 cache 等后台任务，引入集中调度、优先级与并发控制，缓解任务抢占租户资源、内存失控及与 TTL Timer 耦合等问题。系统视图扩展任务状态与类型可读映射，并提供 DBMS VECTOR.TRIGGER ASYNC TASK 等手动触发
…融合 DFlash 投机解码优化 ：将特征投影、拼接与 argmax 放到设备端，增量维护草稿 KVCache，减少主机往返与重复计算；Metal 使用适合短验证块的 Q4 分块矩阵计算与 K 维切分 DFlash 权重复用 ：草稿模型共享目标模型的 lm head，减少磁盘与运行时的重复权重 升级提示：旧版 DFlash 草稿模型需重新
…nder name are set on their own. Dashboard : Added cache usage next to the total token count. Embeddings : Added Alibaba Bailian multimodal embeddings, starting with qwen3