高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。
在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。
在免费 Kaggle TPU v5e-8 上跑 GLM-5.3-Flash 320B MoE 和 Qwen3.8-27B 等前沿大模型，自研 JAX 推理引擎支持 262k 长上下文和前缀缓存，可接入 Claude Code 等编码代理。
面向 vLLM 和 SGLang 的 KV cache 复用层，用 Rust 实现，把前缀缓存扩展到 DRAM、SSD 和跨主机，降低大模型推理的重复计算和显存压力。
… 注意它们不是"一到就省" ：涨到触发线才动手，一次省到留底 —— 否则每出一张图都要改一次历史， 前缀缓存每轮全废，比不省还贵。 --- 安装： dsh plugin add [email protected]
…失导致请求拒绝。 @turtle2099 - 系统提示词未变化时，新一轮模型请求可继续复用已有上下文前缀缓存，避免不必要的缓存失效。 @mektpoy - 通过 pi-ai 接入的模型在会话图片超过请求数量上限时，自动省略最早的图片并继续请求，避免持续失败。 @turtle2099 - 缺少所需凭据时不向模型提供 Web 搜索工具；新版
…ompress2.0 改写了长对话的整理方式，只在请求真的放不进上下文时才整理一次，并尽量保住已有的前缀缓存。Pro 用户另有 Xiaosi-VERA：整理时对照原文核对检查点，回答结束前核对答复里的引用和验证声称。跨会话的记忆交给新的插件接口 TPI 和内置的双层记忆插件 Xiaosi Axiom，记忆库可以导出成一个本地网页查看。 此
…逻辑 KVCache 与 mask ：修复 Metal 混合 LinearAttention 模型的前缀缓存，按后端与精度隔离缓存文件，并修复 Omni mask 路由 FP16 RoPE ：修复位置索引在 FP16 后端上的碰撞问题 多模态导出与预处理 ：修复 Qwen-VL、InternVL、MiniCPM-V 与 Gemma4 的导
…失导致请求拒绝。 @turtle2099 - 系统提示词未变化时，新一轮模型请求可继续复用已有上下文前缀缓存，避免不必要的缓存失效。 @mektpoy - 缺少所需凭据时不向模型提供 Web 搜索工具；新版 Web API 的抓取工具也按凭据就绪状态提供。 @LegGasai - 修复关闭应用时 Auto 会话权限意外变成完全访问的问题，
…新的 session id 重试，每个请求最多换两次，不占用容量重试的次数。没超过上限的会话照常命中前缀缓存。每一轮新的对话仍会先用原来的会话，碰到一次很快返回的 400 后再切换。 MALFORMED FUNCTION CALL ：Gemini 有时计划调用工具却没有发出调用，只输出了思考就结束了这一轮。客户端会把它当作正常结束，Age