在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩,编码 Agent 省约 20% token,JSON 省 60-95%,答案不变。提供库、代理和 MCP 服务器三种用法。
用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。
纯 C 实现的 LLM 推理库,零依赖单头文件,通过无损 KV cache 压缩把上下文长度拉长到 7 倍,适合嵌入到资源受限环境。
免调优的 KV Cache 2bit 非对称量化方案,能大幅压缩大模型推理时的显存占用,让长上下文推理在有限显存下跑起来。
基于特征基旋转和水填充比特分配的 KV-Cache 量化压缩方案,用于降低大模型推理时的显存占用。
…ess 时,手动加在 AstrLink 路由里的 compat 等设置被覆盖 特制的 brotli 压缩数据会让 AstrLink 占用过多内存 English Fixes Purging a large request history timed out and deleted nothing Setting up DeepSeek H
…求格式,修正取源签名与客户端参数不一致,并整合本地播放恢复、观看记录排序及 TV 功能。 - 播放:压缩正文后对实际发送字节签名,保留有界恢复、取消和片源校验。 - 本地文件:在线失败后可明确选择本集已有完整文件,不静默改变固定画质偏好。 - 观看记录:按最近观看排序,保留分组、折叠、筛选和更新提醒。 - 下载:修正临时文件冲突与归属清理
…1.2.26-windows-amd64.zip , 解压到一个文件夹后运行 红果短剧.exe . 压缩包里的 WebView2 安装程序和 HEVC 视频扩展请和程序放在一起, 缺少时程序会用它们自动安装. ( hongguo-v1.2.26-windows-amd64.exe 是主程序本身, 供自动更新使用.) - macOS : h
…值。感谢 @yulei666 的 826。 - Android 支持从多文件分享中导入微信 ZIP 压缩包,并会在打开 Google Play 更新提示前显示更新说明。 - Docker 自托管版提供压缩且可缓存的 Web 资源,减少重复下载。 - 在 Apple 芯片的 Mac 上通过 Rosetta 运行 Intel 版时,桌面端系统
…多了一个「上下文窗口(可选)」输入框,留空用官方默认,超过该模型上限会被拦下;设置对新会话生效,自动压缩据此触发。 - 微信媒体投递与连接恢复 ( 1819):微信接入新增通道状态面板,显示在线 / 重连 / 认证失效和最近收发时间;助手回复里的本地图片和文件会按限额回传(文件 30MiB、图片 10MiB、每轮不超过 5 项),失败的输
…显示明确提示 ,不再悄悄新开一个空会话导致历史丢失。 - 重新打开 Claude Code 的上下文压缩摘要时,不再显示写给模型的内部提示文本。 - OpenCode 2.2.6 的历史会话能完整显示内容。 感谢 @leehom0123( 1101)和 @xy3xy3( 1111)的贡献,以及 @momomomo820( 1109)的反馈