在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩,编码 Agent 省约 20% token,JSON 省 60-95%,答案不变。提供库、代理和 MCP 服务器三种用法。
一个用 Rust 写的单文件 CLI 代理,在跑常见开发命令时把 LLM token 消耗砍掉 60-90%,帮编码 Agent 省成本。
给编码 Agent 用的代理和技能,让模型用「原始人式」极简表达回答,砍掉约 65% 的 token 消耗。
一站式大模型压缩工具箱,支持 LLM、VLM 和视频生成模型的量化与剪枝,覆盖 AWQ、SmoothQuant 等算法,并提供压缩后的评测与部署流程。
一个 MCP 服务器,能统计各 AI 编程代理节省了多少 token、优化上下文,并在 16 种 CLI 客户端间共享本地实时知识图谱。
统一接入 375 家模型供应商、1400+ 模型的 MIT 协议 AI 网关,配额感知自动降级,并用压缩省下 15-95% token,兼容 Claude Code、Cursor 等编码工具。
VisionZip 是 CVPR 2025 提出的视觉语言模型加速方案,通过压缩视觉 token 减少冗余计算,在保持多模态任务精度的同时显著提升推理效率。
把 Claude Code、Cursor、Copilot 等编程助手接到 40+ 家免费模型供应商的 AI 网关,支持自动故障切换和 RTK 省 token,避免额度耗尽。
把工具输出挡在编码 Agent 的上下文窗口之外,用沙箱和 SQLite FTS5 检索按需取回,上下文体积减少约 99%,兼容 Claude Code、Codex、Gemini CLI 等十余种 Agent。
面向稠密向量的高效相似度检索与聚类库,支持十亿级向量近邻搜索,是构建向量数据库和 RAG 检索层的底层引擎。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案,通过逐层加载权重把显存需求压到极低,适合本地低配设备部署大模型。
本地优先的代码智能图谱,为 MCP 和 CLI 构建持久化代码库地图,让 AI 编码工具只读取相关部分,显著减少代码审查和大仓库场景的上下文消耗。
用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。
把任意网站转成精简的命令行界面,专为 AI Agent 设计,让网页浏览只消耗几百个 token 而不是几万个。
面向视觉 tokenizer 的球面量化方案,包含二值球面量化和 Leech 球面量化两种方法,用于压缩视觉 token 并提升表示效率。
给编码 Agent 用的上下文预算层,靠符号图分析把庞大代码库压缩成高信号上下文,省 token、提速并提升输出质量。
SparseVLM 是 ICML'25 与 TPAMI'26 论文的官方实现,通过稀疏化视觉 token 来降低视觉语言模型的计算开销,提升多模态推理效率。
汇总 token 级模型压缩相关论文与资源,涵盖 token 剪枝、合并等加速方法,方便快速查找视觉与深度学习模型压缩方向的研究资料。
…weekly component versions Package Version --- --- tokenspeed-mla [0.2.16](https://pypi.org/project/tokenspeed-mla/0.2.16/) tokenspeed-scheduler [0.1.25](https://pypi.org/
…@musicinmybrain in https://github.com/huggingface/tokenizers/pull/2050 Ci test fixes by @sebpop in https://github.com/huggingface/tokenizers/pull/2079 Avoid full vocab cl
…metadata preservation, Codex image capability and token renewal, DeepSeek V4 Pro Responses routing, durable background Responses execution, Anthropic bearer authenticatio
…Cat by @zhyncs in https://github.com/lightseekorg/tokenspeed/pull/1 Update README by @lightseek-bot in https://github.com/lightseekorg/tokenspeed/pull/2 Add PyTorch index
What's Changed chore: Daily token price update (23-05-2025) by @github-actions in https://github.com/AgentOps-AI/tokencost/pull/130 chore: Daily token price update (24-05
What's Changed chore: Daily token price update (12-05-2025) by @github-actions in https://github.com/AgentOps-AI/tokencost/pull/118 Add support for cached tokens in the c