给编码 Agent 用的代理和技能,让模型用「原始人式」极简表达回答,砍掉约 65% 的 token 消耗。
在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩,编码 Agent 省约 20% token,JSON 省 60-95%,答案不变。提供库、代理和 MCP 服务器三种用法。
一个用 Rust 写的单文件 CLI 代理,在跑常见开发命令时把 LLM token 消耗砍掉 60-90%,帮编码 Agent 省成本。
统一接入 375 家模型供应商、1400+ 模型的 MIT 协议 AI 网关,配额感知自动降级,并用压缩省下 15-95% token,兼容 Claude Code、Cursor 等编码工具。
把 Claude Code、Cursor、Copilot 等编程助手接到 40+ 家免费模型供应商的 AI 网关,支持自动故障切换和 RTK 省 token,避免额度耗尽。
把工具输出挡在编码 Agent 的上下文窗口之外,用沙箱和 SQLite FTS5 检索按需取回,上下文体积减少约 99%,兼容 Claude Code、Codex、Gemini CLI 等十余种 Agent。
面向稠密向量的高效相似度检索与聚类库,支持十亿级向量近邻搜索,是构建向量数据库和 RAG 检索层的底层引擎。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案,通过逐层加载权重把显存需求压到极低,适合本地低配设备部署大模型。
本地优先的代码智能图谱,为 MCP 和 CLI 构建持久化代码库地图,让 AI 编码工具只读取相关部分,显著减少代码审查和大仓库场景的上下文消耗。
用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。
给 Redis 加上二级索引、全文检索、向量相似度搜索和聚合能力的查询索引引擎,让 Redis 直接承担搜索与 RAG 检索场景。
扫描代码库生成健康评分、自动文档和 Git 分析,还能找出死代码并通过 MCP 输出架构决策,帮团队和 AI 快速看懂项目现状。