给编码 Agent 做黑盒成本控制的工具，通过经验驱动的方式压降 Claude Code、Codex 等 Agent 的调用开销。

一个 MCP 服务器，能统计各 AI 编程代理节省了多少 token、优化上下文，并在 16 种 CLI 客户端间共享本地实时知识图谱。

一份 10 周、每天 30 分钟的 LLM 推理服务与优化学习路线，覆盖 vLLM、SGLang、量化、投机解码和基准测试，帮工程师系统入门推理加速。

给编码 Agent 用的代理和技能，让模型用「原始人式」极简表达回答，砍掉约 65% 的 token 消耗。

一个用 Rust 写的单文件 CLI 代理，在跑常见开发命令时把 LLM token 消耗砍掉 60-90%，帮编码 Agent 省成本。

在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。

把 Claude Code、Cursor、Copilot 等编程助手接到 40+ 家免费模型供应商的 AI 网关，支持自动故障切换和 RTK 省 token，避免额度耗尽。

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

一个能自我进化的 AI 智能体，从 3.3K 行种子代码长出技能树，实现全系统控制，token 消耗比常规方案低 6 倍。

开源 LLM 应用可观测与评估平台，能追踪调用链路、跑评测实验，帮团队定位问题并持续优化提示词和模型效果。

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。

通义开源深度研究智能体，能自主规划多步检索、浏览网页并整合信息，产出带引用的研究报告，适合做调研问答和资料汇总。

面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

给 AI 编码 Agent 做可观测与成本优化的基础设施，通过减少 token 消耗和算力占用，让同样的 Agent 花更少的钱干更多的活。

给 AI 智能体做技能路由和工作流编排的框架，在 SkillsBench 上提升奖励并大幅省 token，适合搭多技能协作的编码或科研智能体。

把 MCP 工具接入 Pi 编码 Agent 的适配器，通过精简上下文开销让模型少花 token 就能调用外部工具。

面向 AI 编程助手和 IDE 的高性能代码智能引擎，基于图结构索引 257 种语言和多个仓库，通过 CLI、MCP 和 API 只暴露必要代码信息，把 token 消耗最多降低 50 倍，且完全本地运行。

给 Claude Code 加持久记忆：用 Obsidian 和 Graphify 建代码库知识图谱，把每轮对话 token 消耗最多降 71.5 倍。

给编码 Agent 用的上下文预算层，靠符号图分析把庞大代码库压缩成高信号上下文，省 token、提速并提升输出质量。

基于 llama.cpp 的推理分支，针对 Ampere 架构 Nvidia 显卡（尤其 RTX 3090/3090 Ti）深度优化，在长上下文场景下显著提升生成速度，并支持低显存配置跑 200K 以上上下文。