给编码 Agent 做黑盒成本控制的工具，通过经验驱动的方式压降 Claude Code、Codex 等 Agent 的调用开销。

给编码 Agent 用的代理和技能，让模型用「原始人式」极简表达回答，砍掉约 65% 的 token 消耗。

一个用 Rust 写的单文件 CLI 代理，在跑常见开发命令时把 LLM token 消耗砍掉 60-90%，帮编码 Agent 省成本。

在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。

从零用 PyTorch 一步步实现类 ChatGPT 大语言模型，覆盖注意力机制、预训练、指令微调全流程，适合边跑代码边理解 LLM 内部原理。

把 Claude Code、Cursor、Copilot 等编程助手接到 40+ 家免费模型供应商的 AI 网关，支持自动故障切换和 RTK 省 token，避免额度耗尽。

面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

一个能自我进化的 AI 智能体，从 3.3K 行种子代码长出技能树，实现全系统控制，token 消耗比常规方案低 6 倍。

开源 LLM 应用可观测与评估平台，能追踪调用链路、跑评测实验，帮团队定位问题并持续优化提示词和模型效果。

用遗传算法和进化式迭代自动优化提示词、代码与 Agent 配置，让 LLM 反复自我反思改进，省去手工调参。

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

快速且省显存的精确注意力实现，支持训练和推理，能显著加速 Transformer 长序列计算。

通义开源深度研究智能体，能自主规划多步检索、浏览网页并整合信息，产出带引用的研究报告，适合做调研问答和资料汇总。

面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。

用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。

给 LLM 加一层语义缓存，相似问题直接命中缓存结果，省下重复调用 API 的钱和时间，已集成 LangChain 和 llama_index。

GPU 加速的数据预处理库，提供高度优化的图像、音频处理算子和执行引擎，解决深度学习训练中数据管道拖慢 GPU 的瓶颈。

面向数据中心的分布式推理服务框架，用 Rust 编写，支持 vLLM、SGLang、TensorRT-LLM 等后端，解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。