给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

给 LLM 加一层语义缓存，相似问题直接命中缓存结果，省下重复调用 API 的钱和时间，已集成 LangChain 和 llama_index。

单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

用 C++ 复刻 vLLM 的推理引擎，支持连续批处理、分页 KV 缓存，并额外提供 GGUF 加载、RadixAttention 和缓存感知调度，适合想在 C++ 环境跑大模型推理的场景。

在工具输出、日志、文件和 RAG 片段进入 LLM 前先做压缩，编码 Agent 省约 20% token，JSON 省 60-95%，答案不变。提供库、代理和 MCP 服务器三种用法。

CacheRoute 是一套 LLM 调度方案，让不同 LLM 系统之间灵活复用 KV cache，从而提升任务表现和整体推理效率。

统一加载和运行文本、视觉、音频、多模态的预训练模型，覆盖推理与训练，省去为每个模型重写代码的麻烦。

在 Kubernetes 上自托管大模型推理的 Operator，统一调度 NVIDIA、AMD、Apple Silicon 等异构 GPU，支持多卡分片、模型缓存和 OpenAI 兼容接口。

把 LLM 推理中的 KV Cache 持久化到 DRAM、SSD 或 NFS 并跨请求复用，减少重复计算，加快推理速度，兼容昇腾 NPU 和 CUDA GPU。

高性能 AI 网关，用一套 OpenAI 兼容 API 统一接入上万模型，内置故障转移、负载均衡、语义缓存、虚拟密钥与预算管控，额外延迟低于 200µs。

基于 DeepSeek 的命令行编码智能体，专为复杂软件工程任务设计，能稳定完成代码编写与开发流程自动化。

抓取 Claude Code 和 Codex 实际发给 API 的请求，逐段拆解 token 消耗与费用，帮你看清每次调用钱花在哪。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

轻量级 OCR 工具包，能把图片和 PDF 转成结构化数据，支持 100 多种语言，方便接入 LLM 和 RAG 流程。

RWKV 是一种兼具 RNN 与 Transformer 优势的语言模型架构，支持像 GPT 一样并行训练，推理时线性时间、常量显存、无限上下文，无需 KV 缓存。

把原始文档变成可查询的 RAG、自主推理 Agent 和自维护 Wiki 的开源 LLM 知识平台，适合搭建企业知识库与智能问答。

面向 RAG 的文档索引方案，不依赖向量数据库，用推理方式定位和检索文档内容，适合构建 Agent 式检索流程。

用 Rust 写的 Git worktree 管理命令行工具，专为并行 AI 编码代理设计，让多个 agent 各自在独立工作树里干活、互不干扰。

在任意网址前加上 https://r.jina.ai/ 前缀，就能把网页转成适合大模型读取的干净文本，省去自己写爬虫和清洗正文的麻烦。

开源 AI 编码代理，专为大型项目和真实开发任务设计，能在命令行里理解代码库并自动完成多文件改动。

一站式语义搜索与 LLM 编排框架，把向量检索、RAG 和智能体工作流整合在一起，用 Python 就能搭建基于语言模型的应用。

面向 JVM 的 Java LLM 应用开发库，统一封装主流大模型与向量库接口，让工具调用、Agent 和 RAG 在 Spring Boot、Quarkus 等企业框架里快速落地。

开源语音识别工具包，覆盖训练、推理、流式 ASR、VAD、标点恢复和说话人分离全流程，并提供 OpenAI 兼容与 MCP 服务接口。

把 NumPy 风格的 Python 代码自动微分、向量化并 JIT 编译到 GPU/TPU，写起来像 NumPy，跑起来像高性能计算。

一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。

给 AI Agent 提供持久化长期记忆的开源平台，用小型模型即可免费搭建，解决智能体跨会话记不住上下文的问题。

跨平台桌面标注工具，支持文本、图像、视频、点云和多模态数据，内置 AI 模型辅助预标注，可导出多种格式。

开箱即用的 Python 财经数据接口库，一行代码就能拉取股票、债券、期货、外汇和宏观经济等公开数据，省去到处爬数据、清洗数据的麻烦。

面向 DeepSeek 的终端优先编码 Agent，靠约 98% 的提示缓存命中率和 1M 上下文降低调用成本，支持 MCP 工具与动态工作流。

Datawhale 与 SGLang 官方合作的 LLM 推理课程，从零手写 mini-sglang 理解推理原理，再读真实源码并完成第一个 PR。

让大参数 Qwen 模型在消费级显卡上跑得动、跑得快：通过 vLLM 补丁和重量化流水线，单张 24GB 卡即可服务 27B 模型，并附完整基准测试。

面向 vLLM 和 SGLang 的 KV cache 复用层，用 Rust 实现，把前缀缓存扩展到 DRAM、SSD 和跨主机，降低大模型推理的重复计算和显存压力。

用 Rust 写的引擎无关 LLM 网关，统一兼容 OpenAI 与 Anthropic 接口，把 vLLM、SGLang、Gemini 等后端接到同一入口，并支持 KV 缓存感知路由和 gRPC 流水线。

面向 Redis 的 AI 原生 Python 客户端，把向量检索、缓存和 RAG 所需的数据操作封装成简单接口，省去自己拼装底层命令。

在免费 Kaggle TPU v5e-8 上跑 GLM-5.3-Flash 320B MoE 和 Qwen3.8-27B 等前沿大模型，自研 JAX 推理引擎支持 262k 长上下文和前缀缓存，可接入 Claude Code 等编码代理。

面向 LLM 推理的高性能 KV cache 存储层，通过 GPU 卸载、SSD 缓存和 RDMA 跨节点共享，缓解长上下文推理的显存瓶颈，兼容 vLLM 与 SGLang。

纯 Rust + CUDA 实现的大模型推理引擎，不依赖 PyTorch，兼容 OpenAI 接口，可部署 Qwen3 到 Kimi-K2 等模型。

从零手写的 LLM 推理引擎，实现分页 KV 缓存、连续批处理、投机解码和 CUDA 图等优化，并提供 OpenAI 兼容服务接口。

给 vLLM 加一个免校准的 KV-cache 量化后端，只需一个开关就能把上下文拉长 3~5 倍，吞吐超过 FP16 且精度基本不掉，适合跑长上下文 Agent。