轻量级 C++ 网格优化库,通过顶点缓存重排、索引压缩和网格简化,让 3D 模型体积更小、GPU 渲染更快。
高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。
面向手机端的高性能神经网络推理框架,针对 ARM 平台深度优化,让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。
用前向纠错(FEC)在高延迟丢包链路上改善网络质量,为 TCP/UDP/ICMP 等所有流量建立隧道,降低丢包带来的卡顿。
面向大语言模型的高吞吐、低显存推理与服务引擎,通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用,适合部署在线推理服务。
给 LLM 推理加速的 KV Cache 层,可对接 vLLM 等框架,复用和缓存键值对来降低显存占用、提升吞吐,支持 CUDA 和 ROCm。
Go 语言的高性能压缩解压库,提供 deflate、gzip、zstd、snappy 等算法的优化实现,比标准库更快更省内存,适合对吞吐和延迟敏感的服务。
一份面向前端开发的现代 Web 开发检查清单,覆盖 HTML、CSS、JavaScript 等实践要点,供开发者和 AI Agent 逐项核对,避免上线前遗漏细节。
用 C 语言写的高性能系统信息展示工具,类似 neofetch 但更快、功能更全,在终端里一行命令就能看到系统配置概览。
快速且省显存的精确注意力实现,支持训练和推理,能显著加速 Transformer 长序列计算。
面向 MoE 模型的高效专家并行通信库,专门优化 GPU 间 all-to-all 分发与合并,降低大规模稀疏模型训练和推理的通信开销。
压缩和解压 3D 几何网格与点云,显著减小 3D 图形体积,让存储和网络传输更省空间、更快。
用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。
给 LLM 加一层语义缓存,相似问题直接命中缓存结果,省下重复调用 API 的钱和时间,已集成 LangChain 和 llama_index。
GPU 加速的数据预处理库,提供高度优化的图像、音频处理算子和执行引擎,解决深度学习训练中数据管道拖慢 GPU 的瓶颈。
面向数据中心的分布式推理服务框架,用 Rust 编写,支持 vLLM、SGLang、TensorRT-LLM 等后端,解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。