面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。
用 Rust 写的跨平台 GPU 加速终端模拟器，基于 OpenGL 渲染，主打高帧率和低延迟，适合嫌普通终端卡顿、想要更顺滑操作体验的开发者。
兼容 Redis 和 Memcached 协议的内存数据库，用多线程架构提升吞吐量，可直接替换现有缓存层。
基于 QUIC 协议的高速抗审查代理软件，通过可靠 UDP 传输在丢包严重的网络下仍能保持低延迟和高吞吐，适合搭建翻墙或内网穿透通道。
基于 CTranslate2 重实现的 Whisper 语音转文字推理引擎，通过量化与高效推理大幅提速并降低显存占用，适合本地部署转录。
本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。
面向云端和数据中心的高性能推理服务端，支持多种深度学习框架模型部署，并可在边缘设备上运行。
Go 语言的高性能压缩解压库，提供 deflate、gzip、zstd、snappy 等算法的优化实现，比标准库更快更省内存，适合对吞吐和延迟敏感的服务。
NVIDIA 官方的高性能深度学习推理 SDK，能把训练好的模型在 NVIDIA GPU 上做极致加速和部署，适合追求低延迟高吞吐的生产推理场景。
把强化学习接到 LLM Agent 应用上的训练框架，让 Agent 能在真实任务中通过 RL 持续优化策略，配置简单、扩展灵活。
从零用 PyTorch 一步步实现类 ChatGPT 大语言模型，覆盖注意力机制、预训练、指令微调全流程，适合边跑代码边理解 LLM 内部原理。
开源的高质量语音合成模型，基于 VQGAN 和 Llama 架构，支持多语言文本转语音，效果达到 SOTA 水平。
把 PDF 快速转成 Markdown 和 JSON，解析准确率高，适合喂给 RAG 或做文档结构化处理。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案，通过逐层加载权重把显存需求压到极低，适合本地低配设备部署大模型。
用 Python 脚本剪辑视频，支持裁剪拼接、加字幕特效、导出 GIF 和调整帧率，适合批量处理和自动化视频流水线。
开源本地 AI 推理引擎，无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型，提供兼容 OpenAI 的 API。
基于 libvips 的高性能 Node.js 图像处理库，能快速完成 JPEG、PNG、WebP、AVIF、TIFF 的缩放裁剪与格式转换，适合服务端批量处理图片。
用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
用 Python 一行命令就能抠掉图片背景，基于预训练模型自动识别主体，省去手动抠图的麻烦。
把书、长视频、播客等高价值内容蒸馏成可执行的 Agent Skills，方便直接接入自动化工作流。
基于 Kubernetes 的云原生分布式块存储，为容器集群提供高可用持久卷、快照备份和跨节点数据复制。
基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
从下载数据到生成文本，手把手教你从零训练自己的大语言模型，适合想搞懂 LLM 训练全流程的开发者动手实践。
MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。
面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。
单次前向传播即可对任意文本做类型化选择、打分和是非判断的非自回归决策引擎，支持100多种语言，并按请求自动路由到合适的检查点。
基于 iroh 的点对点文件传输工具，支持断点续传和自托管，覆盖 Android、Linux、macOS、Windows 及终端与网页端，方便在附近或远程设备间私密传文件。
把 PDF、扫描件和图片解析成带版面结构、表格和文本的富结构化数据，适合做文档入库和 RAG 前的预处理。
把 IPv4 流量封装进 DNS 查询里传输的隧道工具，能在只放行 DNS 的网络环境下建立可用连接。
在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练，提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
基于 PyTorch 的深度强化学习库，提供 DQN、DDPG、A2C、模仿学习等算法实现，接口简洁，方便快速搭建和对比实验。
给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。
纯头文件的 C++/Python 近似最近邻检索库，实现 HNSW 算法，无需额外依赖即可嵌入项目，用于向量相似度搜索。
跨平台的 Cloudflare Warp 非官方命令行客户端，用 Go 编写，能自动注册并生成 WireGuard 配置，方便在脚本或服务器上快速接入 Warp 网络。
面向文本嵌入模型的高性能推理服务，用 Rust 编写，可快速把文本转成向量，适合搭建检索和 RAG 的向量化后端。
用 Python 写的 Game Boy 模拟器，能跑原版卡带游戏，还提供库接口方便在 Python 里做游戏逻辑测试和 AI 实验。
用 Python API 定义大模型，并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理，还提供 Python/C++ 运行时来编排高性能服务。
极简 VPN 实现，用 C 语言写成，代码量小、配置简单，适合快速搭建点对点加密隧道来保护网络流量。