面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。

在 AMD GPU 上自动调优 LLM 推理负载的智能体系统，通过自动搜索和优化 GPU kernel 提升大模型推理性能。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。

在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。

纯 C++ 音频推理引擎，基于 ggml 实现，一套代码覆盖语音合成、识别、VAD、变声和音乐生成，不依赖 Python，适合边缘部署。

给 AI 编码 Agent 做可观测与成本优化的基础设施，通过减少 token 消耗和算力占用，让同样的 Agent 花更少的钱干更多的活。

把 Kokoro-82M 语音合成模型封装成 OpenAI 兼容 API，用 Docker 一键部署，支持多说话人、SSML 和字幕时间戳，CPU、AMD、NVIDIA 都能跑。

开源推理研究平台，用于在 AMD、CUDA 等不同 GPU 上对 LLM 推理服务做基准测试和性能对比，帮团队选型加速卡。

在 AMD Strix Halo 上本地跑 Qwen3.8-Flash-Next 和 NPU 小模型，用同一端口同时提供 OpenAI 与 Anthropic 兼容 API，让本地推理像调前沿云服务一样顺手。

用 Rust 写的 RDNA 原生大模型推理引擎，直接跑在 AMD GPU 上，让 RDNA 显卡也能高效做 LLM 推理和量化。

面向大模型量化的压缩工具包，支持 NVIDIA、AMD、Intel、华为昇腾等多硬件加速，可无缝接入 HF、vLLM 和 SGLang 推理。

基于 Real-ESRGAN 的图片与视频 AI 超分工具，带图形界面，支持 N 卡、A 卡和 Intel GPU，可降噪并去除压缩伪影。

轻量跨平台的 CPU/GPU 实时监控命令行工具，直接调用厂商 API 获取准确硬件数据，并用 ASCII 图表直观展示。

在 Kubernetes 上自托管大模型推理的 Operator，统一调度 NVIDIA、AMD、Apple Silicon 等异构 GPU，支持多卡分片、模型缓存和 OpenAI 兼容接口。

面向 ONNX 工作流的无代码命令行工具，能一键完成模型转换、基准测试和本地部署，省去手写脚本的麻烦。

在单台桌面机器上跑 100GB 级大模型的开源推理引擎，支持 AMD Strix Halo、NVIDIA RTX 和 Apple Mac，兼容 OpenAI API，基于 ExLlamaV3 构建。