模型工具链

llmfit

AlexsJones·Rust

一条命令就能从数百个模型和供应商里筛出适合你硬件配置的本地大模型，省去逐个试跑和查显存的麻烦。

用深度学习快速准确地识别文件真实类型，不依赖扩展名，支持 MIME 检测，Rust 实现，可嵌入各类应用做内容安全与文件分类。

burn

tracel-ai·Rust

Rust 写的张量库和深度学习框架，兼顾灵活性与效率，支持自动微分、跨平台后端和内核融合，可训练和部署神经网络。

rio

raphamorim·Rust

用 Rust 写的 GPU 加速终端模拟器，基于 Metal/Vulkan 渲染，桌面和浏览器里都能跑，适合追求流畅终端体验的开发者。

纯 Rust 实现的 WebGPU 推理引擎，原生支持 GGUF 模型，兼容 OpenAI API，无需 Python 和 llama.cpp，单个二进制文件即可在任意 GPU 上跑本地大模型。

tract

sonos·Rust

用 Rust 写的轻量级推理引擎，能直接跑 TensorFlow 和 ONNX 模型，无需额外依赖，适合在边缘设备或嵌入式场景部署神经网络。

跨平台本地大模型推理引擎，支持 Godot、Flutter、Expo 等客户端，让 LLM 在任意设备上高效离线运行。

把 RGBA 像素转换成高质量调色板图像的量化库，是 pngquant 等 PNG 压缩工具的核心，能在保持画质的同时大幅减小图片体积。

Docufinder

chrisryugj·Rust

离线文档全文检索工具，支持按正文而非文件名搜索 HWP、PDF、Office 等韩文文档，覆盖 Windows 和 macOS。

面向 Apple Silicon 的本地大模型推理与微调框架，用 Rust 实现，支持 LoRA/QLoRA 微调、量化、模型服务和 MLX/Metal 加速。

pulsar

giannisanni·Rust

用 Rust + CUDA 写的 SSD 流式推理引擎，让消费级 16GB 显卡也能跑 743B 级 MoE 大模型，自动测 PCIe 带宽并分配注意力与热专家。

Rust 原生本地推理后端，支持 GGUF 模型和量化，在 Apple Silicon 与 Windows 上跑 LLM，并提供 OpenAI 兼容接口。