收集大量预训练模型，并已转成 TensorFlow、PyTorch、ONNX、OpenVINO、TFLite、CoreML 等格式，省去自己跨框架转换的麻烦。
面向 PyTorch、TensorFlow 和 ONNX Runtime 的模型压缩工具，支持 INT8/FP8/INT4 等低比特量化和稀疏化，帮大模型在低精度下保持精度并降低显存与推理成本。
在 NVIDIA GPU 上为 StartLux-Decision 模型提供快速精确推理，支持 int8 和 4-bit 量化的 GGUF 权重，延迟比 vLLM FP8 低至 5.3 倍且答案逐位一致。
用 FP8/INT8 低精度做强化学习训练的 rollout 推理，在 vLLM 上跑出更快采样速度且不掉点，适合想压低 RL 训练推理成本的大模型团队。
纯 Rust 实现的 CPU 端 OCR 引擎，跑百度 Unlimited-OCR 这个 3B MoE 视觉语言模型，自带 int8 定制算子，不依赖 ML 框架、Python 或 GPU。
在 Apple Silicon 上做 W8A8/W4A8 量化推理，调用 M5 闲置的 INT8 TensorOps 让 LLM prefill 快 1.2–1.9 倍，并用类 FlashInfer 的 GQA 解码注意力加速 SDPA。
基于 C++ 和 TensorRT 的 RF-DETR 推理引擎，支持目标检测与实例分割，可在 NVIDIA GPU 和 Jetson 上以 FP32/FP16/INT8 量化部署。
…/<repo ") look for a local file. Changed - TFLite INT8 export quantizes once instead of twice. onnx2tf -oiqt builds the integer model twice — float32 I/O, then int8 I/O —
int8 .focrq weights for franken ocr's second model, Baidu Unlimited-OCR-2 (MIT). Recipe unlimited-ocr-2-ffn-int8-attn-bf16-lmhead-bf16-v1 , converted from HF baidu/Unlimi
v2.7 makes the INT8 LM Head patch apply to vLLM 0.27.x and documents what the optimizations measure there. The default build path, dependency set, and performance profile
…rget. Recipe unlimited-ocr-wasm-experts-int4-attn-int8-lmhead-int8-v1 (MoE experts int4 g16/g32 with importance-weighted clip search + AWQ down proj fold over 13-page cal
…tConfig Int4WeightOnlyConfig IntxWeightOnlyConfig Int8DynamicActivationIntxWeightConfig Int8WeightOnlyConfig Int8DynamicActivationInt8WeightConfig and will continue to ad
…ectral correlation 0.999 against fp32 kokoro-v1.0.int8.onnx 114 MB spectral correlation 0.916 against fp32 kokoro-v1.1-zh.onnx 326 MB Chinese and English, full precision