模型工具链

pulsar

giannisanni·Rust

用 Rust + CUDA 写的 SSD 流式推理引擎，让消费级 16GB 显卡也能跑 743B 级 MoE 大模型，自动测 PCIe 带宽并分配注意力与热专家。

面向 Apple Silicon 的自适应混合精度量化与推理运行时，把 GGUF 模型转成 MLX 可用格式，让 Mac 上跑大模型更省显存。

用 LoRA/QLoRA 微调大模型，并借助思维链数据生成与蒸馏提升推理准确率，适合低成本定制模型。

npq-vit

zhaoyue-zephyrus·Python

面向视觉 tokenizer 的球面量化方案，包含二值球面量化和 Leech 球面量化两种方法，用于压缩视觉 token 并提升表示效率。

Rust 原生本地推理后端，支持 GGUF 模型和量化，在 Apple Silicon 与 Windows 上跑 LLM，并提供 OpenAI 兼容接口。

ONNXim 是一个周期级多核 NPU 模拟器，能快速仿真 DNN 推理在 NPU 上的执行过程，帮助评估和优化硬件设计。

nvidia-broadcast-linux

Hkshoonya·Python

给 Linux 和 macOS 用的开源 AI 摄像头与麦克风增强工具，能实现背景虚化、自动取景、降噪、录制和本地会议转写，相当于把 NVIDIA Broadcast 那套效果搬到了非 Windows 平台。

整理扩散模型高效化方向的论文与代码合集，覆盖图像、视频、世界模型和语言生成，聚焦加速、量化、压缩、缓存与蒸馏。

用能量参与比方法自动分析和设计量子微波芯片与器件，把超导量子电路的设计流程从手工仿真变成脚本化计算。

AndroidPE

jkasdbt

在 Android 手机上搭建完整的编程环境，可直接创建、编写并编译基于 Gradle 或 Flutter 的安卓项目，也支持 Rust、Python、TypeScript 和 Web 项目。

基于特征基旋转和水填充比特分配的 KV-Cache 量化压缩方案，用于降低大模型推理时的显存占用。