面向手机端的高性能神经网络推理框架，针对 ARM 平台深度优化，让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型，几行代码就能接入，省去自己适配硬件的麻烦。

面向手机等消费级设备的 LLM 推理引擎，用 2bit 量化和手写内核把大模型塞进端侧运行，主打低显存、跨 Android/iOS 的 ARM 部署。

在任意 M 系列 MacBook 上仅用约 2GB 内存跑 Gemma 4 26B-A4B 大模型推理，靠 Metal GPGPU 把 MoE 模型塞进本地设备。

基于 MLIR 的可重定向机器学习编译器与运行时工具包，把 PyTorch、TensorFlow、JAX、ONNX 等模型编译到 CPU、CUDA、ROCm、Vulkan 等多种硬件上运行。

微软推出的本地 AI 推理运行时，基于 ONNX Runtime 在设备端跑聊天补全和语音转文字模型，支持 GPU 加速，不用联网也能用。

基于 llama.cpp 和 GGUF 的 VLA 模型统一推理运行时，用 C++ 实现，支持量化部署，让机器人视觉-语言-动作模型能在本地高效跑起来。

为 VapourSynth 视频处理框架提供 CPU/GPU 高效推理运行时，内置 waifu2x、Real-ESRGAN、RIFE、Real-CUGAN 等超分、降噪、插帧模型，方便在视频后期流程里直接调用。

面向 Apple Silicon 的自适应混合精度量化与推理运行时，把 GGUF 模型转成 MLX 可用格式，让 Mac 上跑大模型更省显存。

把 ExecuTorch 推理运行时封装进 React Native，让手机端直接跑 LLM、视觉、语音等模型，数据不出设备。

基于 ggml 的 C++ 语音推理运行时，统一跑 Cohere Transcribe、Parakeet TDT、Voxtral、Canary 等多语言 ASR 与 TTS 模型，还带通用强制对齐。

Krasis 是一个混合式 LLM 推理运行时，通过 CPU+GPU 协同把大模型跑在显存有限的消费级显卡上，支持 MoE 和 GGUF 模型。