在瑞芯微 NPU 上跑大模型的推理服务,类似 Ollama 的替代方案,通过优化 rkllm 让 Orange Pi 等设备高效离线运行 AI 模型。
在 RK3588 等瑞芯微芯片上快速装好并调用 NPU 的脚本工具,省去手动配置驱动和运行环境的麻烦,方便直接跑神经网络和 LLM 推理。
面向视频分析与端侧 VLM 的 C++ 边缘推理引擎,支持算能、瑞芯微 RKNN 和 x86 平台,自带可视化编排、实时 OSD、事件与可复现基准。