轻量级 OCR 工具包,能把图片和 PDF 转成结构化数据,支持 100 多种语言,方便接入 LLM 和 RAG 流程。
面向手机等消费级设备的 LLM 推理引擎,用 2bit 量化和手写内核把大模型塞进端侧运行,主打低显存、跨 Android/iOS 的 ARM 部署。
把 ExecuTorch 推理运行时封装进 React Native,让手机端直接跑 LLM、视觉、语音等模型,数据不出设备。
把 ONNX 模型转成 Keras 或 TFLite 的转换工具,方便将 PyTorch 训练好的模型部署到移动端和嵌入式设备,还支持量化。
一份边缘机器学习资源清单,汇总了研究论文、推理引擎、竞赛、书籍和线下活动,方便快速找到在嵌入式与移动端部署模型的相关资料。