离线多智能体模拟与预测引擎,用 Neo4j 图数据库加 Ollama 本地模型跑群体智能推演,全程不联网也能做预测实验。
基于 OpenAI Whisper 的离线音频转写与翻译工具,在本机就能把语音转成文字并翻译,不用联网也不上传数据。
面向手机端的高性能神经网络推理框架,针对 ARM 平台深度优化,让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。
基于新一代 Kaldi 和 onnxruntime 的离线语音工具包,一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD,可跑在嵌入式、手机和服务器上。
轻量级离线语音识别引擎,用 C 写成、体积小、资源占用低,适合在嵌入式设备和移动端做实时语音转文字。
跨平台本地大模型推理引擎,支持 Godot、Flutter、Expo 等客户端,让 LLM 在任意设备上高效离线运行。
本地离线的 AI 音频与音乐工作站,支持语音合成、声音克隆、带歌词歌曲和多轨乐谱生成,无需联网和 API 费用。
基于新一代 Kaldi 和 ncnn 的离线实时语音识别与语音活动检测引擎,无需联网即可在手机、嵌入式板卡和桌面端跑起来。
在手机或 Mac 上离线跑 GGUF 大模型、视觉识别、Whisper 语音转文字和 Stable Diffusion 生图,支持工具调用与局域网服务,无需账号和 API Key。
本地离线跑图像生成、实时语音对话和 LLM 聊天机器人的桌面推理引擎,数据不出本机,适合注重隐私的创作与自动化工作流。
面向双语会议的实时双向语音翻译工具,自动识别说话语言并双向互译,支持云端或完全离线本地运行,覆盖桌面端和浏览器插件。
Java 免费离线 AI 算法工具箱,Maven 引入即可用人脸识别、活体检测、OCR、目标检测、语音识别合成和机器翻译,内置 YOLO、PaddleOCR、Whisper 等主流模型。
在 Apple Silicon Mac 上离线跑 LTX-2.5 和 MiniMax H3,做带声音的文本/图片转视频、对口型和角色 LoRA 训练,不用云端和 API key。
…与模型支持增强 支持文本 prompt logprob 及全量 logprob 能力 4769 支持离线推理中基于 ZMQ 的 logprobs / prompt logprobs ,并引入 max logprobs 参数 4897 支持在线推理中基于 ZMQ 的 logprobs / prompt logprobs ,并优化通信方式 5
…考Token的统计 4648 4520 - 新增 n 参数支持单请求返回多个生成结果 4273 - 离线推理chat接口新增 tool 参数支持工具调用 4415 - 多模态数据预处理增加对url数据的下载增加重试 3838 性能优化 - 优化per token quant fp8算子性能,提升50% 4238 - MTP支持Chunke
…释放问题 - 修复 max tokens 为0 异常抛出失败问题 - 修复EP + DP 混合模式下离线推理退出hang问题 文档 - 更新了最佳实践文档中一些技术的用法和冲突关系 - 新增多机张量并行部署文档 - 新增数据并行部署文档 其它 - CI新增对自定义算子的Approve拦截 - Config整理及规范化 What's Cha