基于 OpenAI Whisper 的离线音频转写与翻译工具，在本机就能把语音转成文字并翻译，不用联网也不上传数据。
面向手机端的高性能神经网络推理框架，针对 ARM 平台深度优化，让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。
基于新一代 Kaldi 和 onnxruntime 的离线语音工具包，一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD，可跑在嵌入式、手机和服务器上。
…与模型支持增强 支持文本 prompt logprob 及全量 logprob 能力 4769 支持离线推理中基于 ZMQ 的 logprobs / prompt logprobs ，并引入 max logprobs 参数 4897 支持在线推理中基于 ZMQ 的 logprobs / prompt logprobs ，并优化通信方式 5
…考Token的统计 4648 4520 - 新增 n 参数支持单请求返回多个生成结果 4273 - 离线推理chat接口新增 tool 参数支持工具调用 4415 - 多模态数据预处理增加对url数据的下载增加重试 3838 性能优化 - 优化per token quant fp8算子性能，提升50% 4238 - MTP支持Chunke
…释放问题 - 修复 max tokens 为0 异常抛出失败问题 - 修复EP + DP 混合模式下离线推理退出hang问题 文档 - 更新了最佳实践文档中一些技术的用法和冲突关系 - 新增多机张量并行部署文档 - 新增数据并行部署文档 其它 - CI新增对自定义算子的Approve拦截 - Config整理及规范化 What's Cha