高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。
面向数据中心的分布式推理服务框架,用 Rust 编写,支持 vLLM、SGLang、TensorRT-LLM 等后端,解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。
开源的个人 AI 助手,可本地离线运行,通过语音或文字对话帮你处理日程、查询信息、执行自动化任务。
把长视频自动剪成 9:16 竖屏短视频,用 LLM 挑高光片段、Whisper 转写、自动裁切,免费无水印,替代 Opus Clip 等付费服务。