开源 AI 语音工作室,支持声音克隆、语音听写和语音生成,基于 Qwen3-TTS 与 Whisper,可在 CUDA 或 MLX 上本地运行。
基于 Langchain 和 ChatGLM、Qwen、Llama 等本地大模型搭建的知识库问答应用,支持 RAG 检索增强与 Agent 能力,可离线部署私有文档问答系统。
统一管理 GPU 集群,调度 vLLM、SGLang 等推理引擎做高性能模型服务,还能按需开出可 SSH 登录的 GPU 实例。
分布式模型服务框架,能把多台机器组成自建 AI 推理集群,用来跑 Llama、DeepSeek 等大模型。
把家里的多台设备连成集群来跑 LLM 推理,设备越多推理越快,用 C++ 实现分布式加速。