LiveTalking

lipkuApache-2.0活跃维护

实时交互式数字人直播方案，基于 ER-NeRF、MuseTalk 等模型实现音频驱动口型同步与说话头生成，可用于虚拟主播和实时对话场景。

Real time interactive streaming digital human

v2.0.4发布于 2026-06-20 01:04 UTC10,349star +29 / 7 天1,655fork同步于 2026-11-10 11:29 UTC

数字人实时直播口型同步说话头生成虚拟主播

对比 GitHub 官网 aigc digihuman digital-human er-nerf lip-sync

怎么上手

由 README 提炼，执行前请确认

原文

git clone https://github.com/lipku/LiveTalking.git
conda create -n livetalking python=3.12
conda activate livetalking
pip install torch==2.9.1 torchvision==0.24.1 torchaudio==2.9.1 --index-url https://download.pytorch.org/whl/cu128
cd LiveTalking
pip install -r requirements.txt
python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1

硬件要求按 README 说明

每路口型推理消耗 GPU，不说话时并发取决于 CPU；wav2lip256 推荐 RTX 3060 及以上，musetalk 推荐 RTX 3080Ti 及以上。README 未给出具体显存数值。

需要 CUDA

下载：源码 zip·GitHub Releases（安装包）本站不镜像安装包

项目说明

由 README 自动翻译提炼

没人工点评？写下你的经验

实时流式数字人引擎，用文本或语音驱动虚拟形象同步口型并推流输出

实时交互式数字人直播方案，基于 ER-NeRF、MuseTalk 等模型实现音频驱动口型同步与说话头生成，可用于虚拟主播和实时对话场景。

核心能力

支持 ernerf、musetalk、wav2lip、Ultralight 多种数字人模型
用 WebRTC、RTMP、虚拟摄像头三种方式输出音视频流
提供 /human 与 /humanaudio 接口，支持多用户并发会话
支持声音克隆与说话被打断后重新应答
基于 registry.py 插件机制扩展 TTS、Avatar、Output 模块

容易踩的坑

模型需从夸克云盘或 Google Drive 单独下载，wav2lip256.pth 要重命名为 wav2lip.pth 放进 models/，形象包解压到 data/avatars/；PyTorch 版本需与本地 CUDA 匹配，README 示例为 CUDA 12.8；服务端需开放 TCP:8010 与 UDP:1-65536 端口，否则 WebRTC 连不上。

内容由模型根据 README 生成，可能不完整或不准确，以官方文档为准。看原文 README

最近发版

5 个版本v2.0.4

全部 release

v2.0.4最新正式版2026-06-20 · 2026-06-20 01:04 UTC

Support yaml config

#  Usage:
cp config.yaml.example config.yaml   # create your config
python app.py                        # start with config.yaml
python app.py -c config_prod.yaml    # use a different config file
python app.py -c ''                  # skip yaml, CLI only
#  Priority:  CLI args  >  YAML  >  argparse defaults

v2.0.32026-06-07 · 2026-06-07 12:01 UTC
查看更新说明
✨ New Features

OmniTTS — vLLM Omni Speech Adapter
- Added tts/omnitts.py, a new TTS backend that calls the vLLM Omni OpenAI-compatible speech API (POST /v1/audio/speech). Supports all vLLM Omni models (Qwen3-TTS, Fish Speech S2, CosyVoice3, Voxtral, VoxCPM2, MOSS-TTS-Nano) with configurable source sample rate, automatic resampling to 16 kHz, and per-message parameter overrides (voice, language, speed, instructions, task type). usage
TTS Voice Manager Web UI
- Added web/tts/index.html and web/tts/index-en.html — a full-featured voice management dashboard:
  
  Voice list — browse preset and uploaded voices from the vLLM Omni server, with one-click selection and voice deletion.
  
  Voice clone upload — upload audio samples to clone new voices with auto-generated consent ID, required reference text, and a browser-native speech recognition button for auto-transcription.
  
  Speech synthesis test — select a voice, enter text, and synthesize speech with adjustable speed, language (11 languages), output format (WAV/MP3/FLAC/AAC/Opus/PCM), and task type. Results play in-page and are downloadable.
- Added quick-link cards to the main index pages pointing to the TTS manager.
Environment Variable Template
- Added .env.example with placeholder keys for Tencent, DashScope, and Doubao services. python-dotenv auto-loads .env on startup.
v2.0.22026-05-24 · 2026-05-24 04:59 UTC
查看更新说明
feat: add admin api and avatar api. add admin dashboard, avatar generation page, and main index page
- Created admin.html for managing configurations and active sessions with real-time updates.
- Developed avatar.html for submitting avatar generation tasks and displaying task status.
- Introduced index.html as the main entry point for the application, linking to avatar generation and admin dashboard.
v2.0.12026-04-11 · 2026-04-11 04:27 UTC
查看更新说明
sessionid类型由int改成str，方便扩展。 注意：前端api接口该字段类型都需要改
v2.02026-03-31 · 2026-03-31 07:49 UTC
查看更新说明
1，重构代码，数字人模型和音频特征代码移到avatars目录下 2，数字人模型、tts、传输方式改成plugin方式接入 3，传输方式整理成单独的类，放到streamout目录下，添加rtmp输出 4，数字人推理和回贴公共部分代码整合到BaseAvatar中，各模型只需要实现自己特有部分代码 5，音频特征的切分代码整合到BaseAsr中 6，tts添加阿里云qwentts

用户点评

登录用户的真实使用记录，可按版本和硬件筛选

共 0 条

还没有人点评。第一个说出真实体验的人最有价值。

README 原文

未翻译

在 GitHub 打开

中文版｜ English

实时交互流式数字人引擎，实现音视频同步对话，已在业内获得广泛商用

效果演示: wav2lip | ernerf | musetalk

国内镜像: Gitee | GitCode

❤️赞助商

想出现在这里？

Features

支持多种数字人模型: ernerf、musetalk、wav2lip、Ultralight-Digital-Human
支持声音克隆
支持数字人说话被打断
支持全身视频拼接
支持 WebRTC、RTMP、虚拟摄像头输出
支持动作编排：不说话时播放自定义视频
支持多并发
支持自定义数字人形象
提供前端API接口对接

使用场景

LiveTalking 基于实时流式数字人技术，通过文本或语音驱动虚拟形象说话，结合 LLM 实现智能对话。适用于以下场景：

场景	说明
虚拟主播/直播带货LiveStream	24 小时无人直播，通过 LLM 自动生成带货话术，配合动作编排实现自然表现
AI 数字人客服	接入企业知识库，用户语音提问，数字人实时回答，支持打断重说
在线教育/培训	教师数字分身录制课程，或通过 API 驱动数字人讲师实时授课
智能语音助手	结合智能音箱或 APP，调用 `/human` 接口驱动数字人进行语音对话交互
大屏讲解	数字人讲解员在展厅大屏、活动现场等场景进行内容讲解和互动
短视频批量制作	通过 API 批量提交文案生成数字人出镜视频，无需真人拍摄，调用 `/human` + `/record` 接口

核心流程：用户输入文字/音频 → LLM 生成回复（可选）→ TTS 合成语音 → 数字人实时口型同步 → 音视频推流输出

1. 安装

已在 Ubuntu 22.04、Python 3.12、PyTorch 2.9.1、CUDA 12.8 测试通过。

1.1 安装依赖

git clone https://github.com/lipku/LiveTalking.git 
conda create -n livetalking python=3.12
conda activate livetalking
# 如果 CUDA 版本不为 12.8 (运行 nvidia-smi 确认)，请根据 PyTorch 官网(https://pytorch.org/get-started/previous-versions)安装对应版本
pip install torch==2.9.1 torchvision==0.24.1 torchaudio==2.9.1 --index-url https://download.pytorch.org/whl/cu128
cd LiveTalking
pip install -r requirements.txt

安装常见问题：FAQ

Linux CUDA 环境搭建参考: https://zhuanlan.zhihu.com/p/674972886

2. 快速开始

2.1 下载模型

网盘	地址
夸克云盘	https://pan.quark.cn/s/83a750323ef0
Google Drive	https://drive.google.com/drive/folders/1FOC_MD6wdogyyX_7V1d4NDIO7P9NlSAJ?usp=sharing

将 wav2lip256.pth 拷贝到项目的 models/ 目录下，重命名为 wav2lip.pth
将 wav2lip256_avatar1.tar.gz 解压后整个文件夹拷贝到 data/avatars/ 目录下

2.2 启动服务

python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1

注意: 服务端需开放端口 TCP:8010, UDP:1-65536

2.3 客户端接入

方式	说明
浏览器	打开 `http://serverip:8010/index.html`，点击"开始连接"播放数字人视频，在文本框输入文字提交即可
API 调用	参考 API 文档通过 HTTP 接口驱动
桌面客户端	下载地址: https://pan.quark.cn/s/d7192d8ac19b

2.4 Web 页面

页面	地址	说明
首页	`/index.html`	WebRTC 连接 + 文本/音频驱动 + 录制控制
Avatar 生成	`/avatar.html`	上传视频自动生成数字人形象
管理后台	`/admin.html`	实时监控会话状态与全局配置

2.5 快速体验

使用在线镜像创建实例即可运行: UCloud 镜像
Windows整合包 https://pan.quark.cn/s/a040bf5cb065
商用版体验地址 https://www.livetalking.top

2.6 使用说明

https://doc.livetalking.ai

3. 系统架构

数据流图

各层说明

API 层

/human: 接收文本，支持 echo（直接复读）和 chat（LLM 对话）模式
/humanaudio: 接收音频文件直接播放
每个连接分配唯一 sessionid，支持多用户并发

逻辑层

LLM 引擎: 对接 Qwen 等大模型生成对话回复
TTS 引擎: 模块化设计，支持 EdgeTTS、GPT-SoVITS、CosyVoice、腾讯云等多种方案
特征提取: 同步提取音频的声学特征（如 Mel 频谱），用于口型推理

渲染层

模型推理: 使用深度学习模型 (Wav2Lip, MuseTalk 等) 根据音频特征生成口型画面
后处理: 将生成的口型区域平滑贴回原始高清视频

推流层

WebRTC: 低延迟浏览器端推流
RTMP: 标准直播协议，支持推流到 B站/YouTube 等平台
虚拟摄像头: 输出为系统摄像头设备

插件系统

基于 registry.py 的去中心化注册机制，开发者可自行扩展 TTS、Avatar、Output 模块

4. API 接口

文档	说明
docs/api.md	通用业务 API — WebRTC、文本/音频驱动、录制、动作编排
docs/avatar_api.md	Avatar 生成 API — 创建任务、查询进度、删除任务
docs/admin_api.md	Admin 管理 API — 全局配置、会话监控、强制停止

5. Docker 运行

镜像说明:

AutoDL: 镜像
UCloud: 镜像 — 支持开放任意端口

6. 性能指标

每路视频压缩消耗 CPU，分辨率越高 CPU 消耗越大；每路口型推理消耗 GPU
不说话时并发数取决于 CPU，同时说话并发数取决于 GPU
后端日志 inferfps = GPU 推理帧率, finalfps = 最终推流帧率，两者均需 >=25 才算实时

实时推理性能

模型	显卡	FPS
wav2lip256	RTX 3060	60
wav2lip256	RTX 3080Ti	120
musetalk	RTX 3080Ti	42
musetalk	RTX 3090	45
musetalk	RTX 4090	72

wav2lip256 推荐 RTX 3060 及以上
musetalk 推荐 RTX 3080Ti 及以上

7. 商用版

维度	开源版	商用版
定位	开源社区版，Apache 2.0	商用付费版，面向需要高性能、可运营交付的客户
核心目标	快速体验、二次开发、学习研究	开箱即用的商业交付：性能加速、自适应动作、实时语音互动
技术栈	wav2lip / musetalk / ultralight 三款模型	在开源版基础上新增 wav2lipls 及全套增强能力

8. 声明

基于本项目开发并发布在B站、视频号、抖音等平台上的视频需带上 LiveTalking 水印和标识。

引用

如果本项目对您有帮助，期待您能给一个 Star⭐和引用

@software{livetalking,
  author = {Hengzhong Li},
  title = {LiveTalking: Real-Time Interactive Streaming Digital Human Framework},
  year = {2025},
  publisher = {GitHub},
  url = {https://github.com/lipku/livetalking}
}

社区	链接
知识星球	https://t.zsxq.com/7NMyO
微信	wxwubug (加群请备注)
Telegram	https://t.me/livetalking
Discord	https://discord.gg/n5jSPCT3Uf
Email	[email protected]
微信公众号	数字人技术