JoyHallo – 京东推出音频驱动视频生成的数字人模型 | AI工具集

JoyHallo是什么

JoyHallo 是京东开源的数字人模型，专为普通话设计，能根据音频生成逼真的说话视频。特别适合处理普通话的复杂口型和语调，具有跨语言生成视频的能力。JoyHallo 提供了一个开源的数据集和模型训练方法，使用户可以生成普通话和英语的说话人视频。项目基于中文wav2vec2模型进行音频特征嵌入，采用半解耦结构来提升推理速度，提高了14.3%。

JoyHallo的主要功能

• 音频驱动的视频生成：JoyHallo 能根据音频输入生成对应的视频，特别是普通话视频。
• 跨语言生成能力：除普通话，JoyHallo 能生成英语视频，显示跨语言的视频生成能力。
• 唇部同步：模型能精确地同步音频与视频中的唇部运动，提高视频的真实感。
• 面部表情生成：根据音频中的情感和语调生成相应的面部表情。

JoyHallo的技术原理

• 半解耦结构：用在提高音频驱动视频生成中唇部运动预测的准确性。通过集成然后分离关键的面部动画组件，如唇部、表情和头部姿态，实现更精确的建模。
• 特征嵌入：用中国的 wav2vec2 模型嵌入音频特征，有助于模型更好地理解和生成与音频同步的面部动作。
• 交叉注意力机制：在半解耦结构中，交叉注意力模块处理集成的特征，捕捉相关性。
• 卷积网络：在解耦阶段，用卷积网络分离不同的特征，使模型专注于每个特征的特定细节。
• 数据集：JoyHallo 训练基于 jdh-Hallo 数据集，一个包含多种年龄和说话风格的普通话视频数据集，涵盖日常对话和专业医疗话题。

JoyHallo的项目地址

JoyHallo的应用场景

• 虚拟主播：在新闻播报、天气预报、体育赛事解说等领域，JoyHallo 生成虚拟主播的视频，提供24小时不间断的节目制作。
• 在线教育：在语言学习、在线课程等领域，JoyHallo 生成教师的虚拟形象，提供更加生动的教学体验。
• 客户服务：在客户服务领域，JoyHallo 生成虚拟客服代表，提供更加亲切和专业的客户服务。
• 娱乐产业：在电影、游戏、动画制作等领域，JoyHallo生成角色的面部动画，提高制作效率和降低成本。
• 社交媒体：用户用 JoyHallo 生成自己的虚拟形象，在社交媒体上发布视频内容，增加互动性和趣味性。
• 广告制作：在广告行业，JoyHallo 生成定制化的广告视频，提高广告的吸引力和个性化程度。

本站文章版权归AI工具集所有，未经允许禁止任何形式的转载。