巨人网络 AI Lab：首个支持普通话和方言混说的TTS大模型

自 2024 年 GPT-4o 出现以来，业内各公司纷纷投入巨大的资源进行 TTS 大模型的研发。近几个月内，中文语音合成大模型如雨后春笋般涌现，如 chattts、seedtts、cosyvoice 等。

虽然当前语音合成大模型在中文普通话上的效果已与真人几乎无异，但面对中国纷繁复杂的方言，TTS 大模型却鲜有涉猎，训练一个统一的中文各方言语音合成大模型是一项极具挑战的任务。

行业痛点与技术瓶颈

当前，语音合成大模型技术在普通话领域已经取得了显著进展，但在方言领域的发展却十分缓慢。中国拥有数十种主要方言，每一种方言都有独特的语音特征和语法结构，这使得训练一个覆盖各种方言的 TTS 大模型变得异常复杂。

现有的 TTS 大模型大多专注于普通话，无法满足多样化的语音合成需求。此外，方言语料库的稀缺以及高质量标注数据的匮乏，也进一步增加了技术难度。

巨人网络 AI Lab 的技术创新与突破

为了解决上述难题，巨人网络 AI Lab 团队中的算法专家和语言学家共同努力，基于中国方言体系，构建了涵盖 20 种方言、超过 20 万小时的普通话和方言数据集。通过这一庞大的数据集，我们训练出了第一个支持多种普通话方言混说的 TTS 大模型 ——Bailing-TTS。Bailing-TTS 不仅能够生成高质量的普通话语音，还能够生成包括河南话、上海话、粤语等在内的多种方言语音。