豆包公司近期推出了全新的实时语音大模型,在中文对话方面实现了显著领先,该模型在豆包App 7.2.0新春版中全量开放,带来了更为真实丰富的语音交流体验。模型实现了语音理解与生成的深度融合,具有低时延、可随时打断对话等功能,情商智商双在线,能灵活调整对话节奏、模仿不同声线、支持多种方言与英语对话,甚至能演唱部分歌曲,人机对话的真实感大幅提升。
该模型基于端到端的框架,通过原生方法深度融合语音与文本进行统一建模,优化了语音识别和生成的流程,为AI赋予了更为丰富的“灵魂”,将为用户提供前所未有的交互体验,推动智能语音技术的发展。