摘要:
唇部视觉信息作为语音识别的辅助信息一直受到广泛关注,为更好的提取唇部视觉信息,提出一种基于稀疏深度信念网络(Deep Belief Network,DBN)和双向长短期记忆网络(Bidirectional Long Short-Term Memory,Bi LSTM)的视觉语音识别算法。该算法通过在DBN的目标函数后引入混合的l1/2范数和l1范数来实现DBN的稀疏表示,以此稀疏DBN对唇部视觉信息进行稀疏瓶颈特征的提取,再将提取的瓶颈特征送入Bi LSTM进行特征的学习分类。实验表明,该算法能有效的识别唇部视觉信息。
