10月14日上午,由学院、上海自主智能无人系统科学中心联合举办的智·信讲堂第70期在智信馆117报告厅开讲。本次讲堂邀请德国慕尼黑工业大学Gerhard Rigoll教授作“Recent Developments in the Area of Multi-Modal Human-Machine Interaction at TU Munich”主题报告,由张皓教授主持。
首先,Gerhard Rigoll教授介绍了一般的多模态人机交互渠道(包括语音、姿态、眼神、情感、触觉等)以及一些常见的多模态人机交互案例(如手机、车辆驾驶、售票机、机器人等)。然后,他介绍了团队的最新研究成果:利用部分和遮挡的人脸信息进行人脸识别和低分辨率人脸图像识别,详细阐述了方案和算法的设计并通过验证表明了算法的有效性和优势。接着,Gerhard Rigoll教授还讨论了利用图卷积神经网络进行包括步态识别在内的动作识别算法并展示了算法的验证效果。此外,Gerhard Rigoll教授提出了多方发言人活动检测场景中的多模态识别任务并指出该场景中深度学习方法不仅用于单模态识别,还特别用于视听信息的融合。最后,Gerhard Rigoll教授表明通过采用机器学习方法优化不同模态的识别组件并学习其融合策略有助于展望人机交互的未来。
报告结束后,Gerhard Rigoll教授和与会师生进行了亲切交流和讨论,他也根据自身经历勉励同学们要积极拓宽视野、努力探索、发现并解决新的科学问题。此次报告进一步拓展了我校师生的视野,增强了我校师生对人机交互领域的认知与理解。
(文/张皓 图/杨浩月)