元宇宙，其核心是虚实融合，相互使能。从词源来说，元宇宙的英文一词MATEVERSE，是超越现实之意，未来的MATEVERSE，一个是我们既有的认知空间、情感空间，另一个是如何用现代的媒体的手段达到虚拟和真实世界空间的互动。这些互动包括信息检索、教育、娱乐以及助老助残等等。要实现这些虚实相融的互动，德国工程院院士张建伟先生认为，必须要有多模态的人机互动作为支撑。在近日在昆山举行的元宇宙产业大会2023春季会的院士论坛上，张建伟院士向与会者分享了题为《赋能工业4.0的多模态元宇宙》的演讲。

张建伟院士首先指出：目前人机的交互，只是包括信息、视觉和声音以及图像的交互，未来要把触觉、味觉，包括脑信号都融合在一起。这是元宇宙的重要内容。最早的人机交互，只是一行行的这种单一频率和屏幕的编程场景，其后是图形界面，前些年的iPad，呈现自然的交互界面。但是未来的元宇宙，将要以多模态交互的方法，实现人机的交互。

张建伟院士进而比喻说，元宇宙有点类似爱丽丝进入魔幻世界，希望通过编程的方法创造和实现的一个魔幻世界，就像爱丽丝走进的一个场景。20年前，虚拟现实被提出来，在未来的15年中，人类能不能创造出这个新的元宇宙以及新的元宇宙产业奇迹，很大程度上取决于人机多模态交互的进步和成果。这也是在德国工程院提出工业4.0中的重要内容：要通过元宇宙创造一个learning space一个复合空间的概念。

张建伟院士认为，元宇宙包括人工智能、互联网、机器人、AR\VR\5G通讯以及脑科学、材料新和新能源，元宇宙也将给充分赋能未来的出行，未来的医疗、农业、基础设施检修、娱乐、教育等等领域。那么，在元宇宙中为什么要强调多模态的人机交互？张建伟院士指出：因为元宇宙不只是要有简单的蚂蚁的四肢，要有灵魂，要有创意。

在阐释了上述观点后外，张建伟院士分享了多款已经在应用以及处于研发中的机器人：病毒实验室机器人，在无人值守的情况下，自动在病毒的实验室中进行病毒试管的临床操作；农业机器人，农业缺少人工是一个巨大的痛点，农业机器人和元宇宙融合起来，可以进行农业数字化的建设；护理机器人，该机器人通过知识表达和虚拟的一些学习和真实的交互，实现真正的护理的服务；编程机器人，通过学习算法，它可以在这种空间里头自动编出和查找各种各样非常逼真的程序。五打乒乓球的机器人。可以较灵活地的挥拍打球等。张建伟院士强调，上述这些机器人，已经具有原宇宙的一些雏形。

张建伟院士强调，机器人的跨模态学习，研究人机交互中的自适应性和预测性，这是元宇宙核心技术。他进而分享说：在这些既有机器人的基础上，现在，已经开始让机器人来学习人类的手势，可以运用到未来的精密装配，同时还把我们的视觉、听觉和触觉，同时各种各样的知识，全部融入到机器人的空间里。张建伟院士展示了一款敬老机器人，不只是给老人看一些视觉和听觉的游戏，同时也要包括一些触觉的游戏，帮助老人的全方位的康复。

张建伟院士在演讲的最后总结说，在元宇宙的概念下，就是要让这些多模态的机器人，不只是在我们正常的生活的空间中，而且还要在我们不能到达的空间，为我们的生活与生产助力。这也是元宇宙产业的作用之所在。