当前人机交互主要方式(香港故事｜人机交互音乐会：唱响不一样的《东方之珠》)
Posted
篇首语：知之者不如好之者，好之者不如乐之者。本文由小常识网(cha138.com)小编为大家整理，主要介绍了当前人机交互主要方式(香港故事｜人机交互音乐会：唱响不一样的《东方之珠》)相关的知识，希望对你有一定的参考价值。
当前人机交互主要方式(香港故事｜人机交互音乐会：唱响不一样的《东方之珠》)
新华社香港7月17日电题：人机交互音乐会：唱响不一样的《东方之珠》
新华社记者 陆敏
“小河弯弯向南流，流到香江去看一看……”
歌声响起处，大屏幕上五彩斑斓的3D音画随着旋律“起舞”，晶莹欲滴的珠子不断幻变出城市、海港、船帆，还有月色和灯火，水母在玫瑰色的天空中游弋，巨大的海浪卷出彩虹……
一场别开生面的音乐会14日在香港大会堂音乐厅举行，担任指挥的是香港浸会大学交响乐团音乐总监潘明伦。在真人乐团的现场伴奏下，300多个虚拟人声合唱一曲《东方之珠》，配上由人工智能为歌曲创作的3D音画，瑰丽奇幻，气势恢宏。
人工智能专家、浸会大学副校长郭毅可接受新华社记者专访。新华社记者 吴晓初 摄
“这应该是全球首场同类的人机合作表演。”人工智能专家、浸会大学副校长郭毅可说，“人和机器共同创作和完成一个艺术作品，我们做到了。”
这是浸会大学“香港人机共生艺术创造平台技术建设”项目拿出的第一份成绩单。这一项目去年获得香港特区政府拨款5200多万港元，开展为期5年的艺术科技研究。
组建人工智能“合唱团”
今年是香港回归祖国25周年，项目团队首先想到了歌曲《东方之珠》。“用人机交互的方式进行再创作，以此送上我们的祝福。”负责该项目的郭毅可说。
第一个挑战是“组建”320个虚拟歌手组成的人工智能“合唱团”。
通过收集专业歌手的录音歌曲，他们提取和分解了声乐的主要特点，开发了声乐的生成模型，成功创建了一个四声部的合唱，同时通过8个人的人声采样，生成320个具有全新音色的虚拟歌手，“组建”成团。
虚拟歌手们开始“唱”得并不好，会唱错、唱不上高音甚至破音跑调。“声音就是频率，教它们学唱歌不算太难，就是需要不断地通过调整频率进行改善。”郭毅可说。
在彩排中，香港浸会大学交响乐团音乐总监潘明伦身上多处绑着传感器，他不时与台下的技术团队进行沟通。新华社记者 吴晓初 摄
第二个挑战是表演时的人机互动。在舞台上，指挥和乐团是真人，虚拟歌手们要学会“听”指挥的指令，做到与交响乐团的现场演奏无缝衔接，而这并非易事。
记者在彩排现场看到，指挥潘明伦脱去了西装，他的腰上、肩上、手臂和手腕处都绑着装有传感器的绑带，他不时停下指挥，与台下的技术团队进行沟通磨合。
传感器的作用是把指挥的肢体动作“同声传译”给人工智能合唱系统。“难点也在于此，指挥的手势不是固定的，需要有个模糊逻辑让系统学习。开始挺乱的，现在越练越好了。”郭毅可说。
经过长达半年的科研攻关和人机磨合，浸大的人工智能合唱团成功地完成了与真人交响乐团的合作。
人工智能眼里的“东方之珠”
最大的突破来自人工智能的“创作”。配合歌曲意境，人工智能自主创作的3D音画，用天马行空的想象力和表现力向人类描述了它眼中的“东方之珠”。
在这段时长约4分钟的3D音画里，人工智能共生成近3000张图像，且画面之间逻辑顺畅，并与《东方之珠》的歌词和旋律相匹配。“根据歌词内容不断变化，动态生成各种场景。镜头设计了一个虚拟的飞行视角，其速度和高度随旋律而变化，音量高就飞得高；节奏快，速度也会加快。”郭毅可说。
香港浸会大学交响乐团乐手在彩排中演奏。新华社记者 吴晓初 摄
刚开始的时候，团队只是让人工智能根据歌词生成一幅幅画，将它们简单连接。随着探索的深入，他们开始尝试让人工智能“创作”三维视频。“这需要对歌词内容系统地理解，而且逻辑必须连贯，并且自动生成。这个时候我们的创新就开始了。”郭毅可说。
要做到这一点，首先要让机器学会理解歌词的文字内涵，人“教会”机器了解一些相对应的关系，比如香江代表着香港，“珠”的意象要成为贯穿音画的主线等，在此基础上让机器自主想象，自行创作。而在机器完成创作后，具备不具备美感和意义则需要人来反馈，并帮助它修正。
“这就是人机交互的创作。”郭毅可说，“我们开发了一个人工智能驱动的媒体艺术家模型，‘东方之珠’音画是我们向超级人工智能艺术家目标迈出的重要一步。”
让科技赋能艺术
在以往的人工智能艺术创作中，一个传统的思路是机器模仿人。郭毅可对此并不认同。他认为，在艺术创作领域，人工智能有自己独特的创造能力。随着人机交互技术的进步，它的创作可以跟人不一样，也可以被人理解和欣赏，并可能随着人对美学的需求而不断改进。
“科学上的突破往往最先来自于观念，我认为我们中国人有这个能力，不在人家的话语体系里转圈圈。我们这次的创新在于理念变了，由此找到了新的突破点。”郭毅可说。
人工智能专家、浸会大学副校长郭毅可（右二）在彩排现场。新华社记者 吴晓初 摄
《东方之珠》音画第一版，整个图像投影在一颗珠子上，然后珠子一层层打开，到“流到香江去看一看”时，突然幻变成了一朵紫荆花。“我们都惊呆了，‘香江’的概念居然会以一朵紫荆花的形态展现，非常奇妙，这就是机器的创造力。”他说。
如果相信机器能够创造，那么未来的艺术会是什么样？这个问题令郭毅可和他的团队兴奋。郭毅可认为，科技赋能艺术，人机达成更多的互动与交流，为艺术的发展带来全新的可能。
下一步，人机互动要向更深层次探索，比如连接意识、情感。“我们可以把美感编码，让机器认识美感，然后让美感成为它创作的一部分，这是我们研究的一个重要方向。”郭毅可说。
郭毅可希望将来能人机合作创作一部歌剧，将编、导、演、唱集成展现。“探索无止境，没有什么是不可能的。”他说。
视频记者：林宁、梁嘉骏
相关参考
...情感情绪识别的对话式AI及应用实践”中分享的《机器人-人机交互-技术介绍》编辑整理而成，在未改变原意的基础上稍做整理。前人工智能时代是基于关键词模板，只能接受固定命令，能力无法持续提升，不能识别用户情绪，...
#头条创作挑战赛#大家好，我是宪南，上篇文章我们解决了为什么学的问题，接下来我们再来详细聊聊第二个问题，学什么？“学什么”这个问题很简单也很难。简单在于无论你对UG的兴趣有多大，或是想学哪个方向，都必须把...
MBUX智能人机交互系统MBUX采用同级先进的智能人机交互系统，具有全新设计的用户界面，搭配12.3英寸数字高清仪表显示屏与10.25英寸中央触摸显示屏；实景穿越导航系统与升级的停车辅助系统带给用户更好的体验。后排舒适空间
MBUX智能人机交互系统MBUX采用同级先进的智能人机交互系统，具有全新设计的用户界面，搭配12.3英寸数字高清仪表显示屏与10.25英寸中央触摸显示屏；实景穿越导航系统与升级的停车辅助系统带给用户更好的体验。后排舒适空间
MBUX智能人机交互系统MBUX采用同级先进的智能人机交互系统，具有全新设计的用户界面，搭配12.3英寸数字高清仪表显示屏与10.25英寸中央触摸显示屏；实景穿越导航系统与升级的停车辅助系统带给用户更好的体验。后排舒适空间
汽车人机交互驾驶舱(法雷奥除了自动驾驶技术组合 驾驶舱人机交互发展)
众所周知，影响自动驾驶的关键因素是汽车上的传感器，这些传感器就相当于汽车的“眼睛”和“耳朵”，通过这些传感器再加上人工智能，可以感知周围的环境，从而使汽车能够做出正确的决策。作为世界领先的法雷奥传感器...
模型嵌入式端部署(人机交互新突破：百度发布主动多模态交互技术)
近年来服务机器人逐渐进入商场、餐馆、银行、机场等场所，给人们提供了简单的咨询、导航等服务。然而，由于多数服务机器人仅能被动响应用户的请求，同时，大多数宾客不了解服务机器人的功能，甚至可能不知道它能否正...
智能感知与人机交互(人机传播视域下算法新闻可信度的感知研究——基于一项对大学生的控制实验分析)
研究背景研究问题的提出研究方法数据分析与讨论结论与思考<
江苏省计算机检测中心(6G、人机交互、工业互联网……2022年世界互联网大会乌镇峰会热点聚焦)
新华社杭州11月10日电题：6G、人机交互、工业互联网……2022年世界互联网大会乌镇峰会热点聚焦新华社“新华视点”记者2022年世界互联网大会乌镇峰会9日在浙江乌镇开幕。从“互联网之光”博览会展示的最新产品应用，到世界...
海泰克人机界面说明书(搞PLC系统集成，必须掌握的人机界面触摸屏汇总讲解)
...新的电脑输入设备，它是目前最简单、方便、自然的一种人机交互方式。它赋予了多媒体以崭新的面貌，是极富吸引力的全新多媒体交互设备。主要应