当前人机交互主要方式(香港故事|人机交互音乐会:唱响不一样的《东方之珠》)

Posted

篇首语:知之者不如好之者,好之者不如乐之者。本文由小常识网(cha138.com)小编为大家整理,主要介绍了当前人机交互主要方式(香港故事|人机交互音乐会:唱响不一样的《东方之珠》)相关的知识,希望对你有一定的参考价值。

当前人机交互主要方式(香港故事|人机交互音乐会:唱响不一样的《东方之珠》)

视频加载中...

新华社香港7月17日电题:人机交互音乐会:唱响不一样的《东方之珠》

新华社记者 陆敏

“小河弯弯向南流,流到香江去看一看……”

歌声响起处,大屏幕上五彩斑斓的3D音画随着旋律“起舞”,晶莹欲滴的珠子不断幻变出城市、海港、船帆,还有月色和灯火,水母在玫瑰色的天空中游弋,巨大的海浪卷出彩虹……

一场别开生面的音乐会14日在香港大会堂音乐厅举行,担任指挥的是香港浸会大学交响乐团音乐总监潘明伦。在真人乐团的现场伴奏下,300多个虚拟人声合唱一曲《东方之珠》,配上由人工智能为歌曲创作的3D音画,瑰丽奇幻,气势恢宏。

人工智能专家、浸会大学副校长郭毅可接受新华社记者专访。新华社记者 吴晓初 摄

“这应该是全球首场同类的人机合作表演。”人工智能专家、浸会大学副校长郭毅可说,“人和机器共同创作和完成一个艺术作品,我们做到了。”

这是浸会大学“香港人机共生艺术创造平台技术建设”项目拿出的第一份成绩单。这一项目去年获得香港特区政府拨款5200多万港元,开展为期5年的艺术科技研究。

组建人工智能“合唱团”

今年是香港回归祖国25周年,项目团队首先想到了歌曲《东方之珠》。“用人机交互的方式进行再创作,以此送上我们的祝福。”负责该项目的郭毅可说。

第一个挑战是“组建”320个虚拟歌手组成的人工智能“合唱团”。

通过收集专业歌手的录音歌曲,他们提取和分解了声乐的主要特点,开发了声乐的生成模型,成功创建了一个四声部的合唱,同时通过8个人的人声采样,生成320个具有全新音色的虚拟歌手,“组建”成团。

虚拟歌手们开始“唱”得并不好,会唱错、唱不上高音甚至破音跑调。“声音就是频率,教它们学唱歌不算太难,就是需要不断地通过调整频率进行改善。”郭毅可说。

在彩排中,香港浸会大学交响乐团音乐总监潘明伦身上多处绑着传感器,他不时与台下的技术团队进行沟通。新华社记者 吴晓初 摄

第二个挑战是表演时的人机互动。在舞台上,指挥和乐团是真人,虚拟歌手们要学会“听”指挥的指令,做到与交响乐团的现场演奏无缝衔接,而这并非易事。

记者在彩排现场看到,指挥潘明伦脱去了西装,他的腰上、肩上、手臂和手腕处都绑着装有传感器的绑带,他不时停下指挥,与台下的技术团队进行沟通磨合。

传感器的作用是把指挥的肢体动作“同声传译”给人工智能合唱系统。“难点也在于此,指挥的手势不是固定的,需要有个模糊逻辑让系统学习。开始挺乱的,现在越练越好了。”郭毅可说。

经过长达半年的科研攻关和人机磨合,浸大的人工智能合唱团成功地完成了与真人交响乐团的合作。

人工智能眼里的“东方之珠”

最大的突破来自人工智能的“创作”。配合歌曲意境,人工智能自主创作的3D音画,用天马行空的想象力和表现力向人类描述了它眼中的“东方之珠”。

在这段时长约4分钟的3D音画里,人工智能共生成近3000张图像,且画面之间逻辑顺畅,并与《东方之珠》的歌词和旋律相匹配。“根据歌词内容不断变化,动态生成各种场景。镜头设计了一个虚拟的飞行视角,其速度和高度随旋律而变化,音量高就飞得高;节奏快,速度也会加快。”郭毅可说。

香港浸会大学交响乐团乐手在彩排中演奏。新华社记者 吴晓初 摄

刚开始的时候,团队只是让人工智能根据歌词生成一幅幅画,将它们简单连接。随着探索的深入,他们开始尝试让人工智能“创作”三维视频。“这需要对歌词内容系统地理解,而且逻辑必须连贯,并且自动生成。这个时候我们的创新就开始了。”郭毅可说。

要做到这一点,首先要让机器学会理解歌词的文字内涵,人“教会”机器了解一些相对应的关系,比如香江代表着香港,“珠”的意象要成为贯穿音画的主线等,在此基础上让机器自主想象,自行创作。而在机器完成创作后,具备不具备美感和意义则需要人来反馈,并帮助它修正。

“这就是人机交互的创作。”郭毅可说,“我们开发了一个人工智能驱动的媒体艺术家模型,‘东方之珠’音画是我们向超级人工智能艺术家目标迈出的重要一步。”

让科技赋能艺术

在以往的人工智能艺术创作中,一个传统的思路是机器模仿人。郭毅可对此并不认同。他认为,在艺术创作领域,人工智能有自己独特的创造能力。随着人机交互技术的进步,它的创作可以跟人不一样,也可以被人理解和欣赏,并可能随着人对美学的需求而不断改进。

“科学上的突破往往最先来自于观念,我认为我们中国人有这个能力,不在人家的话语体系里转圈圈。我们这次的创新在于理念变了,由此找到了新的突破点。”郭毅可说。

人工智能专家、浸会大学副校长郭毅可(右二)在彩排现场。新华社记者 吴晓初 摄

《东方之珠》音画第一版,整个图像投影在一颗珠子上,然后珠子一层层打开,到“流到香江去看一看”时,突然幻变成了一朵紫荆花。“我们都惊呆了,‘香江’的概念居然会以一朵紫荆花的形态展现,非常奇妙,这就是机器的创造力。”他说。

如果相信机器能够创造,那么未来的艺术会是什么样?这个问题令郭毅可和他的团队兴奋。郭毅可认为,科技赋能艺术,人机达成更多的互动与交流,为艺术的发展带来全新的可能。

下一步,人机互动要向更深层次探索,比如连接意识、情感。“我们可以把美感编码,让机器认识美感,然后让美感成为它创作的一部分,这是我们研究的一个重要方向。”郭毅可说。

郭毅可希望将来能人机合作创作一部歌剧,将编、导、演、唱集成展现。“探索无止境,没有什么是不可能的。”他说。

视频记者:林宁、梁嘉骏

相关参考

机器人人机交互方式(机器人·人机交互·技术介绍)

...情感情绪识别的对话式AI及应用实践”中分享的《机器人-人机交互-技术介绍》编辑整理而成,在未改变原意的基础上稍做整理。前人工智能时代是基于关键词模板,只能接受固定命令,能力无法持续提升,不能识别用户情绪,...

常用的人机交互有哪些方式(自学UG三问之二:学什么?)

#头条创作挑战赛#大家好,我是宪南,上篇文章我们解决了为什么学的问题,接下来我们再来详细聊聊第二个问题,学什么?“学什么”这个问题很简单也很难。简单在于无论你对UG的兴趣有多大,或是想学哪个方向,都必须把...

现代人机交互(MBUX智能人机交互系统)

MBUX智能人机交互系统MBUX采用同级先进的智能人机交互系统,具有全新设计的用户界面,搭配12.3英寸数字高清仪表显示屏与10.25英寸中央触摸显示屏;实景穿越导航系统与升级的停车辅助系统带给用户更好的体验。后排舒适空间

现代人机交互(MBUX智能人机交互系统)

MBUX智能人机交互系统MBUX采用同级先进的智能人机交互系统,具有全新设计的用户界面,搭配12.3英寸数字高清仪表显示屏与10.25英寸中央触摸显示屏;实景穿越导航系统与升级的停车辅助系统带给用户更好的体验。后排舒适空间

现代人机交互(MBUX智能人机交互系统)

MBUX智能人机交互系统MBUX采用同级先进的智能人机交互系统,具有全新设计的用户界面,搭配12.3英寸数字高清仪表显示屏与10.25英寸中央触摸显示屏;实景穿越导航系统与升级的停车辅助系统带给用户更好的体验。后排舒适空间

汽车人机交互驾驶舱(法雷奥除了自动驾驶技术组合 驾驶舱人机交互发展)

众所周知,影响自动驾驶的关键因素是汽车上的传感器,这些传感器就相当于汽车的“眼睛”和“耳朵”,通过这些传感器再加上人工智能,可以感知周围的环境,从而使汽车能够做出正确的决策。作为世界领先的法雷奥传感器...

模型嵌入式端部署(人机交互新突破:百度发布主动多模态交互技术)

近年来服务机器人逐渐进入商场、餐馆、银行、机场等场所,给人们提供了简单的咨询、导航等服务。然而,由于多数服务机器人仅能被动响应用户的请求,同时,大多数宾客不了解服务机器人的功能,甚至可能不知道它能否正...

智能感知与人机交互(人机传播视域下算法新闻可信度的感知研究——基于一项对大学生的控制实验分析)

研究背景研究问题的提出研究方法数据分析与讨论结论与思考<

江苏省计算机检测中心(6G、人机交互、工业互联网……2022年世界互联网大会乌镇峰会热点聚焦)

新华社杭州11月10日电题:6G、人机交互、工业互联网……2022年世界互联网大会乌镇峰会热点聚焦新华社“新华视点”记者2022年世界互联网大会乌镇峰会9日在浙江乌镇开幕。从“互联网之光”博览会展示的最新产品应用,到世界...

海泰克人机界面说明书(搞PLC系统集成,必须掌握的人机界面触摸屏汇总讲解)

...新的电脑输入设备,它是目前最简单、方便、自然的一种人机交互方式。它赋予了多媒体以崭新的面貌,是极富吸引力的全新多媒体交互设备。主要应