人往往在看到一副画作或一幕场景时，会产生一段莫名的旋律。人工智能能否建立起这样的联系呢？百度工程师们突发奇想，完成了一项新的尝试——培养机器“看图谱曲”的能力。近日，这项训练有了初步成果，百度的人工智能为梵高的《星夜》、徐悲鸿的《奔马图》分别创作了符合画面内容及意境的十余秒的乐曲。

除此之外，百度联手尤伦斯，利用人工智能将正在尤伦斯当代艺术中心展出的美国艺术大师罗伯特·劳森伯格（Robert Rauschenberg）的传奇式巨作《四分之一英里画作》中的两联分别谱成了20余秒的钢琴曲，并在7月19日的“AI科技与艺术之夜”活动中首次展示。

据悉，上述介绍的人工智能识图作曲是基于百度近期公布的一项名为“一种基于图像理解生成曲谱的方法及装置”的技术专利。该项专利技术搭建的人工神经网络系统可以实现通过对图片的识别和分析，自动生成一段符合该图片所包含内容及表达意境并且符合韵律和节拍的曲谱。

图为训练神经网络自动提取标签的模型

专利显示，想要完成这项任务，系统首先要对人工标注了特征关键词的图片进行集中学习，训练神经网络自动提取标签的模型，进而掌握从任意图片中提取征关键词的能力。然后再通过提取的关键词，搜索带有关键词标签的曲谱库，从中抓取关键词匹配的曲谱片段并对其延展和拼接，最终输出完整的曲谱。

图为训练神经网络进行图谱生成的模型

百度这项技术率先将图像与音乐紧密联系在了一起，而技术背后的本质，是通过机器深度学习，丰富机器的分析维度，进而增强其人工智能对于人类的理解能力。据介绍，该技术未来可以帮助辅助治疗心理疾病患者；帮助视力残障的人群“看”世界；在热门的VR/AR领域也将创造更多的可能性，比如机器可以自动根据VR/AR 的画面配上背景音效，让游戏或者极限冒险的体验更加真实。随着这一技术的逐渐成熟，百度希望将该技术应用在更多的产品中，为用户提供更理解你的智能化服务。