那些深藏在音乐和文字里的秘密

 

 

 

这是英伟达利用深度学习创作的一段音乐。如果不是事先告诉你，这是人工智能制作的，你会不会以为是哪位作曲家的作品？

在音乐中，前后的音节、旋律、呈示、展开和再现都存在很强的相关性。人类的自然语言中，也有着前后的相关性。比如朋友间的聊天，比如文学写作，前一个时刻的语言文字，可以帮助你猜测和理解下一刻的内容。这里面有一个“记忆”的问题，需要记住可能很久以前的状态，以便更好地诠释现在-----包括电视剧里各种狗血的分手场景，需要翻翻N年前的变天账，才能使得剧情人神共愤。

最开始的神经网络是没有记忆能力的，刚刚还是哭得天崩地裂的场景，一锅猪肉炖粉条就破涕为笑。

RNN (Recurrent Neural Network) 在传统的神经网络上加入了“循环”功能, 将不同时间点上神经网络之间的输入、运算与输出进行联系，让神经网络产生记忆能力---兄弟，你几分钟前刚哭过，神经网记住了，一会儿猪肉炖粉条上来，你可不能流口水。

 

 

但是原始的RNN还是存在着巨大的缺陷，那就是它不知道如何选择该记忆什么忘记什么。这就导致了机器学习系统把所有信息，都不分青红皂白记了下来。这样给网络增加了大量的运算负荷，也让神经网络难以判定比较遥远的信息。这是RNN缺乏“长时依赖”的问题---遥远的记忆消失在时间的长河里。

 

 

 

LSTM RNN (Long Short Term Memory Recurrent Neural Network)是长短期记忆循环神经网络。LSTM区别于传统RNN的地方，在于加入了一个判断信息有用与否的“Cell处理器”。一个cell当中被放置了“三重门”，分别叫做输入门、遗忘门和输出门。一个信息进入LSTM的网络当中，可以根据规则来判断是否有用。只有符合算法认证的信息才会留下，不符的信息则通过“遗忘门”被遗忘。

因为有了“遗忘门”，才有了更好的“记忆”！

因为有了“短期的遗忘”，才有了“长期的记忆”！

在神经网络中引入记忆和时间上的依赖性，使得机器翻译（例如讯飞的翻译软件）、语音识别、为图像起标题的准确率大幅提高。拥有长时间记忆的神经网络，还可以创作出非常优美的音乐，模仿出类似于莎士比亚风格的文学作品。

通过大量的选择记忆训练，LSTM RNN可以理解到事物之间有怎样的长时间联系，甚至是信息距离非常遥远的两个事物之间是如何关联的。而这个能力发展下去，就是机器的推理能力，甚至是想象力。

 但是，LSTM RNN的记忆和人还是有差距的。

人脑中那些很遥远的记忆，埋在深处你自己都以为遗忘了，却会不自禁跳出来。可能是大学时的一次聚会，可能是少年时的一段音乐，可能是月光下的一次感动，可能是心有灵犀的一段文字，那些是我们忘了忘记的……

 

【忘了忘记】

比天涯的远，还远
我的目光， 在秋季里
独自回望春风呵护的花园

水湄，一池婷婷的青莲
莲边是风
风边是柳
柳边是月
月色里是透明纯净的思念

风很轻，我很远
如果云幻出我的江南
和小路上盼归的炊烟
这一切
不是，故意想起
而是，忘了忘记

 

(2013-02-18)

 

[zqy68]

回复 '海上云' 的评论 :

哈哈， “有人有鱼”，“子怡行走“。。。海才的脑洞和文字功夫太厉害！文字娱，文字寓，文字驭，文字愈。。。请收下秋月的膝盖和有限的文字誉！ ： ））

[海上云]

回复 '美加万花筒' 的评论 : 作曲家更好混了，只要写几首，申请风格专利，然后，神经网帮他画葫芦 ；））

[海上云]

回复 'biaochen' 的评论 : 好久不见诗坛的biaochen兄，问好 ；））

[海上云]

回复 '小三儿她姐' 的评论 : 谢谢她姐 ；））

[海上云]

回复 '颤音' 的评论 : 谢谢颤音。记得多唱歌啊 ；））

[海上云]

回复 'zqy68' 的评论 : 谢谢秋月。有人有鱼，风景好；子怡行走，汪峰高兴 ;))

[美加万花筒]

非常牛，作曲家以后还怎么在江湖上混？

[biaochen]

学习了！再加上两个门： 泛化门 （共鸣）； 整合门

[小三儿她姐]

超赞！！

[颤音]

太牛了！ 读过的最好的博文！ 科学艺术哲学都有！

[zqy68]

科普作家深入浅出的功力 了得！有知识点，有文字的感动和情怀。。。

中学为体，西学为用，文理兼修的海大师早已超越了文理的学科局限，在科学和艺术之间游刃有余，恣意行走，仰望and 佩服！