第三十七章 苏飞的菠萝
推荐阅读：宇宙职业选手、斗罗大陆V重生唐三、万相之王、星门、剑道第一仙、雪中悍刀行、剑来、一剑独尊、临渊行、沧元图
一秒记住【笔趣阁 www.bqg10.cc】，精彩小说无弹窗免费阅读！
在回去的路上，夏薇凉全程姨母笑地看着苏飞。
“大神，你还蛮厉害的嘛。”
“你是指什么方面？”
“之前就听说您和姜大校花关系不清不楚的，在图书馆又和那个英文系的小学妹邻座，今天又勾搭上一个新妹子。”
“……事情可能和你想象的完全不是一个样子。”
毒舌女王姜倾雪，笑里藏刀林依曼，现在又来个摸不清路数的顾亦如，如果不是要完成任务获取学力，苏飞是真的不想和这些妹子极限拉扯。
“所以，大神你更喜欢谁啊？”
问得好。
“她们都是我的翅膀。”
……
吃饱喝足后，下午自然是要去图书馆的。
苏飞先回了趟寝室，把他那小破笔记本提了过去。
让他有些意外的是，林依曼居然一直把他占着座。
“谢谢。”苏飞轻声道。
“学长，你太客气了啦……”林依曼咦了一声，轻轻嗅了嗅，道：“学长，你是去吃烤鱼了吗？”
这也能闻得出来么？
苏飞自己轻轻闻了闻，还真有股麻辣鲜香。
林依曼又认真地闻了闻，道：“还是和女生一起吃的？”
卧槽，真的假的，这也能闻出来？
林依曼看着一脸不可置信的苏飞，莞尔一笑，道：“其实我是猜的啦，学长这种直男，平常都三点一线的，突然要去吃大餐，肯定是和女生有约吧。”
她微笑道：“想不到猜对咯。”
‘叮！林依曼好感度-1，目前好感度43。’
这女人也太狡猾吧。
苏飞打开笔记本，他此刻只想遁入学习的世界。
在通读完《认知神经科学》后，苏飞有了一个新的论文想法，他思考了一会儿，在word文档上打下了一个题目。
【基于注意力机制的全新模型结构】。
随后，他开始对这个想法进行一个大致的阐述，他想用注意力机制构建一个新的模型单元。
模型单元是最基础的模型结构，任何复杂的模型结构其实都是由模型单元堆叠而成，近年深度学习大火，每年新的模型结构层出不穷，但是模型单元用来用去还是那么几个。如现在最常用的长短期记忆神经网络（LSTM）甚至是1994年的产物，而如今比较普遍使用的卷积神经网络（）和循环神经网络（RNN）也是实际很多年前的论文成果。
为什么这么久都没有新的模型单元诞生，究其原因，一个是技术上太难突破了，第二个原因就是劣币驱逐良币。
即便是在学术领域，劣币驱逐良币也是一个很常见的事情，简单来说就是，大家都发现构造一个模型单元太难了，但是用现有的模型单元去堆叠出一个新的模型结构就简单很多，那既然如此，为何要死磕前者呢。
例如一个商城只有苹果、香蕉、桃子三种水果，现在要贩卖水果拼盘，最具有经济效益，也就是贩卖的最好的拼盘是3苹果2香蕉1桃子，这种组合就是一个模型结构，然后过了一年，有位大老发现，1苹果1香蕉1桃子能产出更高的经济效益，于是，这个模型大受欢迎，这位大老便荣登顶会。
当然，这只是一个很简单的例子，真正的模型构造必定比贩卖水果拼盘要难很多，需要大量数学理论来左证，但本质上其实与水果拼盘没什么不同。
苏飞此前的ELMo模型所做的工作本质上也是水果拼盘，只不过他的拼盘领先了一个时代，能超越目前最好的模型10个性能百分点，大大提高了准确率还减少了算力消耗。
但是，如今整个学术界渐渐的，都开始拼水果拼盘，所有人都在现有的苹果、香蕉、桃子里选择，开始自由组合，对不同的任务和实验拼出解决这个问题的最优模型。
而很少有人会去往这个拼盘里创造一个新的水果，毕竟吃力不讨好。
但既然选择了做学术界的清流，苏飞就想要成为创造新水果的人，他想要往这个水果拼盘里引入菠萝，至于为什么称之为菠萝，嗯……因为他最爱吃菠萝。
而他与大多数人写论文的方式相反，对苏飞来说，再难的技术问题都不是问题，他怀疑只要有足够的灵感激发卡，他甚至可以突破号称永远的三十年的“核聚变”技术。
于他而言，最重要的就是idea或者说一个正确的思路。
注意力机制毫无疑问就是一个很好的idea。近年无论图领域还是自然语言处理领域，对注意力机制这块动刀子的人可不少，但至今为止，注意力机制更像是在其他的模型单元上起到一个基础运算，或者说锦上添花的作用。
苏飞不认为注意力机制的作用仅限于此，不止苏飞不这么认为，世界上几乎所有相关领域学者都不认为注意力机制仅限于此，然而令人遗憾的是，还没有人能真正发挥注意力机制的作用。
苏飞在学习《认知神经科学》后，认为这是一个很好的机会。
于是，他把近年的注意力机制相关的论文全部罗列了出来。
【基于注意力机制的端到端机器翻译算法】。
【基于注意力机制的新自适应权重算法】。
【以注意力权重再分配改善注意力机制】。
【目标检测上的注意力机制新型应用】。
…
…
苏飞就这么看了整整一个下午的注意力机制文献，然而，他只想说，还是小看了深度学习领域人们灌水的能力。
他在过目不忘和知识快解的加持下，一下午看了上百篇，其中百分之九十五都没有任何价值，其中有好几篇说是学术垃圾都算抬举他们了。最过分的一些论文是通篇讲解这个模型结构多牛逼多牛逼，最后一看，连个代码库都不上传。
这种做法无疑是此地无银三百两，就是明着告诉别人，我不敢传代码给你复现，怎么滴！
即便是华科院一区和CCF-A类的部分顶刊顶会论文，灌水者也是不少。
对于这种情况，苏飞也是无可奈何，学者也是人，也是有所谓的关系户和各种潜规则的，即便是顶会顶刊也没法保证每一篇都有相应的含金量，一些阿猫阿狗也还真的能上。
看了一个下午的苏飞只得到了七八篇比较有价值的论文。
“算了，急不得，慢慢来吧。”
苏飞深吸了一口气，他现在只想好好洗洗眼，某些论文实在辣他眼睛。
在回去的路上，夏薇凉全程姨母笑地看着苏飞。
“大神，你还蛮厉害的嘛。”
“你是指什么方面？”
“之前就听说您和姜大校花关系不清不楚的，在图书馆又和那个英文系的小学妹邻座，今天又勾搭上一个新妹子。”
“……事情可能和你想象的完全不是一个样子。”
毒舌女王姜倾雪，笑里藏刀林依曼，现在又来个摸不清路数的顾亦如，如果不是要完成任务获取学力，苏飞是真的不想和这些妹子极限拉扯。
“所以，大神你更喜欢谁啊？”
问得好。
“她们都是我的翅膀。”
……
吃饱喝足后，下午自然是要去图书馆的。
苏飞先回了趟寝室，把他那小破笔记本提了过去。
让他有些意外的是，林依曼居然一直把他占着座。
“谢谢。”苏飞轻声道。
“学长，你太客气了啦……”林依曼咦了一声，轻轻嗅了嗅，道：“学长，你是去吃烤鱼了吗？”
这也能闻得出来么？
苏飞自己轻轻闻了闻，还真有股麻辣鲜香。
林依曼又认真地闻了闻，道：“还是和女生一起吃的？”
卧槽，真的假的，这也能闻出来？
林依曼看着一脸不可置信的苏飞，莞尔一笑，道：“其实我是猜的啦，学长这种直男，平常都三点一线的，突然要去吃大餐，肯定是和女生有约吧。”
她微笑道：“想不到猜对咯。”
‘叮！林依曼好感度-1，目前好感度43。’
这女人也太狡猾吧。
苏飞打开笔记本，他此刻只想遁入学习的世界。
在通读完《认知神经科学》后，苏飞有了一个新的论文想法，他思考了一会儿，在word文档上打下了一个题目。
【基于注意力机制的全新模型结构】。
随后，他开始对这个想法进行一个大致的阐述，他想用注意力机制构建一个新的模型单元。
模型单元是最基础的模型结构，任何复杂的模型结构其实都是由模型单元堆叠而成，近年深度学习大火，每年新的模型结构层出不穷，但是模型单元用来用去还是那么几个。如现在最常用的长短期记忆神经网络（LSTM）甚至是1994年的产物，而如今比较普遍使用的卷积神经网络（）和循环神经网络（RNN）也是实际很多年前的论文成果。
为什么这么久都没有新的模型单元诞生，究其原因，一个是技术上太难突破了，第二个原因就是劣币驱逐良币。
即便是在学术领域，劣币驱逐良币也是一个很常见的事情，简单来说就是，大家都发现构造一个模型单元太难了，但是用现有的模型单元去堆叠出一个新的模型结构就简单很多，那既然如此，为何要死磕前者呢。
例如一个商城只有苹果、香蕉、桃子三种水果，现在要贩卖水果拼盘，最具有经济效益，也就是贩卖的最好的拼盘是3苹果2香蕉1桃子，这种组合就是一个模型结构，然后过了一年，有位大老发现，1苹果1香蕉1桃子能产出更高的经济效益，于是，这个模型大受欢迎，这位大老便荣登顶会。
当然，这只是一个很简单的例子，真正的模型构造必定比贩卖水果拼盘要难很多，需要大量数学理论来左证，但本质上其实与水果拼盘没什么不同。
苏飞此前的ELMo模型所做的工作本质上也是水果拼盘，只不过他的拼盘领先了一个时代，能超越目前最好的模型10个性能百分点，大大提高了准确率还减少了算力消耗。
但是，如今整个学术界渐渐的，都开始拼水果拼盘，所有人都在现有的苹果、香蕉、桃子里选择，开始自由组合，对不同的任务和实验拼出解决这个问题的最优模型。
而很少有人会去往这个拼盘里创造一个新的水果，毕竟吃力不讨好。
但既然选择了做学术界的清流，苏飞就想要成为创造新水果的人，他想要往这个水果拼盘里引入菠萝，至于为什么称之为菠萝，嗯……因为他最爱吃菠萝。
而他与大多数人写论文的方式相反，对苏飞来说，再难的技术问题都不是问题，他怀疑只要有足够的灵感激发卡，他甚至可以突破号称永远的三十年的“核聚变”技术。
于他而言，最重要的就是idea或者说一个正确的思路。
注意力机制毫无疑问就是一个很好的idea。近年无论图领域还是自然语言处理领域，对注意力机制这块动刀子的人可不少，但至今为止，注意力机制更像是在其他的模型单元上起到一个基础运算，或者说锦上添花的作用。
苏飞不认为注意力机制的作用仅限于此，不止苏飞不这么认为，世界上几乎所有相关领域学者都不认为注意力机制仅限于此，然而令人遗憾的是，还没有人能真正发挥注意力机制的作用。
苏飞在学习《认知神经科学》后，认为这是一个很好的机会。
于是，他把近年的注意力机制相关的论文全部罗列了出来。
【基于注意力机制的端到端机器翻译算法】。
【基于注意力机制的新自适应权重算法】。
【以注意力权重再分配改善注意力机制】。
【目标检测上的注意力机制新型应用】。
…
…
苏飞就这么看了整整一个下午的注意力机制文献，然而，他只想说，还是小看了深度学习领域人们灌水的能力。
他在过目不忘和知识快解的加持下，一下午看了上百篇，其中百分之九十五都没有任何价值，其中有好几篇说是学术垃圾都算抬举他们了。最过分的一些论文是通篇讲解这个模型结构多牛逼多牛逼，最后一看，连个代码库都不上传。
这种做法无疑是此地无银三百两，就是明着告诉别人，我不敢传代码给你复现，怎么滴！
即便是华科院一区和CCF-A类的部分顶刊顶会论文，灌水者也是不少。
对于这种情况，苏飞也是无可奈何，学者也是人，也是有所谓的关系户和各种潜规则的，即便是顶会顶刊也没法保证每一篇都有相应的含金量，一些阿猫阿狗也还真的能上。
看了一个下午的苏飞只得到了七八篇比较有价值的论文。
“算了，急不得，慢慢来吧。”
苏飞深吸了一口气，他现在只想好好洗洗眼，某些论文实在辣他眼睛。