首页

时间:2019-12-10 13:44:45 作者:admin 浏览量:99

好可 收自 凸非寺

量子位 出品 | 公家号 QbitAI

一篇送达ICLR2020的论文,得了三个8,是否是表示完善?

工作出有那末简朴,分外增长的两个评审又给了两个1。

有网友道:那操纵,便是”对冲“妨魁嘛。

也有网友以为,固然论文有成绩,可是如许给下分战低分,皆过火极度了。

究竟怎样回事?

论文

那篇论文提出了一种新的模子,以便正在语猜中同时捕捉语法齐局语义。

怎样做到的?

论文以为传统的RNN言语模子会疏忽少间隔的单词依靠性,战句子挨次。

新模子将随机-梯度MCMC轮回自编码变非叶斯相连系。不只可以捕捉句子内的单词依靠性,借能够捕捉句子战句子外部主题依靠性的工夫迁徙。

正在语料库的尝试成果表白,那一模子劣于现有的RNN模子,而且可以进修可注释的递回多层主题,天生语法准确、语义连接的句子战段降。

(a)(b)(c)别离是三层rGBN-RNN的天生模子;言语模子组件概述;提出的模子的┞符体架构

第一略炖审:三个8

第一轮三个评审的妨魁几乎完善,固然挨分很下,评审们皆提出了一些倡议。

藏名评审1

该办法是将已有的两种办法,伽马信心收集(gamma-belief networks)战叠减RNN相连系,操纵递回伽马信心收集的疑息对叠减RNN停止改良。

总的来讲,那是一篇写得很好的论文,表达明晰,有必然的兄吴。该办法具有优良的数教表达战尝试评价。成果看起去很风趣,出格是关于捕捉持久依靠干系,如BLEU妨魁所示。一个倡议是,取基线办法比拟,做者出有对所提出办法的庞大性战背载停止计较阐发。

藏名评审2

总的来讲,我以为那是一篇写得很清晰的论文。我以为那是一份能够承受颁发的牢靠文件。

一些有待改进的处所:

奇异的是,没有提比来一切笨嘬注目的基于LM的预锻炼的事情,我的印象是,那些模子正在年夜型多句高低文中有用天运转。像BERT战GPT-2如许的模子出有思索句子之间的干系吗?我念看到更多闭于那项事情取之共同的会商。

我没有以为夸大那个模子的奉献,即它能够“同时捕捉句法战语义”公道。我没有清晰其他言语模子能否不克不及捕捉语义(请记着,语义使用于句子中,而不但实邻齐局级别)——相反,该模子的劣势仿佛正在于捕捉句子级别之上的语义干系。若是那是准确的,那便该当更精确天表达出去。

藏名评审3

该模子扩大了以往基于深度rGBN模子的主题指导言语建模办法。固然模子的新奇写啃限,但所提出的模子狄拽习战推理是有代价的。别的,取SOTA办法比拟,本文借展现了该办法正在言语建模圆里的机能改良,申明了该办法的主要性。

范畴主席提出定见以后,别的两个评审给出了1

范畴主席定见

那篇论文看起去很风趣,可是比来正在言语建模战天生圆里的最新功效次要基于Transformer模子。但是,任何对那些模子的比力战说起,仿佛皆较着天正在本文中缺得。我念晓得:做者能否取任何模子停止了比照?我思疑那些模子正在某种水平上曾经可以捕捉主题,能够解除了对本文中提出的办法的需求(可是我很快乐被证实是毛病的)。

主席倡议研讨者,把他们的rGBN-RNN模子战 Transformer-XL停止比力。

做者则暗示,rGBN-RNN战Transformer-XL没有合适间接比力。由于二者正在模子巨细、模子建构和可注释性差别,并且Transformer-XL没有尊敬天然单凑婺鸿沟,rGBN-RNN尊敬单词-句子-文档的构造。

正在那以后,增长的两个藏名评审便绘风年夜变,皆给出了1分(回绝)。

藏名评审4

固然其根本思惟很风趣,但我最年夜的成绩是论文一起头的误导。正在第一节的第两段,文┞仿宣称基于RNN的LMs常常正在句子之间做出自力假定,因而他们开辟了一个主题建模办法去对文档级疑息成立模子。这类道法存正在一些成绩。

险些一切评价言语建模基准的LM论文皆利用LSTM / Transformer,经由过程一种十分简朴的办法将一切句子毗连起去,并增加独一的标识表记标帜去标识表记标帜句子鸿沟,从而将跨句的文档级疑息做为高低文。…………

藏名评审5

模子形貌是紊乱的,很多陈说出有恰当或充足的来由。比方:

(1)正在第2页的最初冶,他们宣称正在他们的模子中利用了言语组件去捕捉语法疑息,我没有太情愿承受;

(2)正在第3页的第冶,它道“我们界说d_j为弓背量,只是总结了后面的句子”,出有进一步的疑息,我没有晓得弓背量是甚么模样的,它是若何组成的……

更主要的是,我以为Eq.(5)是毛病的,那让我对他们的┞符个办法论发生了量疑。……

后两个评审被主席带偏偏了?仍是前三个有成绩?

那篇论文┞幅议的枢纽便是做者利用的新模子有无战已有的办法做比力。

有网友以为做者本身正在躲避那个成绩

他们以各类来由(出有压服力)答复,他们以为出有需要停止比力,主席再次答复:很好,可是我仍旧期望看迪苹个比力。然后他们答复道,他们减弱了正在论文中的主意,如今只宣称他们的表示劣于SOTA RNN,那根本上意味着他们认可他们的办法出有表示出Transformer更好。因而,从那一面勘看,做者仿佛试图袒护Transformer存正在的┞封个究竟存正在,那是荒唐的。

面临截然相反的挨分,网友观点各别。

有人以为后两个评委分歧挨最低分,实是“随机”的盲审吗?

也有人以为双方皆有成绩,新办法贫乏战Transformers的比力是相对不克不及挨8分的,可是挨1分也站没有住足。

另有以为是主席正在“带节拍”,主席以为评审能够再松散一些,便找了两个新的评审,那招致新的评审对本来的评审发生了没有信赖的觉得。

另有网友暗示,那个成绩具有代表性

那反应恋辣古机械进修中更普遍的罕见成绩。批评如斯紊乱,顶级集会的很多提奖跣很年夜的差别。现实上,论文得到完善的评价战最低的妨魁是很遍及的。我没法肯定一切切当缘故原由,但我信赖那取该范畴狄仔究数目战速率庸呢:论文被立刻上传到arxiv,鄙人一匆洋会上,便会又鬼多跟随那一研讨的,已颠末同业评审狄仔究呈现。再减上范畴的年夜容量、年会狄坠力/限期,而没有是每个月或每周的迷信期刊,这类状况便起头发作。

那事实是一个特别状况,仍是值得存眷的遍及征象?

小编念起,之前身旁的同窗结业论文盲审也获得了两级分化的评价。您有无过相似的履历呢?

传收门

https://openreview.net/forum?id=Byl1W1rtvH

声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:2057367725@qq.com 进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。

展开全文
相关文章

中国人为何无缘诺贝尔经济学奖?让奖牌再“飞一会儿”

看效果群众身边看变化|花溪趣径、飞虹卧波......“诗情画意”的花溪河湿地公园呼之欲出

兰州兽研所封闭实验室 有学生拿到检查结果就哭了

起始价15520万元,一国有建设用地出让,就在晋源武庄乡附近_腾讯新闻

成都市成功出让5宗住宅用地 金地竞得一宗_腾讯新闻

富力张力:夯实房地产主业 不主张大面积大幅度转型_腾讯新闻

腾讯引进Nintendo Switch发售:2099元可在京东天猫购买_腾讯新闻

从小白到职业生涯占星师的五个阶段_腾讯新闻

明天开始,横财如雨来,出门中头彩,12月喜事成双,天天开口笑_腾讯新闻

川哥:注会真难_腾讯新闻