? 他们创建了扫描NLP的XLnet:对CMU杨志林博士的采访_前沿新闻网 亚博体育手机版下载,yabo88wap下载亚博体育,yabo官网
首页 > 调查 > 正文

在电视咋看电视

他们创建了扫描NLP的XLnet:对CMU杨志林博士的采访

????机心创意

????作者:李泽南、思远

????变压器XL和XLNET是近年来自然语言处理(NLP)领域最热门的课题之一,是戴子航、杨志林等CMU博士生的工作。今年6月,CMU和Google Brain提议在20个任务中超越Bert,并在18个任务中取得了最佳性能。

????作为这些研究的核心作者,来自卡内基梅隆大学(CMU)的杨志林刚刚完成了他的博士论文。进入CMU前,杨志林毕业于清华大学计算机科学与技术系。他以满分通过了所有的编程课程。他还成立了摇滚乐队斯普莱作为鼓手和创造者之一。

????杨志林先生曾与苹果人工智能主管Ruslan Salakhutdinov合作,曾在谷歌大脑研究所和Facebook人工智能研究所工作,与图灵奖的几个获奖者合作发表论文。他四年的研究在自然语言推理、问答、文本分类、半监督学习、文档排序等30多个数据集上取得了最好的历史成果(最先进),影响更广。

????最近,机器之心与杨志林就转换因子XL和XLNET的生产工艺和技术思路进行了对话,并与他共同创建了一家技术公司RecurrentAi。

????鲜为人知的是,XLnet的提议源自拒绝。”我们向ICLR2019提交了变压器XL的论文,但被拒绝了。事实上,这个模型工作得很好——它在主流语言的预培训模型的所有数据集上都是最先进的,并且有了很大的改进。但当时被拒绝的一个重要原因是,论文审稿人认为建立语言模型毫无意义。”

????随着对变换器XL的研究越来越重视,其产生的XLnet效应令人惊叹,这使得我们重新思考如何评价语言模型研究的“意义”。

????最强的语言模式是如何形成的?

????对语言模式研究的再思考

????“审查者认为Transformer XL提高了语言建模的效果,但它并没有证明它在任何应用程序中都有改进-自我导航,而我当时处于一个矛盾的时刻。”杨志林介绍说,“一方面,语言建模是一个老问题,有一个有很多研究和进展;另一方面,除了这样做之外,除了无条件的文本生成,没有很多直接的应用程序。预培训是一个很好的应用场景,但由于标准语言模型不能对双向上下文进行建模,人们对自编码的研究越来越关注。”

????换言之,Transformer XL的评论提出了一个悖论,即每个人长期致力于解决的问题的价值突然受到质疑。

????杨志林说,xlnet的初衷是复兴语言建模,证明更好的语言模型可以为下游任务带来更好的结果。”我们希望提出一个将语言建模方法与预培训方法相结合的框架,这样,语言建模方法的升级可以通过预培训直接增强下游任务。”

????“研究的一个有趣的方面是,选择研究方向是基于不完整的信息,结果往往是不可预测的。辛顿和其他人坚持深度学习是一个成功的例子,因为很少有人相信深度学习在那之前是有效的。”

" yan jiu de yi ge you qu de fang mian shi, xuan ze yan jiu fang xiang shi ji yu bu wan zheng de xin xi, jie guo wang wang shi bu ke yu ce de. xin dun he qi ta ren jian chi shen du xue xi shi yi ge cheng gong de li zi, yin wei hen shao you ren xiang xin shen du xue xi zai na zhi qian shi you xiao de."

????特别是对于XLnet,我们判断语言建模在信息不完整的情况下是正确的方向。这种判断有两个原因。首先,如果我们测量序列中被建模的依赖项的数量,基于自回归理论的语言建模的目标函数可以达到上限,因为它不依赖于任何独立的假设。第二,语言建模任务的升级意味着模型的升级,因此很可能是在预培训阶段。更好的性能。最后,XLnet的结果证明了我们的判断是正确的。”

????这是XLnet提议背后的心理过程。

????计算能力与算法的关系

????但它还有另一个方面:对于研究人员来说,培训xlnet所需的资金从来都不是问题。杨志林说,由于与谷歌的合作,事实上,他们在研究过程中没有察觉到计算能力的问题。”我们不使用谷歌云,而是使用谷歌的内部计算集群。这里没有人关心算术的价格,这是微不足道的。事实上,在Google中有许多类似于XLnet的工作,而且许多项目比XLnet使用更多的计算能力。”

????最强大的培训模式,耗资数万美元

当前文章:http://www.hemu88.com/ylj5rh/82276-150745-13435.html

发布时间:13:49:11


{相关文章}

第85次中老缅泰湄公河联合巡逻执法行动圆满完成

????

新华社昆明8月23日电(记者林碧锋、王研)据云南省公安厅新闻云顶之弈最后_前沿新闻网办公室通报,23日12时10分,随着中方两艘执法艇顺利返航靠泊中国关累港,为期4天3夜的第85次中老缅泰湄公河联合巡逻执法行动圆满完成。

此次行明日之子第三季什么歌_前沿新闻网动中老缅泰回购5亿元股份_前沿新闻网四方共派出执法人员140余名、执法船艇7艘。执法编队在老挝班相果、孟莫及金三角等重点水域联合开展水陆联合公开查缉、联合走访、禁毒宣传等活动,共检查车辆17辆、货物1.35吨,走访船员和群众26人次。

行动期间,中老缅泰四方就9月份联合巡逻执法、多边信息交流、文化银保监会商业保险_前沿新闻网交流等系列活动进行磋商,并吴亦凡女友姓名_前沿新闻网达成一致共识;针对湄公河丰水期航船事故频发的实际,组织执法队员开展安全航船经验研讨,中老双方开展了警务实战技能交流活动。

此外,中缅双方在缅甸万崩举行了“中缅友好船艇”共建揭牌仪式、船艇开放日和足球友谊赛等活动,就“友好船艇”共建、深化执法合作、分段联合巡逻、船艇业务技能及文化交流培训等进行座谈交流,交换了意见建议。

据介绍,参与此次执法行动的中方两艘执法艇还将在老挝班相果至孟莫水域开展为期一周的船艇驻训任务。中老双方将就警务实战技能、水上救助、突发事件处置等内容开展联合训练。

????

????

????

????

(责任编辑: HN666)

????

????

????

????

??&nbs中秋晚会明星林志玲_前沿新闻网p;?

[责任编辑: 秉开]

评论

?
[ "迷你"基金处置又有新消息 迷你基金或出新处置方案 ]? [ 中国残疾人福利基金会服装捐赠项目9年惠及100多万人 ]? [ 全国田径锦标赛第二日 王宇巩立姣轻松摘金 ]? [ 大河奔流书写绿色发展画卷——黄河连续20年不断流启示 ]? [ 诺基亚5800 Xpress音乐系列回顾 ]? [ 20年赚26倍怎么做到? 基金经理:别买便宜的二流公司 ]

?
  • 关于我们 | 前沿新闻网 版权所有

    Copyright ? 2019 前沿新闻网 All Rights Reserved