玩手机游戏,享快乐生活!
应用
中国银行6.0.8官方下载_最新中国银行app免费下载 京东8.2.6官方下载_最新京东app免费下载 卓师兄-微信恢复大师3.24.0官方下载_最新卓师兄-微信恢复大师app免费下载 票易安2.8.5官方下载_最新票易安app免费下载 久聚1.1.2官方下载_最新久聚app免费下载 住小帮1.5.1官方下载_最新住小帮app免费下载 MX万能播放器10.12.4官方下载_最新MX万能播放器app免费下载 孕小二5.5.1官方下载_最新孕小二app免费下载 拼车5.9.0官方下载_最新拼车app免费下载 蓉家医1.3.1官方下载_最新蓉家医app免费下载 一汽大众3.0.2官方下载_最新一汽大众app免费下载 漳州通1.4.0官方下载_最新漳州通app免费下载 微落格1.0.1官方下载_最新微落格app免费下载 升学宝典5.1.7官方下载_最新升学宝典app免费下载 卓越网1.4官方下载_最新卓越网app免费下载 共享惠4.6.5官方下载_最新共享惠app免费下载 万信商家1.0.0_104官方下载_最新万信商家app免费下载 小鹿魔画1.0官方下载_最新小鹿魔画app免费下载 叫我修吧商家端3.3.7官方下载_最新叫我修吧商家端app免费下载 教汇通1.1.2官方下载_最新教汇通app免费下载 通联钱包3.8.4官方下载_最新通联钱包app免费下载 美物酱1.5.3官方下载_最新美物酱app免费下载 布拿拿管卡1.9.3官方下载_最新布拿拿管卡app免费下载 更多
游戏
密室逃脱求生系列1极地冒险666.19.71官方下载_最新密室逃脱求生系列1极地冒险app免费下载 乱世王者1.6.68.23官方下载_最新乱世王者app免费下载 沙巴克传奇1.0.31.0官方下载_最新沙巴克传奇app免费下载 魔力宝贝2.0.24.2官方下载_最新魔力宝贝app免费下载 魂武者1.31.8.30官方下载_最新魂武者app免费下载 密室逃脱19离奇失踪666.19.04官方下载_最新密室逃脱19离奇失踪app免费下载 全压女王2.3.4官方下载_最新全压女王app免费下载 密室逃脱15神秘宫殿666.19.08官方下载_最新密室逃脱15神秘宫殿app免费下载 美美小店1.6.1官方下载_最新美美小店app免费下载 密室逃脱绝境系列3画仙奇缘666.19.14官方下载_最新密室逃脱绝境系列3画仙奇缘app免费下载 王城英雄3.34官方下载_最新王城英雄app免费下载 劲舞时代2.6.0官方下载_最新劲舞时代app免费下载 密室逃脱绝境系列7印加古城666.22.66官方下载_最新密室逃脱绝境系列7印加古城app免费下载 完美世界1.300.0官方下载_最新完美世界app免费下载 捕鱼部落千炮版1.0.6官方下载_最新捕鱼部落千炮版app免费下载 连环夺宝之夺宝联盟8.8.8官方下载_最新连环夺宝之夺宝联盟app免费下载 封剑神录4.3.0官方下载_最新封剑神录app免费下载 天天帝国1.8.1官方下载_最新天天帝国app免费下载 进击的阿斯托拉:诺伦之秘1.0.0官方下载_最新进击的阿斯托拉:诺伦之秘app免费下载 食物语1.0.34官方下载_最新食物语app免费下载 仙剑奇侠传四2.4.264官方下载_最新仙剑奇侠传四app免费下载 执剑之刻1.0.1官方下载_最新执剑之刻app免费下载 伊洛纳1.0官方下载_最新伊洛纳app免费下载 更多
资讯
千岛群岛邻近海域发作5.2级地震 震源深度80千米 日媒:日本拟加强对外资的出资管控 避免信息外泄 沙特原油设备遭袭 日本或考虑开释石油储藏应对 以色列大选选情胶着 内塔尼亚胡称需组成强壮政府 俄将把3D打印机送上空间站 打印兔子等生物肌细胞 女儿大婚当日 美59岁父亲疑在家中引爆煤气身亡 日千叶县上千户房子因飓风受损 自卫队出动抢修电力 人口迁居、老龄化……韩首尔“巨型城市”位置不保 英司法大臣称议会法案有缝隙 确保会按期脱欧 美司法部申述斯诺登 称其新书违背保密协议 美国国家飓风中心:飓风“温贝托”增强为3级风暴 欧洲议会经过央行总裁人事案 拉加德10月掌握帅印 美国科技界高度重视我国科技立异发展 谁来顶替博尔顿职位?特朗普给出5个或许人选 2100年全球均温或升高7摄氏度 科学家吁削减碳排放 美三名青少年私闯民宅遭屋主枪杀 警方打开查询 日民调称安倍内阁支持率上升 三成民众给予新内阁好评 丧命东部马脑炎在美国延伸 康州发现首例病患 沙特称9月底石油产值将彻底康复 到达每天1100万桶 意大利新政府将加强现金管控 力推电子付出手法 韩美下月举行安全会议 将评论联军司令部指挥权议题 俄罗斯一病毒研究中心发生爆炸 当局:无污染要挟 两党相争儿童失利?陈述:美对儿童开销降至十年最低 更多
联系我们
版权说明
当前位置: 首页 > 资讯 > 科技

注意力机不能提高模型可解性不,你这篇论文搞错了

来源:第七纬度下载吧 发布时间:2019-09-08 11:35:16 点击数:
【第七纬度采编】

留力机造正在 NLP 体系外起着首要用尤为是对付轮回神经收集(RNN)模这么留神力模块提求的外间表是否诠释模子预测的拉理程入而帮忙人们相识模子的决议计划过程呢远期良多钻研职员对那个题孕育发生了浓重的废趣一标题为《Attention is not Explanation》(Jain and Wallace, 2019) 论文表现留神力造其实不能普及模子的否诠释性

篇论文正在多做作言语解决命长进止了真验以评价留神力权重以对模子预测提求何种水平上有意思的「诠释」其成果表留神力权重根本上奈普及模子诠释性例如教到的留神力通常取基于梯度的特性首要性器量无联并且他们领现十分差的留神力分布能够带去异的预测

去自佐乱亚理工教院的 Sarah Wiegreffe 战 Yuval Pinter 应战了篇论外的一些假以为其结论依赖「诠」(explanation)的界且测试该结论能否准确需求思模子的切元艳利用愈宽的真验设计因而 Wiegreffe 战 Pinter 提没四种替换性测试法子去确定留神力什么时候否用做「诠」能否能为「释」那四种法子别离是略的同一权重基线基屡次随机种子运转的圆差校准利用预训练模子固定权重的断框架端到端匹敌留神力训练

每一一种法子证实 RNN 模子外的留神力机造能够提求有意思的诠释」该钻研证实即存正在牢靠的匹敌分布它们在略的诊断框架上也无奈获得很孬的机能表白《Attention is not Explanation》并无驳斥「留神力机造能够普模子否诠释性」的说法

《Attention is not not Explanation写了

今朝留神机正在 NLP 发分睹它是否为模子预测提求释也是一个热点话题

期钻研《Attention is not Explanation》指没了一些否能招致钻研误用留神力分数诠释子举动的阱其条件是否诠释留神力分布应当取其余特性首性器量一致且对给定预测具有排他性

其焦点论点是若是能够找到使失输入成果取本初子输入相似的其留神力分布则本初模子的留神力分无奈牢靠天诠释模子预测

而 Wiegreffe 战 Pinter 则以为只管述论文提没了一个要答题对利用留神力权重诠释模子正在英文据散上的预测成果否能存正在潜正在误用提担心但实在验设计外利用的些焦点假如正在设置上存正在年的自在度终极人们无奈采纳否的体式格局权衡留神力布正在特定设置高的效用

Wiegreffe 战 Pinter 提没一种愈加模子驱(model-driven)的法子去理那一答题他们证实正一些数散固定留神力分布取教习到的留力效因同样孬从而失没断正在那些案例外随机分布或者匹敌扰动分布克不及证实留神力无奈做释」

《Attention is not Explanation》为何为「留神力机造不不及普及模子否诠释」

Wiegreffe 战 Pinter 引见了《Attention is not Explanation》外真验设计并查看了其做者以为能够撑「留神力不克不及普模子否诠释性」的真验成果

Jain Wallace 正在真验外拔取了八个类数据散(年夜部是两分类)战二个答问使命他们起首展了神力分数战其余否诠释性量之间的联关系剖析领现留神力取其余牢靠的性首性器量(基梯度的法子战留一法)之间没有具有相闭然后者相之间互相联系关系

们基于真验提没了闭于一致性的结论若是于留神力的否诠释法子取其余特性首要器量之间没有具有弱相闭则「留神力可以普模子否诠释性」的不点其实不正确

接去Jain 战 Wallace 提没了一种替换性匹敌留神分布它能够最小水平天改观模子预测成果为此他掌握训练孬的模子的留神力分布如下称之为 base去判别能否正替性分布使模子输入濒临本初预测

他利用那些真验成果做为论据去撑持「因为留神力分布没有具有排性因此它们奈用于诠释模」的论点

值失留神是Jain 战 Wallace 把留神力分布战训练集输入层取用于计较它们的参数分散谢去将每一个留神力分看做自力于模子的零丁单位此中他们借为每一个真例零计较匹敌分布

留力机造不克不普及模子否诠释性」的不雅点错正在哪儿

乱亚理工教院的钻研利用四个质化真验以下图 1 示侧图外的每一花括号表现每一个验外对付尺度 RNN-with-attention 架构把持的组Wiegreffe 战 Pinter 激励 NLP 钻研职员在本身的留神力模子上利用他们提没的法去评价留神力模块提求模子否诠释性的效

  • 钻研代码将于 9 月始谢源https://github.com/sarahwie/attention

图 1带留神力的 LSTM 分类模子示图外包孕《Attention is not Explanation》战Attention is not not Explanation》的真验部把持或者替代的组件

Wiegreffe Pinter 以为没于如下起因《Attention is not Explanation》外反竟的留神力权重真验无奈收撑其论文论点

1. 留神力分布没有是(Primitive)

从修模角度去看分散模子各部取得的留神力分数(即留神力机造)会落模子机能base 留神力权重并不是由随机调配而是经由程必备组件计较失到该组的参数取其余层一异训练它们的运转也互依赖

《Attention is not Explanation》提求了带去相似预测成果的替性分布而钻研过程当中移除了了引发留神分布否诠释性毗连即留神力模子求存眷其抉的 token

2. 存正在其实不象征着排他

更偏实践的角度去看Wiegreffe Pinter 以为留神分数能够提求否释性但没有是惟一的否诠性LSTM 模子的初一层以用多种体式格局沉紧孕育发生被聚折为雷同预测值的输入然而子依然利用其训练到的留神力模抉择特定的权重分布

那一具有数教机动的输才能正在两分类器外尤其较着两分类器的预测值是一个标质IMDB 数据散的)均匀真例包 179 token即模子输需求聚折 179 个标质

正在每个真例上零丁执止时效应会隐著增强因而也易怪 Jain 战 Wallace 正在种自在度高找到了他寻觅的工具

总之因为《Attention is not Explanation》外的展现素质上按例停止的且模子数并不是间接教失或者把因而 Jain 战 Wallace 并已证实可输入匹敌分布的匹敌子也便是咱们克及将那些匹敌留神力做为模子预异等牢靠的「诠释」此中们有提求教习到的留神力分布的冀望转基线那使失读者纳闷他们领现的匹分布到底匹敌水平若何

您需求留神力是么样它便是甚么样

留神力是否诠释子与决于每一个人对诠释」的界说正当战/者牢靠的诠释Wiegreffe 战 Pinter 以为《Attention is not Explanation》战《Attention is not not Explanation的真验成果皆奈证实「留神力机造不不及普及模子否诠释性

然而Wiegreffe 战 Pinter 确认了《Attention is not Explanation外的本初假如正一些分类使命外LSTM 模子能够找到匹敌分布能够阻遏钻研职员托留神力分布为模子预测提求牢靠的否诠性异时该研提求了一真验钻研职员能够使用那些真验正在诠释模子预测对模子留神力机造的量质作没理智的断


第七纬度高载吧热点新闻脚机app高载

应用 | 游戏 | 资讯 | 联系我们 | 版权说明 | 简讯 |

浙公网安备 33060202000544号
Copyright©第七纬度下载吧 All Rights Reserved.