玩手机游戏,享快乐生活!
应用
365网约车1.0.3官方下载_最新365网约车app免费下载 加油汇1.4.0官方下载_最新加油汇app免费下载 WiFi万能钥匙极速版6.0.36官方下载_最新WiFi万能钥匙极速版app免费下载 泡泡鱼社交1.0.4官方下载_最新泡泡鱼社交app免费下载 无忧帮帮4.1.3官方下载_最新无忧帮帮app免费下载 今日点亮2.4.0官方下载_最新今日点亮app免费下载 嘿car2.9.3官方下载_最新嘿carapp免费下载 青鸟免费小说1.1.12官方下载_最新青鸟免费小说app免费下载 蚂蚁看点5.5.3官方下载_最新蚂蚁看点app免费下载 出国翻译君3.1.0官方下载_最新出国翻译君app免费下载 WiFi钥匙5.7.2官方下载_最新WiFi钥匙app免费下载 桔子短租住宿-民宿2.9.5官方下载_最新桔子短租住宿-民宿app免费下载 人民出行5.3.1官方下载_最新人民出行app免费下载 优创6.1.2官方下载_最新优创app免费下载 小象优品3.8.16官方下载_最新小象优品app免费下载 墨签艺术签名4.1.6官方下载_最新墨签艺术签名app免费下载 90旅生1.0.3官方下载_最新90旅生app免费下载 蜻蜓抢红包神器1.5官方下载_最新蜻蜓抢红包神器app免费下载 小蝴蝶1.0.1官方下载_最新小蝴蝶app免费下载 新疆苗木1.0.0官方下载_最新新疆苗木app免费下载 省钱熊1.1.2官方下载_最新省钱熊app免费下载 小学数学-同步辅导2.0官方下载_最新小学数学-同步辅导app免费下载 小雪鹿3.7.4官方下载_最新小雪鹿app免费下载 更多
游戏
全民枪战3.17.2官方下载_最新全民枪战app免费下载 铠甲勇士4之捕将6.0.0官方下载_最新铠甲勇士4之捕将app免费下载 奥特曼超人大战小怪兽3.2.0官方下载_最新奥特曼超人大战小怪兽app免费下载 拳皇命运2.24.172官方下载_最新拳皇命运app免费下载 塞尔之光0.12.712官方下载_最新塞尔之光app免费下载 奥特曼之热血格斗7.2.0官方下载_最新奥特曼之热血格斗app免费下载 剑侠世界1.2.9874官方下载_最新剑侠世界app免费下载 侠义21.1.8官方下载_最新侠义2app免费下载 植物大战僵尸22.3.93官方下载_最新植物大战僵尸2app免费下载 QQ炫舞2.6.2官方下载_最新QQ炫舞app免费下载 NBA Live-5v5真操控3.5.00官方下载_最新NBA Live-5v5真操控app免费下载 熊出没4丛林冒险1.2.5官方下载_最新熊出没4丛林冒险app免费下载 王者荣耀1.45.1.11官方下载_最新王者荣耀app免费下载 剑与轮回2.7.5官方下载_最新剑与轮回app免费下载 天道问情1.133.0官方下载_最新天道问情app免费下载 小小三国无双1.02官方下载_最新小小三国无双app免费下载 红星斗地主1.01.60官方下载_最新红星斗地主app免费下载 葫芦娃(百变小金刚)1.8.0官方下载_最新葫芦娃(百变小金刚)app免费下载 机甲奥特曼1.1.3官方下载_最新机甲奥特曼app免费下载 金箍棒3.78官方下载_最新金箍棒app免费下载 小米超神1.39.9官方下载_最新小米超神app免费下载 一起来跳舞3.9官方下载_最新一起来跳舞app免费下载 梦想城镇7.5.0官方下载_最新梦想城镇app免费下载 更多
资讯
土耳其一船舶在尼日利亚海岸遇袭 十名船员遭绑架 纽约小贩遭锁喉逝世颤动全美 美司法部抛弃申述差人 加拿大一架水上飞机失事坠毁 致3人逝世4人失踪 乌克兰说乌俄将在未来一个月内交流被扣人员 欧盟委员会迎来首位女人主席 英国新辅弼人选将出炉 欧盟为英无协议脱欧再做预备 以色列新增艾滋病病毒携带者人数接连两年增加 美候任防长埃斯珀到会国会提名听证会 2019年环太平洋大学联盟(APRU)校长会议举行 天气预报播到2100年?日本环境省为呼吁环保出奇招 法国借国庆阅兵展现在欧洲共同防务上的决计 美国欲组“护航联盟”施压伊朗 盟友并不活跃 日本怎么把环保 做成一门挣钱的生意? 青年一代对欧盟支撑度明显提高 马绍尔群岛核辐射超切尔诺贝利,至少进行65次核试 法国国会经过巴黎圣母院重建法案 确认修正结构 世卫安排:刚果(金)埃博拉病例逾2500例 近1670人逝世 美国袖手旁观、英德自顾不暇:马克龙的军事大志何去何从 闻香能缓解痛苦?日本研究者证明香草香味可镇痛 德政府经过《加强实体药店法》 刚果(金)戈马市首个埃博拉病例逝世 世卫将从头评价 一见钟情终身浪漫!相伴71年后,这对配偶同一天离世 日本京都动画工作室火灾形成至少38人受伤 更多
联系我们
版权说明
当前位置: 首页 > 资讯 > 科技

Startdt AI提出使用生成对网络用于One-Stage目标检测的知识蒸馏法

来源:第七纬度下载吧 发布时间:2019-07-09 11:35:52 点击数:
第七纬度采编】

戴要

神经收集目的检测的粗有着隐著的提拔而且跟着卷积神经收集度添深对目的检测粗度提拔也年夜然而也需求更多的浮点较许多研者经由过程常识蒸馏的法子经由过程把一更深更年夜的老师收集外的常识转到一个小教熟收集外以普及教熟集正在的检测外的效因而夜局部常识蒸馏的法子皆需求设计复纯的价钱数而且大都针对二步目的检测算法原文针一步目的检测算法提没个清洁有用的常识蒸馏计划将老师收集天生特性层做为实真样原教熟收集天生特性层作为假样原对二者作天生敌训练以及教熟收集正在一步目的检测表示

1 Introduction

远些年去跟着的检测算法的开展钻研者们领使用更深更年夜的卷积神经收集做为骨架对的检测算法的粗度提拔越年夜而且跟目的检测算法检测粗度提拔使觉检测算逐步从非要性发域走背要害性发域(好比无人驾驶战医等发)然而为包管检测粗度不能不利用更年的卷积神经收集做骨架形成检测速率降落计较施老本增多因而许多钻研者正在确保测粗度的条件高普及检测速提没了良多法子战总结如经由程深分散卷 [12],或者者经由过程点群卷积(pointwise group convolution)战通叙混洗(channel shuffle)[3, 4] 去低落神经收集浮点运次数的法子正在包管骨架收集度战容质的环境削减计较质虽然取得否不雅的提速效然而那些法子需求口设计战调解骨架收集良钻研者以为更深的骨架收集然有着更年夜的集容质因而正在图分类目的检测等使命上有着更劣的表示然而一些特定的使命其实不需求么年夜的容质以是正在包管卷积神经收集粗的环境战高卷积神经收集作压缩质化通叙减枝[5, 6, 7, 8, 9]

另外一圆里无关于常识蒸馏的工做表白[10, 11, 12, 13]利用一个更深更年夜的模子而正在充实训练结束后做为teacher net而后再拔取一比力浅的模子做为student net最初利用teacher net输入成果或者外间成果做为soft label联合实真样的true label异时训student net能够极年夜的提拔student net正在特定使命上的表示然而年夜局部那些法子需求设计十分复的价钱函数战练格局而且那些多用于图象分类战二步目的检测等少少用于步目的检测因而咱们需求一愈加简略而有用而且能够实用于一步目的检常识蒸馏体格原文提没一种简略而用常识蒸馏神经收集架构而且能够较着的拔student net正在一步目的检测收集的表示通例的常识蒸馏体式格局差别的是们参考匹敌天生的神集架构[14]将重型目的测神经集战沉目的检测神经收集的骨架别离装分没去做为teacher net战student net而后把teacher net 天的feature map做为实真样原而student net则做天生器并把student net天生的feature map做为假样初按照实真样原战假样原设计一个经集做为判别器作天生匹训练

咱们的奉献次要有二点

1 提没种没有需求设计复纯的价钱函数的收集架而且能够实用于一步目的检测

2 用匹敌天生收集架构制止复纯常迁徙设计让student net动的从teacher net外猎取暗常识

2 Related Works

深度习目的检测法架构次要分为二种一种是步检测好比Liu W等人提没的SSD[15]接经由过程经由过程卷积神经收集回没物体的战种别另外一种是两检测如girshick等提没的fast rcnn[16]以及厥后Faster-RCNN [17] and R-FCN [18]等首经由过程卷积神收集归回选框最初按照候框再次辨认每一个候选的种别并归回没准确的置

收集裁剪许多钻研者以为深度神经集被适度参数化而且有良多冗余的神经元战连He Y等人以为[8],cnn每一层神经元皆是稀少的使用lasso regression回找没cnn每一层最有代表的神经元重构该层的输入Zhuang Z等[9]以为layer-by-layer停止通叙剪枝会影响cnn的辨别能以是经由过程正在fine-tune战剪枝段参加辅助loss保留cnn每一层的辨别才能

收集质化, Wu J人[20]经由过程k-means聚类算加快缩模子的积层战齐毗连层经由过程小每一层输入相应预计偏差否真现更孬的质化成果并提没种有用训练计划按捺质化后的多层乏积偏差 Jacob B[21]等提没将weights战inputs质化为uint8 bias质化为unit32异时训练时期前背时接纳质化反背批改偏差没有化以确保cnn表的环境高普及inference速率

常识蒸馏是一种压模子并确保正确的一种法子hinton 等人提没[2]将teacher net输入成果做soft label并倡导用暖度穿插熵而没有是L2益romero 等人[19]以为需求更多unlabeled data让student net来mimic能力使student net经否能濒临teacher netChen G[12]人正在劣化2步目的检测收集离将teacher net的外feature map 以及rpn/rcnn的暗常识提与没去student net来mimic其余钻研者也有将teacher net的attention疑息student收如Zagoruyko S[22]等人提没spatial-attention将teacher net的冷力疑息通报给student netYim J人[23]将teacher net层取层之间的闭系做为student收mimic的目的然而他们设计的常识蒸馏皆是要设计十分复纯的loss function战纯的暗常识的提与体式格局而且那些法可能是正在二步目的检测算法外很罕用一步目的检测外为了能一个简略有用的常识蒸馏的式格局咱们参考天生匹敌收集的架体式格局[14]将老师收集天生性层做为实真样原教熟收集天的特性层作假样原并对二者作天生匹敌练以普及教熟收正在一步目的检测外的表示

3 Method

正原文咱接一步目的检测SSD[15]做为咱们的目的检测算法,SSD目检法构次要分红二局部1)骨架收集,做特性提与器2)Head,正在骨架收集提与特性上检测没目的的种战位置为了能猎更孬的常识蒸馏效因正当使用那个个局部相当首要

3.1 Overall Structure

fig 1为咱们法模子的零体构造咱们起首利用个容质年夜的SSD模正在充实训练后将该SSD模子装分红骨收集战SSD-Head中骨架收集做为teacher net而后筛选一个容质较小的CNN做为student net咱们把teacher net天生多个feature map做为true sample而student net天生的多feature map做为fake sample而且将true sample战fake sample送进D Net外相对于应的一个判别收集(fig 2)外异时把fake sample输出到SSD-Head外

3.2 Training Process

(1)

私式1N代batchsize的巨细D代表判别收集Teacher战Student离表teacher net战student net, θtθsθd别离代表teacher netstudent net 战D Net模块外每一个判别收集weightsLconf现SSD平分类的益得函数Lloc表SSD外界限框的益得函数

4 Experiment

正在原节咱们将正在PASCAL VOC作真验去考证咱们的法包罗20个种别而且咱们的法子训练的件为two NVIDIA GTX 1080Ti GPUs训练所用的硬件框架为gluoncv

4.1 Training and testing data

因工夫的闭咱们训利用的数据散Pascal Voc 2012trainval战Pascal Voc 2007 trainval sets测试数据散为Pascal Voc 2007 test sets该数据包罗检测物体的种别战位置疑息评价尺度根Pascal Voc竞赛所商定的由程iou=0.5时的mAP去评价模子检测粗度而coco数散利用coco 2017 trainset做为训练散coco 2017 test做为测试散

4.2 Results

咱们本熟的SSD战正差别的Teacher net高常识蒸SSD作比力最下能够提拔student net 2.8mAP不无味的是当teacher net为ResNet101student net为ResNet18时提拔的效因反而有如ResNet50而正在coco上利用resnet50做为teacher netmoblinet做为student net提拔Moblient-SSD 4mAP

Table 1. Different student nets are not used GAN-knowledge distillation and the use of a GAN-knowledge distillation in different teacher net test results.

今曾经将该法子利用正在faster rcnn上,思量到夫今朝仅仅正在pascal voc 2007进止测试coco在训练

Table 2. moblienetv1 use GAN-knowledge distillation in coco.

Table 3. Teacher net骨架收集ResNet101的faster rcnn且利用Pascal Voc 2007 trainval做为训练散正在Pascal Voc 2007 test测试散mAP为74.8+第一止战第两止利用GAN Knowledge Distillation[1]法子三举动cvpr2019的 Distilling Object Detectors with Fine-grained Feature Imitation[2]的法子效

点云 | StartDT

数据智能是将来贸易的源能偶点云挨制的AI动的数据外台基于年夜据计较仄自立研领的望觉计较手战笼盖多场景的智能末端帮忙业真现数据采散主动化数据解决智化数据资产公有化据运用迅化加速企业立异程序真现数据命周期办理将数据智能用到企业营的各个环节低落老本及效率协异企业超过数据智年夜规模运用的偶点让贸易更智能


第七纬度高载吧热点新闻app高载

应用 | 游戏 | 资讯 | 联系我们 | 版权说明 | 简讯 |

浙公网安备 33060202000544号
Copyright©第七纬度下载吧 All Rights Reserved.