玩手机游戏,享快乐生活!
应用
铂诺理财2.9.3官方下载_最新铂诺理财app免费下载 AToken3.1.0官方下载_最新ATokenapp免费下载 柜猫家居1.0.2官方下载_最新柜猫家居app免费下载 CoinBene2.3.4官方下载_最新CoinBeneapp免费下载 美说1.5.4官方下载_最新美说app免费下载 来这花2.8.0官方下载_最新来这花app免费下载 口袋信用卡1.5.0官方下载_最新口袋信用卡app免费下载 小陪伴1.2.0官方下载_最新小陪伴app免费下载 证照卡包2.0.7官方下载_最新证照卡包app免费下载 觅诺1.8.2官方下载_最新觅诺app免费下载 欢孝-助老员版2.3.4.19官方下载_最新欢孝-助老员版app免费下载 闪银5.1.1官方下载_最新闪银app免费下载 现金贷手机借钱3.2.1官方下载_最新现金贷手机借钱app免费下载 我是球星5.3.6官方下载_最新我是球星app免费下载 铃声剪辑3.8官方下载_最新铃声剪辑app免费下载 超级视力表1.1.7官方下载_最新超级视力表app免费下载 体教联盟4.8.5官方下载_最新体教联盟app免费下载 医护之家2.4.9官方下载_最新医护之家app免费下载 BBIN电子1.0官方下载_最新BBIN电子app免费下载 美付宝4.0.0官方下载_最新美付宝app免费下载 心悦俱乐部4.9.5.31官方下载_最新心悦俱乐部app免费下载 慧眼识图1.17官方下载_最新慧眼识图app免费下载 堆糖7.2.5官方下载_最新堆糖app免费下载 更多
游戏
口袋超萌112.1官方下载_最新口袋超萌app免费下载 阿瓦隆之王5.8.1官方下载_最新阿瓦隆之王app免费下载 奇迹之剑1.2.3.2官方下载_最新奇迹之剑app免费下载 剑雨幽魂1.0.15官方下载_最新剑雨幽魂app免费下载 云梦四时歌1.68.0官方下载_最新云梦四时歌app免费下载 大话西游1.1.183官方下载_最新大话西游app免费下载 诺亚传说5.0.110官方下载_最新诺亚传说app免费下载 捕鱼欢乐季V1.5.95官方下载_最新捕鱼欢乐季app免费下载 放开那三国6.2.9官方下载_最新放开那三国app免费下载 奥特曼联盟之百变超人3.8.0官方下载_最新奥特曼联盟之百变超人app免费下载 叶罗丽公主水晶鞋2.3.0官方下载_最新叶罗丽公主水晶鞋app免费下载 米诺怪兽2:进化4.0.104官方下载_最新米诺怪兽2:进化app免费下载 奥特曼疯狂跑酷1.5.0官方下载_最新奥特曼疯狂跑酷app免费下载 铠甲勇士4之捕将5.6.0官方下载_最新铠甲勇士4之捕将app免费下载 全民捕鱼季1.0官方下载_最新全民捕鱼季app免费下载 废土行动2.10.1官方下载_最新废土行动app免费下载 菲狐倚天情缘1.0.0官方下载_最新菲狐倚天情缘app免费下载 一统天下10.1.8官方下载_最新一统天下app免费下载 神之物语1.0.16官方下载_最新神之物语app免费下载 天仙月1.0.3.3官方下载_最新天仙月app免费下载 天龙八部1.50.2.2官方下载_最新天龙八部app免费下载 口水三国(网游)1.6.0官方下载_最新口水三国(网游)app免费下载 剑与轮回-红包雨2.6.2官方下载_最新剑与轮回-红包雨app免费下载 更多
资讯
广东海关一季度查扣侵权货品逾1300万件 湖南一男人争夺公交车方向盘致车辆失控被判刑 一男人骑车遇查看强行冲岗 交警被拖行10余米 揭圈养大熊猫繁衍野化:从“两情相悦”到回归自然 2018年粤港澳大湾区邮轮旅客出入境招待量到达257万人次 抢红包软件罗列“三宗罪” “红包神器”被用来赌博 深圳彩民连中双色球一等奖 4天收成逾2000万元 姑娘,你尽力的姿态真美! 哈铁“五一”小长假开行最美赏花专列 甘肃永靖遭暴雨冰雹劲风灾祸 16人因冰雹砸落受轻微伤 奔跑吧,少年! 人大劳人院与贵大管院签署对口援助协作协议 男人在三亚酒店连杀三女 法院开庭审理曝光案情 甘肃警方首季冲击“食药环”违法犯罪涉案3.3亿 医生拒接诊插队患者被差人带走?我国医生协会发声明 广河高速致19死交通事故责任人被准予强制罚款700多万元 山西志愿者与学生组成“家庭”:你的生长与我有关 山西部分地区气温跌至个位数 多地飞雪 湖北武汉: 16个邮包中“LV、YSL”商标都是假的 假造儿子失踪引全城搜救 “失联男孩母亲”案将开庭 湖北安陆自来水变绿色 官方:估计27日全面康复供水 佛山新生儿感染致死 专家:单发的院感事情不可避免 南京一高校被打砸 系社会清闲人员和被开除学生鼓动 更多
联系我们
版权说明
当前位置: 首页 > 资讯 > 科技

Yann LeCun:未来的AI芯片应该这样做

来源:第七纬度下载吧 发布时间:2019-02-19 20:30:28 点击数:

「(关于 AI 芯片的开发)咱们正处于十分初期的阶段……」在国际芯片顶会 ISSCC 上,深度学习前驱 Yann LeCun 破天荒地披露了 Facebook 正在自研深度学习芯片的信息。在这个硬件大会上,这一次他不只说了许多,并且面临的是合座芯片范畴专家,颇有一副「我来教你怎么做芯片」的姿势。

2019 ISSCC 大会近来在美国旧金山开幕,Facebook 首席 AI 科学家 Yann LeCun 在会上宣布了主题讲演「深度学习硬件:曩昔、现在和未来」,介绍了深度学习研讨的开展将怎么影响未来硬件架构。

LeCun 在讲演中表明,咱们对深度学习专业硬件的需求只会添加,动态网络、联合回忆结构和稀少激活都将会影响未来硬件架构的类型。「这或许需求咱们重造电路中的算法。」LeCun 说,现在的核算芯片显着没有面向深度学习进行优化,「所以人们正在测验规划表达数值的更高效办法。」

此外,在承受 VentureBeat 的采访中他还表明:深度学习或许需求一种比 Python 更灵敏、更易于运用的新编程言语,现在尚不清楚是否有必要对此进行研讨,但这种未来的言语与研讨人员和工程师们根深柢固的思维必定是彻底相反的。

鄙人面的视频中,LeCun 评论了业界需求处理的硬件应战,以发明更高效、更有用的 AI 体系。LeCun 在 Twitter 上表明该视频很好地总结了他今天在 ISSCC 的讲演。

接下来,机器之心将对 Yann LeCun ISSCC 大会讲演的核心内容进行介绍:

PPT 地址:https://pan.baidu.com/s/1lXv0aDSEKXKYQVhJc5X6-A

LeCun 蛋糕 2.0 版、对图网络优化的 AI 芯片

未来的人工智能芯片必定和现在相对通用化的 CPU、GPU 有着不同架构,这一切还要从深度学习的开展说起。所以 LeCun 首要对在场的观众们介绍了 AI 算法的开展。

咱们都知道机器学习的蛋糕理论:假定机器学习是一个蛋糕,强化学习是蛋糕上的樱桃,监督学习是外面的糖衣,监督学习则是蛋糕本体。在这之中,无监督学习的重要性显而易见。为了让强化学习见效,也离不开无监督学习的支撑。

 在 ISSCC 2019 上,Yann LeCun 再次放出了最新版的「LeCun 蛋糕图」:

其间,无监督学习变成了自监督学习,咱们能够以为 LeCun 所说的自监督学习就是一种无监督办法,模型猜测的成果就是输入自身或输入的一部分。例如常见的自编码器,咱们希望将图画紧缩到一个短向量,再康复完好的图画,咱们希望输入和输出都是相同的,因而这能够视为一种自监督。又例如近来十分盛行的预练习言语模型,咱们会删去完好句子的某个或某些词,并希望模型重建完好句子,这儿输入和猜测也是相同的,因而它也是一种自监督学习

现在的蛋糕与 LeCun 在 NIPS 2016 大会上第一次发布的版别已有所不同:

事实证明,机器学习的研讨人员真的喜爱蛋糕,有时也会在上面放个樱桃。

未来的 AI 芯片将会开展成什么样?在回忆了前史之后,LeCun 给出了自己的希望。首要,咱们火急地需求低功耗芯片处理来自移动设备的一切传感器数据,由于一些数据关于带宽和推迟较为灵敏,在发送到云端之前需求预先处理。

然后是「中心段」核算的范畴,它们通常是传统的「离线」神经网络练习和传统云端推理。这些使命都会耗费许多资源,因而科技公司急需获得愈加高效的硬件。

深度学习「食物链」的最高端,Facebook 和亚马逊、谷歌的研发部门相同正需求英伟达 GPU 之外的更多处理方案。其时,英伟达 GPU 是深度学习练习事实上的处理方案。「在最高端的方位,咱们需求的是现在干流处理方案之外的竞争者。」LeCun 表明,「这并不是由于它们(英伟达芯片)并不拿手机器学习使命,而是由于咱们需求未来核算的另一种思路,作为现在 GPU 短板的弥补。」

下一代芯片的架构依然是一个悬而未决的问题。明显,未来的神经网络体量将远远超越其时,由于咱们或许需求输入整个视频的像素进行推理,然后猜测视频片段的运动。但与此一起,这些操作或许有必要在与当今根据矩阵乘法硬件不同的处理架构中进行核算。LeCun 以为,矩阵和张量是当今人工智能核算的柱石,但在未来的 AI 核算中,它们或许并非最佳处理方案。

「其时最先进的芯片基本上都是对许多 4×4 矩阵乘法在进行优化。」LeCun 表明。「所以假如你能够把自己的整个神经网络简化为 4×4 矩阵乘法,它就很好用。但这种硬件或许无法对许多卷积运算进行优化。」

「在某种程度上,这和现在深度学习研讨者在考虑的履行操作相同:拜访数据不再经过交互作用,而是经过朴实数组。你所具有的就是指针的数组,指向所需的数据。」Yann LeCun 说道。这关于处理根据核算图的数据十分有用。

深度学习算法的前进

LeCun 在讲演中具体介绍了机器学习算法的开展进程、硬件和算力的开展、深度学习的兴起、新架构的研讨、强化学习的打破和自监督学习的未来。尽管许多内容是咱们比较了解的,例如深度学习部分介绍的各种前沿视觉模型、DL 新架构中介绍的神经网络、自监督学习中的预练习言语模型,但仍是有一些新的观点或视点。

这一部分将扼要介绍 LeCun 讲演的头绪,更具体的内容可检查 PPT 或其它资源。首要 LeCun 从感知机开端介绍了机器学习开展的风风雨雨,尤其是 SGD 及反向传达算法的提出,以及通用核算芯片的大力开展,这些都为深度模型供给了根底。当然机器学习前期开展必定少不了 LeNet-5,它简略美丽的 5 层结构奠定了后续许多卷积神经网络的根底。

尽管 1990 年 LeCun 就现已提出了 LeNet-5,但直到 2012 年 AlexNet 在 ImageNet 的成功,卷积网络才实在进入研讨前沿。因而 LeCun 表明其时学到的经历教训是硬件条件真的会影响研讨方向,好的软硬件结构能大幅度提高新办法的进一步研讨。

跟着深度学习的兴起,卷积神经网络展现出强壮的信息提取才能,它结构简练、参数高效、核算快速,是抱负而高雅的建模东西。因而深度 AlexNet、更深的 VGG 以及打破深度瓶颈的 ResNet 都相继提出。LeCun 表明这一段时刻咱们都在探究高效的卷积架构,包含探究更小卷积核的 VGG-Net、探究优秀部分拓扑结构的 GoogLeNet,以及探究更优梯度传达途径的 ResNet 与 DenseNet。

尽管看起来仅仅网络变得越来越深,但躲藏鄙人面的信息流、梯度流、感触野以及张量核算流都经过不同的考虑,每一个根底架构的更新都令咱们兴奋不已。

在根底架构不断前进的过程中,各种视觉使命及其子使命也都在大步向前。例如视觉范畴最根底的辨认、定位和切割使命,它们各自阅历一系列开展进程:从简略的根底卷积架构到为特定使命构建的高效卷积运算与结构。例如两阶段方针检测算法,它们从 R-CNN 到 Fast R-CNN 再到 Faster R-CNN,这三种模型的提出旨在更高效地运用卷积和卷积抽取的特征,更快地猜测图画类别和物体方位。

除此之外,各种用于特定使命的架构和东西也层出不穷,包含大名鼎鼎的 Mask R-CNN、结合底层和笼统信息的 FPN、用于医疗印象的 3D 卷积网络等。到了近两年,视觉使命除了变得越来越精细化、衍生了许多子使命以外,它自身也在进化。例如一致实例切割与语义切割,咱们就能够提出全新的全景切割,这种新使命的端到端练习办法依然是研讨前沿。

深度学习时代,模型架构的打破很大程度都依赖于 GPU 供给的巨大算力。但仅仅获得好成果还不行,咱们的经历教训是它还有必要易于复现及牢靠,这比单纯供给跑分成果重要得多。

关于新式 DL 架构,LeCun 表明咱们重视的是回忆、推理和结构化处理,这三者都是现在还未实在处理的问题。首要回忆不只包含像 LSTM 或 GRU 那样的短期回忆,一起还包含神经图灵机那样的长时刻回忆,它们是令模型实在了解语境并进行推理的要害。

其次最近图神经网络在结构化数据上展现了很好的作用,LeCun 也介绍了它和一般卷积网络的不同及运用范围。与传统的图嵌入比较,图神经网络能够在整个网络上进行信息传达、聚合等建模,也就是说它能够把网络当成一个全体进行建模。DeepMind 提出的图神经网络一般结构 Graph Network 在必定程度上能为深度学习供给对概括和推理的建模办法,因而得到了许多研讨者的重视。

前沿的深度学习研讨还有许多,但 LeCun 表明或许动态网络会成为干流,由于它能打破其时硬件的许多假定。尽管图神经网络或许在许多运用上会有很好的体现,但它首要处理图结构的结构化数据。而像图画或语音那样的非结构化数据,咱们没有高效的手法转化为结构化数据,因而图网络依然负重致远。

强化学习怎么样?Yann LeCun 总结说它在游戏和虚拟环境中体现很好,但存粹的强化学习难以用到实在国际中。

存粹的强化学习需求太多的试错,难以学习一切东西。那么咱们离「实在的」AI 还差了什么?下图给出了阐明。

监督学习是 AI 的未来

LeCun 在讲演中还展望了未来,他以为自监督学习将是潜在的研讨方向和处理方案。自监督学习能够经过输入的某一部分猜测其它部分。在空间层面上包含图画补全、图画改换等,在时刻层面上包含时序数据猜测、视频帧猜测等。

LeCun 再次用闻名的「蛋糕图」解说了自监督学习,并介绍了自监督学习核算机视觉自然言语处理中的运用,如在文本中的运用(Word2vec、FastText、BERT)。

不过他也表明自监督学习在处理高维接连信号时体现欠安,例如做视频猜测。

可是人工智能的未来不会是监督学习,当然也不会朴实是强化学习,它应该是包含了深度模块的自监督学习

此外,LeCun 还介绍了自监督学习在学习国际模型上的运用及远景。运用自监督学习,机器能够经过输入的未标示图画、视频或音频来学习国际的笼统表征。

学习国际猜测模型

在这一部分,Yann LeCun 介绍了怎么学习猜测、推理、规划,怎么学习知识。

规划需求猜测。为了提早规划,咱们需求模仿国际。

难题:不确定性猜测。不变量猜测:练习样本仅仅全部有或许输出的表明。

自监督对立学习做视频猜测。

运用前馈模型进行规划(学习开车)。

学习到的经历包含:1. 自监督学习是未来,网络将会变得更大,也或许稀少。2. 经过最小化进行推理/揣度。3. 深度学习硬件的运用事例。

最终,常怼人的 Yann LeCun 在讲演结束仍是质疑了一下,尽管现场并未展开讲太多。从下页 PPT 中,咱们能够看到,Yann LeCun 对脉冲神经网络、神经形状架构提出了质疑。他表明,没有根据脉冲的神经网络能在实践使命上获得 SOTA 水平,为什么还要为无效算法做芯片?

AI 芯片让人工智能避开隆冬

全球 AI 芯片创业公司的融资金额正逐年提高。

纵观 AI 范畴开展的前史,只要新的芯片和硬件架构才能将 AI 带出低谷。LeCun 以反向传达举例,这是一种当今深度学习广泛选用的技能,但也是在核算机硬件大开展后才在 20 世纪 90 时代开端得到广泛运用。在曩昔,Facebook 从前规划过其他类型的硬件,如数据中心的新架构,这些研讨现在都已敞开。在未来,相同的工作或许也会发生在 AI 芯片上。


参阅内容:

https://www.businessinsider.com/facebook-artificial-intelligence-yann-lecun-2019-2

https://ai.facebook.com/blog/yann-lecun-video/

应用 | 游戏 | 资讯 | 联系我们 | 版权说明 |

浙公网安备 33060202000544号
Copyright©第七纬度下载吧 All Rights Reserved.