manbetx逐鹿亚冠

新研究探明“好脂肪”生成的基因调控网络

2020年2月20日

新华社柏林1月13日电(记者田颖)德国慕尼黑工业大学与瑞士同行在一项新研究中,探究了那些能够消耗能量的脂肪组织的生成机制,并确定了调控这一机制的基因网络,有望为治疗肥胖和其他代谢疾病提供新思路。

人体内的白色脂肪主要用于储存热量,是导致肥胖的“坏脂肪”;棕色脂肪和米色脂肪则主要负责消耗能量来产热,是能够减肥的“好脂肪”。米色脂肪是白色脂肪与棕色脂肪的中间物,能在两者之间转换。存在于白色脂肪中的米色脂肪在受到寒冷等刺激后,其功能可向棕色脂肪发生转变。

图为汪武颈村检查点。 本报记者 侯琳良摄

针对比赛任务,团队在报告中给出解决办法:采用量化和稀疏化技术,将深度学习算法模型进行轻量化和计算提速,以大幅降低算法模型对算力、功耗以及内存的需求,让低端设备实现人工智能方案。团队成员冷聪副研究员表示,量化及稀疏化技术也是深度学习软、硬件协同加速方案的突破口。通过将其与人工智能硬件架构设计紧密结合,可以进一步降低人工智能技术落地难度,让AI更为易得易用。

在对网络进行剪枝以后,再对网络进行定点量化。我们采用了均匀量化策略,量化公式如下:

Copyright © 2019 每日经济新闻报社版权所有,未经许可不得转载使用,违者必究。

 图1 网络各层对剪枝操作的鲁棒性分析

MicroNet Challenge竞赛对于人工智能软件、硬件的未来发展都有着非比寻常的意义,此次不仅集结了MIT、加州大学、KAIST、华盛顿大学、京都大学、浙大、北航等国内外著名前沿科研院校,同时还吸引了ARM、IBM、高通、Xilinx等国际一流芯片公司的参与。

采访快结束时,一辆车开进了村部广场。原来是黄石市政协副主席、市扶贫办主任张保平来村里指导工作。“大年三十那天,黄石就决定:就地转化,扶贫工作队拉起来就是疫情防控工作队。扶贫工作队队员就是急先锋,要拉起一道抗‘疫’的坚固防线。”张保平说。

脂肪组织对于调节人体能量平衡至关重要。此前研究表明,棕色脂肪与米色脂肪细胞越多,患肥胖及其他代谢疾病的风险越小。此次新研究表明,如能通过基因调控手段促进米色脂肪生成,那就相当于将储能的部分白色脂肪组织转变为耗能的米色或棕色脂肪,可促进代谢健康。

针对全国铁路“12.30”调图及部分新建线路开通运营,各地铁路警方增加警力,确保运营安全。北京铁路公安处张家口站派出所整治站区秩序,为京张高铁护航。包头铁路公安处组织派出所联合沿线多个村庄“高铁护路队”巡查线路,排查隐患,确保京包高铁畅通。(完)

以模型压缩和加速为代表的深度学习计算优化技术是近几年学术界和工业界最为关注的焦点之一。随着人工智能技术不断地落地到各个应用场景中,在终端上部署深度学习方案面临了新的挑战:模型越来越复杂、参量越来越多,但终端的算力、功耗和内存受限,如何才能得到适用于终端的性能高、速度快的模型? 

本报记者 贺广华 侯琳良

最终评分指标包括存储压缩和计算量压缩两部分,均采用理论计算量和存储进行计算。

记者看到,村部的厨房地上堆放着一些蔬菜,还有几袋土鸡蛋。龚队长说,村里乡亲看到他俩吃住都在村部,送来新鲜蔬菜鸡蛋,心里暖暖的。

团队结合极低比特量化技术和稀疏化技术,在ImageNet任务上相比主办方提供的基准模型取得了20.2倍的压缩率和12.5倍的加速比,在CIFAR-100任务上取得了732.6倍的压缩率和356.5倍的加速比,遥遥领先两个任务中的第二名队伍。

最后,我们进行了算子融合,把量化中的尺度因子、卷积层偏置、BN层参数等融合成一个Scale层,以进一步降低网络的存储和计算量。最终,我们的方法在ImageNet上只有0.34M参数和93.7M计算量,相对于基准模型实现20.2倍的压缩和12.5倍的加速;而在CIFAR-100上,我们的模型存储仅有49.8K,计算量为29.4M,相对于基准模型压缩732.6倍,加速365.5倍。

雷锋网原创文章,。详情见转载须知。

由Google、Facebook、OpenAI等机构在NeurIPS2019上共同主办的MicroNet Challenge竞赛旨在通过优化神经网络架构和计算,达到模型精度、计算效率、和硬件资源占用等方面的平衡,实现软硬件协同优化发展,启发新一代硬件架构设计和神经网络架构设计等。

这一研究结果已发表在美国《细胞报告》杂志上。

联系我们 广告投放 友情链接

我们主要采用稀疏化+量化的方式,主要包括模型选择、网络剪枝、定点量化、算子融合等操作,实现大规模稀疏和极低比特压缩。

本比赛总共包括三个赛道:ImageNet分类、CIFAR-100分类、WikiText-103语言模型。在三个赛道上,参赛团队要求构建轻量级网络,在精度满足官方要求的条件下,尽可能降低网络计算量和存储。对于ImageNet分类,要求至少达到75%的top-1精度,而对于CIFAR-100,top-1精度需要达到80%以上。

在湖北省黄石市疫情分布图上,乡镇农村属于情况突出的地区。2月7日下午,记者一行驱车前往与江西省交界的黄石阳新县农村实地探访,通过多次检查,花了两个多小时,才抵达有“阳新北大门”之称的白沙镇。

告别汪武颈村,沿着村道继续往前。在吴东城村委会办公楼附近,碰到了正在给村民散发传单的万健学。他也是一名驻村扶贫工作队队员,来自阳新县农业农村局。“元宵节就在眼前,得赶紧告诉村民不要进行聚集性活动,比如舞龙舞狮、灯谜晚会等。防控吃劲的紧要关头,这些千万来不得!”万健学说。

在确定好模型之后,我们先对网络进行剪枝,去掉不重要的参数量和计算。在这之前,我们对每一层进行了鲁棒性分析。具体而言,对于每一层,我们进行稀疏度从0.1到0.9的剪枝,然后测试网络精度。图1显示了网络各层对不同稀疏度的影响,可以看出某几层对网络剪枝特别敏感,而其余一些层对剪枝却很鲁邦。基于此,我们确定了每一层的稀疏度,然后删除不重要的节点,再对剩余连接进行重新训练。我们可以实现在稀疏度大概为60%的情况下,精度损失只有0.4%。

问起村里的疫情状况,龚队长了然于胸:今年返乡回村过年的有134人,确诊一例已经治愈,目前处于隔离观察状态,还有一例疑似患者在县医院住院。

各地铁路公安机关组织民警加强车站广场、售票厅、候车室、站台等区域的巡查,及时清理闲杂人员,对发现的可疑人员进行重点盘查,特别是对倒卖车票、强行拉客等违法人员进行打击整治。12月28日,南京铁路公安处根据线索,在河南省周口市捣毁一制贩假火车票窝点,缴获假火车票23张、半成品火车票341张及部分制假工具。12月29日,在K351次旅客列车上,值勤的成都铁路公安处乘警在巡查中,将一名涉嫌盗窃的网上在逃人员查获。12月28日,济南铁路公安处济南站派出所根据旅客报警,调取监控视频、走访调查,当天将盗窃项链、手表等价值8万余元财物的嫌疑人罗某抓获。

对于计算量,乘法计算量和加法计算量分别计算。对于稀疏而言,稀疏的位置可以认为计算量为0。对于定点量化,32比特操作算作一个操作,低于32比特的操作按照比例计算。操作的比特数认为是两个输入操作数中较大的那一个,例如一个3比特数和一个5比特数进行计算,输出为7比特数,那么该操作数为5/32。

在白沙镇,每过一个检查点都十分严格。不仅监测体温、登记信息,还有工作人员拿手机把车牌号拍下来。“疫情不退,我们不收兵!”镇党委书记毛卫平说。

市里的?原来,他们来自黄石市机关事务管理局,是驻村扶贫工作队的队员。汪武颈村是县里的重点扶贫村,虽然已经脱贫摘帽,但是脱贫不脱政策。队长龚世明说,脱贫是一场攻坚战,两个人在这里干了两三年了。

他大年三十下午赶回吴东城村,同样吃住在村里。问他,奋战半个月想不想家?万健学说:“妻子孩子都在老家,开车过去要两个小时,想他们了就打个视频电话。希望疫情早点控制住,回家团聚。”

阳新退出贫困县序列还不到1年时间。作为武汉城市圈的一部分,全县有7.2万人从武汉回家过年。疫情来袭,吹响了县里382支四级扶贫工作队、上千名扶贫干部返村战“疫”集结号,他们毅然放弃家庭团聚,奔跑在阳新乡村大地上。

龚世明毫不犹豫地回到村里,摸排相关地区返乡人员情况,值守检查点。黄朝寅说,幸好他们回来了,不然5个村干部,真忙不过来。更关键的是,扶贫队员雪中送炭,带来了口罩、酒精等物资。农村这些防疫用品比较少,这个当口,很是需要。

沿着村道径直往前开,在一家门前国旗飘扬的村部停下车。这个村叫汪武颈村,村部广场立起的高音喇叭,正在播报疫情防控知识。前方路口,一个搭起的蓝色帐篷,就是检查点。村党支部书记黄朝寅介绍:“正在值守的两位‘红袖章’是市里的干部呢!”

研究人员通过动物实验发现,不同基因背景的小鼠生成米色脂肪的能力不同。通过系统性比较不同基因背景小鼠脂肪细胞的转录组,研究人员不仅确定了哪种基因对于米色脂肪的生成起作用,而且将这些基因连接成一个基因网络。

关注我们 微博@每日经济新闻 腾讯微信 订阅中心

对于激活,每层引入一个浮点数尺度因子;而对于权值,每个3D卷积核引入一个浮点数尺度因子。在给定比特数的情况下,以上优化公式唯一的待求解参数就是尺度因子,即优化目标为,我们采用迭代优化的方式计算出每一层的尺度因子。在求解尺度因子之后,与网络剪枝类似,我们需要对网络进行微调来恢复精度,在网络微调阶段,我们保持尺度因子一直不变。通过以上方式,我们可以实现在激活7比特,参数大部分为3、4、5比特的情况下,网络精度损失为0.5个点,最终网络模型top-1精度为75.05%。

对于存储,所有在推理阶段需要使用的参数均需要计算在内,比如稀疏化中的mask、量化中的字典、尺度因子等。对于存储,32比特位算作一个参数,低于32比特的数按照比例计算,例如8比特数算作1/4个参数。 

MicroNet Challenge竞赛包括ImageNet图像分类、CIFAR-100图像分类和WikiText-103语言模型三个子任务。来自自动化所程健研究员实验室的团队参加了竞争最激烈的ImageNet和CIFAR-100两个子赛道的比拼。历经五个多月的厮杀,团队一举包揽了图像类的全部两项冠军。

首先是模型选择,复杂的模型往往具有更高的精度,参数量和计算量较大,但同时压缩空间也比较大;轻量级模型精度相对较低,但参数量和计算量相对较小,同时对网络压缩也比较敏感,因此需要再模型复杂度和精度之前进行权衡。我们选择轻量级、同时精度略高于比赛要求的网络。最终在ImageNet上选择了MixNet-S模型(精度75.98%),在CIFAR-100上选择了DenseNet-100(精度81.1%)。