围棋三三定式口诀
中国碳交易网 首页 碳排放 查看内容

AI人工智能被批不环保 训练一个神经网络的排碳量竟然比5辆车还多

2019-7-22 06:07 来源: 大数据文摘 |作者: 曹培信

AI人工智能被批不环保


1970年,赞比亚修女Mary Jucunda给NASA(美国航空航天局)Marshall太空航行中心的科学副总监Ernst Stuhlinger博士写了?#29615;?#20449;。信中,Mary Jucunda修女?#23454;潰?#30446;前地球上还有这么多小孩子吃不上饭,他怎么能舍得为远在火星的项目花费数十亿美元。

Stuhlinger很快给Jucunda修女回了信,他这封真挚的回信随后由NASA以《为什么要探索宇宙》为标题发表。

这封信中有这样一句话:“通往火星的航行并不能直接提供食物解决饥荒问题。然而,它所带来大量的?#24405;?#26415;和新方法可以用在火星项目之外,这将产生数倍于原始花?#35757;?#25910;益。”

如今,随着许多航天技术迁徙到其他方面并对人类生活产生了巨大的影响,很少有人再去质疑航空航天是否有必要。

同样,作为目前最前沿的研究领域之一,人工智能近日也受到了环保方面的质疑。

人工智能背后的碳排放引发关注

根据?#29615;?#25552;交到自然语?#28304;?#29702;顶会ACL 2019的论文,三位来自马萨诸塞大学安姆斯特?#20013;?#30340;研究人员?#32422;?#31181;常见的NLP模型进行碳排放评估。

他们发现,像Transformer、GPT-2等流行的深度神经网络,他们的训练过程可以排放超过62.6万磅的二氧化碳当量,几乎是美国汽车平均寿命期内排放量(包括制造过程)的五倍。

比如Google AI今年发布的一篇新论文The Evolved Transformer提出的神经网络架构搜索技术,用于英语到德语翻译的BLEU分数提高了0.1,却花费了3.2万TPU小时。

尽管这篇论文并没有提供准确的基于TPU的模型训练能耗和碳排放的数据,但是根据美国环保署(EPA)统计,数据中心耗电占全球3%,且耗电量正在以每四年翻?#29615;?#30340;速度增长;同?#20445;?#25968;据中心的温室气体排放占到全球的2%,碳足迹已经追上民航业。

尽管目前数据中心大多还是在进行处理?#31361;?#20449;息等传统工作,但是基于深度学习的人工智能正成为全球数据中心业务增长的最大驱动力。

来自网?#35757;?#35752;论

这篇论文一进入大众视野,便引起了广泛讨论,?#30340;?#20154;士更多是持一?#30452;?#35777;的态度,表示虽然用于训练所产生的碳排放是客观存在的,但是并没有文章中所说的那么夸张。

Reddit有网友评论:

在8个GPU上训练12小时6500万?#38382;?#30340;一般网络总计消耗27千瓦?#20445;?#24182;且排出26磅二氧化碳,计算成本为41-140美元。这是论文中耗能最小的例子,但其实与大多数人做的训练相比,它?#33756;?#26159;规模比较大了。

而更大的BERT model,在64个GPU上训练110万个?#38382;?#32791;时80小?#20445;?#28040;耗了1507千瓦时的能量,排放了1438磅二氧化碳,计算成本为3751-12571美元。但这是一个相当大的ML项目,比大多数人运行过的规模?#20960;?#22823;,很少有个人或者组织能够做这种项目。

论文中比较有意义的是神经结构搜索(NAS)消耗的能量和排放的二氧化碳。这是有道理的,因为搜索过程可能意味着运行几个大数量级的训练步骤。

而值得指出的是,该论文所阐述的一个例子:把TPU换成八块P100GPU,用同样的方式训练同一个Transformer达到同样的成绩,将会产生惊人的62.6万磅(约合284公吨)二氧化碳。这个结果虽然很震?#24120;?#20294;实际没有人会这样去做。

而Slashdot上则有网友用新能源汽车举例:

设计节能汽车也需要消耗大量能源。但是,从长远来看是有?#20040;?#30340;。如果这些受过训练的人工智能能够通过它们所做的工作节省能量,那么从长远来看,这也将是有益的。

人工智能与环境保护站在对立面吗

首先,人工智能并非是不落地的“实验室产物”。

提到人工智能,大众往往第?#29615;从?#30340;都是?#26102;?a href="http://www.dwxak.tw/tanshichang/" target="_blank" class="relatedlink">市场所宣传的产品,这些产品往往由于宣传的需要被加入了许多噱?#33539;?#19981;具备普遍的说服力,所以人工智能在应用上总给人一种很玄的感觉。

Petuum创始人兼CEO邢波?#33756;擔?#20154;工智能太高深了,为人所知的有?#36828;?#39550;驶、医疗等应用场景,其实最普通的土木工程领域,也需要人工智能技术的变革,但是这些小的应用场景很少有人关注。

?#24405;?#26415;的落地往往会从大众不经意的地方开始。在以种植玉米和大豆出名的美国爱荷华州,初创AI公司Smart Ag公司正在开发无人驾驶拖拉机?#32654;?#24178;农活,以解决农场劳动力短缺的问题。

同样的,人工智能?#31361;?#22120;学习已经开始在大数据医疗领域蓬勃发展,例如放射学、医学?#19978;?#21644;医疗保健记录等。

在能源利用领域呢?人工智能也不是永远都是耗电的?#19988;环健?/div>

谷歌就曾给DeepMind“找了个活?#20445;?#35753;它通过操控计算机服务器和相关设备(例如冷却系?#24120;?#26469;管理部分数据中心,从而减少了数个百分点的能?#27169;?#21487;不要小看这几个百分点,要知道谷歌一年的耗电量,几乎能赶上一个旧金山了。

其次这篇论文也并非是反对消耗资源来开发人工智能的。

作者的意图只是希望提醒其他NLP学者和业界人士,在提高模型表现的同?#20445;?#20063;应该对环境影响有主动的、足够的关注。

论文的第一作者,马萨诸塞大学安姆斯特?#20013;?#21338;士生艾玛·斯特贝尔(Emma Strubell)在接受硅星人的独家采访时表示:“不计任何计算量的代价也要?#20998;?#21738;怕一丁点的准确率提升。这绝对不是一个好的趋势,我觉得我们应该做得更好,用更?#20889;?#24847;,而不是?#30475;狻?#21152;算力’的方式去做研究。”

如何做环境友好的人工智能研究,更多的使用清洁能源或是出路。从下面的表中我们可以看出,Google的数据中心用电56%来自可再生能源。

谷歌主要是通过采购大量可再生能源项目来应对能源消?#27169;?#30446;前已经包括肯尼亚的一个风力发电厂和在加州、德州等地的数个风力发电厂。

同样,亚马逊已经在美国的印第安纳、北卡罗莱纳、俄亥俄和弗吉尼亚州建设了风力和太阳能发电厂。

而国内的互联网巨头也有类似的做法,阿里巴巴张北云计算基地内数据中心将百分百基于绿色能源运转,建筑外表覆盖太阳能电板,同时采用自?#29615;?#20919;和自然水冷系?#24120;?#39044;?#24179;?#25968;据中心的制冷能耗就可以降低45%。阿里巴巴技术保障负责人周明就表示:“我们将采用全球最先进的绿色数据中心设计方案,将张北源源不断的绿色能源转化成计算资源。”

最新评论

碳市场行情进入碳行情频道
返回顶部
围棋三三定式口诀