清华大学金融科技研究院孵化
金融科技与金融创新全媒体

扫描分享

本文共字,预计阅读时间

像ChatGPT这样的大型语言模型能帮助我们获得更好的搜索结果,给我们的生活带来便利,但它也有不好的一面:为了提升搜索体验,训练和运行大型语言模型将产生巨大的碳排放量。

二月初,谷歌与微软先后宣布对他们的搜索引擎进行了重大改革。这两家科技巨头都在构建或购买生成式人工智能工具上投入巨资,这些工具能使用大型语言模型来理解和回答复杂的问题。现在,他们正试图将其整合到搜索中,希望能给用户提供更丰富、更准确的体验。

但对这些新工具的兴奋之情可能掩盖了一个肮脏的秘密——构建高性能人工智能搜索引擎的竞赛可能需要计算能力的大幅提升,随之而来的是科技公司所需的能源和碳排放量的大幅增加

英国萨里大学网络安全教授艾伦·伍德沃德(Alan Woodward)表示:“已经有大量资源用于索引和搜索互联网内容,但人工智能的加入会将这件事所需的能源和资源提升到另一个层次。它需要高效的处理能力、存储能力和搜索能力。每当我们看到在线处理的进一步变化时,就会看到大型处理中心所需的电力和冷却资源在显著增加。”

训练大型语言模型(LLMs),比如OpenAI的ChatGPT(它将为微软的必应搜索引擎提供支持),以及谷歌的同类产品Bard,意味着在大量数据中解析和计算联系,这就是这些模型往往是由拥有大量资源的公司开发的原因。

“训练这些模型需要大量的计算能力,”西班牙拉科鲁尼亚大学的计算机科学家卡洛斯·戈麦斯·罗德里格斯(Carlos Gómez-Rodríguez)说,“现在,只有大型科技公司才能训练这些模型。”

虽然OpenAI和谷歌都没有说过他们各自产品的计算成本是多少,但研究人员的第三方分析估计,ChatGPT部分基于GPT-3的训练消耗了1287兆瓦时,并导致了超过550吨的二氧化碳排放量,这相当于一个人在纽约和旧金山之间往返550次。

卡洛斯·戈麦斯·罗德里格斯表示:“这并没有那么糟糕,但你必须考虑到这样一个事实:你不仅要训练它,还要执行它,为数百万用户服务。”

投资银行瑞银(UBS)估计,ChatGPT每天有1300万用户,将其作为一个独立产品使用,与将其整合到每天处理5亿次搜索的必应中,也有很大的区别。

加拿大数据中心公司QScale联合创始人马丁·布沙尔(Martin Bouchard)认为,根据他对微软和谷歌搜索计划的了解,在这一过程中添加生成式人工智能,需要“每次搜索至少增加4到5倍的计算量”。他指出,ChatGPT目前对2021年底之后的事情是不理解的,这在一定程度上减少了计算需求。

但为了满足搜索引擎用户日益增长的需求,这将不得不改变。他说:“如果他们要经常重新训练模型,并添加更多参数之类的东西,计算量的规模就完全不同了。”

这将需要在硬件上进行大量投资。布沙尔说:“我们现有的数据中心和基础设施将无法应对(生成式人工智能的竞争)。计算量太大了。”

根据国际能源署(International Energy Agency)的数据,数据中心的温室气体排放量已经占到全球温室气体排放量的1%左右。随着云计算需求的增长,这一数字预计还会上升,但运营搜索引擎的公司已承诺将减少自身对全球变暖的净贡献。

卡洛斯·戈麦斯·罗德里格斯表示:“这绝对没有运输业或纺织业那么糟糕。但(人工智能)可能成为碳排放的一个重要来源。”

微软已经承诺到2050年实现碳负排放。该公司计划今年购买150万吨碳信用额。谷歌承诺到2030年在其整个业务和价值链实现净零排放。OpenAI和微软没有回应记者的置评请求。

为了减少“将人工智能集成到搜索中”的环境足迹和能源成本,可以将数据中心转移到更清洁的能源上,以及重新设计神经网络以提高效率,减少所谓的“推理时间”(即算法在新数据上工作所需的计算能力)。

谢菲尔德大学自然语言处理讲师纳菲思·沙达特·穆塞维(Nafise Sadat Moosavi)说:“我们必须研究如何减少这种大型模型所需的推理时间,”她致力于自然语言处理的可持续性研究,“现在是关注效率方面的一个好时机。”

谷歌发言人简·帕克(Jane Park)告诉《连线》杂志,谷歌最初发布的Bard版本是由一个轻量级大型语言模型提供支持的。

帕克说:“我们还发表了一项研究,详细介绍了最先进的语言模型的能源成本,包括早期和更大版本的LaMDA。我们的研究结果表明,将高效的模型、处理器和数据中心与清洁能源相结合,可以将[机器学习]系统的碳足迹减少1000倍。”

问题是,至少在谷歌的情况下,为了获得在搜索准确性上的微小进步,而付出所有额外的计算能力和麻烦是否值得。但是穆塞维说,虽然关注LLMs产生的能源和碳足迹很重要,但我们也需要注意到大型语言模型的积极方面。

她说:“这对终端用户来说是件好事。因为之前的大型语言模型并不是每个人都能使用得到的。”

[Source]

本文系未央网专栏作者发表,属作者个人观点,不代表网站观点,未经许可严禁转载,违者必究!首图来自图虫创意。

本文为作者授权未央网发表,属作者个人观点,不代表网站观点,未经许可严禁转载,违者必究!首图来自图虫创意。

本文版权归原作者所有,如有侵权,请联系删除。首图来自图虫创意。

评论


猜你喜欢

扫描二维码或搜索微信号“iweiyangx”
关注未央网官方微信公众号,获取互联网金融领域前沿资讯。