2024-08-11 03:28来源:本站
考虑到人工智能(AI)解决问题的巨大潜力,认为人工智能也可以帮助我们应对气候危机并不牵强。然而,当我们考虑到人工智能模型的能源需求时,很明显,这项技术既是解决方案,也是气候问题的一部分。
排放来自与人工智能相关的基础设施,例如建设和运行数据中心,这些数据中心处理维持这些系统所需的大量信息。
但我们构建人工智能系统的不同技术方法可以帮助减少其碳足迹。有两种技术特别有望做到这一点:脉冲神经网络和终身学习。
人工智能系统的生命周期可以分为两个阶段:训练和推理。在训练过程中,使用相关的数据集来构建和调整-改进系统。在推理中,经过训练的系统根据以前未见过的数据生成预测。
例如,训练一个用于自动驾驶汽车的人工智能将需要一个包含许多不同驾驶场景和人类驾驶员所做决策的数据集。
在训练阶段之后,人工智能系统将预测自动驾驶汽车的有效操作。人工神经网络(ANN)是目前大多数人工智能系统中使用的底层技术。
它们有许多不同的元素,称为参数,其值在人工智能系统的训练阶段进行调整。这些参数总共可以超过1000亿。
虽然大量的参数提高了人工神经网络的能力,但它们也使训练和推理过程变得资源密集。从正确的角度来看,训练GPT-3(目前ChatGPT的前身人工智能系统)产生了502公吨的碳,相当于驾驶112辆汽油动力汽车一年。
由于推理,GPT-3每年进一步排放8.4吨二氧化碳。自2010年代初人工智能热潮开始以来,被称为大型语言模型(llm)的人工智能系统(ChatGPT背后的技术类型)的能源需求已经增加了30万倍。
随着人工智能模型的日益普及和复杂性,这一趋势将继续下去,可能使人工智能成为二氧化碳排放的重要贡献者。事实上,由于缺乏衡量人工智能相关排放的标准和准确技术,我们目前的估计可能低于人工智能的实际碳足迹。
前面提到的新技术,尖峰神经网络(snn)和终身学习(L2),有可能降低人工智能不断增加的碳足迹,snn可以作为人工神经网络的节能替代品。
人工神经网络通过处理和学习数据模式来工作,使它们能够做出预测。他们处理十进制数字。为了进行精确的计算,特别是当数与小数点相乘时,计算机需要非常精确。正是因为这些十进制数字,人工神经网络需要大量的计算能力、内存和时间。
这意味着随着网络变得更大、更复杂,人工神经网络的能源消耗也会越来越大。人工神经网络和超信神经网络都是受大脑的启发,大脑包含数十亿个神经元(神经细胞),通过突触相互连接。
像大脑一样,人工神经网络和超信神经网络也有研究人员称之为神经元的成分,尽管这些成分是人工的,而不是生物的。这两种类型的神经网络的关键区别在于单个神经元相互传递信息的方式。
人类大脑中的神经元通过传递被称为“尖峰”的间歇性电信号来相互交流。尖峰本身并不包含信息。相反,信息存在于这些峰值的时间。这种二值化、全有或无的尖峰特征(通常表示为0或1)意味着神经元在尖峰时是活跃的,否则是不活跃的。
这是大脑中能量高效处理的原因之一。
就像莫尔斯电码使用特定的点和线序列来传递信息一样,snn使用尖峰的模式或时间来处理和传输信息。因此,尽管人工神经网络中的人工神经元始终处于活动状态,但snn仅在峰值发生时才消耗能量。
否则,它们的能源需求几乎为零。snn的能源效率是ann的280倍。
我和我的同事正在为snn开发学习算法,这可能会使它们更接近大脑所表现出的能量效率。较低的计算需求也意味着snn可能能够更快地做出决策。
这些特性使得snn可用于广泛的应用,包括空间探索、国防和自动驾驶汽车,因为这些场景中可用的能源有限。
L2是我们正在研究的另一种策略,用于降低人工神经网络在其整个生命周期中的总体能量需求。
在新问题上按顺序训练人工神经网络(系统从数据序列中学习)会导致它们在学习新任务时忘记之前的知识。当人工智能的运行环境发生变化时,需要从头开始对其进行再培训,这进一步增加了人工智能相关的排放。
L2是一个算法集合,它使人工智能模型能够在很少或没有遗忘的情况下按顺序训练多个任务。L2使模型能够在其现有知识的基础上进行终身学习,而无需从头开始对其进行再培训。
人工智能领域正在快速发展,其他潜在的进步正在出现,可以减轻这项技术的能源需求。例如,构建较小的人工智能模型,使其表现出与较大模型相同的预测能力。
量子计算——一种利用量子物理世界现象构建计算机的不同方法——的进步也将使使用人工神经网络和snn的训练和推理速度更快。量子计算提供的卓越计算能力可以让我们在更大的范围内为人工智能找到节能的解决方案。
气候变化的挑战要求我们在人工智能等快速发展的领域的碳足迹变得太大之前,努力找到解决方案。