在人工智能技术狂飙突进的当下,以GPT、BERT为代表的大规模预训练模型正经历着参数量的指数级增长。最新研究显示,训练一个千亿参数量的模型所产生的碳排放量,相当于五辆燃油汽车整个生命周期的排放总和。这种惊人的环境代价,将AI发展的可持续性问题推到了风口浪尖。 一、预训练模型的碳排放图谱 ...
标签: 能效革命
破解算力困局:人工智能万亿参数背后的技术突围战
当大模型参数量突破千亿门槛时,技术界正面临前所未有的算力危机。某头部科技公司的内部数据显示,其最新基础大模型的单次训练能耗已超过3000兆瓦时,相当于3000个家庭全年用电量。这暴露出当前人工智能技术发展的核心矛盾:算法进步与硬件支撑之间的断裂带正在不断扩大。一、算力需求指数级增长的真实困境2020