深度学习正在逼近计算极限 如何提升AI算力

“在智慧系统中，按照复杂度，排名是这样的：原子，分子，有机体，人类，AI，超级AI，然后是神。”

有意思的是，这个回答，来自OpenAI开发的预训练语言模型——GPT-3，这个可以跟人类对线、创作小说、编吉他谱的AI，着实在硅谷火了一把。

很难想象，2017年的ANI（弱人工智能，比如你手机上的Siri），智商测试的结果只有47，相当于一个六岁孩子的水平。

无疑，像GPT-3这样的AGI（强人工智能）才是下一代AI的未来。

那实现从ANI到AGI跨越的关键是什么呢？——算力。GPT-3的高智商，很大程度上得益于算力的提升，它的参数量是1750 亿，足足是 GPT-2 的 116 倍。

不过，麻省理工学院的研究人员最近发出了算力警告：深度学习正在逼近计算极限。

深度学习的阻碍——算力

现代计算机的计算能力以及可用于馈送算法的大量数据，的确让我们步入了AI开发的新高度。不过，还不够。

根据MIT的一项研究，深度学习的进展非常依赖算力的增长。他们断言，必须发明革命性的算法才能更有效地使用深度学习方法。

研究人员分析了预印本服务器Arxiv.org上的1058篇论文和其他基准资料，以理解深度学习性能和算力之间的联系，主要分析了图像分类、目标检测、问题回答、命名实体识别和机器翻译等领域两方面的计算需求:

1、每一网络遍历的计算量，或给定深度学习模型中单次遍历(即权值调整)所需的浮点运算数。

2、训练整个模型的硬件负担，用处理器数量乘以计算速度和时间来估算。