(文章来源:OFweek)
随着在旧金山举行的国际电子设备会议(IEDM)和在蒙特利尔举行的神经信息处理系统会议(NeurlPS)的开门红,对于任何希望跟上人工智能研发发展步伐的人来说,本周都显得十分重要。
正如IBM的研究人员正在详细介绍用于数字和模拟人工智能芯片的新人工智能方法。IBM自豪地宣称,其数字AI芯片“首次成功地使用8位浮点数训练了深度神经网络(DNNs),同时在深度学习模型和数据集的频谱上完全保持了准确性。”
另外,IBM的研究人员正在IEDM上展示一种模拟人工智能芯片,它使用8位精度的内存与投影相变内存相乘。IBM大胆预测,GPU在人工智能领域的主导地位将终结。GPU能够为图形处理做很多并行矩阵乘法。这样的矩阵乘法恰好是你需要用神经网络做的事情。
提高效率的一个途径是降低人工智能处理所需的精度。在人工智能中,神经网络是当你展示一幅图像或一个词,我们问它是猫还是狗时,它说它是猫。如果这是正确的答案,你就不必关心中间的所有计算。理想情况下,人工智能应该模仿人眼,这解释了人工智能处理中精度下降的趋势。
2015年,IBM Research发布了AI模型训练推理的降精度方法,论文描述了一种针对传统CMOS技术的新型数据流方法。IBM展示了经过16位精度训练的模型,与经过32位精度训练的模型相比,精度没有损失。
从那时起IBM注意到,降低精度的方法很快被采纳为行业标准,16位培训和8位推断现在已经很普遍,并刺激了创业公司和风险投资的爆炸式增长,用于降低基于精度的AI芯片,尽管出现了这种新趋势,但由于需要保持模型的高精度,用数字表示小于16位的“训练”几乎是不可能的。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)