人工智能对算力的需求分析和预测

人工智能对算力的需求分析和预测,第1张

  9月28日,为期3天的2020全国高性能计算学术年会(HPCChina2020)在郑州举行。中国工程院副院长、中国工程院院士陈左宁进行了题为《人工智能进展对算力需求分析》的报告。陈左宁提出人工智能模型和算法的7大发展趋势,并对AI趋势对算力的需求进行分析和预测:

  1.向无监督的方向发展

  人工智能需要适应“小数据”、减少标注需求、减少计算开销。现在用的比较多的是主动学习,即算法主动提出标注请求,将一些经过筛选的数据提交给专家标注。迁移学习即增强训练好的模型,解决目标领域中仅有少量有标签样本数据的问题。强化学习即用agents构成系统来描述行为并给予评价和反馈学习。从主动学习到迁移学习再到强化学习,需要的能力也由“人机交互能力、数据整合能力”到“大算力预训练、数据处理能力”再到“信息采集能力、概率计算能力”不断演化。

  2.可解释(XAI)越来越重要

  首先,深度学习进一步设计算法和参数,提高泛化能力,需要模型算法可解释。对抗样本如果导致模型失效,那训练数据将不合理地被局部放大。另外,模型愈复杂,越容易失去可调式性和透明性。人工智能模型有透明模型和事后可解释模式,无论是哪一个模型,他们都有对算力的需求,具体需求是需要我们将可解释技术融入软件环境中,为现有软件框架增加可解释技术接口;第二个需求是将人-AI系统结合。以人为中心,把人对事情的解释跟整个模型融合在一起。

  3.人工智能模型的自学习、自演化

  从自动机器学习(AutoML)到限制约束条件的AutoML再到不设初始条件,搜索空间极大丰富的自演化AutoML,人工智能模型的自学习、自演化需要我们提供计算框架支撑、大算力支撑、辅助设备支撑。

  4.多种算法、模型的有机组合

  这个趋势目前已经非常明显了,目前单一的算法或模型难以解决实际问题,经过分析,我们可以把多种模型有机结合起来,另外,人工智能模型的发展希望融入多种技术来解决已有问题。当然,人工智能的应用流程越来越复杂,所以,不同流程所涉及的环境也多样化,这就需要不同的算法和模型的组合,需要计算存储等可扩展能力和基础软件能力提升,支持复杂模型。

  5.人工智能应用需要关注生命周期

  从设计到数据预处理,建立、训练、优化模型,部署、推理,保持和更新,数据积累,准备,训练,得到推理结果等这些全周期不同任务具有不同的事件、空间和计算需求,全生命周期都要考虑可解释、公平性需求。

  6.分布式、分散式的需求越来越突出

  首先,大型、复杂模型,海量数据需要并行、分布式计算;第二,联邦学习等分散场景需要分布式ML原生算法。因此这就需要大算力、原生支持分散场景,而并行的、分散的人工智能模型算法本身的需求越来越突出。

  7.深度推理

  清华大学唐杰老师认为,从计算、感知、认知到意识,对算力的需求,从最初的计算存储、输入输出,到语音图像等识别,再到认知推理、自学习、顿悟等,反映出对计算需求的演进。如何应对多种形式的不确定性是目前的一大难题。比如从环境中感知的信息、知识的情景特异性、缺乏完全解释自然现象的完整理论、计算的有限合理性等。我们可以从以下三个方面有效应对多种形式的不确定性,如概率计算,类脑、仿脑体系结构、模拟计算。

  总结下来,人工智能对算力的需求有如下特点:关系和概率计算更加突出,同时不要求高精度、不要求高容错;并且在节点上简单了,此外,人在环路中的需求非常明显。这些特点可能随着人工智能的发展不断突破。
责任编辑人:CC

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/dianzi/2519112.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-08-05
下一篇 2022-08-05

发表评论

登录后才能评论

评论列表(0条)

保存