神经网络的复杂关系推理,什么是关系推理?考虑下面的图像。几乎不可能不把它当作对象;球体,立方体等等。我们可以根据构成图像像素值的数百万个数字来考虑它。或者图像中所有边缘的角度。或者考虑每个10x10像素区域。相反,我们直观地根据它们识别图像的对象和原因。
尝试回答以下问题:“大球体剩下的棕色金属物体剩下的圆柱体大小是多少?”这是CLEVR数据集中的一个示例问题。为了回答这个问题,你需要考虑物体相对于彼此的相对位置。这种以对象和交互为中心的思维被称为关系推理,它是人类智能的核心部分。
深度神经网络非常善于识别物体,但是当涉及到他们的相互作用的推理时,即使是最先进的神经网络也在努力。例如,现有技术的卷积网络可以容易地识别上述图像中的每个对象,但是由于需要关于彼此相关的对象的推理而未能尝试回答该问题。
关系网络
关系网络(RN)它是一个简单的模块,可以为任何神经网络添加关系推理能力。他们将RN添加到其他标准卷积网络中,并在CLEVR数据集上实现超人类性能。
RN是向前迈出的重要一步,但它有一定的局限性。构造它的方式,每个识别的对象只能与其他识别的对象进行一次交互,之后网络必须给出答案。这限制了RN,因为它无法推断导出的交互,即影响对象B的对象A,而对象A又影响对象C,等等。在RN中,对象A必须直接影响对象C,或者根本不影响对象C.通过与对象B的交互不是一种选择。
循环关系网络
为了解决这个限制,我们引入了循环关系网络(RRN)。RRN不是仅执行关系推理的单个步骤,而是执行多个步骤。在每个步骤中,每个对象都受到彼此对象的影响,同时还考虑到它自己的先前状态。这允许交互从一个对象传播到下一个对象,形成复杂的交互链。
责任编辑:Ct
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)