多模态人机交互的研究的内容主要包括哪些方面

多模态人机交互的研究的内容主要包括哪些方面,第1张

情感计算是为了赋予计算机识别、理解、表达和适应人类情感的能力,以此实现高效、亲切的人机交互。人类情感有着表情、语音、生理信号等多种载体,进行多模态情感识别研究可以促进情感计算的发展,而多模态情感识别研究需要多模态情感数据库的支持。当前的情感数据库多是单模态的,虽有少量的多模态数据库但是还存在着一些不足的地方。因此设计并建立一个包含平静、高兴、惊奇、厌恶、伤心、生气、害怕7种情感的多模态情感数据库具有重要的理论意义。<br>本文首先设计了同步采集表情图片、语音、前额脑电信号三种模态数据的采集方案,筛选影视素材并制作了情感...

多模态融合与媒体传播效能

(一)媒体融合

媒体融合的概念源于19世纪中期美国Rosenberg首次提出的技术融合思想。继而麻省理工学院媒体实验室创始人Langlois认为媒体融合是应用计算机技术的网络终端来传输数字形态信息,带来的不同媒体间的互换和互联。1983年马萨诸塞理工大学IthielDeSolaPool正式给出了媒介融合的概念,认为数码科技技术使得原来泾渭分明的传播形态发生聚合,各种媒介呈现出多功能一体化的趋势。自此,媒体融合成为业界与学界探索的焦点。

1.媒体融合的概念和认知维度。对媒介融合概念界定主要有狭义与广义两种认识。狭义上指不同媒介形态融合在一起产生质变,形成一种新的媒介形式。广义上指一切媒介及其相关要素的结合、汇聚甚至融合。显然,媒体融合是技术迭代下一种从低级向高级逐渐发展的媒介互融与交融过程。

2.媒体融合的诱因。学者们主要将其归因为技术、经济和市场三方面。然而从媒介发展史的角度追溯,媒体融合不仅有技术或经济等方面诱因,还有可感知的需要、竞争及政治压力,以及社会和技术革新的复杂要素相互作用引起。由此,黄金认为社会和文化因素应视为经济动因、政治动因和技术动因联合起来的黏合剂。

3.媒体融合的影响与发展趋势。罗杰·菲德勒指出媒体融合是传媒业不分领域全面竞争的大媒体时代到来,是一种旧媒介形态由积累、转换,进而产生演变到自身独特的存在形式当中的新媒介。Norris从互动社会语言学视角,分析媒体融合应以人类即席交流的距离、坐姿、视角等模态转化为被新媒介交流中的表情符号、表情包、语音、短视频等数字化模态所取代。有关媒体融合的理论探索与实践应用从媒介技术融合,向媒介的内容生产、组织转型、文化融合以及多模态融合等多层面展开。

(二)媒体传播效能及评价

最早传播效能主要指涉新闻传播宣传的效果。随着互联网的崛起,传播效能评价研究在传统媒体与网络媒体之间出现分野,就现实发展而言,学术界对网络时代传播效能评价目前仍处于探讨层面。

1.媒体实践维度上,传播效能的探索聚焦于解释媒体传播效能内涵,探讨如何提高传播效能的手段和途径。蓝燕玲给出了媒体传播效能内涵、传播价值及提升策略;曲升刚和张广星分别对媒体传播效能构建与实践路径、如何重塑媒体传播效能进行了深入探究;陆华从媒体融合的背景分析了如何提高媒体传播效能。但这类文献的主旨均侧重媒体业务实践分析,包括网络背景下媒体的传播力、引导力等媒体业务实践,提出提升传播效能的建议与策略。

2.媒体学理维度上,主要从媒体本身的传播能力、媒体传播效能显现以及媒体信息传播效能三方面进行研究。此外,还有一些从媒体信息传播效能角度的研究成果,如张瑞静借鉴网络议程设置理论,立足于“新媒体即关系”的传播结构,建立新型媒体传播效能的二级量化评估指标。还有诸如谣言传播、重大突发事件的信息传播等传播效能分析的文章,主要基于某类现象的分析,通过采集非一手数据对具体传播现象和传播效能加以考察,多数仅以“议程设置”“沉默的螺旋”等理论作为标签。

(三)多模态数据分析的媒体信息传播

模态是结构系统的固有振动特性。多模态指事物呈现或体验的不同形式,常见的多模态信号有图片、声音、文字、视频等。多模态信号分析不仅存在于新闻传播学,它也需要信息科学、符号学、语言学、心理学等跨学科的理论架构和知识采纳。新媒体多模态数据分析在信息科学基础上,主要通过建立模型来关联与处理多模态的媒体数据。可概括为多模态数据的数据表示、数据映射、数据对齐、数据融合以及协同学习五个层次。其中大部分围绕数据间的多模态数据映射展开。主流的多模态数据映射方法为:基于现有映射关系,首先将现有的多模态数据符号向量化,以此作为神经网络的输入端,结合已有的对应关系,映射到另一模态,基于海量数据不断训练后,得到具有普适性的跨模态数据映射模型。在心理学基础上,主要从心理和生理测量维度针对不同通道的媒体感知信息对用户体验效果进行了较多研究。Leckner对视觉通道感知信息进行研究发现,文本内容在左侧会首先被看到,而且时间最长;大尺寸的产品比小尺寸的产品更容易被看到,用户停留的时间也更长;而动画广告在读者中并不受欢迎,不会引起更早的关注,也不会被更好地记住;虽然视差滚动技术可以提升用户体验,但是如果网站的视差滚动技术不是生动新鲜酷炫又容易使用的话,也不会受到用户认可。Vraga利用眼动技术分析包含不同的内容状态、链接和图片的Facebook内容,以及社交、新闻和政治帖子等不同类型的Facebook新闻时,发现相比于政治类帖子,新闻类帖子和社交类帖子则获得了更多的关注,人们的观看时间更长,并且在控制所有字符的情况下,人们看图片的时间明显增加。

(四)关于媒介融合与多模态传播研究的问题与缺陷

1.缺失媒体融合时代研究媒体传播活动及其具体形态的有效视角。无论是媒体本身的传播效能还是其信息的传播效能分析,学者们多以一种分散的、单一模态视角,将其视为一个相对静止、单一的整体,而较少深入、立体地探讨多种模态间的互动及其意义,但“连接”个人用户、建立“开放型”媒体,是媒体融合进一步深化的方向,也是打造新型媒体必须突破的难点。多模态数据正积极参与到媒体传播活动中,进而形成一套复杂的、有效的多模态符号与意义表达系统。因此,多模态数据是不可割裂的整体,媒体如何运用多模态融合数据提升传播效能是当前全媒体融合实践中亟待解决的问题。

2.未能建立起媒介融合背景下完备的科学评价体系。关于媒体传播效能评价的研究侧重于对策分析和评价指标体系构建,忽略对于媒体融合的实际考察,至今还没建立起一个能涵盖媒体信息加工、处理、表达与传播机制等多维媒介信息交互演化全过程系统的完备的评价体系。

3.研究方法多以定性为主,定量研究较少。国外有关媒体传播效能理论和实证研究不仅揭示了受众的信息认知与处理过程,实现了媒体传播效能的提升,还成为制定公共政策的依据,发挥推动改善媒体内容的社会效益的作用。而国内关于媒体效能的研究刚刚起步,学者们还只习惯于通过对个别事物的观察,或相关传播现象的讨论、思辨来获得提高媒体效能的对策。鲜有学者开展媒体效能评价的实证研究,多数偏重对媒体静态的信息传播现象的描述,而对动态的受众、媒介、社会等因素如何对媒体传播效能起作用的关系性研究甚少,在传播效果理论指导下旨在测量与发展传播学理论的实证研究更是罕见,缺乏定量与定性实证研究方法,系统探索信息传播与媒体传播效能机制。

二、多模态融合视域下传播的效能提升及其评估模式

(一)研究思路

这个问题的研究总体上应该沿着“现实问题-理论建构-实证验证-对策建议”的逻辑思路展开。通过媒体融合下媒体传播的动、静传播效能相关因素的发现,建立影响媒体传播效能的核心因素;引入光散理念、多模态融合研究范式针对影响媒介交互传播的核心因素进行测量,应用机器学习和深度学习方法对真实的媒体中不同模态下的数据进行挖掘,完成多模态融合的媒体传播效能评价模型的构建,验证并调整实验结果,最终提出媒体传播效能的提升策略。

(二)研究维度及结构

在全媒体融合时代的信息传播过程中,媒体特定信息的表达与诠释对该信息的传播效果及受众的认知程度影响极大。传播效能客观评价方法对优化设计媒体融合时代的媒体信息加工、处理、表达与传播机制有着重要的意义。本项研究将在构建信息的多模态融合传播数据库的基础上,探究姿态、表情、文本、语音等各模态的特征表达。以往研究中,对媒体信息的分析,多以一种分散视角看待信息传播的路径及演变规则,实际在媒体融合环境中所传播的信息是一种多模态、多维度叠加后的复合信息,不同维度的媒体信息在特定条件下呈现不同的传播强度和广度,已然不能用传统的媒体信息框架来全面诠释,可借助光散射模型加以解释。将光学模型中各种色彩是基于红、绿、蓝三原色的各种组合叠加的呈现原理,对应从叠聚-辐射视角审视媒体传播中的信息构成,进而探讨基于符号、情感、情境三维度信息分量间的融合规律及传播效果。

1.多模态融合对媒体传播效能影响的元分析

通过文献计量法,整合媒体传播效能评价已有的影响维度,同时挖掘媒介形态嬗变下媒体信息传播现象中影响传播效能的关键要素。并结合媒介融合的演进过程,从受众、媒介、社会等维度剖析出影响传播效能的动态特征要素。整合出静态与动态层级下的关键影响因素,依据媒体融合下成功典型案例分析,构建媒体传播效能的概念模型,解析出动、静效能各维度的内容构成,及其在媒体传播效能间的关联关系模型,并对其价值及作用进行检验。在媒体传播动、静效能形成和影响因素研究的基础上,确定出传播效能形成的前置因素。

2.多模态融合的媒体信息传播的叠聚-辐散

传播效能的前置因素分析和验证发现,多模态聚合的媒体信息最终呈现是由符号、情绪、情境这三维度信息的叠加得以表征。同时,三维度信息会因媒体传播中的触发物而引发传播路径上的辐散,使得受众在不同的接受节点和叠聚-辐散状态下产生不同的信息行为。由此,提出多模态融合的媒体信息传播的叠聚-辐散效应模型,同时构建出信息辐散度与信息主导度的二变量对多模态融合信息传播的叠聚和辐散状态进行度量。

3.多模态融合的媒体信息传播的叠散演化评估模型

借鉴光的叠散理念构建媒体信息传播演化模型。根据受众在媒体平台中形成的数个交流子圈群,各子圈群的信息可通过平台采集的评论量、播放量与点赞量三种典型行为数据,分别表征为媒体信息传播中的符号、情绪与情境三个维度。

在符号信息维度上,使用LDA模型对媒体信息传播的标题简介进行主题建模,得到其主题向量,每条主题向量代表该媒体信息的符号信息。并通过圈群受众所发信息之间的主题向量的相似度来计算受众之间信息传播的量;在情绪信息维度,可以使用积极和消极的两种类别作为情绪信息的分析粒度。通过机器学习的朴素贝叶斯分类模型得到积极与消极情绪分类概率权值,这个值作为媒体信息的情绪信息,测度出媒体信息之间情绪信息的差值来作为情绪信息的传播值;在情境信息维度,主要度量媒体信息发布的时间与空间特征,探讨从事件情境和主体情境两维度定义情境信息。结合媒体信息在传播过程中三维度信息处于辐散状态的大小程度,以及三维度信息中某一维度占主导地位,对媒体信息传播总态势的主导信息进行评测。

4.媒体传播效能提升策略的研究路径

在总结归纳多模态融合的媒体传播的呈现机制与传播规律、阐释论证其对传播生态的影响因素和传播路径的基础上,再对其在传播过程中的价值导向与责任引领进行效果检视,确定媒体传播效能提升策略。例如,建立“ToB”服务的新型媒体生态位、构建社群-媒体社群化运营系统-融合政策体系的责任引领、搭建小程序场景服务模式的价值引领等。

寻找影响多模态融合的媒体传播效能的关键因素。本项研究的重点、难点之一即为寻找影响多模态融合的媒体传播效能的关键因素。致使传播效能形成的静态影响因素较易归纳,例如规模、时间、方向等,传统研究已做了一些这方面的工作。但是有些致使传播效能形成的动态因素,例如受众、媒介、社会等引起的认知、情绪和行为的影响,如何将这部分主观因素与传播现象中归纳的静态因素整合为传播效能评测的关键因素为本研究的重点和难点问题。

如何从叠散原理对多模态融合的媒体交互传播过程进行评估建模。叠散是依据光的色散效应,映射到媒体传播效能的关键影响因素在信息传播中的触发物引发传播路径发生叠散,最终带来受众在不同传授点和叠散状态下产生的不同信息行为。在这个叠散演化中,媒体交互传播各要素构成了复杂、统一的整体,且各要素及其内在机制间形成紧密的依赖关系。在此基础上,通过建立数学模型或者各要素的关系,从而逐步发掘出产生这种色散变化的因果关系。而建立这种色散效应关系的数学模型是本研究的重点和难点。

三、结语

借鉴光学中色散模型构建多模态融合的媒体传播交互评价模型,能对媒体信息传播的本质变化及多模态信息之间的交互演化状态加以识别和量化。一方面针对多模态复合媒体信息传播效能精准预测出不同模态下信息交互演化的关键传播节点和预测其传播效能走势,为媒体传播效能评测及其管理提供实践支持;另一方面从单模态、多模态及复合叠加模态下进行媒体信息传播模式的探究,厘清不同模态的媒体信息在某一媒介中所引起的用户交互行为和方式,将此数据作为多模态媒体信息传播效能分析的主要原料,通过交互信息对当前媒体信息交互演化模式进行捕捉,完成媒体内容信息及用户交互信息的效果反馈,从而反哺于媒体传播效能提升的设计之中。

(载《传媒观察》2021年12月号。原标题为:多模态融合:媒体传播的效能提升及其研究模式。全文约7000字,此为节选。图表、注释从略,学术引用请参考原文。)

作者:王慧贤

数据存储、数据分析、数据安全......如今,围绕“数据”的话题越来越多,离人们的生活也越来越近。

从陌生到熟悉,数据不仅“出圈”,甚至已然站在了C位。去年,中央发布的《关于构建更加完善的要素市场化配置体制机制的意见》中明确表示,继土地、劳动力、资本、技术后,数据成为第五大生产要素。

步入信息化时代后,数据库、 *** 作系统与中间件作为计算机最基础的三大软件,支撑着企业的正常运行。

当数据成为生产要素后,必然会迎来爆发式增长,企业的数据存储和处理需求将进一步释放。更重要的是,疫情加快了数字化转型的脚步,更加速了企业的上云速度。

从信息化到数字化,时代的变革,总会带来商业世界的变化。如何在云原生架构下使用数据库,成为企业的痛点和云厂商的机会,亚马逊AWS的CTO Werner Vogels曾多次强调:“数据库是云计算的终极之战。”

在数智化时代,云原生到底意味着什么?云原生数据库和传统数据库相比,核心优势是什么?是否把数据库搬上云就是云原生?基于这些问题,雷锋网与阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞展开一场对话。

国产云原生数据库,摆脱「切肤之痛」

如今,数据库的商业世界,因为云的出现与发展,分成了两大派系。

一派是以Oracle为代表的传统商用数据库,一派是以国外AWS、国内阿里云为代表的云原生数据库,去“IOE革命”下的产物。

其实,早期较为火热的数据库种类有三种,层次式数据库、网络式数据库和关系型数据库。

在《浪潮之巅》一书中,作者吴军写下了这样的观点:“Oracle 的兴起很大程度上靠的是它最早看到关系型数据库的市场前景,并且在商业模式上优于 IBM。”

因此,在云原生数据库“入世”之前,数据库的天下一直是Oracle的,国内大部分互联网公司都不得不采用Oracle+IBM小型机+EMC的模式来维持正常运营。

高昂的费用,使得对于数据库需求较大的互联网巨头“忍无可忍”。

2009年,阿里巴巴的Oracle RAC 集群节点数达到了创记录的20个。可由于Oracle并没有d性扩展的功能,只能按照峰值流量购买小型机和数据库,导致阿里将业务上涨带来的大部分利润,都支付给了Oracle。

第二年,阿里便开始走上了去“IOE”之路,根据开源MySQL搭建了AliSQL,并顺利经过了淘宝双11的考验,国产云原生数据库算是正式摆脱了“切肤之痛”,逐渐受到市场的真正认可。

另一边,国外的AWS在2015年公布了基于云计算的自研数据库Amazon Aurora。Aurora是一个关系型数据库,可以跨3个可用区域复制6份数据,其最大的特性就是高性能和高可用性。

云计算巨头的入局,让云原生数据库在国内外一步步成为主流。据Gartner预测,到了2021年,云数据库在整个数据库市场中的占比将首次达到50%,到2023年,75%的数据库都要跑在云平台之上。

关于云原生数据库,随着逐步的出圈,也让人们关心的焦点从“是啥?”转变为“还能解决哪些问题?”

但云原生数据库存在着数据孤岛的问题,无法打通多个数据系统的情况下,企业在数据加工和数据管理上就会“压力较大”,甚至在数据安全方面还存在隐患。

传统数据仓库一般基于T+1数据集成构建离线数仓,以支撑企业各项分析与服务。传统方案不但会影响线上业务稳定性,且难以支持企业的实时需求。

因此,在李飞飞看来,云原生数据库已经走到2.0阶段。这个阶段要解决的问题,就是上述存在的痛点。

9月26日,在阿里云数据库创新上云峰会上,阿里云发布了首个一站式敏捷数据仓库解决方案。该方案结合一站式数据管理平台DMS及云原生数据仓库AnalyticDB(简称:ADB),实现了库仓一体的技术架构,提供在线数据实时入仓、T+1周期性快照、按需建仓等能力,数据延时低至秒级,持续赋能业务在线化,使企业的在线数据可以释放出更大的价值。

相较于传统方案,阿里云一站式敏捷数据仓库解决方案有4大核心优势:

1、对业务侧影响小,不会因为数据汇聚集中和实时加工影响业务侧正常运行,CPU、内存占用低于5%;

2、事务顺序和数据准确性有保障,且处理链路短,支持在线数据实时处理落仓,效率更高。数据传输效率100m/s,数据延时在10秒内;

3、支持复杂实时数据加工、计算逻辑;

4、低代码 *** 作,能够大大降低实时数仓的构建难度,提升构建效率的同时,支撑企业数字化转型过程中的各类实时场景。

除了实时统计分析场景外,企业为满足周期性数据分析需求,需建设周期性全量快照。

传统数仓的周期性全量集成方案会对生产业务造成稳定性影响、全量集成时效性差、且无法满足客户针对任意时间点进行数据回溯的业务诉求。

针对T+1周期性集成场景,一站式敏捷数据仓库解决方案支持基于拉链表的T+1全量数据快照,用户通过简单几个步骤,即可按需生成各种周期的全量或增量快照。

此外,业务还可按需进行任意时间点的数据回溯,以快速解决数据异常问题。

谈起未来数据库的发展趋势,李飞飞提到以下五点:

1、云原生+分布式一定是数据库的标配,分布式已经是必选项。分布式数据库由多个相互连接的数据库组合而成,面向用户则是以单个数据库的形态出现。云原生分布式数据库具备易用性、高扩展性、快速迭代、节约成本等特征,从资源池化到d性扩展,再到智能运维,再到离在线一体化,解决企业用户的核心诉求。

2、AI for DB(database,指数据库)和 DB for AI 将是主流趋势。用AI将数据库运维管控智能化,尤其在云原生+分布式这个前提下更重要,因为数据库不仅是内核的能力d性高可用、可拓展性,更重要的是部署后应用和运维的复杂度要大大降低。在数据库里,面对越来越多非结构化的数据,分析能力十分重要。

3、数据的安全可信,在今天这个大环境下变得愈发重要,如何确保整个数据库系统,在处理数据全链路过程中提供加密能力、多方安全计算能力、隐私保护的能力,也是很重要的趋势。

4、多模数据处理能力将越来越重要。比如,新型数据库多模态的处理能力,在新能源 汽车 企业打标签、智能电池化预测等应用场景中,将发挥越来越重要的作用。

5、一份数据,多个数据处理引擎:实现仓库一体、仓库联动、仓库打通,数据之间无缝流转。

以上判断,也从侧面反映出阿里云数据库的走向,这点毋庸置疑。但除此之外,业界最关心的,还有开源。

近半年,国内很多厂商相继提出开源战略,背后缘由显而易见,为了打造生态。就在今年的阿里云峰会上,阿里云智能总裁、达摩院院长张建锋(花名行癫)将2021年阿里云的发展关键词归纳为:做好服务、做深基础、做厚中台、做强生态。

做好服务与生态,成为如今厂商们不约而同的目标,而开源,就是最好的选择。

当雷锋网问到:“未来,阿里云数据库会不会把所有能力都开源?”这一问题时,李飞飞给到的回答是:“不会。”

之所以有这样的回答,是因为对于开源,他有着一些判断和看法。

李飞飞表示,这些部分,本就是阿里云数据库的商业化版本。

事实上,业界大多数的数据库厂商都不会针对自身的核心能力开源,如TiDB的核心管控组件、TiFlash。

与像MongoDB,、Cassandra、CouchDB这些以开源起家的数据库厂商不同,开源只是阿里云数据库的战略,不是阿里云数据库的命脉。

前几年,有业内人士表示,在面向开源时,国产数据库首先需要解决信任以及开源知识产权等问题。“开源会让厂商更加认真思考版权还有专利的问题,事实上,选择开源后,对于数据库厂商提出了更高的要求。”

李飞飞认为,开源只是一种选择,数据库开源成功并不代表着商业化就能够成功,不开源也不能代表厂商不先进。

更准确的说,开源只是一种有效手段。

最终,阿里云数据库希望客户能够通过开源版本把阿里云数据库产品技术快速用起来,并能够参与到技术产品的迭代过程中,在一些高阶能力上,借鉴团队专业能力和阿里云的服务能力,成为良好的商业合作伙伴,这是李飞飞以及阿里云数据库对于开源的一些基本思考。雷锋网雷锋网雷锋网


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/10063370.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-04
下一篇 2023-05-04

发表评论

登录后才能评论

评论列表(0条)

保存