数据源:所有大数据架构都从源代码开始。这可以包含来源于数据库的数据、来自实时源(如物联网设备)的数据,及其从应用程序(如Windows日志)生成的静态文件。
实时消息接收:假如有实时源,则需要在架构中构建一种机制来摄入数据。
数据存储:公司需要存储将通过大数据架构处理的数据。一般而言,数据将存储在数据湖中,这是一个可以轻松扩展的大型非结构化数据库。
批处理和实时处理的组合:公司需要同时处理实时数据和静态数据,因而应在大数据架构中内置批量和实时处理的组合。这是由于能够应用批处理有效地处理大批量数据,而实时数据需要立刻处理才能够带来价值。批处理涉及到长期运转的作业,用于筛选、聚合和准备数据开展分析。
分析数据存储:准备好要分析的数据后,需要将它们放到一个位置,便于对整个数据集开展分析。分析数据储存的必要性在于,公司的全部数据都聚集在一个位置,因而其分析将是全面的,而且针对分析而非事务进行了优化。
这可能采用基于云计算的数据仓库或关系数据库的形式,具体取决于公司的需求。
分析或报告工具:在摄入和处理各类数据源之后,公司需要包含一个分析数据的工具。一般而言,公司将使用BI(商业智能)工具来完成这项工作,而且或者需要数据科学家来探索数据。
“大数据” 通常指的是那些数量巨大、难于收集、处理、分析的数据集,亦指那些在传统基础设施中长期保存的数据。大数据存储是将这些数据集持久化到计算机中。
维普数据库的服务模式是大数据构架与云端服务模式。根据查询相关公开信息显示,大数据构架与云端服务模式通过准确、完整的数据索引和数据对象,着力为读者及服务机构营造良好的使用环境和使用体验,维普中文电子期刊服务平台由重庆维普资讯有限公司出版运营,是以中文期刊资源保障为基础,以数据整理、信息挖掘、情报分析为路径,以数据对象化为技术核心,面向知识服务与应用的一体化服务平台。欢迎分享,转载请注明来源:内存溢出
评论列表(0条)