阿里云开放数据处理服务(Open Data Processing Service,简称ODPS) 是构建在飞天系统上的大规模分布式数据处理服务。
ODPS以REST API的形式,支持用户提交类SQL的查询语言,对海量数据进行处理。在API之上,还提供SDK开发包和命令行工具,Aliyuncom上还有一个Web演示界面。
什么是ODPS(二)
与传统数据仓库工具相比ODPS有以下优势:
处理能力强大:后面提到的“应用案例一”和“应用案例二”和“应用案例五”的客户都曾经购买使用过传统数据仓库技术解决方案,但是都无法适应剧烈膨胀的数据规模。
成本低廉,伸缩灵活:由于云计算的业务特点,用户可以根据自己的实际需求租用相应的计算能力。同时节省昂贵的运营费用。后面提到的“应用案例四” 和“应用案例五”的 客户的支出,是与其网站业务量,以及产品线复杂程度一起增长的。
什么是ODPS(三)
与HIVE、Big Query相比ODPS有以下特点:
企业级特征:定制化ETL、窗口函数、存储过程、作业调度、M\R、UDF等。
项目支撑:项目空间和帐号授权机制(Project/ User/Role/ACL)。Quota和Priority的管理。
Web Service: RESTful API、多语言SDK、事件订阅。
ODPS与RDS、OTS的区别(一)
阿里云关系型数据库服务(Relational Database Service,简称RDS)是构建在d性计算系统上的商用关系型数据库服务。
RDS适合较小数据规模的常规OLTP(online transactional processing)应用。如果用户的需求是把现有关系数据库服务(例如MySQL和SQL Server)迁移到云平台上, 主要重视兼容性,可以选择RDS。
ODPS与RDS、OTS的区别(二)
阿里云开放结构化数据服务(Open Table Service,简称OTS)是构建在飞天系统之上的海量结构化和半结构化数据存储与实时查询的服务。
OTS服务的特点是大规模、低延时、强一致,其适用场景是对数据规模和实时性要求高的应用。
ODPS与RDS、OTS的区别(三)
ODPS重点面向数据量大(TB级别)且实时性要求不高的OLAP(On-Line Analytical Processing),适用于构建数据仓库、海量数据统计、数据挖掘、数据商业智能等应 用。
OTS和ODPS可以配合使用,前者支撑大规模并发的日常访问(例如铁路售票前台系统),然后每隔24小时就把交易数据推入ODPS支撑的数据仓库,利用后者进行进一步 的业务分析。这两天将阿里云上的服务器改为Ubuntu系统,原有的数据盘需要重新挂载。过程如下。
首先可以使用fdisk -l 查看磁盘状态,看到数据盘是/dev/vdb
然后使用fdisk /dev/vdb来管理数据盘,由于对linux不熟悉,频繁使用m命令查看帮助。根据经验,首先使用d命令删除现在的分区,然后使用F命令查看未分区部分,接下来使用n命令创建新的分区,使用缺省参数创建,最后使用w保存。
然后进行格式化,命令是mkfsext3 /dev/vdb1
格式化完成后,映射到一个目录:
echo '/dev/vdb1 /mydata ext3 defaults 0 0' >> /etc/fstab
然后使用mount -a 加载,可以使用df -h 查看是否加载成功。题主是否想询问“阿里云套件数据下发错误”?阿里云套件数据下发错误原因检查数据格式是否正确、检查设备连接状态、检查设备权限、检查网络连接。
1、检查数据格式是否正确:确认数据格式是否与阿里云平台要求的格式一致,数据格式不正确,会导致下发失败。
2、检查设备连接状态:确认设备是否正常连接到阿里云物联网平台,设备未连接到云端,数据下发自然不会成功。
3、检查设备权限:确认设备是否拥有数据下发的权限。在阿里云物联网平台中,需要为设备分配相应的权限,才能进行数据下发等 *** 作。
4、检查网络连接:确认网络连接是否正常,网络不稳定或者断开,数据下发也会失败。
RDS是阿里云提供的即开即用的关系型数据库服务,兼容了MySQL和SQLServer两种数据库引擎。在传统数据库的基础上,阿里云RDS提供了强大丰富的功能从而保证了高可用性、高安全性以及高性能。此外,RDS还提供了诸多便利功能提升了RDS的易用性。
高可用:
采用主从热备的架构。主机down机或者出现故障后,备机秒级完成无缝切换,服务可用性承诺:9995%
提供自动多重备份的机制。用户可以自行选择备份周期,也可以根据自身业务特点随时进行临时备份,数据可靠性承诺:999999%
数据回溯到任意时间点。用户可以选择7天内的任意时间点创建一个临时实例,临时实例生成后验证数据无误,即可将数据迁移到RDS实例,从而完成数据回溯 *** 作。
高安全
提供白名单访问策略。可自行设置允许访问的IP及IP段,有效防止黑客扫描端口进行服务器攻击。
提供阈值报警的功能。支持实例锁定报警、连接数报警、IOPS报警、磁盘空间使用报警、CPU报警等。
提供SQL注入告警。将对发往RDS的疑似SQL注入的语句进行记录并展示,供用户进行程序调整,杜绝SQL注入的发生。
SQL审计。记录所有发往RDS的SQL语句,系统将记录SQL语句相关的连接IP、访问数据库的名称、执行语句的账号、执行时间、返回记录数等信息。供用户对RDS安全性进行排查。
控制台 *** 作日志。记录所有在控制台上进行的修改类 *** 作,便于管理员查看并管理RDS。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)