Sybase分析产品管理部总监Joydeep,Das:数据库要专项专用_oracle数据库菜鸟教程

在OLTP（联机事务处理系统）应用中，人们普遍使用的是行式数据库。随着大数据和云计算时代的来临，列式数据库进入了人们的视线。在有效提升查询性能，把分析结果更快地提交给用户方面，列式数据库具有独特的优势。未来，行式数据库与列式数据库是和平共处，还是要经过一番拼杀，最终只能二择其一呢？

各展所长

在维基百科中，列式数据库是指数据以列相关存储架构进行存储的数据库，主要适合于大批量数据处理和即时查询。与此相对应，行式数据库是指数据以行相关存储架构进行空间分配的数据库，主要适合于小批量的数据处理，且常用于OLTP数据的处理。

“列式数据库与行式数据库之间并不是相互替代的关系，而是并存的关系。Sybase ASE就是传统的行式数据库，主要用于OLTP事务型应用。Sybase IQ是列式数据库，主要用于数据分析领域。此外，Sybase还拥有嵌入式产品，主要适合移动用户的应用。”SAP旗下的Sybase分析产品管理部总监Joydeep Das表示，“Sybase倡导的是数据库专项专用。传统的行式数据库技术并不是过时的技术。不同的技术、不同的产品可以解决用户不同的问题。”

Joydeep Das在数据库领域摸爬滚打了多年，亲身参与了Sybase IQ列式数据库的研发，既见证了行式数据库产品的辉煌，又亲历了Sybase IQ列式数据库的管理。Joydeep Das已经在Sybase工作了17年。Sybase ASE产品中有几项他的技术专利。他还是Sybase IQ列式数据库功能设计的关键人物。在Sybase内部，Joydeep Das被称为Sybase IQ列式数据库的“导演”。列式数据库已经成了Sybase大力投入的重点产品之一。Joydeep Das介绍说：“Sybase IQ列式数据库开发团队的规模已经扩大了一倍。Sybase针对Sybase IQ产品的市场投入也增加了一倍。”

Sybase最新推出的列式数据库Sybase IQ 153，再次点燃了用户对列式数据库的热情。曾参与Sybase IQ 153公测的comScore公司副总裁Scott Smith表示：“采用全共享MPP架构的Sybase IQ 153具有很高的查询性能，并允许更多服务器并行执行查询任务。”

数据库要专项专用，这一理念已经被数据库厂商普遍接受。Oracle Exadata与Oracle 11g数据库就针对不同的应用，IBM DB2与IBM Netezza也是互补关系。Gartner指出，今天，70%以上的企业级数据仓库产品实际上只能满足后台或少数部门的使用需求。从2010年开始，厂商纷纷加大力度开发新的数据仓库基础架构。

区别对待

行式数据库与列式数据库究竟有何不同？Joydeep Das从两个方面进行了比较：行式数据库通常重复进行行数据处理，而列式数据库的主要功能是进行数据查询；从性能指标看，行式数据库主要看重I/O吞吐量以及并行访问的能力，因此TPCC是其主要的性能衡量指标，而列式数据库侧重分析性能，其目标是以最快的速度将分析结果提交给用户，因此TPCH是其主要的性能衡量指标。

现在，用户普遍使用的关系型数据库管理系统的基础架构都是在上世纪80年代形成的。当时，计算机的价格高昂，而且速度较慢，因此数据库应用的驱动力主要来自减少CPU的占用，而忽视了I/O吞吐能力。如今，提高读取速度是列式数据库发展的新方向。但是列式数据库与行式数据库毕竟不同，如果用衡量行式数据库的随机读取性能指标来评价列式数据库是不恰当的。Joydeep Das打了个比方：“从山下往山上运送物资，汽车运输是一种方式，通过专用的索道运送货资是另一种方式。行式数据库好比是汽车运输，而列式数据库好比是索道运输。两种不同的方式不能用同一个指标进行衡量。”

在云计算时代，数据库必须解决两个方面的问题：第一，将数据快速吸收进来，形成数据库，Sybase的数据表加载、数据复制服务器等就可以加快数据入库的速度；第二，将数据库中的数据快速读出来，并进行分析，Sybase的CEP就可以在数据流动的过程中随时进行分析。

2009年，Sybase发布了Sybase IQ 15，主要提升了核心引擎的能力，包括数据加载和查询性能、改进的安全架构以及强大的集群管理能力等。这之后，Sybase又发布了Sybase IQ 151和Sybase IQ 152，每个版本都着力增强了高级分析功能，比如Sybase IQ 151新增了数据库内分析功能，Sybase IQ 152则进一步增强了分析支持功能，包括全文检索、联合查询以及Web分析功能。2011年，Sybase最新发布的Sybase IQ 153引入了大规模并行处理架构的PlexQ分布式查询平台，可将一个查询分解成多个部分，并将这些部分分布在多个服务器节点上，通过并行执行提高查询性能。

大数据带来新改变

IDC预测，未来5年内，列式数据库将成为数据库市场的主流。大数据时代的到来，加速了列式数据库的普及速度。

过去，数据库主要处理的是结构化数据，而在大数据时代，大量的数据是非结构化的。如何更有效地处理非结构化的数据，以及能否在一个平台上同时处理结构化和非结构化的数据对数据库厂商来说是一个严峻的挑战。为了解决非结构化数据处理这一难题，那些只具有结构化数据处理能力的数据库厂商开始大肆收购非结构化数据处理软件厂商，还有一些厂商选择与Hadoop进行合作。

非结构化数据的处理对Sybase来说不算是难事，因为Sybase的产品可以同时处理结构化和非构化的数据。Joydeep Das表示，对非结构化数据的处理并不是Sybase产品的新功能，但是对非结构化数据的搜索确实是新功能。

举例来说，保险公司对诈欺事件进行分析时，最基本的交易数据是结构化的，而为了更清楚地了解诈欺嫌疑人的信息，还要根据一些关键字进行匹配搜索，包括电子邮件信息、汇款信息等，然后再把所有结构化和非结构化的数据放在一起进行分析。此外，为了满足法规遵从的需要，用户也必须在一个完整的数据库中同时处理结构化和非结构化的数据。

Joydeep Das认为，有些应用适合采用Hadoop文件系统。采用Hadoop这种分散模式的分析产品，用户可以很顺利地找到农田里的“草堆”（分析结果）；而采用Sybase IQ则可以找到草堆中的“针”（更精细的分析结果）。Sybase IQ具有深度分析功能，可以按照各种变化的条件快速找到用户所需的结果。“Hadoop与Sybase IQ是并存的，可以适合不同的应用。Sybase有计划将Hadoop的功能融入到Sybase IQ中。”Joydeep Das表示。

以Oracle Exadata为代表，业内现在流行软硬件一体化的解决方案。Joydeep Das表示：“软硬件一体化的解决方案只能满足某一种特定应用的需求。Sybase IQ可以支持所有硬件平台，具有中立性。”软硬件一体化的解决方案在国外通常被称为Appliance（固件）。Appliance在国外是指家用电器。由此可见，软硬件一体化解决方案的优势在于易用和部署方便，但缺点是功能单一，就像是洗衣机、冰箱一样，只具备一种功能。

Joydeep Das认为：“软硬件一体化的解决方案功能相对单一，而且扩展不灵活，适应性不强，无法满足企业动态的业务需求。不过，一体化的解决方案也有自己的生存空间。Sybase就与惠普公司合作推出了列式数据库固件。”

数据库，虽然没有oracle、db2名气响，但是国内许多大企业都使用它，尤其金融企业。经本人在winxp sp2/win2000 server上安装测试通过。绝对企业版，注册文件在/crack目录中。第二个文件为sybase for linux 125企业版。本人没有测试。

Adaptive Server Enterprise (ASE) 是 Sybase 的旗舰式 RDBMS 产品，一直致力于以最低的系统总拥有成本 (TCO) 为企业提供一个高性能的数据和事务处理系统。最新版 ASE1251/1252 在继续保持以前版本的关键业务性能和高效计算的同时，在易用性、系统性能和支持新应用程序方面进行了增强和改进, 并进一步提高了系统安全和 Linux 的可扩展性。

Sybase Adaptive Server Enterprise 1251 完善和扩展了 ASE 产品系列，使其成为用于各种平台 (从基于 Linux 的 Intel 系统到来自 Sun 或 HP 的基于 RISC 的 64 处理器平台) 的理想数据库系统。当今的企业需要一个更易于使用、资源效率更高、更可靠，而且可以与企业级应用轻松集成的企业基础架构技术，以有效控制和降低成本。 Sybase ASE 1251 专门设计用于增强这些功能。

最新推出的 ASE1252 继续遵循 ASE1251 提出的降低应用整体 TCO 的技术策略，并进一步发展和完善了实时数据服务，动态数据归档等扩展功能，以期达到帮助用户进一步降低TCO的关键目标。

现在，如果采用 Sybase RTDS 实时数据服务包，Sybase 的 ASE 最新版可以通过JMS消息总线为高性能的实时消息服务提供集成数据库的支持。用户可以将它用于关键业务信息系统中，Sybase ASE 实时消息服务功能可以提供实时报警和通知，并且用户可以直接获得这些改变。

Sybase ASE 确保最高的 *** 作有效性和各种平台上的吞吐量，从 32/64 位 Linux/Intel 到各种大规模的 SMP 系统。

ASE 帮助您的企业:

降低运行成本 - 自我管理功能提高系统运行的可伸缩性 — 这个功能可以在人员和系统资源较少的情况下实现更高的性能。

降低开发成本 - 增强的 Web 服务和 XML 功能可以更快地、更容易地开发、提交和维护新的业务应用。

降低硬件成本 - ASE 支持大规模数据集，能够提高各种平台上的数据量，包括 32 和 64 位的 Linux/Intel 系统。

目前版本 - ASE 1253 Interim Release 具有新的功能，包括跨平台 Dump 和 Load，便于系统迁移。

Sybase *** 作型BI数据管理与数据集成

数据管理服务组件

Sybase可提供 *** 作型BI数据管理与数据集成 它不仅开发了管理BI信息的产品 还开发了数据库设计产品 Sybase IQ与Sybase PowerDesigner则是其中两个关键的产品

Sybase IQ

Sybase *** 作型BI解决方案的基于是Sybase IQ关系型数据库系统 该产品于 年从Expressway收购而得 从那时起 它就稳步赢得客户的青睐 对高性能的BI信息管理能力的需求使得该产品更加引人关注 今天 全球使用Sybase IQ的客户超过 家

Sybase IQ与传统的关系型数据库最关键的不同之处就是 它是专门为高性能的分析型进程设计的 该性能通过存储数据的方式——列存储 而不是传统关系型数据库中的行存储而获得

Sybase IQ列存储模型提高了性能 因为查询中检索的只是列 从而减少了系统I/O 通过为每一个列的访问分配线程 允许进行并行的查询 而进一步提高了性能 这对涉及到多个列的复杂查询尤其有利 列存储模型的另一个好处就是它允许极高效率的数据压缩 例如 西班牙Telefonica管理著 TB的原数据 它们存储到Sybase IQ中 只有 TB 同时 他们发现 查询的运行速度比传统的解决方案能快到 倍

从BI应用外部来看 Sybase IQ数据库跟其他的关系型数据库并没什么两样 该产品支持标准的SQL 提供各种功能如存储过程 函数等 应用接口支持ODBC JDBC OLEDB Web 服务器 运行环境包括Linux Windows Unix等 Sybase IQ数据库的非结构化数据选项支持存储大型二进制对象 比如文本与多媒体数据等

另外 Sybase还提供了一个可选的Sybase IQ Multiplexing功能 允许一个单一的Sybase IQ数据库被多个计算机节点共享 这进一步提高了大型数据库与工作负载的性能与可扩展性 服务器 处理器 硬盘可以按照需要加入到该配置中 该解决方案支持传统供应商如HP IBM Sun等公司提供的硬件与 *** 作系统软件

Sybase PowerDesigner

Sybase PowerDesigner是一个行业领先的企业模型工具 他将商业分析与数据库设计加入到传统的软件生命周期 它联合使用了大量的建模机制 包括业务进程建模 数据建模 基于对象的UML建模 以及XML建模 它支持主要的行业开发环境如JAVA Eclipse Microsoft NET 而且支持超过 个关系型数据库产品包括Sybase IQ IBM DB Oracle Microsoft SQL Server等

PowerDesigner提供了一个元数据管理功能 支持需求管理 影响分析 文档 数据映射 SOA驱动的项目的综合管理 基于角色的安全等等 它通过团队协作 以及将商业需求同商业与数据模型进行联结和同步的功能强化了商业与IT的结合

数据集成服务组件

Sybase支持数据集成机制中的数据联合和数据传播方式 即Sybase Avaki EII支持数据联合 Sybase Replication Server支持数据传播 而数据合并与ETL则由Sybase第三方合作伙伴如Business Objects IBM Ascential与Informatica提供支持

Sybase Avaki EII

Sybase Avaki EII是Sybase公司于 年 月通过收购Avaki公司而获得 就象其他EII产品 Sybase Avaki EII提供了一个分散数据的虚拟商业视图 对于BI应用 使用一个虚拟视图 分散的数据看起来是存储在一个单一的SQL关系型表中 当应用基于该视图提交一个SQL语句时 EII服务器访问与 *** 作适当的数据源 组合成一个查询结果集 将结果集返回到应用 EII Server将SQL 进程智能地分配到源系统中 以减少需要从给定的源系统中检索的数据量

Avaki EII支持的数据源包括纯文本文件(包括XML NFS等) 关系型数据库 商业应用(例如JCA Web服务器 或由iWay Sofare等公司提供的第三方连接器)

该产品包含了有别于其他竞争对手的特征

· 服务视图 随时可用 它包含支持更深入的数据转换与分析的嵌入式程序逻辑 除了Sybase 提供的服务视图之外 开发人员可以使用JavaScript编写他们自己的视图 服务视图与SQL视图使用基于Eclips的Avaki Studio开发工具进行定义与管理

· Avaki EII集成框架允许服务视图与外部应用如数据质量与ETL工具 定制的代码等等进行交互

· 一个集成的缓冲工具允许结果提前预存(基于管理员定义的参数) 以提升查询性能

· Sybase Avaki EII提供了一个有价值的EII功能 可以直接被BI报表与分析型应用使用 或者与Sybase IQ数据库配合使用时由Sybase IQ应用使用

Sybase Replication Server

Sybase Replication Server支持数据变化从源系统到目标系统的数据传播 在Sybase *** 作型BI环境中 目标系统将会是Sybase IQ信息管理环境 其他目标系统包括那些Sybase RepConnect与EnterpriseConnect支持的系统 RepConnect 允许数据变化传播到消息产品(IBM Websphere JMS TIBCO) 而EnterConnect支持第三方数据库系统如IBM DB Microsoft SQL Server Oracle与ODBC

Replication Server支持的数据源包括IBM DB IBM IMS与VSAM Microsoft SQL Server Oracle Sybase ASE以及SQL Anywhere 复制代理(Replication Agent)从这些源数据库日志文件中捕获数据变化 这种数据复制的异步方式降低了复制代理对 *** 作型BTx应用的性能影响 这些数据变化可以被传播到 Sybase IQ低延迟数据存储中以备由 *** 作型BI应用进行 *** 作

Sybase *** 作型BI解决方案提供了一个适时数据集成环境 它将数据变化压缩 传送到由Sybase IQ管理的低延迟的存储中 第三方 *** 作型报表和绩效管理应用可以使用Sybase IQ提供的高性能的查询能力以生成 *** 作型图形显示并据此执行自动化决策 当需要当前信息时 BI应用可以使用Sybase Avaki EII服务访问分散的 *** 作型数据

*** 作型BI案例研究

西班牙Telefonica和澳大利亚电信供应商Telstra是两个已经成功使用Sybase IQ的客户 他们清楚地显示了 *** 作型BI如何使企业更加灵活与更加智能

西班牙Telefonica 万客户端的信息 来自于 个各自独立的分散的 *** 作型系统 Telefonica开发了统一信息系统作为其 *** 作型数据存储(ODS)概念的一部分 该系统的目标是为Telefonic众多 *** 作型系统的数据管理建立一个单一的 集成的 通用的数据存储 企业内的所有用户都通过访问这个单一的数据库存储来处理 *** 作型信息 而不论这些信息最初来源于哪个 *** 作型系统

为部署ODS项目 Telefonica使用Sybase IQ与Sybase Replication Server Replication Server用于从运行在MVS之上的IBM DB 和运行在UNIX平台的Oracle中捕获在线更新并传送到Sybase IQ ODS中 每隔 分钟 从 *** 作型系统将更新传送到ODS中

为确保项目的顺利进行 还引入了一个先导测试 该测试基于Sybase与Sun共同提供的数据仓库参考设计 花费四周的时间完成 该模型存储了比其他市场上的数据库多出 到 倍的存储容量 同时减少了在硬件 支持 管理与维护上的成本 Telefonica系统工程经理Pedro Romera说 至于响应速度 该平台显示出超出其他系统 多倍的性能优势

另外 该项目的革新之处在于所有的Telefonica *** 作型系统将向ODS提供数据 这意味着Sybase IQ将管理大约 TB的压缩数据(相当于 TB的真实信息) 为维护大量数据下的高效性 Sybase IQ Multiplex功能被加以使用

Telstra为澳大利亚提供广泛的电信与信息服务 包括固定电话线路 两个移动电话网络以及Internet服务 Telstra是 年悉尼奥运会独家电信供应商

Telstra需要一种技术 可以提供接近实时的有关通话事务的信息 以便调整其移动蜂窝管理系统从而满足需求 我们需要在奥运会期间运行一个无失误的 无堵塞的移动电话网络 Telstra区域网络经理 Anthony Goonan说

Telstra所要面对的挑战 主要是移动服务 它需要提供无堵塞的网络访问 对我们而言 存在大量的未知情况——究竟有多少人会来到悉尼他们对移动电话的使用量以及由国际无线通讯以及印刷媒体所产生的话务量是多少呢 Goonan说 我们需要实时观察网络的性能以满足所有这些需求

在网络设计时 Telstra部署了一种可以将容量从网络的某部分转移到另外部分的功能 这取决于客户在哪里发出呼叫 当我们为此搜寻解决方案时 我们发现了Compudigm的SeePower 它由Sybase IQ提供技术基础 正是我们所需要的解决方案 Goonan说

在奥林匹克公园 Telstra部署了超过 个移动电话蜂窝系统 大约每 平方英里一个 我们需要我们的工程师同时观察所有这些蜂窝系统的性能 Goonan说 该应用具有这种功能 它能将整个奥林匹克的网络运行情况显示到一个屏幕上 并接近实时地辨识热点区域 这使我们可以调整网络以满足我们客户的需求

Sybase IQ从遍及悉尼奥林匹克公园的 多个蜂窝系统上收集大量的数据 这是我们第一次在蜂窝移动网络运行过程中拥有这种综合的强大功能 Goonan 说 Sybase IQ实时地将数据发送到seePower应用 它为我们的工程师提供了管理网络的信息 从而为我们的客户提供他们所需的服务

lishixinzhi/Article/program/Sybase/201311/21916

以上就是关于Sybase分析产品管理部总监Joydeep,Das:数据库要专项专用_oracle数据库菜鸟教程全部的内容，包括:Sybase分析产品管理部总监Joydeep,Das:数据库要专项专用_oracle数据库菜鸟教程、什么是Sybase、Sybase *** 作型BI数据管理与数据集成等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！