当前位置:首页 >> 互联网 >>

架构大数据_挑战_现状与展望_王珊_图文


第 34 卷 第 10 期 2011 年 10 月

计 算 机 学 报 CH INESE JOURNA L OF COM PU T ERS

V ol. 34 N o. 10 Oct. 2011

架构大数据: 挑战、 现状与展望

1) (



1) , 2)

王会举
2)

1) , 2)

覃雄派

1) , 2)


北京



1) , 2)

数据工程与知识工程教育部重点实验室( 中国人民大学 ) ( 中国人民大学信息学院 北京 100872)

100872)





大数据分析相比于传统的数据仓库应用 , 具有数 据量大、 查询分析复杂等 特点 . 为 了设计适 合大数据分 析 并 行数据库、

的数 据仓库架构 , 文中列举了大数据分析平台需要具备的 几个重要特性 , 对 当前的主流 实现平台 作者在大数据分析方面的努力进行了介绍 , 对未 来研究做了展望 . 关键词 大数据 ; 大规模可扩展 ; M apReduce; 并行数据库 ; 深度分析 DOI 号 : 10. 3724/ SP. J. 1016. 2011. 01741

M apR educe 及基于两者的混合架构进行了分析归纳 , 指出了 各自的 优势及不 足 , 同时也 对各个方 向的研 究现状 及

中图法分类号 T P 311

Architecting Big Data: Challenges, Studies and Forecasts
WANG Shan
1) 2)

1) , 2)

WANG H ui Ju

1) , 2)

QIN Xiong - P ai

1) , 2)

ZH OU Xuan
100872)

1) , 2)

( K ey L abor ator y of D ata Eng ineeri ng and K now led ge Eng ineeri ng ( Renmin Univ ersi ty of Ch ina) of M inist ry of E ducat ion, B eij i ng 100872) ( S chool of I nf ormat ion , R enmin Uni v ersi ty of Ch ina , B ei j i ng

Abstract

Compar ed w it h t raditio nal dat a w arehouse applications, big data analy tics are huge and

com plex . T o design a favo rable archit ect ure f or big dat a analy tics, t his paper list s som e key fea t ures fo r big data analyt ics, sum marizes cur rent main implem ent ation plat for ms( parallel dat abases, M apReduce, and hybrid archit ect ures based o n t hem) , and point s their pros and cons. Some current resear ches are also inv est ig ated, our w ork ar e int roduced and some challeng ing resear ch pro blems in t he fut ure are discussed. Keywords big dat a; large scale; M apReduce; parallel dat abase; deep analyt ics 系统实现方案 ( 主要是并行数据库和 M apReduce)

1

引 言
最近几年, 数据仓库又成为数据管理研究的热

进行重新审视, 期望能为设计满足时代需求的数据 仓库系统提供理论参考 . 限于篇幅, 本文主要关注不 同数据仓库实现方案的主体架构及其缺陷在最近几 年的改进情况. 依据研究立足点的不同, 本文将该领 域的研究归为三大类: 并行数据库、 M apReduce、 并 行数据库和 M apReduce 技术的混合架构. 其中第三 类研究又细 分为: 并 行数据 库主导 型、 MapReduce 主导型、 并行数据库和 MapReduce 集成型三种. 本

点领域, 主要原因是当前数据仓库系统面临的需求 在数据源、 需提供的数据服务和所处的硬件环境等 方面发生了根本性的变化 ( 详见 1 1 节 ) , 这些变化 是我们必须面对的. 本文在大数据的时代背景下, 对现有数据仓库

收稿日期 : 2011 -08 -12; 最终修改稿收到日期 : 2011 -09 -15. 本课题得到国家 重大科技 专项核高基 项目 ( 2010ZX01042 -001 -002 ) 、 国家自 然 科学基金 ( 61070054, 61170013) 、 中国人民大学科学研究基金 ( 中央高校 基本科研业务费 专项资金 , 10X N I018 ) 、 中国人民大 学研究生 基 金 ( 11X N H120) 资助 . 王 珊 , 女 , 1944 年生 , 教授 , 博士生导师 , 中国计算机学会 ( CCF) 高级会员 , 主要研究领域为高性能数据库、 知识 工 程、 数据仓库 . E -mail: sw ang@ ru c. edu . cn. 王会举 , 男 , 1979 年生 , 博士研究生 , 主要研究方向为大规模集群数据库、 内存数据 库 . E - mail : w anghui ju@ ruc. edu. cn. 覃雄派 , 男 , 1971 年生 , 博士 , 讲师 , 中国计算机学会 ( CCF) 会员 , 主要研究方向为数据库查 询优化、 内存数据 库、 并行数据库 . 周 烜 , 男 , 1979 年生 , 博士 , 副教授 , 主要研究方向为信息检索、 高性能数据库 .

1742











2011 年

文第 1 节分析大数据时代, 数据仓库所面临的问题 及挑战; 第 2 节列出大数据时代的数据仓库平台需 具备的几个重要特性; 第 3 节到第 5 节就这几个特 性对各类平台进行归纳分析 ; 第 6 节对最新研究做 一跟踪归纳; 第 7 节介绍中国人民大学在大数据分 析方面的研究工作; 第 8 节对未来研究做出展望; 第 9 节总结全文 . 1. 1 三个变化 ( 1) 数据量. 由 T B 级升至 PB 级 , 并仍 在持续 爆炸式增长. 根据 WinterCor p 的调查显示, 最大的 数据仓库中的数据量 , 每两年增加 3 倍[ 1] ( 年均增长 率为 173% ) , 其增长速度远超摩尔定律增长速度 . 照此增长速度计算, 2015 年最大数据仓库中的数据 量将逼近 100PB. ( 2) 分析需求. 由常规分析转向深度分析 ( Deep Analy tics) . 数据分析日益成为企业利润必不可少的 支撑点. 根据 T DWI 对大数据分析的报告 ( 如图 1) , 企业已经不满足于对现有数据的分析和监测, 而是更 期望能对未来趋势有更多的分析和预测, 以增强企 业竞争力 . 这些分析操作包括诸如移动平均线分析、 数据关联关系分析、 回归分析、 市场篮分析等复杂统 计分析, 我们称之为深度分析 . 值得补充的是, 本文 中的大数据分析不仅仅指基于 大数据上的深 度分 析, 也包括常规分析 .
[2]

个层次 , 数据源中的数据首先通过 ET L 工具被抽取 到数据仓库中进行集中存储和管理, 再按照星型模 型或雪花模型组织数据 , 然后 OL AP 工具从数据仓 库中读取数据 , 生成数据立方体 ( M OLAP ) 或者直 接访问数据仓库进行数据分析( ROLA P) . 在大数据 时代, 此种计算模式存在两个问题: 问题 1. 数据移动代价过高 . 在数据源层和分 析层之间引入一个存储管理层, 可以提升数据质量 并针对查询进行优化 , 但也付出了较大的数据迁移 代价和执行时的连接代价 : 数据首先通过复杂且耗 时的 ET L 过程存储到数据 仓库中, 在 OLA P 服务 器中转化为星型模型或者雪花模型; 执行分析时 , 又 通过连接方式将数据从数据库中取出. 这些代价在 T B 级时也许可以接受, 但面对大数据, 其执行时间 至少会增长几个数量级 . 更为重要的是, 对于大量的 即席分析, 这种数据移动的计算模式是不可取的 .

图 2 一个典型 的数据仓库架构

问题 2. 不能快速适应变化 . 传统的数据仓库 假设主题是较少变化的 , 其应对变化的方式是对数 据源到前端展 现的整个流程中的每个 部分进行修 改 , 然后再重新加载数据, 甚至重新计算数据 , 导致 其适应变化的周期较长 . 这种模式比较适合对数据 质量和查询性能要求较高、 而不太计较预处理代价 的场合 . 但在大数据时代, 分析处在变化的业务环境 中 , 这种模式将难以适应新的需求. 1. 3 一个鸿沟 在大数据时代, 巨量数据与系统的数据处理能 力之间将会产生一个鸿沟: 一边是至少 PB 级的数 据量, 另一边是面向传统数据分析能力设计的数据 仓库和各种 BI 工具. 如 果这些系统或 工具发展缓 慢 , 该鸿沟将会随着数据量的持续爆炸式增长而逐 步拉大 . 虽然, 传统数据仓库可以采用舍弃不重要数据 或者建立数据集市的方式来缓解此问题 , 但毕竟只

图1

分析的趋势

( 3) 硬件平台. 由高端服务器转向由中 低端硬 件构成的大规模机群平台 . 由于数据量的迅速增加 , 并行数据库的规模不得不随之增大 , 从而导致其成 本的急剧上升. 出于成本的考虑, 越来越多的企业将 应用由高端服务器转向了由中低端硬件构成的大规 模机群平台. 1 2 两个问题 图 2 是一个典型的数据仓库架构 [ 3] . 从图中我 们可以看出, 传统的数据仓库将整个实现划分为 4

10 期



珊等 : 架构大数据 : 挑战、 现状与展望

1743

是权益之策, 并非系统级解决方案. 而且, 舍弃的数 据在未来可能会重新使用 , 以发掘更大的价值 .

大量同构的计算机是不可取的, 而且也会在未来添 置异构计算资源. 此外 , 不少企业已经积累了一些闲 置的计算机资源, 此种情况下, 对异构环境的支持可 以有效地利用这些闲置计算资源, 降低硬件成本的 投入. 还需特别关注的是, 在异构环境下 , 不同节点 的性能是不一样的 , 可能出现 木桶效应 , 即最慢节 点的性能决定整体处理性能 . 因此, 异构的机群需要 特别关注负载均衡、 任务调度等方面的设计. 较低的分析延迟 . 分析延迟指的是分析前的数 据准备时间 . 在大数据时代 , 分析所处的业务环境是 变化的 , 因此也要求系统能动态地适应业务分析需 求 . 在分析需求发生变化时 , 减少数据准备时间 , 系 统能尽可能快地做出反应, 快速地进行数据分析 . 易用且开放的接口 . SQL 的优点是简单易用, 但其主要用于数据的检索查询, 对于大数据上的深 度分析来讲 , 是不够的 . 原因在于 : ( 1) 其提供的服 务方式依赖于数据移动来实现: 将数据从数据库中 取出, 然后传递给应用程序 , 该实现方式在大数据时 代代价过高 ; ( 2) 复杂的分析功能 , 如 R 或 M at lab 中的分析功能, SQL 是难以胜任的. 因此 , 除对 SQL 的支持外, 系统还应能提供开放的接口, 让用户自己 开发需要的功能. 设计该接口时 , 除了关注其易用性 和开放性, 还需要特别注意两点隐藏的要求 : ( 1) 基 于接口开发的用户自定义函数, 能自动在机群上并 行执行 ; ( 2) 分析在数据库内进行, 即分析尽可能靠 近数据 . 较低的成本 . 在满足需求的前提下, 某技术成 本越低 , 其生命力就越强. 需要指出的是成本是一个 综合指标, 不仅仅是硬件或软件的代价, 还应包括日 常运维成本 ( 网络费用、 电费、 建筑等 ) 和管理人员成 本等. 据报告 , 数据中心的主要成本不是硬件的购置 成本, 而是日常运维成本. 因此, 在设计系统时需要 更多地关注此项内容. 向下兼容性. 数据仓库发展的 30 年 , 产生了大 量面向客户业务的数据处理工具 ( 如 Inf ormactica、 Dat aStag e 等) 、 分析软件 ( 如 SP SS、 R、 M at lab 等 ) 和 前端展现工具( 如水晶报表 ) 等. 这些软件是一笔宝 贵的财富, 已被分析人员所熟悉 , 是大数据时代中小 规模数据分析的必要补充. 因此 , 新的数据仓库需考 虑同传统商务智能工具的兼容性. 由于这些系统往 往提供标准驱 动程序, 如 ODBC 、 JDBC 等 , 这项需 求的实际要求是对 SQ L 的支持. 总之, 以较低的 成本投入、 高 效地进行 数据分 析 , 是大数据分析的基本目标.

2

期望特性
本节我们列出对大数据进行分析时 , 数据仓库

系统需具备的几个重要特性( 表 1 所示 ) .
表1
特性 高度可扩展性 高性能 高度容错性 支持异构环境 较低的分析延迟 易用且开放接口 较低成本 向下兼容性

大数据分析平台需具备的特性
简要说明 横向大规模可扩展 , 大规模并行处理 快速响应复杂查询与分析 查询失败时 , 只需重做部分工作 对硬件平台一致性要求不高 , 适应能力强 业务需求变化时 , 能快速反应 既能方便查询 , 又能处理复杂分析 较高的性价比 支持传统的商务智能工具

高度可扩展性. 一个明显的事实是 , 数 据库不 能依靠一台或少数几台机器的升级 ( scale- up 纵向 扩展 ) 满足数据量的爆炸式增长, 而是希望能方便地 做到横向可扩展 ( scale- out ) 来实现此目标 . 普遍认为 shared - no thing 无共享结构 ( 每个节 点拥有私有内存和磁盘, 并且通过高速网络同其它 节点互连) 具备较好的扩展性
[ 4]

. 分析型操作往往涉

及大规模的并行扫描、 多维聚集及星型连接操作, 这 些操作也比较适合在无共享结构的网络环境运行 . T eradat a 即采用此结构, Oracle 在其新产品 Ex adata 中也采用了此结构. 高性能. 数据量的增长并没有降低对数据库性 能的要求 , 反而有所提高 . 软件系统性能的提升可以 降低企业对硬件的投入成本、 节省计算资源, 提高系 统吞吐量 . 巨量数据的效率优化, 并行是必由之路 . 1PB 数据 在 50MB/ s 速 度下 串 行扫 描一 次, 需 要 230 天; 而在 6000 块磁盘上, 并行扫描 1PB 数据只 需要 1 个小时. 高度容错 . 大数据的容错性要求在查询执行过 程中 , 一个参与节点失效时 , 不需要重做整个查询 . 而机群节点数的增加会带来节点失效概率的增加 . 在大规模机群环境下, 节点的失效将不再是稀有事 件( Goo gle 报告, 平均每个 M apReduce 数据处理任 务就有 1 2 个工作节点失效[ 5] ) . 因此在大规模机群 环境下, 系统不能依赖于硬件来保证容错性, 要更多 地考虑软件级容错. 支持异构环境 . 建设同构系统的大规模机群难 度较大, 原因在于计算机硬件更新较快 , 一次性购置

1744











2011 年

模机群在现实中是较难实现的. 因而 , 对异构硬件的

3

并行数据库
并行数据库起源于 20 世纪 80 年代, 当前主流
[ 6] [ 7]

支持能力影响了其扩展性; ( 3) 并行数据库若做到大 规模可扩展, 其代价将会较高( 需基于高端硬件来保 证可靠性, 需购买昂贵的软件系统) , 从而限制了其 扩展性 ; ( 4) 根据 CAP 理论①[ 8] , 在分布式系统中 , 数 据一致性 ( Consist ency ) 、 可 用性 ( Availabilit y ) 、 子 网可分解性 ( Net wo rk Part it ioning ) 不可同时兼得, 选择其中任两项, 便会损害另一项. 并行数据库追求 的是数据一致性和系统的可用性, 从而影响了它的 扩展能力. 此外, 如 1 2 节所讨论的 , 基于并行数据库实现 的传统数据仓库借助于外围工具( ET L 工具、 OLAP 产品、 BI 报表工具、 统计分析软件等 ) 来完成数据的 预处理和分析展现任务 , 导致其数据处理及分析过 程涉及大量的数据迁移和计算, 分析延迟往往较高. 和 Grace 等

的并行数据库 都同早期 的 Gam ma

并行数据库类似 . 这些数据库都支持标准 SQL , 并 且实现了数据库界过去 30 年提出的许多先进技术 . 其主要采用 shar ed - not hing 结构 , 将关系表在节点 间横向划分, 并且利用优化器来对执行过程进行调 度和管理 . 其目标是高性能和高可用性 . 并行数据库的最大优势在于性能 . 这主要得益 于数据库界近几十年的研究成果 许多先进的技 术手段及算法, 如索引、 数据压缩、 物化视图、 结果缓 冲、 I/ O 共享、 优化的数据连接等. 但是在大数据时 代, 如 前言 所 述, 数 据移 动 的实 现方 式 将影 响 其 性能 . 并行数据库通过 SQL 向外提供数据访问服务 , SQ L 因其简单易用的特点而 被广泛使用. 因此 , 大 多 BI 工具都支持基于标准 SQL 的数据交互方式 , 使得关系数据库能较好地兼容当前多数 BI 工具. 某 些数据库 , 如 IBM DB2 还针对一些 BI 工具进行了 优化 . 但在大数据分析面前, SQL 接口面临 巨大挑 战. SQL 的优势源于其对底层数据访问的封装 , 但 封装在一定程度上影响了其开放性 . 而且并行数据 库提供的用户自定义函数大都是基于单数据库实例 设计的, 从而不能在机群上并行执行, 也即意味着传 统的实现方式不适合大数据的处理及分析. 而且, 在 并行数据库中实现用户自定义函数往往需要经过复 杂的系统交互, 甚至要熟悉数据库的内部结构及系 统调用等 , 从而难以使用 . 并行数据库在扩展性、 容错性、 成本、 对异构环 境的支持等几项上有所欠缺. 这几项实际是相互影 响的 , 我们以其最大问题 扩展性为主线展开讨 论. 并行数据库大多支持有限扩展 , 一般可扩至数百 节点的规模, 尚未有数千节点规模的应用案例 . 并行 数据库扩展性有限主要因为如下几点: ( 1) 并行数 据库软件级容错能力较差. 并行数据库基于高端硬 件设计, 并且假设查询失败属于稀有事件. 因此当查 询失败时 , 一般采取重做查询的方式. 而在大规模机 群环境下 , 查询失败将会变为一个普通事件. 极端情 况下 , 并行数据有 可能出现不停重 做查询的局面 ; ( 2) 并行数据库对异构硬件的支持非常有限 , 且对 于处理较慢的节点反应敏感, 容易出现 木桶效应 . 如第 2 节中所论述的, 完全基于同构硬件搭建大规

4

MapReduce
M apReduce 是 2004 年由 Go ogle 提出的面向
[ 5]

大数据集处理的编程模型 , 起初主要用作互联网数 据的处理, 例如文档抓取、 倒排索引的建立等 . 但由 于其简单而强大的数据处理接口和对大规模并行执 行、 容错及负载均衡等实现细节的隐藏, 该技术一经 推出便迅速在机器学习、 数据挖掘、 数据分析等领域 [ 9] 得到广泛应用 . M apReduce 将数 据处理任务抽象为一系列的 M ap( 映射)- Reduce( 化简) 操作对 . M ap 主要完成数 据的过滤操作 , Reduce 主要完成数据的聚集操作. 输入输出数据均以 〈 key, value 〉格式存储. 用户在使 用该编程模 型时 , 只需 按照 自己熟 悉的 语言 实现 M ap 函数和 Reduce 函即可, M apReduce 框架会自 动对任务进行划分以做到并行执行. 下面本文 将 以 基 于 M apReduce 的 开 源实 现 H ado op[ 10] 为主, 对其主要特性进行介绍 . M apReduce 是面 向由数千台中低端计算机组 成的大规模 机群 而设计 的, 其扩展 能力 得益 于其 shared - not hing 结构、 各个节点间 的松耦合 性和较 强的软件级容错能力 : 节点可以被任意地从机群中 移除, 而几乎不影响现有任务的执行 . 该技术被称为 RA IN ( Redundant/ Reliable Arr ay of Independent ( and Inex pensive) No des) . MapReduce 卓越的扩展 能力已在工业界 ( Go ogle 、 Facebook 、 Baidu 、 T aobao


该理论目前尚存争议.

10 期



珊等 : 架构大数据 : 挑战、 现状与展望

1745

等) 得到了充分验证 . M apReduce 对硬件的要求较 低, 可以基于异构的廉价硬件来搭建机群, 且免费开 源, 因 此 其 构 建 成 本 低 于 并 行 数 据 库. 但 基 于 MapReduce 的应用软件相对较少 , 许多数据分析功 能需要用户自行开发 , 从而会导致使用成本的增加 . 作为开源 系统 , MapReduce 具有 完 全的 开 放 性: 其 〈 key, v alue 〉存储模型具有较强的表现力 , 可 以存储任意格式的数据; M ap 和 Reduce 两 个基本 的函数接口也给用户提供了足够的发挥空间 , 可以 实现各种复杂的数据处理功能. 但这种开放性也带来 一个问题, 就是将本来应由数据库管理系统完成的工 作, 诸如文件存储格式的设计、 模式信息的记录、 数据 处理算法的实现等, 转移给了程序员, 从而导致程序 员负担过重. 程序员水平对系统处理性能起决定性作 用. 在某些情况下, 写 MapReduce 程序的时间远大于 写 SQL 语句的时间 , 部分复杂的 BI 报表分析 , 可能 仅程序的编写和调试就要耗费几天的时间. 基于 M apReduce 平台的分析, 无需复杂的数据 预处理和写入数据库的过程, 而是可以直接基于平 面文件进行分析 , 并且其采用的计算模式是移动计 算而非移动数据 , 因此可以将分析延迟最小化 . 在同等硬件条件下, MapReduce 性能远低于并 行数据 库
[ 11]

环境下 , 每个查询都是直接从文件系统中读入原始 数据文件, 而非传统的从数据库中读入经处理过的 文件, 因此其元组解析代价远高于关系数据库. 对 数据分析领域来说 , 连接是关键操作 ( 如传统的星型 查询和雪花查 询均是依赖于连接来处 理查询 ) , 但 M apReduce 处理连接的性能尤其不尽如人意 . 原因 在于 MapReduce 最初是针对单数据集设计的处理 模型, 而 连 接操 作往 往 涉及 多 个数 据 集. 在 利用 M apReduce 实现连接时, 最直接的方式是每个任务 执行一个属性上的连接操作, 然后将多个 MapReduce 任务通过物化的中间结果串接起来. 这种实现方式 往往涉及中间结果的读写, 从而导致大量的 I/ O 操 作和网络传输. M apReduce 目前基本不 兼容现有 的 BI 工具. 原因在于其初衷并不是要成为数据库系统 , 因此它 并未提供 SQ L 接口. 但已有研究致力于 SQL 语句 与 M apReduce 任务的转换工作 ( 例如 H ive) , 进而 有可能实现 M apReduce 与现存 BI 工具的兼容.

5

并行数据库和 MapReduce 的 混合架构
基于以上分析 , 我们可以清楚地看出 , 基于并行

, 这 是由 其最 初 的设 计定 位决 定的 .

MapReduce 的设计 初衷是面向非结构化数据 的处 理. 这些数据具有数据量大 , 处理复杂等特点, 而且 往往是一次性处理 . 为了获得较好的扩展能力和容 错能力, M apReduce 采取了基于扫描的处理模式和 对中间结果步步物化的执行策略 , 从而导致较高的 I/ O 代 价. 为了减 少数据 预处理 时间 , M apReduce 没有使用模式、 索引、 物化视图等技术手段. 其数据 预处理仅是一次数据加载操作 , 但由此导致了一个 问题 较高 的元 组解 析代 价[ 12] . 在 M apReduce
表2
解决方案 并行数据库主导型 M apReduce 主导型

数据库和 MapReduce 实现的数据仓库系统都不是 大数据分析的理想方案 . 针对两者哪个更适合时代 需求的问题 , 业界近年展开了激烈争论. 当前基本达 成如下共识: 并行数据库和 MapReduce 是 互补关 系 , 应该相互学习[ 13- 14] . 基于该观点 , 大量研究着手 将两者结合起来, 期望设计出兼具两者优点的数据 分析平台. 这种架构又可以分为三类 : 并行数据库主 导型、 MapReduce 主导型、 M apReduce 和并行数据 库集成型( 表 2 对 3 种架构进行了对比分析) .

混合架构型解决方案对比分析
着眼点 代表系统 G reenpl um A s ter Data H ive Pig Lat in H adoopD B 缺陷 规模扩展性未改变 性能问题未改变 只有少数查 询可 以下 推至数 据库 层执 行 , 各自的某些优点在集成后也丧失了 性能和扩展性仍不能兼得 规模扩展性未变

利用 M apR educe 技术来 增强其开 放性 , 以实现处理能力的可扩展 学习关系 数据库 的 S Q L 接 口 及模 式支 持等 , 改善其易用性

并行数据库和 M apReduce 集成型

集成两者, 使两者各自做各自擅长的工作

V ert ica T eradata

5. 1

并行数据库主导型 该种方式关注于如何利用 M apReduce 来增强并

( 已被 EMC 收购) 和 Ast er Data( 已被 T eradat a 收购) . Aster Dat a 将 SQL 和 MapReduce 进行 结合, 针对大数据分析提出了 SQL/ MapReduce 框架
[ 15]

行数据库的数据处理能力 . 代表性系统是 Greenplum

.

1746











2011 年

该框架允许用户使用 C+ + 、 java 、 P yt hon 等语言编 写 MapReduce 函数, 编写的函数可以作为一个子查 询在 SQL 中使用 , 从而同时获得 SQL 的易用性和 MapReduce 的开 放性. 不仅 如此, Ast er Dat a 基 于 MapReduce 实现了 30 多个统计软件包 , 从而将数 据分析推向数据库内进行 ( 数据库内分析 ) , 大大提 升了数据分析的性能 . Greenplum 也在其数据库中引入了 M apReduce 处理功能
[ 16]

. 其执行引擎可以同 时处理 SQ L 查询

图3

Pig L atin 的一个查询示例 ( 右边为实际脚本 )
[ 21]

和 MapReduce 任务. 这种方式在代码级整合了 SQL 和 MapReduce: SQ L 可以直接使用 M apReduce 任 务的输出, 同 时 M apReduce 任务也可以使 用 SQL 的查询结果作为输入 . 总的来说, 这些系统都集中于利用 M apReduce 来改进并行数 据库的 数据 处理 功能, 其根 本性 问 题 5. 2 可扩展能力和容错能力并未改变 . MapReduce 主导型 该方向的研究主要集中于利用关系数 据库的
[ 17] [ 18]

St onebraker 等人设计 的 V ert ica 公司的 T er adata [ 22] 数据库 .

数据库 和 N CR

H ado opDB 的核心思想是利用 H adoop 作为调 度层和网络沟通层 , 关系数据库作为执行引擎, 尽可 能 地将 查 询 压 入 数 据 库 层 处 理. 目标 是 想 借 助 H ado op 框架来获得较好的容错性和对异构环境的 支持; 通过将查询尽可能推入数据库中执行来获得 关系数据库的性能优势. H ado opDB 的思想是深远 的 , 但目前尚无应用案例 , 原因在于 : ( 1) 其数据预 处理代价过高: 数据需要进行两次分解和一次数据 库加载操作后才能使用 ; ( 2) 将查询推向数据库层 只是少数 情况 , 大多 数情况 下, 查 询仍由 H ive 完 成 . 因为数据仓库查询往往涉及多表连接 , 由于连接 的复杂性, 难以做到在保持连接数据局部性的前提 下将参与连接的多张表按照某种模式划分 ; ( 3) 维 护代价过高 . 不仅要维护 H ado op 系统, 还要维护每 个数据库节点; ( 4) 目前尚不支持数据的动态划分 , 需 要手工 方式将数 据一次 性划分好. 总 的来 说, H a do opDB 在某些情况下, 可以同时实现 关系数据库 的高性能特性和 M apReduce 的扩展性、 容错性, 但 同时也丧失了关系数据库和 M apReduce 的某些优 点 , 比如 M apReduce 较低的预处 理代价和 维护代 价、 关系数据库的动态数据重分布等 . Vert ica 采用 的是 共存 策 略: 根据 H adoo p 和 Vert ica 各自的处理 优势, 对 数据处理任务 进行划 分 . 比如 H adoop 负责非结构化数据的处理 , Vert ica 负责结构化数据 的处理; H adoop 负责 耗时的批量 复杂处理, Vert ica 负责高性能的交互式查询等, 从 而将两者结合起来 . Ver tica 实际采用的是两套系统, 同时支持在 M apReduce 任务中直接访问 Ver tica 数 据库中的数据 . 由于结构化 数据仍在 Vert ica 中处 理 , 在处理结构化大数据上的查询分析时 , 仍面临扩 展性问题; 如果将查询推向 H adoop 进行 , 又将面临 性能问题. 因此, Vert ica 的 扩展性 问题和 H adoop 的性能问题在该系统中共存 .

SQ L 接口和对模式的支持等技术来改善 M apReduce 的易用性, 代表系统是 H ive 、 P ig L at in 等 . H iv e 是 F aceboo k 提出的基于 H adoop 的大型 数据仓库 , 其目 标是简 化 H adoo p 上的数 据聚集、 ad - hoc 查询及大数据集的分析等操作, 以减轻程序 员的负担 . 它借鉴关系数据库的模式管理、 SQL 接 口等技术 , 把结构化的数据文件映射为数据库表, 提 供类似于 SQL 的描述性语言 H iveQL 供程序员使 用, 可 自动 将 H iveQL 语句 解 析成 一优 化的 Ma pReduce 任务执行序列 . 此外 , 它也支持用户自定义 的 MapReduce 函数. Pig L at in 是 Yahoo ! 提出的类似 于 H iv e 的大 数据集分析平台. 两者的区别主要 在于语言接口 . H ive 提供了类似 SQL 的接口, Pig L at in 提供的是 一种 基于 操作 符的 数据 流式 的 接口 . 图 3 是 Pig Lat in 在处理查询时的一个操作实例. 该查询的目的 是找出 年龄在 18~ 25 周岁之间的用户 ( U sers) 最 频繁访问的 5 个页面 ( Pages) . 从图 3 可以看出 , Pig 提供的 操作接口 类似于 关系 数据库 的操作 符 ( 对应图中右侧部分中的每一行命令 ) , 用户查询的 脚本类似于逻辑查询计划 ( 对应图中左侧部分 ) . 因 此, 也可以说 P ig 利用操作符来对 H adoop 进行封 装, H ive 利用 SQL 进行封装. 5. 3 MapReduce 和并行数据库集成型 该方 向 的 代 表 性 研 究 是 耶 鲁 大 学 提 出 的

H adoopDB[ 19] ( 已于 2011 年商业化为 H adapt [ 20] ) 、

10 期



珊等 : 架构大数据 : 挑战、 现状与展望

1747

与前 两 者 相 比, T eradat a 的 集 成 相 对 简 单 . T eradat a 采用了存储层的整合: M apReduce 任务可 以从 T er adata 数据库中读取数据 , T eradata 数据库 也可以从 Hadoop 分布式 文件系统上读 取数据. 同 样, Teradat a 和 Hadoop 各自的根本性问题都未解决 .

询执行过程中看到部分较早返回的结果 . 两者的不 同之处在于前者仍基 于 sort- merge 方 式来实现流 水线, 只是将排序等操作推向了 r educer, 部分情况 下仍会出现流水线停顿的情况; 而后者利用 hash 方 式来分布数据 , 能实现更好的 并行流水线操 作. 文 献 [ 30] 提出了 MRShare 架 构, 对批 量查询进 行转 换 , 将可共享扫描、 共享 M ap 输出结果等的一组任 务合并为一个, 以提升性能 . 新加坡国立大学对影响 H ado op 性能 的因 素 做 了深 入 分析
[ 12]

6

研究现状
对并行数据库来讲, 其最大问题在于有限的扩

, 并 提出 了

展能力和待改进的软件级容错能力 ; MapReduce 的 最大问题在于性能, 尤其是连接操作的性能; 混合式 架构的关键是 ①, 如何能尽可能多地把工作 推向合 适的执行引擎( 并行数据库或 M apReduce) . 本节对 近年来在这些问题上的研究做一分析和归纳 . 6. 1 并行数据库扩展性和容错性研究 华盛顿大学在文献[ 23] 中提出了可以生成具备 容错能力的并行执行计划优化器 . 该优化器可以依 靠输入的并行执行计划、 各个操作符的容错策略及 查询失败的期望值等, 输出一个具备容错能力的并 行执行计划. 在该计划中 , 每个操作符都可以采取不 同的容错策略, 在失败时仅重新执行其子操作符( 在 某节点上运行的操作符 ) 的任务来避免整个查询的 重新执行 . MIT 于 2010 年设计的 Osprey 系统 基于维 表在各个节点全复制、 事实表横向切分并冗余备份 的数据分布策略 , 将一星型查询划分为众多独立子 查询 . 每个子查询在执行失败时都可以在其备份节 点上重新执行, 而不用重做整个查询, 使得数据仓库 查询获得类似 M apReduce 的容错能力. 数据仓库扩展性方面的研究较少 , 中国人民大 学的 L inearDB 原型属于这方面的研 究, 详细 参见 7 1 节. 6. 2 MapReduce 性能优化研究 MapReduce 的性能优化研究集中于对 关系数 据库的先进技术和特性的移植上. Facebook 和俄亥俄州立大学合作, 将关系数据 库的混合式存储模型应用于 H adoop 平台, 提出了 RCFile 存储格式 . 与之不同, 文献 [ 26] 将列存储 技术引入 H ado op 平台. H adoop+ + [ 27] 系统运用了 传统 数 据 库 的 索 引 技 术, 并 通 过 分 区 数 据 并 置 ( Co - P art it ion) 的方 式来提升性能 . 文献 [ 28 - 29] 基 于 MapReduce 实现了以流水线方式在各个操作符 间传递数据, 从而缩短 了任务执行时 间; 在线 聚集 ( online ag gregat ion) 的操作模式使得用户可以在查
[ 25] [ 24]

5 项有 效的优化技术, 使得 H adoop 的性能提升了 近 3 倍 , 逼近关系数据库的性能 . 近年的研究热点是基于 M apReduce 的连接操 作的性能优化 . 文献[ 31] 对 M apReduce 平台的两表 连接算法做了总结 , 提出了 M ap 端连接、 Reduce 端 连接及广播式连接等算法 . 文献 [ 32] 对 MapReduce 框架进行了扩展 , 在 Reduce 步骤后添加了一 M er ge 步骤来完成 连接操作 , 提出的 M ap - Reduce- M er ge 框架可以同时处理两个异构数据源的数据 . 对于多 表连接 , 当前主流的研究集中于仅通过一个任务来 完成连接操作. 文献[ 33 - 34] 提出了一对多复制的方 法 , 在 M ap 阶段结束后 , 为保证连接操作的局部性, 元组会被复制到多个节点 . 但在节点数和数据量增 大的情况下 , 会带来 I/ O 量及网络传输量的巨大增 长 . L lam a 通过预排序和按连接属性划分数据的 方式来降低星型连接的代价 , 但要付出可观的预处 理代价和空间代价 . 不同于以 上等值连接优 化, 文 献 [ 36] 提出了针对任意连接条件的优化模型. 以上 连接方式都是先执行连接 , 然后在连接后的数据上 执行聚集操作. 而中国 人民大学的 Dumbo [ 37] 系统 却采用了另一种更适应于 M apReduce 平台的思路: 先执行过滤聚集操作, 再基于聚集的数据执行连接. 详细参考 7 2 节. 6. 3 HadoopDB 的改进 H ado opDB 于 2011 年针对其架构提出了两种 连接优化技术和两种聚集优化技术 . 两种连接优化的核心思想都是尽可能地将数据 的处理推入数据库层执行. 第 1 种优化方式是根据 表与表之间的连接关系 , 通过数据预分解 , 使参与连 接的数据 尽可能 分布 在同一 数据库 内 ( 参照 分解 法 ) , 从而实现将连接操作下压进数据库内执行. 该 算法的缺点是应用场景有限 , 只适用于链式连接 . 第

[ 38] [ 35]

其最大问题既包括扩展性也 包括性能 , 这两项分 别取决 于 并行数据库和 M apR edu ce( 木桶原理 ) , 其改进 取决于这 两 种系统问题的改进 .

1748











2011 年

2 种连接方式是针对广播式连接而设计的. 在执行 连接前, 先在数据库内为每张参与连接的维表建立 一张临时表, 使得连接操作尽可能在数据库内执行 . 该算法的缺点是较多的网络传输和磁盘 I/ O 操作 . 两种聚集优化技术分别是连接后聚集和连接前 聚集. 前者是执行完 Reduce 端连接后, 直接对符合 条件的记录执行聚集操作; 后者是将所有数据先在 数据库层执行聚集操作, 然后基于聚集数据执行连 接操作, 并将不符合条件的聚集数据做减法操作. 该 方式适用的条件有限, 主要用于参与连接和聚集的 列的基数相乘后小于表记录数的情况. 总的来看, H ado opDB 的优化技术大都局限性 较强, 对于复杂的连接操作 ( 如环形连接等 ) 仍不能下 推至数据库层执行, 并未从根本上解决其性能问题 .

为 T ransfo rm 、 Reduce 、 M er ge 3 个操作 ( T RM 执行 模型) : ( 1) T ransf orm. 主节点对查询进行预处理, 将查询中 作 用于 维 表的 操 作 ( 主 要 是 谓词 判 断, g roup - by 聚 集操 作 等 ) 转 换 为 事 实 表上 的 操 作; ( 2) Reduce. 每个数据节点并行地扫描、 聚集本地数 据 , 然后将处理结果返回给主节点; ( 3) M erg e. 主节 点对各个数据节点返回的结果进行合并 , 并执行后 续的过滤、 排序等操作. 基于 T RM 执行模型, 查询 可以划分为众多独立的子任务在大规模机群上并行 执行. 执行过程中, 任何 失败子任务都 可以在其备 份节点 重 新 执 行 , 从 而 获 得 较 好 的 容 错 能 力. L inearDB 的 执 行 代 价 主 要 取 决 于 对 事 实 表 的 Reduce ( 主要是扫描) 操作 , 因此, L inearDB 可以获 得近乎线性的大规模可扩展能力 . 实验表明, 其性能 比 H adoopDB 至少高出一个数量级②. L inearDB 的扩展能力、 容错能力和高性能在于 其巧妙地结合了关系数据库技术 ( 层次编码技术、 泛 关系模式) 和 M apReduce 处理模式的设计思想, 由 此 , 可以看出 , 结合方式的不同可以导致系统能力的 巨大差异. 7 2 Dumbo Dumbo [ 37] 的核 心 思想 是 根据 M apReduce 的 过滤- > 聚集 的处理模式, 对 OL AP 查询的处理 进行改造, 使其适应于 M apReduce 框架 . Dumbo 采用了类似于 L inearDB 的数据组织模 式 利用层次 编码技术将维表 信息压缩 进事实 表 , 区别在于 Dum bo 采用了更加有效的编码方式, 并针对 H ado op 分布式文件系统的特点对数据的存 储进行了优化. 在执行层次上 , Dumbo 对 M apReduce 框架进 行了扩展 , 设 计了新 的 OL AP 查询 处理 框架 T MRP( T ransfo rm- > M ap- > Reduce- > Post pro cess) 处理框架( 如图 5 所示) . 在该框架中 , 主节点 首先对查询进行转换, 生成一个 M apReduce 任务来 执行查询. 该任务在 M ap 阶段以流水线方式扫描、 聚集本地 数据, 并只 将本地的 聚集数据 传至 Re duce 阶段 , 来进行数据的合并及聚集、 排序等操作. 在 Post pro cess 阶段, 主节点在数据节点上传的聚集 数据之上执行连接操作. 实验表明 , Dumbo 性能远 超 H adoop 和 H ado opDB. 由此 我 们 可 以 看 出, 复 杂 的 OLA P 查 询 在
① ②

7

MapReduce 和关系数据库技术的 融合
综上所述, 当前研究大都集中于功能或特性的

移植 , 即从一个平台学习新的技术 , 到另一平台重新 实现和集成, 未涉及执行核心 , 因此也没有从根本上 解决大数据分析问题 . 鉴于此 , 中国人民大学高性能 数据库实验室的研究小组采取了另一种思路: 从数 据的组织和查询的执行两个核心层次入手, 融合关 系数据库和 MapReduce 两种技术, 设计高性能的可 扩展的抽象数据仓库查询处理框架 . 该框架在支持 高度可扩展的同时, 又具有关系数据库的性能 . 我们 团队尝试过两个研究方向: ( 1) 借鉴 MapReduce 的 思想 , 使 OL AP 查 询的处理能像 M apReduce 一样 高度可扩展( L inearDB 原型) ; ( 2) 利用关系数据库 的技术, 使 MapReduce 在处理 OL AP 查询时, 逼近 关系数据库的性能( Dumbo 原型) . 7. 1 LinearDB LinearDB
①[ 39]

原型系统没有直接采用基于连接

的星型模型( 雪花模型) , 而是对其进行了改造 , 设计 了扩展性更好的、 基于扫描的无连接雪花模型 JF SS ( Jo in - F ree Snow flake Schema) . 该模型的设计借鉴 了泛关系模型的思想 , 采用层次编码技术 将维表 层次信息压缩进事实表, 使得事实表可以独立执行 维表上的谓词判断、 聚集等操作, 从而使连接的数据 在大规模机群上实现局部性 , 消除了连接操作. 图 4 是一个星型模型和无连接雪花模型的对应示意图 . 在执 行层次 上, L inearDB 吸 取 了 M apReduce 处理模式的设计思想, 将数据仓库查询的处理抽象
[ 40]

又名为 LaS cO LA P. 此数据是基于我们自 己实现 的 〈key, value〉 列 存模 型之 上 测试得出的结果 , 与文献 [ 39] 中所列性能有所不同 .

10 期



珊等 : 架构大数据 : 挑战、 现状与展望

1749

图4

对比 : 一个典型星型模 型与其对应的无连接雪花模型

MapReduce 框架下 也可以获得接 近甚至超越关 系 数据库的性能, 其关键在于如何有效地结合关系数 据库和 MapReduce 两种技术. 仅仅停留于表层的移 植和集成是难以从根本上解决大数据分析问题的 . 我们在文献[ 41] 的研究中也展示了如何基于这种新 的数据组织方式来实现复杂分析操作 百分位数 的高效计算问题 . LinearDB 和 Dum bo 虽然 基 本可 以达 到 预期 的设计目标, 但两者都需要对数据进行预 处理, 其 预处理代价 是普通 加载时 间的 7 倍左右 . 因 此其 应对变化的 能力还 较弱 , 这是 我们未 来的工 作内 容之一 .

8

研究展望
当前 3 个方向的研究都不能完美地解决大数据

分析问题, 也就意味着每个方向都有极具挑战性的 工作等待着我们. 对并行数据库来说 , 其扩展性近年虽有较大改 善 ( 如 Greenplum 和 Ast er Dat a 都是面向 PB 级数 据规模设计开发的 ) , 但距离大数据的分 析需求仍 有较大差距 . 因此 , 如何改善并行数据库的 扩展能 力是一项 非常有 挑战的 工作 , 该项 研究 将同时 涉 及数据一致性协议、 容错性、 性能等数据库 领域的

1750











2011 年

的 , 混合式 OL AP ( H OL AP) 应该是 M apReduce 平 台的优选 OLAP 实现方 案. 具体 研究 如: ① 基于 M apReduce 框架的高效 Cube 计算算法; ② 物化视 图的选择问题, 即物化哪些数据; ③ 不同分析操作 的物化手段 ( 比如预测分析操作的物化) 及如何基于 物化的数据进行复杂分析操作 ( 如数据访问路径的 选择问题) . ( 2) 各种分析操作的并行化实现. 大数据分析 需要高效的复杂统计分析功能的支持 . IBM 将开源 统计分析 软件 R 集成 进 H ado op 平台 [ 42] , 增 强了 H ado op 的统计分析功能 . 但更具挑战性的问题是, 如何基于 MapReduce 框架设计可并行化的、 高效的 分析算法. 尤其需要强调的是, 鉴于移动数据的巨大 代价, 这些算法应基于移动计算的方式来实现. ( 3) 查询共享. M apReduce 采用步步物化的处 理方式 , 导致其 I/ O 代 价及网络传输代价 较高. 一 种有效的降低该代价的方式是在多个查询间共享物 化的中间结果, 甚至原始数据, 以分摊代价并避免重 复计算 . 因此如何在多查询间共享中间结果将是一
图 5 D umbo 架构 ( 深灰色部分是新增模块 , 剩余部分 是 Hadoo p 自带模块 )

项非常有实际应用价值的研究. ( 4) 用户接口 . 如 何较好地实现数据分析的展 示和操作, 尤其是复杂分析操作的直观展示. ( 5) H ado op 可靠性研究. 当前 H adoo p 采用主 从结构 , 由此决定了主节点一旦失效 , 将会出现整个 系统失效的局面. 因此 , 如何在不影响 H adoop 现有 实现的前提下, 提高主节点的可靠性 , 将是一项切实 的研究 . ( 6) 数据压缩. M apReduce 的执行模型决定了 其性能取决于 I/ O 和网络传输代价. 文献[ 11] 在比 较并行数据库和 M apReduce 基于压缩数据的性能 时 , 发现压缩技术并没有改善 H ado op 的性能 ①. 但 实际情况是 , 压缩不仅可以节省空间 , 节省 I/ O 及 网络带宽, 还可以利用当前 CPU 的多 核并行计算 能力, 平衡 I/ O 和 CPU 的处理 能力, 从而提 高性 能 . 比如并行数据库利用数据压缩后 , 性能往往可以 大幅提升. 此后, 文献 [ 25 - 26] 的研究成功地利用压 缩技术提升了 H adoop 的性能. 但这些研究都基于 各自的存储模型, 而非 H adoop 的默认存储模式 ( 行 存模型) . 因此 , M apReduce 上的压缩是一个尚待研 究的重要问题. ( 7) 多维索引研究 . 如何基于 MapReduce 框架 实现多维索引, 加快多维数据的检索速度 .


诸多方面 . 混合式架构方案可以复用已有成果 , 开发量较 小. 但只是简单的功能集成似乎并不能有效解决大 数据的分析问题 , 因此该方向还需要更加深入的研 究工作, 比如从数据模型及查询处理模式上进行研 究, 使两者能较自然地结合起来, 这将是一项非常有 意义的工作 . 中国人民大学的 Dumbo [ 37] 系统 即是 在深层结合方向上努力的一个例子 . 相比于前两者 , M apReduce 的性能优化进展迅 速, 其性能正逐步逼近关系数据库 . 该方向的研究又 分为两个方向: 理论界侧重于利用关系数据库技术 及理论改善 MapReduce 的性能 ; 工业界侧重于基于 MapReduce 平台开发高效的应用软件 . 针对数据仓 库领域, 我们认为如下几个研究方向比较重要 , 且目 前研究还较少涉及: ( 1) 多维数据的预计算 . M apReduce 更多针对 的是一次性分析操作. 大数据上的分析操作虽然难 以预测, 但传统的分析, 如基于报表和多维数据的分 析仍占多数 . 因 此, M apReduce 平台也可以利 用预 计算等手段加快数据分析的速度 . 基于存储空间的 考虑 ( 可以想象 , 在爆炸数据之上计算数据立方体需 要付出昂贵 的存储空 间代价 ) , MOL AP 是不可 取

原因未知 .

10 期



珊等 : 架构大数据 : 挑战、 现状与展望

1751

当然, 仍 有 许 多 其 它 研 究 工 作 , 比 如 基 于 H adoop 的实时数据分析、 弹性研究、 数据一致性研 究等 , 都是非常有挑战和意义的研究, 限于篇幅我们 不再赘述 .
[ 13] [ 12]

scal e dat a anal ysis/ / Proceedings of t he ACM SIG M O D Int er nati on al Conf erence on M anagement of D ata ( SIG M O D 09) . Providence, Rh od e Is lan d, U SA , 2009: 165 -178 Jiang D, Ooi B C, S hi L, W u S. The performance of M apRe duce: An in -dept h s tu dy. PV LD B, 2010, 3( 1) : 472 -483 St onebraker M , A badi D J, DeWit t D J, M adden S, Paul son E, Pavlo A , R as in A. M apReduce and parall el DBM S s: Friends or foes? Comm unicat ions of t he A CM , 2010, 53( 1) : 64 - 71 [ 14] [ 15] [ 16] [ 17] [ 18] D ean J , G hemaw at S. M apReduce: A fl exib le dat a pr ocess ing t ool. Commu nicat ion s of t he A CM , 2010, 53( 1) : 72 -77 ht t p: / / ww w . ast erdat a. com / product / mapredu ce. p hp ht t p: / / ww w . greenpl um. com/ t echnol ogy/ m apreduce/ ht t p: / / hive. apache. org/ O lst on C, R eed B, S rivast ava U , K um ar R, Tomk ins A n drew . Pig l at in: A not -s o -f oreign l angu age for dat a pr ocess ing/ / Proceedings of th e A CM SIG M O D Int ernat ional C onf er en ce on M anagement of Dat a ( S IG M O D 08) . V ancouver, BC, Canada, 2008: 1099 -1110 [ 19] A zza A bouzeid, K amil Bajda -Paw likow ski, Daniel J A badi, A lexander Rasin, A vi Silb erschatz . HadoopDB: A n ar chit ec t ural hybrid of M apR edu ce and DBM S t echn ol ogi es for ana lyt ical w orkl oads/ / Proceedin gs of t he 35t h In ternat ion al Con f erence on V ery Large D at a Bas es ( V LDB 09 ) . Lyon,

9

总 结
本文对大数据分析的主流实现平台 ( 并行数据

库、 M apReduce 及两者的混合架构 ) 进行了评价、 归 纳与对比分析, 介绍了中国人民大学在大数据分析 方面的研究, 并对当前的研究进行了归纳. 从文中可 以看出, 每种分析平台 都不是完美的 , 在大数 据面 前, 都有很长的路要走. 大数据分析迫使我们反思传 统的数据仓库架构, 虚心地研究 MapReduce 等新生 平台 , 以站在更高的层次来思考问题, 从而找到适应 时代需求的数据仓库架构 . 参
[ 1] [ 2] [ 3] [ 4]






h tt p: / / [ 20] [ 21] [ 22]

Wint erCorp: 2005 T opT en Program Summ ary.

France, 2009: 733 -743 H adapt In c. h tt p: / / w ww . h adapt . com ht t p: / / ww w . vert ica. com/ t he- analyt ics -pl at f orm/ nati vebi et l and - hadoop - mapreduce -int egrat ion/ X u Y , K os tamaa P. Int egrat ing hadoop and parallel D BM s/ / Proceedings of t he A CM SIG M O D In t ernat ional Conf erence on M anagement of D at a ( S IG M O D 10 ) . In dianapolis , In di an a, U S A, 2010: 969 -974 [ 23] U padhyaya P, K w on Y C, Balazinsk a M . A lat en cy and f aul t - t oleran ce opt imizer f or online paral lel query plans/ / Pro ceedings of t h e A CM S IG M O D Int ernat ional C onf erence on M anagement of Dat a( SIG M O D 11) . A t hens, G reece, 2011: 241 - 252 [ 24] Y an g C, Y en C, Tan C, M adden S . Os prey: Impl ement ing M apR educe- st yle f aul t tol erance in a s har ed - noth ing dist rib u t ed dat ab as e/ / Proceedings of t he 24t h Int ernat ional C onf er en ce on Data Engineering ( ICDE 10) . Long Beach, Calif ornia, U S A, 2010: 657 -668 [ 25] H e Y ongqian g, Lee Ru bao, H uai Y in, Sh ao Zheng, Jain N a mit , Zhang X iaodong, Xu Zhiw ei. RC Fil e: A fast and spaceeff icient dat a placem ent st ruct ure in M apReduce- based ware hous e syst em s/ / Proceedings of t he 24t h Int ern at ional Confer ence on Data Engin eering ( ICDE 11 ) . Hannover, G ermany, 2011: 1199 -1208 [ 26] Florat ou A , Pat el J M , Sh ekit a E J, T at a Sandeep. C ol umn orient ed st orage t echn iqu es f or M apReduce. PV LDB, 2011, 4( 7) : 419 -429 [ 27] Jens D itt rich, Jorge- A rn ulf o Q u ian - Rui z, Al ek h Jindal, Y agi z K argin, V inay Set ty, J ? rg S chad. H adoop+ + : M ak ing a yel low elephant run l ike a cheet ah ( wi th ou t it even noti cing) . PV LDB, 2010, 3( 1) : 518 -529 [ 28] Condie T , Conw ay N , A lvaro P, Hellerst ei n J M , Elmeleegy

ww w . w int er corp. com/ W hit ePapers / WC_T opTenWP. pdf TD WI Checkli st R eport : Big Dat a A nalyt ics. ht t p: / / tdw i. org/ research/ 2010/ 08/ Big -D at a - A nal yt ics. aspx Chau dhuri S, D ayal U . A n over view of dat a warehousing and OLA P t ech nology. S IG M O D R ec, 1997, 26( 1) : 65 -74 M adden S, DeWit t D J, St onebraker M . D at abase parall el i sm choices great ly impact scalabilit y. D at abaseC ol umn Bl og. ht t p: / / w w w . databasecolumn . com/ 2007/ 10/ database- paral l elis m - choices. ht ml [ 5] Dean J, G hem aw at S . M apR edu ce: Simplif ied dat a process in g on large clust ers/ / Proceedings of t he 6t h Sym pos ium on Operatin g Syst em Design an d Im plem ent ation ( O SD I 04) . San Francis co, Calif ornia, U SA , 2004: 137 - 150 [ 6] DeW it t D J , G erb er R H , G raefe G , H eytens M L, K um ar K B, M uralikris hna M . G A M M A A high perf ormance dataf low dat abase machin e/ / Proceedings of t he 12th Int ern a t ional C on feren ce on V er y Large D at a Bases ( V LDB 86) . Ky ot o, Japan, 1986: 228 -237 [ 7] Fu shimi S, K it suregaw a M , T anak a H . A n overview of t he syst em s of t w ar e of a parall el relat ional dat abase machin e/ / Pr oceedings of th e 12t h Int ernat ional Conf er ence on V ery Large D at a Bas es ( V LD B 86) . K yot o, Japan , 1986: 209 -219 [ 8] Brew er E A . Tow ard s robust dist ribu t ed syst ems/ / Proceed in gs of t he 19t h A nnual A CM Sympos ium on Prin ciples of Dist ribu t ed Comput ing ( PO DC U SA , 2000: 7 [ 9] [ 10] [ 11] ht t p: / / w w w. dbm s2. com/ 2008/ 08/ 26/ know n - appl icat ions of - mapreduce/ ht t p: / / hadoop. apach e. org Pavlo A , Paul son E, R asin A , A b adi D J, D eW itt D J, M ad den S, S ton ebraker M . A comparison of approaches t o large00 ) . Port lan d, O regon,

1752











2011 年

K, Sears R . M apReduce online/ / Pr oceedings of t he 7t h U SEN IX S ymposium on N et w orked Sy st ems D es ign and Im pl ement at ion ( N S DI 10 ) . San J ose, Cal ifornia, 2010: 313 328 [ 29] Li Boduo, M az ur E dward, Diao Y anlei , M cGr egor A ndrew , Shenoy Prashant J. A pl at f orm f or scalable one -pass analyt ics using M apReduce/ / Proceedings of t he A CM SIG M O D Int er n at ional C on feren ce on M anagement of Dat a( SIGM OD 11) . [ 30] A th ens , G reece, 2011: 985 -996 N ykiel T , Pot amias M , M i shra C , K olli os G , K oudas N . M RS har e: Sharing across mult ipl e queries in M apR edu ce. PV LD B, 2010, 3( 1) : 494 -505 [ 31] Bl anas S, Pat el Jignesh, Ercegovac V , Rao J, Sh ekit a E J, Tian Y . A com paris on of join al gorit hms f or log pr oces sing in M aPreduce/ / Proceedings of t h e A CM SIG M O D Int ernational Con feren ce on M anagement of D at a ( SIG M O D 10) . Indian apolis, Indiana, U S A , 2010: 975 -986 [ 32] Yang H -C, Dasdan A , H siao R -L, Parker D S. M ap -reduce merge: Si mplif ied relat ion al dat a processing on large cl us t ers/ / Proceedings of t he A CM SIG M O D Int ernat ional Con f erence on M anagement of Dat a ( SIGM OD 07 ) . Beijing, [ 33] China, 2007: 1029 -1040 A frat i F N, U ll man J D. Opt im izing join s in a map - redu ce environm ent / / Proceedings of t he 13t h In ternat ion al Conf er ence on Ext endin g Dat abase T ech nology. Lau san ne, S w itz er l and, 2010: 99 -110 [ 34] Jian g D , T ung A K H , Chen G. M ap - join - reduce: T ow ards scalable and ef ficient dat a analysis on large clu st ers. T K DE, 2010, 23( 9) : 1299 -1311 [ 35] Lin Y, A graw al D, C hen C, O oi B C, Wu S. Llama: Lever aging columnar s t orage for scalable join pr oces sing in t he MapR educe f ramew ork/ / Proceedings of th e A CM SIGM OD In t ernational Conf erence on M anagement of D at a( SIGM OD 11) . [ 36] A th ens , G reece, 2011: 961 -972 Okcan A , R iedew ald M . Processing th eta - joins using M apReduce [ 42] [ 41] [ 40] [ 39] [ 38] [ 37]

/ / Proceedings of t h e A CM SIG M O D Int ernati onal C onf er en ce on M anagement of D ata ( SIG M O D 11 ) . A t hen s, G reece, 2011: 949 -960 W ang H uiju, W an g Shan, Q in X iongpai , Li Fur on g, Zhou X uan , Qin Zuoyan, Zh u Q ing. Ef ficient st ar query pr ocess ing on Hadoop nical report ) Bajda -Paw lik ow s ki K amil, A badi D an iel J, Sil bers chat zA vi, Pau lson Erik. Ef f icien t processing of data w arehou sing que ries in a spl it execu ti on environment / / Proceedings of t he A CM SIG M O D Int ernati on al Conferen ce on M anagem ent of D at a ( SIG M OD 11) . 2011: 1165 -1176 W ang H uijui, Qin Xi on gpai, Zhang Yans on g, Wang Shan, W ang Zhanw ei . L inearDB: A relat ion al approach t o make data w arehouse s cal e l ike M apReduce/ / Proceedi ngs of t he D at abas e Sys tems f or A dvan ced A p plicati on s - 16t h In terna t ional Con feren ce ( D AS FA A 11) . 2011: 306 -320 K arayannidis N , Ts oi s A , Sellis T K , Pieringer R , M ark l V , R amsak F, Fenk R , Elh ardt K , Bayer R. Process ing st ar queries on hi erarchical ly -clust ered f act t ab les / / Pr oceedings of t he 28t h Int ern at ional Con feren ce on V ery Larg e Dat a Bases ( V LD B 02) . H on g K ong, China, 2002: 730 - 741 Q in Xiong pai, Wang H uiju, Du Xiaoyong, W an g Shan. Par all el aggregat ion queries over st ar schem a: A hierarchical en co ding s cheme and ef fi cient percent ile com put ing as a case/ / Proceedings of th e 9th IEEE In tern at ional Symposium on Par all el and Dist ribut ed Processing w it h A pplications ( ISPA 11) . Busan, K orea, 2011: 329 -334 D as S, Si smanis Y , Beyer K S, G emulla R , H aas P J, M cPh ers on J. Ricardo: Int egrat ing R and Hadoop/ / Proceed ings of t he A CM SIG M O D Int ernat ional Conf erence on M anagement of Data ( SIG M O D 10) . A t hens, G reece, In di an apoli s, Indiana, U SA , 2010: 987 - 998 H ong K ong, China, A t hens, G reece, 2011: 985 -996. A hierar chy encoding based approach ( T ech -

WANG Shan, bor n in 1944, pro fesso r, Ph. D. super viso r. H er r esear ch inter ests include hig h perfo rmance dat a base, data war eho use and know ledg e en gineer ing.

WANG Hui Ju, bo rn in 1979, Ph. D . candidat e. H is re sea rch inter ests include data w arehouse, para llel database, hig h per formance database. QIN Xiong - Pai, bor n in 1973, Ph. D . , lectur er. H is re sea rch inter est s include query optimization, main - memo ry database, par allel database. ZHOU Xuan, bo rn in 1979, Ph. D. , asso ciate pr ofesso r. H is cur rent research interests include IR, and hig h perfo rmance databases.

Background We have studied larg e scale data w arehouse sy st em since 2006, and fo cused on scalable main - memo ry O LA P system, scalable st ar quer ies pro cessing fo r SN par allel dat abase and Hadoo p platfor m, etc. U nt il no w, w e have develo ped fiv e pr oto types ScaM M D B, ScaM M DB II, M OSSDB, L in ear DB, and Dumbo. Curr ently we are wo rking o n the o ptimi zatio n o f Hadoo p. T his w or k is partly suppo rted by the Im por tant N ational Science & T echnolog y Specific P rojects o f China ( H GJ P rojects, G rant No 2010ZX01042 - 001 - 002) , the N atio nal N atur al Science Foundation of China ( G rant No 61070054, 61170013) , the Fundamenta l Research Funds for the Centra l U niv ersit ies ( the Research F unds of Renmin U niversity o f China, Gr ant No 10XN I018) , and the Gr aduate Science F oundatio n of Renmin U niv ersit y of China ( G rant No 10X NH 096 and No 11XN H 120) .


相关文章:
中国人民大学+王珊+-+架构大数据_挑战_现状与展望_图文.pdf
中国人民大学+王珊+-+架构大数据_挑战_现状与展望 - 第 34 卷第 10
架构大数据的挑战、现状与展望_图文.pdf
架构大数据挑战现状与展望_信息与通信_工程科技_专业资料。第 34 卷第 10...王珊 , 女 , 1944 年生 , 教授 , 博士生导师 , 中国计算机学会 ( CCF) ...
架构大数据,挑战、发展与 展望_图文.ppt
架构大数据,挑战、发展与 展望 - 架构大数据:挑战,现状与展望 指导老师:盛津
大数据“十大”知识精编(值得收藏)_图文.doc
大数据研究:未来科技及经济社会发展的重大战略领域 大数据的研究现 状与科学思考 李国杰、程学旗 4. 架构大数据:挑战现状与展望 王珊,王会举,覃雄派,...
大数据统一分析平台设计_图文.pdf
邮电设计技术, 2012, (8):21~24 覃雄派 , 王会举 , 杜小勇 , 王珊 . ...架构大数据: 挑战现状与展望 [J]. 计算机学报. 2011, (10): 1741~1752 ...
大数据时代的挑战.doc
Chinese Academy of Sciences, Beijing 100101) 架构大数据:挑战现状与展望 1...参考文献: 《架构大数据:挑战现状与展望王珊、王会举、覃雄派、周 1)...
基于云计算的大数据统一分析平台研究与设计_图文.pdf
邮电设计技术, 2012, (8):21~24 覃雄派 , 王会举 , 杜小勇 , 王珊 . ...架构大数据: 挑战现状与展望 [J]. 计算机学报. 2011, (10): 1741~1752 ...
大数据及其挑战.pdf
因而在海量分布式存储和查询方面仍然参考文献 [][1] 王珊等.架构大数据:挑战现状与展望[J].计算机学报,2011.[2] 马帅,李建新,胡春明 .大数据科学与工程的...
大数据对数据中心架构的新挑战_图文.pdf
大数据对数据中心架构的新挑战_互联网_IT/计算机_专业资料。详细讲解大数据和数据中心的关系和挑战 大数据对数据中心架构的新挑战张瑾 Gartner数据中心首席分析师 ...
大数据对IT技术架构的挑战_图文.pdf
大数据对IT技术架构挑战_互联网_IT/计算机_专业资料。大数据热点问题和 2013年发展趋势预测 CCF大数据专家委员会专家调研结果发布 2012年11月30日 调研的目标、...
大数据论文.doc
等方面产生深远的影响, 大数据时代对人类的数据驾驭能力 提出了新的挑战与机遇...参考文献:王珊架构大数据:挑战现状与展望》 维克托?迈尔?舍恩伯格《大数据...
大数据安全的现状与发展_王倩_图文.pdf
的收 集处理 和应 用 提出 了新 的安 全挑战加大对 大数 据安 全、 。...王珊 王会举 卑雄派架构大 数据 挑战现状与展望: 、 计算 机学报 维基 百科...
大数据环境下的数据安全工作探讨_海洋_图文.pdf
[3] 王珊, 王会举, 覃雄派, 等 . 架构大数据 : 挑战现状与展望 参考文献 [1] 郭三强 , 郭燕锦 . 大数据环境下的数据安全研究 [J]. 科技 广场 ,...
大数据环境下的数据挖掘课程教学探索_李海林.pdf
然而, 针对大数据在现今各领域中的重要性以 及它所带来的诸多问题和挑战, 则...参考文献: [1] 王珊,王会举,覃雄派等.架构大数据:挑战现状与展望[J]....
网络大数据现状与展望_谷少鹏.pdf
网络大数据 将重新定义我们的生产生活方式, 对社会的进步发展带来机遇和挑战, ...参考文献: [1〕 王珊 , 王会举 , 覃雄派等 . 架构大数据 : 挑战现状...
大数据的价值如何体现%3f_图文.pdf
这是由于 电信用户多、规模大,电信业遇到的问 题和挑战比较大,解决方案...王珊.王会举.覃雄派.周 架构大数据:挑战现状与展望[会议论文]-2011...
大数据和客户营销20150421-王珊_图文.ppt
大数据和客户营销20150421-王珊_销售/营销_经管营销_专业资料。 自我介绍 基本信息王珊-28岁 整合运营 大...
电信行业大数据分析的研究方向与展望.pdf
湖北武汉 430071) 摘要:在大数据时代的今天,电信行业面临着巨大的机遇和挑战。 ...[2]王珊,王会举,覃雄派,等.架构大数据:挑战,现状与展望[J].计算机 学报,...
大数据综述.doc
存储系统、文件系统面临的新挑战也随之而来: 如何管理更多的设备,提供更好的性能...5.参考文献【1】王珊、王会举、覃雄派 架构大数据:挑战现状与展望 计算机...
大数据及其安全研究_高润芳.pdf
面对既是机遇又是挑战的大数据 , 应充分选择并 有效 利用信息资源 , 加快 ...架构大数据: 挑战现状与展望[ 计算机 5J. 王珊, (), 学报, 1011104:...
更多相关标签: