当前位置:首页 >> 政史地 >>

专题:Spark部署与实践


专题:Spark 部署与实践 Apache Spark 是立足于内存计算的一种快速数据分析方案。其性能已经得到大家的认可,但我 们该如何部署与实施 Spark 呢?本专题将为您介绍不同模式的 Spark 部署。 头条推荐 Apache Spark 三种分布式部署方式比较目前 Apache Spark 支持三种分布式部署方式,分别是 standalone、spark on meso

s 和 spark on YARN。本文将介绍这三种部署方式,并比较其优缺 点。……>>详细 1Spark 基本概念解析 1:实验配置 虚拟机 cdh1(4G 内存,1CPU*2CORE) 虚拟机 cdh2(4G 内存,1CPU*2CORE) 虚拟机 cdh3(4G 内存,1CPU*2CORE) 阅读全文 2Spark 集群部署 1. 安装环境简介 硬件环境:两台四核 cpu、4G 内存、500G 硬盘的虚拟机。 软件环境: 64 位 Ubuntu12.04 LTS; 主机名分别为 spark1、 spark2, IP 地址分别为 1**.1*.**.******。 JDK 版本为 1.7。集群上已经成功部署了 Hadoop2.2,详细的部署过程可以参见另一篇文档 Yarn 的安装与部署。 2. 安装 Scala2.9.3 阅读全文 3Spark 的 Standalone 模式部署 1:Spark Standalone Mode 安装 A:部署包生成 首先,下载并解压缩 Spark 的源码,切换到解压缩所生成的目录,运行部署包生成程序 make-distribution.sh: .make-distribution.sh--hadoop2.2.0--with-yarn--tgz spark 源码根目录下的 make-distribution.sh 可以带以下参数: 阅读全文 4Spark 的 YARN 模式部署 1:Spark 的编译 Spark 可以通过 SBT(Scala Build Tool)或者 Maven 来编译,官方提供的二进制安装文件是用 Maven 编译,如果是要在 YARN 高山茶 eupai.net 集群上运行的话,还需要再用 SBT 编译一 下, 生成 YARN client 端使用的 jar 包; 最好是直接对源码使用 SBT 进行编译而生成 YARN client 端使用的 jar 包。笔者在测试过程中,对 Maven 编译过的 Spark 进行 SBT 二次编译后,在运行 部分例子的时候有错误发生。 A:Maven 编译 笔者使用的环境曾经编译过 Hadoop2.2.0(参见 hadoop2.2.0 源码编译(CentOS6.4)) ,所以不敢确 定 Maven 编译过程中,Spark 是不是水草玛瑙 mnwg.net 需要编译 Hadoop2.2.0 中使用的部分底 层软件(看官方资料是需要 Protobuf2.5) 。除了网络下载不给力而不断的中止、然后重新编译而 花费近 1 天的时间外,编译过程还是挺顺利的。 阅读全文 6 将 Spark 部署到 Hadoop 2.2.0 上 本文介绍的是如何将 Apache Spark 部署到 Hadoop 2.2.0 上,如果你们的 Hadoop 是其他版本, 比如 CDH4,可直接参考官方说明操作。 需要注意两点: (1)使用的 Hadoop 必须是 2.0 系列,比如 0.23.x,2.0.x,2.x.x 或 CDH4、CDH5 等,将 Spark 运行在 Hadoop 上,本质上是将 Spark 运行在 Hadoop YARN 上,因为 Spark 自身

只提供了作业管理功能,资源调度要依托于第三方系统,比如 YARN 或 Mesos 等 (2)之所以 不采用 Mesos 而是 YARN,是因为 YARN 拥有强大的社区支持,且逐步已经成为资源管理系统 中的标准。 注意,目前官方已经发布了 0.8.1 版本,可以直接从这里选择合适的版本下载,如果你使用的是 hadoop 2.2.0 或者 CDH5,可以直接从这里下载。 将 Spark 部署到 Hadoop 2.2.0 上需要经过以下几步: 阅读全文 7Spark 多语言编程实践 Spark 目前支持 scala、python、JAVA 编程。 作为 Spark 的原生语言,scala 是开发 Spark 应用程序的首选,其优雅简洁的代码,令开发过 mapreduce 代码的码农感觉象是上了天堂。 Spark 提供了 python 的编程模型 PySpark, 使得 python 可以作为 Spark 开发语言之一。 尽管现在 PySpark 还不能支持所有的 Spark API,但是我们相信以后的支持度会越来越高;同时作为 NOSQL 的主力开发工具之一的 python,一旦将 NOSQL 和 Spark 结合后,我们可以想象以后的 发展前景。 至于 Java,时间和精力允许的情况下再选吧。不过作为作为长期坐着写代码的码农,应该积极 参加登山、会友之类的活动,为身体着想,还是不要选 JAVA 来编写 Spark 程序了。 阅读全文


相关文章:
专题升级训练一 句子结构类
专题升级训练五 完形填空... 专题升级训练八 完形填空...In that instant, it was as though a spark ...中医护理学基础重点 执业医师实践技能考试模拟试题©...
spark集群三种部署模式的区别
spark集群三种部署模式的区别_计算机软件及应用_IT/计算机_专业资料。spark三种...专题:Spark部署与实践 2页 免费 spark集群部署 暂无评价 6页 1下载券 spark...
spark集群部署
spark集群部署_计算机软件及应用_IT/计算机_专业资料。概述本文是对 spark1.6.0...专题:Spark部署与实践 2页 免费 Spark生态和安装部署 28页 免费 spark...
spark部署
spark部署_计算机软件及应用_IT/计算机_专业资料。spark部署spark 部署 2014 年 ...Spark 16页 免费 spark_me_up 4页 免费 专题:Spark部署与实践 2页 免费 Spar...
现在进行时专题训练
现在进行时专题训练 隐藏>> 现在进行时专题训练一:回答以下的问题。 be 动词有...Spark ___his mother do the housework. A. is helping B. are help C. ...
spark安装部署
spark安装部署_计算机软件及应用_IT/计算机_专业资料。spark安装部署过程 一、安装 spark 依赖的内容 1.JDK spark 是由 Scala 语言编写的,但是运行的环境是 jvm,...
2014届高三英语二轮专题强化精选:阅读理解3
2014届高三英语二轮专题强化精选:阅读理解3_高考_高中教育_教育专区。2014 届高三...spark, shifting the brain to a higher speed, encouraging further reading. ...
阅读表达专题训练
阅读表达专题训练_英语学习_外语学习_教育专区。英语阅读表达专题训练 (1) 本文...cells that ___, such as platinum1, to spark those chemical reactions...
文献检索
spark plasma sintering.Journal of Alloys and ...专题综 述,新产品介绍,现场运行;其它还有标准化、...哲学与文化、语 言文学研究、教育理论与实践等栏目...
spark配置参考
spark配置参考_计算机软件及应用_IT/计算机_专业资料。spark 环境配置,已经配置理由 Spark 与存储系统如果 Spark 使用 HDFS 作为存储系统, 则可以有效地运用 Spark ...
更多相关标签: