Hadoop 的 CDH 版本是什么?
一、Apache社区版
优点:
完全开源免费 社区活跃 文档、资料详实
缺点:
- 版本管理比较混乱,各种版本层出不穷,很难选择,选择生态组件时需要大量考虑兼容性问题、版本匹配问题、组件冲突问题、编译问题等。
- 集群的部署安装配置复杂,需要编写大量配置文件,分发到每台节点,容易出错,效率低。
- 集群运维复杂,需要安装第三方软件辅助。
二、第三方发行版(CDH/HDP/MapR)
常用发行版:
- Apache Hadoop 原生版
- CDH(Cloudera)
- HDP(Hortonworks)
优点:
- 基于Apache协议,100%开源。
- 版本管理清晰
- 提供了部署、安装、配置工具,大大提高了集群部署的效率
- 运维简单。提供了管理、监控、诊断、配置修改的工具,管理配置方便,定位问题快速、准确,使运维工作简单,有效。
-
缺点:
涉及到厂商锁定的问题。
三、 CDH介绍
CDH版本衍化
hadoop是一个开源项目,所以很多公司在这个基础进行商业化,Cloudera对hadoop做了相应的改变。Cloudera公司的发行版,我们将该版本成为 CDH(Cloudera Distribution Hadoop)。截止目前为止,CDH共有5个版本,其中,前两个已经不再更新,最近的两个,分别是CDH4和Apache Hadoop2.0.0版本基础上演化而来的。CDH5,他们每隔一段时间便会更新一次。
Cloudera以patch lever划分小版本,比如patch lever为923.142表示在原生态Apache Hadoop0.20.2基础上添加了1065个patch(这些patch是各个公司或者个人贡献的,在Hadoop jira上均有记录),其中923个是最后一个beta版本添加的patch,而142个是稳定版发行后新增加的patch。由此可见,patch lever越高,功能越完备且解决的bug越多。
Cloudera版本层次更加清晰,且它提供了适用于各种操作系统的Hadoop安装包,可直接使用apt-get或者yum安装,更加省事。
Cloudera:最成型的发行版本,拥有最多的部署案例。提供强大的部署、管理和监控工具。
CDH版本下载
(1)版本含义介绍:
https://ccp.cloudera.com/display/DOC/CDH+Version+and+Packaging+Information
(2)各版本特性查看:
https://ccp.cloudera.com/display/DOC/CDH+Packaging+Information+for+Previous+Releases
(3)各版本下载:
CDH3:http://archive.cloudera.com/cdh/3/
CDH4:http://archive.cloudera.com/cdh/4/
CDH5:http://archive.cloudera.com/cdh/5/
注意,Hadoop压缩包在这两个链接中的最上层目录中,不在某个文件夹里,很多人进到链接还找不到安装包!
扩展
为什么选择oozie做调度工具
cdh6自带oozie组件,cloudera manger统一监控,统一管理
可以调度任何程序,且使用灵活
有完善的可视化编辑ui和监控ui
运行稳定
https://edu.51cto.com/center/course/lesson/index?id=400248
为者常成,行者常至
自由转载-非商用-非衍生-保持署名(创意共享3.0许可证)