Hadoop 的 CDH 版本是什么?

一、Apache社区版

file

优点:

完全开源免费 社区活跃 文档、资料详实

缺点:

  • 版本管理比较混乱,各种版本层出不穷,很难选择,选择生态组件时需要大量考虑兼容性问题、版本匹配问题、组件冲突问题、编译问题等。
  • 集群的部署安装配置复杂,需要编写大量配置文件,分发到每台节点,容易出错,效率低。
  • 集群运维复杂,需要安装第三方软件辅助。

二、第三方发行版(CDH/HDP/MapR)

常用发行版:

  • Apache Hadoop 原生版
  • CDH(Cloudera)
  • HDP(Hortonworks)

优点:

  • 基于Apache协议,100%开源。
  • 版本管理清晰
  • 提供了部署、安装、配置工具,大大提高了集群部署的效率
  • 运维简单。提供了管理、监控、诊断、配置修改的工具,管理配置方便,定位问题快速、准确,使运维工作简单,有效。
  • 缺点:

    涉及到厂商锁定的问题。

三、 CDH介绍

CDH版本衍化

hadoop是一个开源项目,所以很多公司在这个基础进行商业化,Cloudera对hadoop做了相应的改变。Cloudera公司的发行版,我们将该版本成为 CDH(Cloudera Distribution Hadoop)。截止目前为止,CDH共有5个版本,其中,前两个已经不再更新,最近的两个,分别是CDH4和Apache Hadoop2.0.0版本基础上演化而来的。CDH5,他们每隔一段时间便会更新一次。

Cloudera以patch lever划分小版本,比如patch lever为923.142表示在原生态Apache Hadoop0.20.2基础上添加了1065个patch(这些patch是各个公司或者个人贡献的,在Hadoop jira上均有记录),其中923个是最后一个beta版本添加的patch,而142个是稳定版发行后新增加的patch。由此可见,patch lever越高,功能越完备且解决的bug越多。

Cloudera版本层次更加清晰,且它提供了适用于各种操作系统的Hadoop安装包,可直接使用apt-get或者yum安装,更加省事。

Cloudera:最成型的发行版本,拥有最多的部署案例。提供强大的部署、管理和监控工具。

CDH版本下载

(1)版本含义介绍:
https://ccp.cloudera.com/display/DOC/CDH+Version+and+Packaging+Information
(2)各版本特性查看:
https://ccp.cloudera.com/display/DOC/CDH+Packaging+Information+for+Previous+Releases
(3)各版本下载:
CDH3:http://archive.cloudera.com/cdh/3/
CDH4:http://archive.cloudera.com/cdh/4/
CDH5:http://archive.cloudera.com/cdh/5/

注意,Hadoop压缩包在这两个链接中的最上层目录中,不在某个文件夹里,很多人进到链接还找不到安装包!

扩展

为什么选择oozie做调度工具

cdh6自带oozie组件,cloudera manger统一监控,统一管理

可以调度任何程序,且使用灵活
有完善的可视化编辑ui和监控ui

运行稳定

file

https://edu.51cto.com/center/course/lesson/index?id=400248

为者常成,行者常至