USDP使用笔记（二）部署免费的USDP大数据双集群替代CDH CDP与HDP

最新推荐文章于 2025-03-16 15:16:30 发布

原创

最新推荐文章于 2025-03-16 15:16:30 发布 · 5k 阅读

文章标签：

#大数据 #hbase #kafka #flink #spark

本文详述了使用USDP（Unified Data Platform）搭建双集群的过程，包括硬件配置、虚拟机准备、安装包下载、安装部署、配置MySQL、启动集群等步骤。通过调整内存分配解决了组件JVM堆栈内存溢出问题，提供了一种经济高效的大数据环境搭建方案。此外，还分享了默认的用户账号和密码，以及各个服务的默认端口。

前言

Cloudera与Hortonworks合并后，再去用CDH、CDP与HDP的Cloudera Manager与Ambari总是没安逸了。可白piao的CDH最高版本6.3.2，组件相对来说也比较古老，生产环境的CDH也陆续要脱保了。甲方爸爸不差钱可以交保护费，我等穷人嘛，白piao一时爽，一直白piao一直爽，能白piao的机会当然是不能放过。笔者没那么勤奋，懒得部署Apache组件了【需要考虑的兼容性、编译等问题很多】，图省心省力部署了一套USDP2的双集群。

硬件配置

双路e5 2696v3 256G内存主机

主板：x99f8d
CPU：e5 2696v3 *2 【36核72线程】
内存条：DDR4 ECC 32G *8 【256G】
显卡：GT730 【2G显存】
散热器：ta 120ex *2 【单风扇】
SSD：MX500 2T *2 【4T】
HDD：NAS拆的酷狼 4T
电源：GX1000 【1000W】
机箱：614PC 【标配2风扇+套装3风扇】
显示器：13.3寸便携 【2K】
键鼠：笔记本淘汰的一套 【USB口】
网卡：USB无线网卡

花销1w左右，省着点8k也够。

虚拟机准备

制作7台虚拟机

安装包下载

USDP官网，含下载路径及操作指南

安装部署

准备路径

[root@zhiyong1 ~]# cd ..
[root@zhiyong1 /]# mkdir /data
[root@zhiyong1 /]# mkdir -p /opt/usdp-srv/

上传文件

将httpd-rpms.tar.gz 、mirror.tgz、epel.tgz放置到/data
将usdp-01-master-privatization-free-2.X.tar.gz放置到/opt/usdp-srv/

[root@zhiyong1 usdp-srv]# ll
总用量 7409020
-rw-r--r--. 1 root root 7586834393 3月   1 21:38 usdp-01-master-privatization-free-2.X.tar.gz
[root@zhiyong1 usdp-srv]# tar -zxvf usdp-01-master-privatization-free-2.X.tar.gz

其中的一些安装包：

usdp/repository/2.0.0.0/influxdb-1.8.0.tar.gz
usdp/repository/2.0.0.0/usdpmonitor-1.0.0.tar.gz
usdp/repository/2.0.0.0/alertmanager-0.21.0.tar.gz
usdp/repository/2.0.0.0/prometheus-2.18.1.tar.gz
usdp/repository/2.0.0.0/grafana-6.5.1.tar.gz
usdp/repository/2.0.0.0/node_exporter-1.0.0.tar.gz
usdp/repository/2.0.0.0/phoenix-5.0.0.tar.gz
usdp/repository/2.0.0.0/tez-0.10.0.tar.gz
usdp/repository/2.0.0.0/spark-3.0.1.tar.gz
usdp/repository/2.0.0.0/zkui-2.0.0.tar.gz
usdp/repository/2.0.0.0/elasticsearch-7.8.0.tar.gz
usdp/repository/2.0.0.0/zookeeper-3.4.13.tar.gz
usdp/repository/2.0.0.0/zeppelin-0.9.0.tar.gz
usdp/repository/2.0.0.0/tez-0.10.0-dependency.tar.gz
usdp/repository/2.0.0.0/kibana-7.8.0.tar.gz
usdp/repository/2.0.0.0/sqoop-1.4.7.tar.gz
usdp/repository/2.0.0.0/hadoop-3.1.1.tar.gz
usdp/repository/2.0.0.0/kafka-2.11-2.0.1.tar.gz
usdp/repository/2.0.0.0/flume-1.9.0.tar.gz
usdp/repository/2.0.0.0/kafkaeagle-2.0.6.tar.gz
usdp/repository/2.0.0.0/neo4j-3.5.28.tar.gz
usdp/repository/2.0.0.0/hbase-2.1.10.tar.gz
usdp/repository/2.0.0.0/hue-4.8.0.tar.gz
usdp/repository/2.0.0.0/flink-1.13.2.tar.gz
usdp/repository/2.0.0.0/ranger-2.1.0.tar.gz
usdp/repository/2.0.0.0/hive-3.1.2.tar.gz
usdp/repository/2.0.0.0/dolphinscheduler-2.0.0.tar.gz

可以大致看出版本不算太老。还算全面，当然用得上用不上另说，我可以不用，但不希望用的时候没有。。。白piao版少几个组件，Kylin、Atlas、Livy、Alluxio之类的，只好自己慢慢手动安装。Flink也老了点，体验不到1.14流批一体的欢乐。Kerberos认证暂时也没有自动化部署的方式。

准备安装

[root@zhiyong1 usdp-srv]# cd usdp/
[root@zhiyong1 usdp]# ll
总用量 4
drwxr-xr-x. 2 root root   33 12月 29 15:36 agent
drwxr-xr-x. 2 root root  136 12月 31 14:39 bin
drwxr-xr-x. 2 root root   65 12月 29 14:48 config
drwxr-xr-x. 2 root root  137 12月 29 14:46 jmx_exporter
drwxr-xr-x. 3 root root   21 12月 29 14:48 license
drwxr-xr-x. 2 root root    6 12月 29 14:48 logs
drwxr-xr-x. 2 root root   35 12月 29 14:46 recommend
drwxr-xr-x. 7 root root   73 12月 29 14:48 repair
drwxr-xr-x. 3 root root   21 12月 29 14:46 repository
drwxr-xr-x. 2 root root 4096 12月 29 15:34 scripts
drwxr-xr-x. 2 root root   34 12月 29 15:35 server
drwxr-xr-x. 2 root root   29 12月 29 14:48 sql
drwxr-xr-x. 4 root root   32 12月 29 15:30 templated
drwxr-xr-x. 2 root root    6 12月 29 14:48 verify
drwxr-xr-x. 2 root root   79 12月 31 14:49 versions

[root@zhiyong1 usdp]# cd ./repair/
[root@zhiyong1 repair