hive部署 版本apache-hive-2.3.9 下载地址 集群规划hive属于一个工具直接部署到cdh1主节点上 上传服务器指定目录解压1tar -xf apache-hive-2.3.9-bin.tar.gz 配置环境变量vi /etc/profile.d/hive.sh 12export HIVE_HOME=/opt/hadoop/hive/apache-hive-2.3.9-binexport P 2021-11-30 hadoop #hadoop
hue安装 1234567891011version: '3.1'services: mongo: image: gethue/hue:latest container_name: hue restart: always ports: - 8888:8888 volumes: - ./hue.ini:/usr/share/hue/des 2021-11-30 hadoop #hadoop
kafka集群 版本kafka_2.12-3.0.0 集群规划 机器 ip cdh1 172.16.100.63 cdh2 172.16.100.64 cdh3 172.16.100.71 配置服务器 时间同步 免密码登录 hosts 关闭防火墙 安装jdk 在所有服务器(cdh1,cdh2,cdh3)配置环境变量把安装包上传到服务器 vi /etc/profile.d/kafka.sh 2021-11-30 hadoop #hadoop
hdfs操作 HDFS(Hadoop Distributed File System):分布式文件系统 操作HDFS操作命令 hdfs dfs **** -mkdir 创建目录 举例: hdfs dfs -mkdir /aaa hdfs dfs -mkdir -p /bbb/ccc -p表示如果父目录不存在 则先创建父目录 -ls 查看某个目录 -ls 2021-11-30 hadoop #hadoop
kettle配置hadoop,hbaseoutput 版本pdi-ce-8.3.0.0-371 这个连接hadoop的时候, 9.x版本有问题 下载并解压到电脑下载链接 配置hadoop集群按照下图进行添加hadoop 点击测试hadoop集群 同步hadoop配置文件hadoop /hadoop-3.2.0/etc/hadoop 目录下配置:yarn-site.xml,mapred-site.xml,hdfs-site.xml,core-si 2021-11-30 hadoop #hadoop
phoneix 安装 版本phoenix-hbase-2.4-5.1.2-bin 上传服务器指定目录解压1tar -xf phoenix-hbase-2.4-5.1.2-bin.tar.gz 配置环境变量vi /etc/profile.d/phoenix.sh 12export PHOENIX_HOME=/opt/hadoop/phoenix/phoenix-hbase-2.4-5.1.2-binexport PA 2021-11-30 hadoop #hadoop
hbase集群 版本hbase 2.4.9 集群规划 机器 ip 分配节点 cdh1 172.16.100.63 HMaster HRegionServer cdh2 172.16.100.64 HRegionServer cdh3 172.16.100.71 HRegionServer cdh1 又是HMaster 同时也是HRegionServer,因为安装phoenix的时候需要安装 2021-11-30 hadoop #hadoop