前面写了这么多,其实都是铺垫,实际上我们今天才是正题,hadoop生态系统,一个开源的大数据系统。
=====================我是一个分割线=====================
hadoop生态系统包含了很多很杂乱的组建,在我学习的时候,hadoop的2.8.1版本刚刚正式发布,在这篇文章开始写的时候,hadoop都发布03版本的第四个预览版了。
技术,就学最新的。我们从03版本开始学习源代码。
首先hadoop是什么?hadoop的百度百科。大家阅读完百度百科其实对hadoop就已经有一个初步印象了。
现在,我们讲讲如何构建我们的hadoop环境,我的环境是6台centos7最小化安装+hadoop2.8.1,具体就是每台虚拟机给予1个虚拟CPU,2G内存,80G硬盘。如果以后更改环境我会具体说明。
一:首先就是去下载hadoop,hadoop说白了就是一套软件构建起来的环境,首先我们去安装centos7(请百度或看前面的文章),然后yum安装wget,wget是一个单线程的linux下的下载软件,非常小巧好用,我们先去wget我们的hadoop压缩包,执行命令
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.1/hadoop-2.8.1.tar.gz##视情况而定,先去官网看看再下载
下载过程看网络情况,当然大家也可以去下载到本地再去用FTP方式传到服务器上面也可以(运维人员一定需要在集群里面构建个ftp或者yum服务器,毕竟大集群的下载太占带宽)
二:下载完成后,我们下载一份3.0的源代码放到自己的电脑上,以便阅读(阅读源代码以后再说,先说搭建环境),我们先
tar -zvxf hadoop-x.x.x..tar.gz##解压我们的hadoop软件
我们要知道我们即使解压了hadoop软件还需要配置,但是我们需要最最重要的一点,安装java环境,毕竟hadoop整体是运行在java环境下的,这时候单纯的wget下载rpm包就下载不下来了,需要加点参数。
##只是示例,不要直接复制使用,请各位谨记,蓝色部分为下载时需要添加的参数##
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u101-b13/jdk-8u101-linux-x86_64.tar.gz
注意:1:如果你下载的rpm安装包,请执行
rpm(空格)-ivh(空格)rpm包名字.rpm##进行安装
2:如果你下载的.tar.gz压缩包,请执行
tar(空格)-zvxf(空格)包名字.tar.gz##解压缩
然后配置/etc/profile里面的path,和windows有所区别,配置linux的path变量是$(美元符号)。在profile文件的后面追加
$JAVA_HOME=你的解压位置(不要接bin)
再追加
$PATH=$JAVA_HOME/bin:$PATH:
保存退出。
3.输入java,javac,java -version进行验证是否安装成功,若不成功请参考其他网络教程。
=======================分割线=======================
其实这篇文章就只讲了wget下载和java环境配置,下篇文章继续讲解我们的安装,其实多台服务器,不能一台台的去配置java环境,于是诞生了脚本。
文章评论