与服务器一起的日子

  • mysql
  • linux
  • 高可用
  • nginx
与服务器一起的日子
冰冷的机器也熄不灭火热的心
  1. 首页
  2. centos
  3. 正文

hadoop技术探秘01——hadoop环境搭建01

2017年9月21日 643点热度 0人点赞 0条评论

前面写了这么多,其实都是铺垫,实际上我们今天才是正题,hadoop生态系统,一个开源的大数据系统。

=====================我是一个分割线=====================

hadoop生态系统包含了很多很杂乱的组建,在我学习的时候,hadoop的2.8.1版本刚刚正式发布,在这篇文章开始写的时候,hadoop都发布03版本的第四个预览版了。

技术,就学最新的。我们从03版本开始学习源代码。

首先hadoop是什么?hadoop的百度百科。大家阅读完百度百科其实对hadoop就已经有一个初步印象了。

现在,我们讲讲如何构建我们的hadoop环境,我的环境是6台centos7最小化安装+hadoop2.8.1,具体就是每台虚拟机给予1个虚拟CPU,2G内存,80G硬盘。如果以后更改环境我会具体说明。

一:首先就是去下载hadoop,hadoop说白了就是一套软件构建起来的环境,首先我们去安装centos7(请百度或看前面的文章),然后yum安装wget,wget是一个单线程的linux下的下载软件,非常小巧好用,我们先去wget我们的hadoop压缩包,执行命令

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.1/hadoop-2.8.1.tar.gz##视情况而定,先去官网看看再下载

下载过程看网络情况,当然大家也可以去下载到本地再去用FTP方式传到服务器上面也可以(运维人员一定需要在集群里面构建个ftp或者yum服务器,毕竟大集群的下载太占带宽)

二:下载完成后,我们下载一份3.0的源代码放到自己的电脑上,以便阅读(阅读源代码以后再说,先说搭建环境),我们先

tar -zvxf hadoop-x.x.x..tar.gz##解压我们的hadoop软件

我们要知道我们即使解压了hadoop软件还需要配置,但是我们需要最最重要的一点,安装java环境,毕竟hadoop整体是运行在java环境下的,这时候单纯的wget下载rpm包就下载不下来了,需要加点参数。

##只是示例,不要直接复制使用,请各位谨记,蓝色部分为下载时需要添加的参数##

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u101-b13/jdk-8u101-linux-x86_64.tar.gz

注意:1:如果你下载的rpm安装包,请执行

rpm(空格)-ivh(空格)rpm包名字.rpm##进行安装

2:如果你下载的.tar.gz压缩包,请执行

tar(空格)-zvxf(空格)包名字.tar.gz##解压缩

然后配置/etc/profile里面的path,和windows有所区别,配置linux的path变量是$(美元符号)。在profile文件的后面追加

$JAVA_HOME=你的解压位置(不要接bin)

再追加

$PATH=$JAVA_HOME/bin:$PATH:

保存退出。

3.输入java,javac,java -version进行验证是否安装成功,若不成功请参考其他网络教程。

=======================分割线=======================

其实这篇文章就只讲了wget下载和java环境配置,下篇文章继续讲解我们的安装,其实多台服务器,不能一台台的去配置java环境,于是诞生了脚本。

未完待续!!!

标签: centos hadoop wget 大数据
最后更新:2017年9月21日

jhin

这个人很懒,什么都没留下

点赞
< 上一篇
下一篇 >

文章评论

razz evil exclaim smile redface biggrin eek confused idea lol mad twisted rolleyes wink cool arrow neutral cry mrgreen drooling persevering
取消回复

COPYRIGHT © 2024 与服务器一起的日子. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang