前面写了这么多，其实都是铺垫，实际上我们今天才是正题，hadoop生态系统，一个开源的大数据系统。 =====================我是一个分割线===================== hadoop生态系统包含了很多很杂乱的组建，在我学习的时候，hadoop的2.8.1版本刚刚正式发布，在这篇文章开始写的时候，hadoop都发布03版本的第四个预览版了。 技术，就学最新的。我们从03版本开始学习源代码。 首先hadoop是什么？hadoop的百度百科。大家阅读完百度百科其实对hadoop就已经有一个初…
搭建yum源在以前的文章里面提起过，但是讲的是手动操作，这次我们高大上一点，自动化shell脚本。 首先，我的服务器是一台桌面版的ubuntu（自己在上面写代码用的），需要为自己的虚拟机（centos）提供yum源的rpm包安装，以及部分常用的其他tar.gz包文件。所以我将ubuntu划分为了三部分 第一部分 ：yum源 nginx或者apache来提供http方式的在线yum，采用rsync同步公网的yum源。 按照这个思想，我把yum源放到了/var/yum/centos目录下面。为了方便同局域网的人，yum…
这真的只是个入门级别的bash脚本编写教程，希望大佬指教。 ================这是正文开始的分割线================ Shell是用户与内核进行交互操作的一种接口，用C语言实现，目前最流行的Shell称为bash shell；Shell是一门编程语言，解释型的语言，Shell脚本就是在用linux的Shell命令来编程；一个系统可以存在多个Shell，可以通过cat /etc/shells命令查看系统中安装的Shell；sh是Unix的解释器，bash是目前用的最多的，dash比bash…
最近因为需要yum安装很多文件，所以想起来建立一个本地yum仓库，正好手头有一个1000Mbps的ubuntu系统，那我就拿它来作为yum的存储吧。 首先删除以前存储的私人文件，看着删除，反正桌面环境，看哪里不顺眼就去删除那里。 好了，东西删除完成后就可以开始我们的yum源配置过程， 1.安装nginx（老是用apache，怕你们吐槽我，换换口味） apt-get install nginx 安装完成后用另外一台电脑访问一下ip，出现 Welcome to nginx! ok，这就是没有问题。 2.安装create…
在参考了很多大神的资料下，自己实践一个月，终于安装成功了。 大致过程就是： 在centos下安装python和pip，执行命令 yum install python-setuptools easy_install pip 然后通过pip安装ss（shadowsocks） pip install shadowsocks 安装完成后，编辑配置文件（；linux用户都知道用什么就配置什么） vi /etc/shadowsocks.json 然后输入i打开vi的编辑模式 { "server":"your_server_ip…