MySQL常用的日志文件 错误日志(error log)： log-err 查询日志(general query log)： log 慢查询日志: -log-slow-queries 二进制日志 (binary log)： log-bin 中继日志( relay log)：realy-log innodb 在线redo 日志 查看MySQL支持的日志 mysql> show variables like 'log_%'; +----------------------------------------+-…
MySql最容易实现的高可用框架就是主从架构，主从架构最简单，就是一个写入、一个复制。简单的描述如下图： 这个图的主从架构有一个缺点，就是主数据库的负载太重，容易因为连接数达到上限出现错误，导致服务下线的问题。这是最简单的主从架构，可以实现MySQL服务的数据库备份。 架构的实现 这种的主从架构的实现需要两台MySQL数据库服务器，我的两个数据库的ip地址是192.168.1.21和1292.168.1.22两个。 安装MySQL mysql的安装请参考我的另外一片博文（centos7安装mysql服…
在服务器领域，为了防止出现服务丢失的现象，很多公司都对服务器采用高可用架构，比如今天讲的MySQL的高可用，就是防止出现MySQL数据库的服务丢失。 什么是高可用 高可用性（英语：High availability，缩写为 HA），指系统无中断地执行其功能的能力，代表系统的可用性程度。是进行系统设计时的准则之一。高可用性系统与构成该系统的各个组件相比可以更长时间运行。 高可用性通常通过提高系统的容错能力来实现。定义一个系统怎样才算具有高可用性往往需要根据每一个案例的具体情况来具体分析。 MySQL的高可用架构 1.…
上一篇文章文章写到了单机版的配置，现在开始搭建我们的集群，开启我们的六台机器，准备搞事情！！！ 声明：1，这篇文章只能搭建一个普通的hadoop集群，没有涉及到高可用。 ====================================== 现在可以准备搭建集群了，记得我们的六个节点（centos虚拟机）吗？先搭建一个普通的HDFS集群，说实话，和搭建单机版没什么区别，只要改变几个参数就可以了。 现在，我们先去规划一下我们的节点，我们的各个节点负责什么呢？ 为了保证以后高可用的实现，本集群只设置了三台主机。 …
自从docker被国内互联网企业引入进来以后，越来越来多的企业开始使用docker来实现他们的业务，京东将一部分业务放入到了他们的docker服务器上进行运行。腾讯也将docker引入了进来，实现了业务的“微服务架构”，阿里也有他们自己的docker业务，百度也有docker的业务进行实现。 面对很多公司的业务搬到docker上面，当然我们也要去学习一下什么是docker，毕竟我们是“勤(ku)劳(bi)能(diao)干(si)”的程序员。 ======================分割线============…
上一篇当中，我们的准备工作做的差不多了，现在是时候开始我们的大数据之旅了；但是我们要规划一下我们的旅行路线。我们的六个节点（大数据的主机被称为节点）如何使用？ 一：hadoop是由HDFS（分布式文件系统）提供数据存储，它会将数据切分成块进行存储，每个块由我们自己定义，比如我们可以把块定义为128M一个，当然hadoop作为离线的数据分析平台，处理的数据量很大（PB或者ZB级别数据），所以，实际生产环境一个块一般存储为处理数据的百分之一左右（这个看数据读写速度，机械硬盘的IOPS小，所以要考虑磁盘IO性能，涉及到了…
我们已经将我们的东西准备好了，也准备了Java环境了，下面我们该准备安装这套环境了吧。不急！ ========================分割线======================== 当我们准备好了我们的系统，Java环境，hadoop软件，一切具备。 一：现在我们还要准备一个东西，hadoop主机改名，由于每台主机的名字都是localhost.localdomain，所以我们需要修改一下主机名，主机名我们改为像：数字.hadoop.com，比如01.hadoop.com。我们在每台电脑上执行命令 h…
前面写了这么多，其实都是铺垫，实际上我们今天才是正题，hadoop生态系统，一个开源的大数据系统。 =====================我是一个分割线===================== hadoop生态系统包含了很多很杂乱的组建，在我学习的时候，hadoop的2.8.1版本刚刚正式发布，在这篇文章开始写的时候，hadoop都发布03版本的第四个预览版了。 技术，就学最新的。我们从03版本开始学习源代码。 首先hadoop是什么？hadoop的百度百科。大家阅读完百度百科其实对hadoop就已经有一个初…