管道符|大家都很熟悉，我们每次需要执行多重筛选命令的时候，总会用到|来传递上个命令的执行结果。当我开始探索管道符到底是什么，还是从一次内存崩溃谈起 在一天下午，我的一位师哥找到我，问我一个问题。 grep “xxx” file |less 和 less file｜grep “xxx”有区别吗？ 我当时内心很吃惊，后来我了解到原来师哥用less命令看日志把服务器搞崩溃了，当时执行的命令是less file｜…
主机（host） 你想要监控的联网设备，有IP/DNS。 主机组（host group) 主机的逻辑组；可能包含主机和模板。一个主机组里的主机和模板之间并没有任何直接的关联。通常在给不同用户组的主机分配权限时候使用主机组。 监控项（item） 你想要从主机接收的特定数据，一个度量（metrics）/指标数据。 值预处理（value preprocessing） 存入数据库之前，转化/预处理接收到的指标数据。 触发器（trigger） 触发器是一个逻辑表达式，用来定义问题阈值和“评估”监控项接收到的数据。当接收到的数…
为什么要监控？ 在公司中，运维分很多职位，但是在很多职位中监控是非常重要的。如果你的业务一旦出现问题，能不能及时告知你，而不是被动的状态去等别人告诉你。发现问题，能不能及时快速的解决，能不能及时快速的定位，这就显得非常重要。 所以监控是在整个产品生命周期中最重要的一环，目的就是为了我们的业务减少故障率或避免故障的扩大。或者根据监控的历史数据来赘述问题，去复盘我们历史业务的瓶颈。总而言之就三点： 对系统不间断的实时监控 实时反馈系统当前的状态 保证业务持续性运行 （其实大数据也是这四个…
Java语言的优势是跨平台，号称 一次编译，随处运行 我们的编写环境有Windows，MacOS，还有ubuntu；而我们的生产环境有ubuntu，centos或者Windows server。 在如此错综复杂的jdk环境下，如何对Java程序监控和调优？ 事实上，网络上有很多开源的自动化运维工具来监控整个平台的运行，但是为了方便开发人员监控自己的模块，我们可以使用jdk自带的工具来进行Java程序的监控和调优。 CentOS配置jstatd监控 jstatd是jdk自带的一个监控工具。配置在使用它的时候，需要配置…
对于我们需要高速写入的业务，单个数据库服务器很容易出现单点问题，所以我们为了消除单点问题，引入了双主互备。 其简易架构图 演示环境 操作系统：centos7 数据库版本：MySQL5.7.19 master01:192.168.1.21 master02:192.168.1.22 操作过程 配置master01的/etc/my.cnf配置文件 server-id= 21 #数据库ID log_bin = /var/log/mysql/mysql-bin #启用二进制日志 如果没有var/log/mysql这个目录，…
MySql最容易实现的高可用框架就是主从架构，主从架构最简单，就是一个写入、一个复制。简单的描述如下图： 这个图的主从架构有一个缺点，就是主数据库的负载太重，容易因为连接数达到上限出现错误，导致服务下线的问题。这是最简单的主从架构，可以实现MySQL服务的数据库备份。 架构的实现 这种的主从架构的实现需要两台MySQL数据库服务器，我的两个数据库的ip地址是192.168.1.21和1292.168.1.22两个。 安装MySQL mysql的安装请参考我的另外一片博文（centos7安装mysql服…
自从docker被国内互联网企业引入进来以后，越来越来多的企业开始使用docker来实现他们的业务，京东将一部分业务放入到了他们的docker服务器上进行运行。腾讯也将docker引入了进来，实现了业务的“微服务架构”，阿里也有他们自己的docker业务，百度也有docker的业务进行实现。 面对很多公司的业务搬到docker上面，当然我们也要去学习一下什么是docker，毕竟我们是“勤(ku)劳(bi)能(diao)干(si)”的程序员。 ======================分割线============…
上一篇当中，我们的准备工作做的差不多了，现在是时候开始我们的大数据之旅了；但是我们要规划一下我们的旅行路线。我们的六个节点（大数据的主机被称为节点）如何使用？ 一：hadoop是由HDFS（分布式文件系统）提供数据存储，它会将数据切分成块进行存储，每个块由我们自己定义，比如我们可以把块定义为128M一个，当然hadoop作为离线的数据分析平台，处理的数据量很大（PB或者ZB级别数据），所以，实际生产环境一个块一般存储为处理数据的百分之一左右（这个看数据读写速度，机械硬盘的IOPS小，所以要考虑磁盘IO性能，涉及到了…
我们已经将我们的东西准备好了，也准备了Java环境了，下面我们该准备安装这套环境了吧。不急！ ========================分割线======================== 当我们准备好了我们的系统，Java环境，hadoop软件，一切具备。 一：现在我们还要准备一个东西，hadoop主机改名，由于每台主机的名字都是localhost.localdomain，所以我们需要修改一下主机名，主机名我们改为像：数字.hadoop.com，比如01.hadoop.com。我们在每台电脑上执行命令 h…