管道符|大家都很熟悉,我们每次需要执行多重筛选命令的时候,总会用到|来传递上个命令的执行结果。当我开始探索管道符到底是什么,还是从一次内存崩溃谈起 在一天下午,我的一位师哥找到我,问我一个问题。 grep “xxx” file |less 和 less file|grep “xxx”有区别吗? 我当时内心很吃惊,后来我了解到原来师哥用less命令看日志把服务器搞崩溃了,当时执行的命令是less file|…
管道符|大家都很熟悉,我们每次需要执行多重筛选命令的时候,总会用到|来传递上个命令的执行结果。当我开始探索管道符到底是什么,还是从一次内存崩溃谈起 在一天下午,我的一位师哥找到我,问我一个问题。 grep “xxx” file |less 和 less file|grep “xxx”有区别吗? 我当时内心很吃惊,后来我了解到原来师哥用less命令看日志把服务器搞崩溃了,当时执行的命令是less file|…
Zabbix Server Zabbix Server是整个Zabbix软件的核心程序。 Server通过轮询和捕获数据,计算是否满足触发器条件,向用户发送通知。它是Zabbix监控代理和proxy代理报告系统可用性和完整性数据的核心组件。Server自身可以通过简单服务远程检查网络服务(比如Web服务器和邮件服务器),像ping命令这种简单检测,不需要通过agent进行检测。 Server是一个包含了存储了所有配置,统计方面和可操作数据的仓库,这些参数都存储到了MySQL数据库里面,它是监控系统问题升级以至于激活…
nginx开启HTTP2协议的办法 如果你是用官方的包安装的,无论是yum还是apt,只需要在配置文件里面的listen这一行添加http2就可以了,像下面那样就可以。如果你是编译的nginx,则需要在编译过程中添加参数 --with-http_v2_module server {listen 443 ssl http2;server_name localhost; ssl_certificate server.crt;ssl_certificate_key server.key;} Apache HTTP 开启H…
这篇文章主要是应对web方面的架构,而且不是什么很新鲜的东西了(对于新的东西,各个公司都有保密协议),Nginx负载均衡。 什么是Nginx Nginx (engine x) 是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP服务器。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点(俄文:Рамблер)开发的,第一个公开版本0.1.0发布于2004年10月4日。 其将源代码以类BSD许可证的形式发布,因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻…
上一篇当中,我们的准备工作做的差不多了,现在是时候开始我们的大数据之旅了;但是我们要规划一下我们的旅行路线。我们的六个节点(大数据的主机被称为节点)如何使用? 一:hadoop是由HDFS(分布式文件系统)提供数据存储,它会将数据切分成块进行存储,每个块由我们自己定义,比如我们可以把块定义为128M一个,当然hadoop作为离线的数据分析平台,处理的数据量很大(PB或者ZB级别数据),所以,实际生产环境一个块一般存储为处理数据的百分之一左右(这个看数据读写速度,机械硬盘的IOPS小,所以要考虑磁盘IO性能,涉及到了…
前面写了这么多,其实都是铺垫,实际上我们今天才是正题,hadoop生态系统,一个开源的大数据系统。 =====================我是一个分割线===================== hadoop生态系统包含了很多很杂乱的组建,在我学习的时候,hadoop的2.8.1版本刚刚正式发布,在这篇文章开始写的时候,hadoop都发布03版本的第四个预览版了。 技术,就学最新的。我们从03版本开始学习源代码。 首先hadoop是什么?hadoop的百度百科。大家阅读完百度百科其实对hadoop就已经有一个初…
学习服务器端不可避免需要去了解相关虚拟化技术,而虚拟化就需要去研究内存,CPU,硬盘的关系了。今天我们就初次探索一下最最初始的NUMA技术。 ==========================分割线========================== NUMA(Non Uniform Memory Access Architecture)技术可以使众多服务器像单一系统那样运转,同时保留小系统便于编程和管理的优点。基于电子商务应用对内存访问提出的更高的要求,NUMA也向复杂的结构设计提出了挑战。 产…