与服务器一起的日子

  • mysql
  • linux
  • 高可用
  • nginx
优化
apache

web服务器启用http2.0

nginx开启HTTP2协议的办法 如果你是用官方的包安装的,无论是yum还是apt,只需要在配置文件里面的listen这一行添加http2就可以了,像下面那样就可以。如果你是编译的nginx,则需要在编译过程中添加参数 --with-http_v2_module server {listen 443 ssl http2;server_name localhost; ssl_certificate server.crt;ssl_certificate_key server.key;} Apache HTTP 开启H…

2019年11月24日 0条评论 801点热度 0人点赞 jhin 阅读全文
spark

Spark调优——序列化方式调优

由于大多数的spark计算是基于内存的的天性,spark应用的瓶颈一般受制于集群的CPU,网络带宽,内存。大部分情况下,如果内存适合当前数据量的计算,那么瓶颈往往就是带宽,但是有时候我们也需要进行一些调优比如序列化,来减少内存的使用。调优系列目前主要会更新两个主题:数据序列化,这点对于网络带宽调优和减少内存是至关重要的;另一种是内存调优。当然,也会简单介绍一些其他的调优点。本文只讲数据的序列化。 在任何分布式应用中序列化都扮演者一个重要的角色。序列化过程非常慢的或者消耗大量字节的序列化格式,都是会巨大的减缓计算速度…

2017年11月26日 0条评论 508点热度 0人点赞 jhin 阅读全文
hive

HIVE的优化原则

hive作为hadoop的生态系统的重要的一环,将关系型数据库和hadoop生态系统连接了起来。 而hive支持类sql结构化语句查询,所以有时候就需要优化它。 hive的执行是由mapreduce驱动的,所以hive的优化也需要去配置mapreduce。 ========================优化原则总结======================== join连接时的优化:当三个或多个以上的表进行join操作时,如果每个on使用相同的字段连接时只会产生一个mapreduce。 join连接时的优化:当…

2017年10月12日 0条评论 640点热度 0人点赞 jhin 阅读全文

COPYRIGHT © 2024 与服务器一起的日子. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang