Spark Streaming需要提升的地方同样很多，比如1.2之前版本driver挂掉可能会丢失数据。 眼下大数据领域最热门的词汇之一便是流计算了，其中最耀眼的项目无疑是来自Spark社区的Spark Streaming项目，其从一诞生就受到广泛关注并迅速发展。 对于流计算而言，毫无疑问最核心的特点是它的低时延能力，这主要是来自对数据不落磁盘就进行计算的内部机制，但这也带来了数据可靠性的问题，即有节点失效或者网络异常时，如何在节点间进行合适的协商来进行重传。更进一步的，若发生计划外的数据重传，怎么能保证没有产生重…
双主架构的概念简单说一下，就是要保持两个数据库的状态自动同步。对任何一个数据库的操作都自动应用到另外一个数据库，始终保持两个数据库数据一致。 这样做的好处多： 1. 可以做灾备，其中一个坏了可以切换到另一个。 2. 可以做负载均衡，可以将请求分摊到其中任何一台上，提高网站吞吐量。 3.对于异地热备，尤其适合灾备。 双主架构的工作原理： 简单的说就是把 一个服务器上执行过的sql语句在别的服务器上也重复执行一遍， 这样只要两个数据库的初态是一样的，那么它们就能一直同步。 当然这种复制和重复都是mysql自动实现的，我…
MySql最容易实现的高可用框架就是主从架构，主从架构最简单，就是一个写入、一个复制。简单的描述如下图： 这个图的主从架构有一个缺点，就是主数据库的负载太重，容易因为连接数达到上限出现错误，导致服务下线的问题。这是最简单的主从架构，可以实现MySQL服务的数据库备份。 架构的实现 这种的主从架构的实现需要两台MySQL数据库服务器，我的两个数据库的ip地址是192.168.1.21和1292.168.1.22两个。 安装MySQL mysql的安装请参考我的另外一片博文（centos7安装mysql服…