Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。 首先，Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。 Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用…

MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归纳）”，及他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归纳）函数，用来保证所有映射的键值对中的每一个共享相同的键组。 映射（Map）和归纳（Reduce） 简单来说，一个映射函数就是对一些独立元素组成的概念上的列表（例如，一个测试成绩的列表）的每…

上期写了一部分的区块链的技术基准，但是也不能完全概括区块链的内容，没有说哪个企业必须要到使用区块链的地步。 区块链是运行在不安全的网络环境下，其分布式的数据库基础，保证了区块链的高可用， 高可用： 是指服务在任何一个节点不能访问的情况下，仍然能继续为客户提供服务。显然p2p的优势显示了出来。当然区块链也有安全策略，用来防止伪造交易，其策略就是节点之间数据的交换必须得到51%节点的承认才是有效的，你要伪造交易必须要说服51%的节点承认，这样大大提高了伪造的成本，并且说服51%节点的任务“几乎是不可能的”，这样就会出现…

上一篇区块链文章我们研究了区块链的定义，这次我们研究区块链所使用的技术。 我们可以说区块链是新技术，也可以说区块链是以前技术的融合，区块链里面使用了很多技术来实现它的完全去中心化，我们可以探讨一下里面使用了什么技术来实现他们的完全去中心化。 节点的生成： 节点的生成才去自愿原则，每个人都可以作为节点加入网络，也可以退出网络。但是区块链这个网络必须要本机连接上一台机器，类似“贪吃蛇”。我们上一篇文章说过文件的切块里面存储着文件的信息，但是在块里面不仅仅存储着文件的信息，还存储着上一个节点的信息（就是hash值），这样…