本文根据知乎的问题（PostgreSQL 与 MySQL 相比，优势何在？）回答总结而成。如有出入，请谅解。 1、MySQL和PostgreSQL 都是开源的软件，都可以下载到源代码。 2、MySQL具有高性能，多用户，权限管理。而PostgreSQL 的用户权限管理远远没有MySQL严格。 3、MySQL使用的是线程，PostgreSQL 是用的进程。在不同线程之间的环境转换和访问公用的存储区域显然要比在不同的进程之间快得多。 4、列级的权限，PostgreSQL可以通过建立视图，并确定视图的权限来弥补，而MyS…
PostgreSQL是自由的对象-关系型数据库服务器（数据库管理系统），在灵活的BSD风格许可证下发行。它在其他开放源代码数据库系统（比如MySQL和Firebird），和专有系统（比如Oracle、Sybase、IBM的DB2和Microsoft SQL Server）之外，为用户又提供了一种选择。 PostgreSQL起源 PostgreSQL经历了长时间的演变。开始，PostgreSQL是以加州大学伯克利分校计算机系的Ingres计划，这个计划的领导者迈克尔·斯通布雷克在1982年离开Berkeley去商业化…
使用官方安装版本 首先前往官网下载mysql 然后下载community版本 然后下载界面不需要login 下载完成后，我们就可以安装了。安装界面的第一个界面是这样的。 安装自己的需要就可以安装了。 使用压缩包安装 首先下载我们需要的压缩包版本，如果你的Windows系统是32位的，请点击1下载版本；你的系统是64位版本，请点击2下载按钮。 然后解压到你需要的位置，然后在mysql目录里面添加my.ini文件 然后写入以下配置 [mysql] # 设置mysql客户端默认字符集 default-cha…
MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归纳）”，及他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归纳）函数，用来保证所有映射的键值对中的每一个共享相同的键组。 映射（Map）和归纳（Reduce） 简单来说，一个映射函数就是对一些独立元素组成的概念上的列表（例如，一个测试成绩的列表）的每…
在我们编译源代码的时候，当我们构建成功的时候会输出一些信息 [INFO] ------------------------------------------------------------------------ [INFO] Reactor Summary: [INFO] [INFO] Apache Hadoop Main ................................. SUCCESS [02:33 min] [INFO] Apache Hadoop Build Tools ......…
对于官网提供的hadoop成品文件，是在32位的状态下编译打包的，为了充分发挥64位系统和硬件的实力，我们准备在64位环境下进行编译打包处理。 编译环境 系统：CentOS7 java版本：jdk1.8.0_144 硬件：四核8GiB内存 编译准备 安装jdk，首先去jdk官网下载rpm结尾的jdk文件 rpm -ivh jdk8u144.rpm 安装maven wget http://ftp.cuhk.edu.hk/pub/packages/apache.org/maven/maven-3/3.5.2/binar…
CapacityScheduler CapacityScheduler ，它是Hadoop的可插拔调度程序，它允许多租户安全地共享大型集群，以便在分配的限制容量下及时分配资源。 概观 CapacityScheduler设计用于以操作友好的方式将Hadoop应用程序作为多租户共享的群集来运行，同时最大限度地提高群集的吞吐量和利用率。 传统上，每个组织都拥有自己的一组计算资源，这些计算资源具有足够的能力来满足组织在峰值或接近峰值条件下的SLA。每个组织一个集群，这通常导致管理多个独立群集的平时利用率较低。 在组织之间共…
Apache Hadoop中的 YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器（yarn在hadoop2.x版本里面集成），它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。 YARN简介 YARN的基本思想是将资源管理和作业调度/监控的功能分解成单独的守护进程。 这个想法是有一个全局的资源管理器（ RM ）和每个应用程序的ApplicationMaster（ AM ）。 应用程序可以是单个作业，也可以是DAG作业。 …
HDFS是Hadoop应用程序使用的主要分布式存储。 HDFS集群主要由管理文件系统元数据的NameNode和存储实际数据的DataNode组成。 “HDFS体系结构指南”详细介绍了HDFS。HDFS体系结构图描述了NameNode，DataNode和客户端之间的基本交互。 客户联系NameNode文件元数据或文件修改，并直接与DataNode执行实际的文件I / O。 以下是许多用户可能感兴趣的一些显着特性。 Hadoop，包括HDFS，非常适合使用商品硬件的分布式存储和分布式处理。 它具有容错性，可扩展性，并且…