hive作为hadoop的生态系统的重要的一环，将关系型数据库和hadoop生态系统连接了起来。 而hive支持类sql结构化语句查询，所以有时候就需要优化它。 hive的执行是由mapreduce驱动的，所以hive的优化也需要去配置mapreduce。 ========================优化原则总结======================== join连接时的优化：当三个或多个以上的表进行join操作时，如果每个on使用相同的字段连接时只会产生一个mapreduce。 join连接时的优化：当…
上一篇当中，我们的准备工作做的差不多了，现在是时候开始我们的大数据之旅了；但是我们要规划一下我们的旅行路线。我们的六个节点（大数据的主机被称为节点）如何使用？ 一：hadoop是由HDFS（分布式文件系统）提供数据存储，它会将数据切分成块进行存储，每个块由我们自己定义，比如我们可以把块定义为128M一个，当然hadoop作为离线的数据分析平台，处理的数据量很大（PB或者ZB级别数据），所以，实际生产环境一个块一般存储为处理数据的百分之一左右（这个看数据读写速度，机械硬盘的IOPS小，所以要考虑磁盘IO性能，涉及到了…
前面写了这么多，其实都是铺垫，实际上我们今天才是正题，hadoop生态系统，一个开源的大数据系统。 =====================我是一个分割线===================== hadoop生态系统包含了很多很杂乱的组建，在我学习的时候，hadoop的2.8.1版本刚刚正式发布，在这篇文章开始写的时候，hadoop都发布03版本的第四个预览版了。 技术，就学最新的。我们从03版本开始学习源代码。 首先hadoop是什么？hadoop的百度百科。大家阅读完百度百科其实对hadoop就已经有一个初…