Apache Hadoop 3.0.0-alpha1正式发布及其更新介绍

Apache Hadoop 3.0.0-alpha1相对于hadoop-2.x来说包含了许多重要的改进。这里介绍的是Hadoop 3.0.0的alpha版本，主要是便于检测和收集应用开发人员和其他用户的使用反馈。因为是alpha版本，所以本版本的API稳定性和质量没有保证，如果需要在正式开发中使用，请耐心等待稳定版的发布吧。本文将对Hadoop 3.0.0重要的改进进行介绍。Java最低

zz~~ 8年前 (2016-09-22) 3374℃ 0评论7喜欢

四种常见的MapReduce设计模式

　　使用MapReduce解决任何问题之前，我们需要考虑如何设计。并不是任何时候都需要map和reduce job。MapReduce设计模式(MapReduce Design Pattern)整个MapReduce作业的阶段主要可以分为以下四种：　　1、Input-Map-Reduce-Output　　2、Input-Map-Output　　3、Input-Multiple Maps-Reduce-Output　　4、Input-Map-Combiner-Reduce-Output下面我将一一介绍哪种

w397090770 8年前 (2016-09-01) 5756℃ 0评论16喜欢

Hadoop面试题系列(11/11)

1、Hive内部表和外部表的区别？　　1、在导入数据到外部表，数据并没有移动到自己的数据仓库目录下，也就是说外部表中的数据并不是由它自己来管理的！而表则不一样；　　2、在删除表的时候，Hive将会把属于表的元数据和数据全部删掉；而删除外部表的时候，Hive仅仅删除外部表的元数据，数据是不会删除的！　　那么，

w397090770 9年前 (2016-08-26) 5660℃ 2评论20喜欢

Hadoop面试题系列(10/11)

一. 问答题1) datanode在什么情况下不会备份？2) hdfs的体系结构？3) sqoop在导入数据到mysql时，如何让数据不重复导入？如果存在数据问题sqoop如何处理？4) 请列举曾经修改过的/etc下的配置文件，并说明修改要解决的问题？5) 描述一下hadoop中，有哪些地方使用了缓存机制，作用分别是什么？二. 计算题1、使用Hive或

w397090770 9年前 (2016-08-26) 4281℃ 1评论4喜欢

Hadoop面试题系列(9/11)

一. 问答题1. 用mapreduce实现sql语句select count(x) from a group by b？2. 简述MapReduce大致流程，map -> shuffle -> reduce3. HDFS如何定位replica4. Hadoop参数调优: cluster level: JVM, map/reduce slots, job level: reducer, memory, use combiner? use compression?5. hadoop运行的原理？6. mapreduce的原理？7. HDFS存储的机制？8. 如何确认Hadoop集群的健康状况？

w397090770 9年前 (2016-08-26) 3403℃ 0评论3喜欢

Hadoop面试题系列(8/11)

一. 问答题1.hive如何调优？2.hive如何权限控制？3.hbase写数据的原理是什么？4.hive能像关系数据库那样，建多个库吗？5.hbase宕机如何处理？6.hive实现统计的查询语句是什么？7.生产环境中为什么建议使用外部表？8.hadoop mapreduce创建类DataWritable的作用是什么？9.为什么创建类DataWritable？二. 思考题1.假

w397090770 9年前 (2016-08-26) 3532℃ 0评论5喜欢

Hadoop面试题系列(7/11)

一. 单选题1. 下面哪个程序负责 HDFS 数据存储a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker答案：C datanode2. HDfS 中的 block 默认保存几份？a)3 份 b)2 份 c)1 份d)不确定答案:A 默认3份 3. 下列哪个程序通常与 NameNode在一个节点启动？a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker答案：D分析：hadoop的集群是基于ma

w397090770 9年前 (2016-08-26) 3721℃ 0评论2喜欢

Hadoop面试题系列(6/11)

一. 问答题1. 简单说说map端和reduce端溢写的细节2. hive的物理模型跟传统数据库有什么不同3. 描述一下hadoop机架感知4. 对于mahout，如何进行推荐、分类、聚类的代码二次开发分别实现那些接口5. 直接将时间戳作为行健，在写入单个region 时候会发生热点问题，为什么呢？二. 计算题1. 比方:如今有10个文件夹, 每个

w397090770 9年前 (2016-08-26) 3156℃ 0评论1喜欢

Hadoop面试题系列(5/11)

一.问答题1、map方法是如何调用reduce方法的？2、fsimage和edit的区别？3、hadoop1和hadoop2的区别？4、列举几个配置文件优化？5、写出你对zookeeper的理解6、datanode首次加入cluster的时候，如果log报告不兼容文件版本，那需要namenode执行格式化操作，这样处理的原因是？7、hbase 集群安装注意事项二. 思考题1. linux

w397090770 9年前 (2016-08-26) 3178℃ 0评论1喜欢