JMX（Java Management Extensions，即Java管理扩展）是一个为应用程序、设备、系统等植入管理功能的框架。JMX可以跨越一系列异构操作系统平台、系统体系结构和网络传输协议，灵活的开发无缝集成的系统、网络和服务管理应用。启动JMX监控，在启动java程序的时候最少需要在环境变量里面配置以下的选项：[code lang="bash"]-Dcom.sun.m w397090770 9年前 (2016-03-25) 6272℃ 0评论10喜欢
在使用Maven打包工程运行的时候，有时会出现以下的异常：[code lang="bash"]-bash-4.1# java -cp iteblog-1.0-SNAPSHOT.jar com.iteblog.ClientException in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes at sun.security.util.SignatureFileVerifier.processImpl(SignatureFileVerifier.java:287) at sun.security.util.SignatureFileVerifier.process(Signatu w397090770 9年前 (2016-01-20) 13318℃ 0评论9喜欢
我们在用Maven编译项目的时候有时老是出现无法下载某些jar依赖从而导致整个工程编译失败，这时候我们可以修改jar下载的源（也就是repositorie）即可，下面是Maven的用法，你可以在你项目的pom文件里面加入这些代码：如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop[code lang="JAVA"]<!-- **** w397090770 11年前 (2014-07-25) 13028℃ 1评论14喜欢
我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信，但这三种方式最常用的是CLI；Client 是Hive的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出Hive Server所在节点，并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过HiveServer来操作Hive。Hive提供了jdbc驱动，使得我们可以 w397090770 11年前 (2013-12-17) 65661℃ 6评论55喜欢
理论上，在Hadoop 1.x上开发的Mapreduce程序可以在Hadoop 2.x上面运行，Hadoop2.x类库对Hadoop1.x程序的兼容性主要体现在以下几点： 二进制兼容：利用mapred API开发以及编译程序可以直接在Hadoop 2.x运行，不需要重新编译； 源码兼容：利用mapreduce API开发的程序， 需要在Hadoop 2.x上重新编译才能运行； 不兼容部分：mradmin w397090770 11年前 (2013-12-10) 6527℃ 1评论4喜欢
在《从Hadoop1.x集群升级到Hadoop2.x步骤》文章中简单地介绍了如何从Hadoop1.x集群升级到Hadoop2.x，那里面只讨论了成功升级，那么如果集群升级失败了，我们该如何从失败中回滚呢？这正是本文所有讨论的。本文将以hadoop-0.20.2-cdh3u4升级到Hadoop-2.2.0升级失败后，如何回滚。 1、如果你将Hadoop1.x升级到Hadoop2.x的过程中失败了，当你 w397090770 11年前 (2013-12-05) 5860℃ 1评论7喜欢
由于本文比较长，考虑到篇幅问题，所以将本文拆分为二，请阅读本文之前先阅读本文的第一部分《Hadoop多文件输出：MultipleOutputFormat和MultipleOutputs深究(一)》。为你带来的不变，敬请谅解。 与MultipleOutputFormat类不一样的是，MultipleOutputs可以为不同的输出产生不同类型，到这里所说的MultipleOutputs类还是旧版本的功能，后 w397090770 11年前 (2013-11-27) 21578℃ 0评论17喜欢
直到目前，我们看到的所有Mapreduce作业都输出一组文件。但是，在一些场合下，经常要求我们将输出多组文件或者把一个数据集分为多个数据集更为方便；比如将一个log里面属于不同业务线的日志分开来输出，并交给相关的业务线。 用过旧API的人应该知道，旧API中有 org.apache.hadoop.mapred.lib.MultipleOutputFormat和org.apache.hadoop.mapr w397090770 11年前 (2013-11-26) 15191℃ 1评论10喜欢
根据官方文档（Apache Hadoop MapReduce - Migrating from Apache Hadoop 1.x to Apache Hadoop 2.x：http://hadoop.apache.org/docs/r2.2.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduce_Compatibility_Hadoop1_Hadoop2.html）所述，Hadoop2.x是对Hadoop1.x程序兼容的，由于Hadoop2.x对Hadoop1.x做了重大的结构调整，很多程序依赖库被拆分了，所以以前（Hadoop1.x）的依赖库不再可 w397090770 11年前 (2013-11-26) 9618℃ 3评论2喜欢
写在前面的话，学Hive这么久了，发现目前国内还没有一本完整的介绍Hive的书籍，而且互联网上面的资料很乱，于是我决定写一些关于《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关Hive的资料，如果对Hive的东西感兴趣，请关注本博客。https://www.iteblog.com/archives/tag/hive-technology/ 如果你想查询某个表的某 w397090770 11年前 (2013-11-13) 18055℃ 4评论17喜欢
