Spark Streaming和Kafka整合是如何保证数据零丢失

　　当我们正确地部署好Spark Streaming，我们就可以使用Spark Streaming提供的零数据丢失机制。为了体验这个关键的特性，你需要满足以下几个先决条件：　　1、输入的数据来自可靠的数据源和可靠的接收器；　　2、应用程序的metadata被application的driver持久化了(checkpointed );　　3、启用了WAL特性(Write ahead log)。　　下面我将简单

w397090770 9年前 (2016-03-02) 17632℃ 16评论50喜欢

Spark

转发微博有机会获取《Spark大数据分析实战》

即日起，关注@Spark技术博客及@ 一位微博好友并转发本文章到微博有机会获取《Spark大数据分析实战》：/archives/1590。3月12日在微博抽奖平台抽取1位同学并赠送此书。本活动已经结束，抽奖信息已经在新浪微博抽奖平台公布　　《Spark大数据分析实战》由高彦杰和倪亚宇编写，通过典型数据分析应用场景、算法与系统架构，结

w397090770 9年前 (2016-03-02) 8554℃ 0评论44喜欢

wordpress开发

WordPress中如何判断设备的类型

　　在开发Wordpress的时候，我们可能需要获取到设备的类型，比如手机、电脑或者iPad等，然后做出不同的决定，这就要求我们精确地判断出当前设备的类型。熟悉Wordpress的同学会知道，Wordpress中安装目录下的wp-includes/vars.php文件里面有个名为wp_is_mobile的函数，其代码如下：[code lang="php"]function wp_is_mobile() { static $is_mobile = null;

w397090770 9年前 (2016-03-01) 2331℃ 0评论1喜欢

Arrow

Apache Arrow：一个跨平台的内存数据交换格式

　　Apache Arrow是Apache基金会下一个全新的开源项目，同时也是顶级项目。它的目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度。　　用户在应用大数据分析时除了将Hadoop等大数据平台作为一个经济的存储和批处理平台之外也很看重分析系统的扩展性和性能。过去几年开源社区已经发布了很多工具来完善大数据分

w397090770 9年前 (2016-03-01) 3940℃ 0评论2喜欢