北京第六次Spark meetup会议资料分享

　　《Spark meetup(Beijing)资料分享》　　《Spark meetup(杭州)PPT资料分享》　　《北京第二次Spark meetup会议资料分享》　　《北京第三次Spark meetup会议资料分享》　　《北京第四次Spark meetup会议资料分享》　　《北京第五次Spark meetup会议资料分享》》　　《北京第六次Spark meetup会议资料分享》　　《杭州第三次Spark meetup会议

w397090770 10年前 (2015-03-23) 6660℃ 0评论3喜欢

Spark

Spark 1.X 大数据平台V2百度网盘下载[完整版]

　　本课程内容全面涵盖了Spark生态系统的概述及其编程模型，深入内核的研究，Spark on Yarn,Spark Streaming流式计算原理与实践，Spark SQL,基于Spark的机器学习，图计算，Techyon,Spark的多语言编程以及SparkR的原理和运行。面向研究Spark的学员，它是一门非常有学习指引意义的课程。　　本文的视频是录制版本的，所以是画面有些不清楚。

w397090770 10年前 (2015-03-23) 43818℃ 19评论69喜欢

Scala

练数成金—Scala语言入门视频百度网盘下载[全五课]

　　本课程是Scala语言的入门课程，面向没有或仅有少量编程语言基础的同学，当然，具有一定的Java或C、C++语言基础将有助于本课程的学习。在本课程内，将更注重scala的各种语言规则与简单直接的应用，而不在于其是如何具体实现，通过学习本课程能具备初步的Scala语言实际编程能力。　　此视频保证可以全部浏览，百度网盘

w397090770 10年前 (2015-03-21) 21938℃ 6评论46喜欢

Spark

Spark函数讲解：combineByKey

　　使用用户设置好的聚合函数对每个Key中的Value进行组合(combine)。可以将输入类型为RDD[(K, V)]转成成RDD[(K, C)]。函数原型[code lang="scala"]def combineByKey[C](createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C) : RDD[(K, C)]def combineByKey[C](createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C, numPartitio

w397090770 10年前 (2015-03-19) 22586℃ 0评论23喜欢

Mysql

Spark RDD写入RMDB(Mysql)方法二

　　在本博客的《Spark将计算结果写入到Mysql中》文章介绍了如果将Spark计算后的RDD最终写入到Mysql等关系型数据库中，但是这些写操作都是自己实现的，弄起来有点麻烦。不过值得高兴的是，前几天发布的Spark 1.3.0已经内置了读写关系型数据库的方法，我们可以直接在代码里面调用。　　Spark 1.3.0中对数据库写操作是通过DataFrame类

w397090770 10年前 (2015-03-17) 13566℃ 6评论16喜欢

Spark

Spark函数讲解：collectAsMap

　　功能和collect函数类似。该函数用于Pair RDD，最终返回Map类型的结果。官方文档说明：Return the key-value pairs in this RDD to the master as a Map.Warning: this doesn't return a multimap (so if you have multiple values to the same key, only one value per key is preserved in the map returned)函数原型[code lang="scala"]def collectAsMap(): Map[K, V][/code]实例[code lang="scala

w397090770 10年前 (2015-03-16) 16548℃ 0评论18喜欢

Spark

Apache Spark 1.3.0正式发布

　　美国时间2015年3月13日Apache Spark 1.3.0正式发布，Spark 1.3.0是1.X版本线上的第四个版本，这个版本引入了DataFrame API，并且Spark SQL已经从alpha工程毕业了。Spark core引擎可用性也有所提升,另外MLlib和Spark Stream也有所扩展。Spark 1.3有来自60个机构的174魏贡献者带来的1000多个patch。Spark Core　　Spark 1.3中的Core模块的可用性得到了提升。

w397090770 10年前 (2015-03-14) 4512℃ 1评论3喜欢

Spark

Storm和Spark Streaming框架对比

　　Storm和Spark Streaming两个都是分布式流处理的开源框架。但是这两者之间的区别还是很大的，正如你将要在下文看到的。处理模型以及延迟　　虽然两框架都提供了可扩展性(scalability)和可容错性(fault tolerance)，但是它们的处理模型从根本上说是不一样的。Storm可以实现亚秒级时延的处理，而每次只处理一条event，而Spark Streaming

w397090770 10年前 (2015-03-12) 16689℃ 1评论6喜欢

Spark

Spark函数讲解：collect

　　将RDD转成Scala数组，并返回。函数原型[code lang="scala"]def collect(): Array[T]def collect[U: ClassTag](f: PartialFunction[T, U]): RDD[U][/code]　　collect函数的定义有两种，我们最常用的是第一个。第二个函数需要我们提供一个标准的偏函数，然后保存符合的元素到MappedRDD中。实例[code lang="scala"]/** * User: 过往记忆 * Date: 15-03-11 * Ti

w397090770 10年前 (2015-03-11) 29888℃ 0评论22喜欢