5,Spark中文件格式、压缩和序列化

时间:2021-09-08 21:00:50   收藏:0   阅读:19

Spark中文件格式、压缩和序列化

1.1 文件格式

1.1.1 行存储:

特点:适合OLTP,写密集的场景(或是要求所有列的查询);


1.1.2 列存储:

特点:适合OLAP,读密集的场景,可以列裁剪,压缩率高;

技术分享图片


技术分享图片


1.2 文件压缩

1.2.1 spark默认支持的压缩格式

1.2.2 spark可压缩的地方

压缩格式:spark.io.compression.codec(默认lz4,spark2.2之前是snappy)


1.3 序列化格式

val conf = new SparkConf()
// 设置序列化器为KryoSerializer。
conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
// 注册要序列化的自定义类型。
conf.registerKryoClasses(Array(classOf[MyClass1], classOf[MyClass2]))

原文:https://www.cnblogs.com/shendeng23/p/15240802.html

评论(0)
© 2014 bubuko.com 版权所有 - 联系我们:wmxa8@hotmail.com
打开技术之扣,分享程序人生!