3,Spark数据倾斜

时间:2021-09-08 18:58:04   收藏:0   阅读:41

数据倾斜

前言:数据倾斜通常在shuffle时发生,因此解决数据倾斜的思路有三个:

1,把小表广播避免shuffle;

2,把大key加随机前缀打散;

3,把大key过滤出来单独处理;



1.0 控制分区数


1.1 小表 join 大表时数据倾斜


1.2 笛卡尔积数据倾斜


1.3 笛卡尔积分组topN问题

原文:https://www.cnblogs.com/shendeng23/p/15240771.html

评论(0)
© 2014 bubuko.com 版权所有 - 联系我们:wmxa8@hotmail.com
打开技术之扣,分享程序人生!