4,Spark中 join的原理

时间:2021-09-08 21:43:07   收藏:0   阅读:75

Spark中 join的原理

一、SparkSQL中join的原理

1.1 SparkSQL的5种join策略

概述:spark将参与join的两张表抽象为流式遍历表(streamIter)和查找表(buildIter),通常streamIter为大表,buildIter为小表;通过遍历streamIter表,取出其中的数据,然后到buildIter表中查找满足条件的数据join;


1.1.1 等值连接
Broadcast Hash Join (BHJ)
Shuffle Hash Join (SHJ)
Shuffle Sort Merge Join (SMJ)

1.1.2 非等值连接
Cartesian Product Jon (CPJ)
Broadcast nested loop Join (BNLJ)

1.1.3 join策略的优先级

二、SparkCore中Join的原理

2.1 确定Join的分区器Partitioner


2.2 调用 cogroup算子


2.3 调用 flatMapValues算子

原文:https://www.cnblogs.com/shendeng23/p/15240788.html

评论(0)
© 2014 bubuko.com 版权所有 - 联系我们:wmxa8@hotmail.com
打开技术之扣,分享程序人生!