Tag: 大数据

下面即是文章目录，也对应到了本文的结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：

1. 背景及应用场景介绍：join 作为离线数仓中最常见的场景，在实时数仓中也必然不可能缺少它，flink sql 提供的丰富的 join 方式（总结 6 种：regular join，维表 join，temporal join，inter...

流量超大，每秒钟160条至800条日志记录流入，每条记录有近2M字节；每天流入500万到1100万记录

在大数据处理中，基于spark计算引擎在大数据离线计算领域所占的比例越来越高，同时也会产生越来越来多的性能问题。下面根据自己使用的spark sql的经验，并参考业界的经验，总结出以下优化方法。一般而言，常见的影响spark任务快慢的因素主...

Spark sql 小文件问题得解决方案分享