Archives

车商城数据日报、双十二活动报表与数据看板的指标口径梳理。

数据同步工具、任务调度与数据仓库的技术选型笔记。

数据字典平台的数据预览、HQL 拼接关联与大文件下载问题梳理。

数据治理的概念、必要性、目标与落地路径梳理。

Flink 思维导图笔记，梳理 Flink CDC 与 Flink CEP 的核心概念与使用场景。

Yarn-cluster 模式下 ApplicationMaster 与 Driver 的完整启动流程梳理。

Task 读写数据的过程梳理，从上游读取到落盘的完整链路。

Flink 作业从客户端提交到 JobManager、TaskManager 启动的完整流程梳理。

Watermark 的产生、传播与触发机制梳理。

商用车资产台账的数据结构与业务字段梳理。

不能先去数据库查询再判断再去扣减，多线程去查然后扣减肯定有超卖的情况

./bin/zookeeper-server-start.sh config/zookeeper.properties &

如果commit注释写错了，先要改一下注释

下面即是文章目录，也对应到了本文的结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：

1. 背景及应用场景介绍：join 作为离线数仓中最常见的场景，在实时数仓中也必然不可能缺少它，flink sql 提供的丰富的 join 方式（总结 6 种：regular join，维表 join，temporal join，inter...

参与 Kubernetes、React 这类大型开源项目的完整路径：如何找到切入点、读懂贡献流程、让 PR 被合并，最终成为核心贡献者。

某个列唯一键（Distinct_Keys）的数量叫作基数。比如性别列，该列只有男女之分，所以这一列基数是2。主键列的基数等于表的总行数。基数的高低影响列的数据分布。

List<Person> list = new ArrayList();

让bf算法让模式串一位一位挪动

想要知道数仓要分几层，那就必须得先回答另一个问题：就是数据仓库为什么要分层？分层思想到底是在干什么？

1. 读请求是否均衡

docker run -it --rm --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:latest

数据指标就是将大数据之“大”的精髓给提炼出来，展现每日观察数据的使用者最迫切想要看到的统计量。数据指标体系并不是第三方服务公司的专利，只要对埋点科学地进行数据采集，每个成型的互联网公司都可以自己搭建数据指标体系。

深入 Operator 模式：自定义 CRD，用 controller-runtime 编写 Reconcile 循环，把有状态应用的运维经验代码化。

我们都知道，进行数据分析工作的时候会用到很多的工具，比如说数据湖和数据仓库，不过这两者之间的差异和区别，可能会让人困惑。那么大家知道不知道数据湖和数据仓库的区别是什么呢？下面我们就给大家介绍一下数据湖和数据库的相关知识。

流量超大，每秒钟160条至800条日志记录流入，每条记录有近2M字节；每天流入500万到1100万记录

在大数据处理中，基于spark计算引擎在大数据离线计算领域所占的比例越来越高，同时也会产生越来越来多的性能问题。下面根据自己使用的spark sql的经验，并参考业界的经验，总结出以下优化方法。一般而言，常见的影响spark任务快慢的因素主...

之前在网络通信和通用数据交换等应用场景中经常使用的技术是 JSON 或 XML，而在最近的开发中接触到了 Google 的 ProtoBuf。

yarn applicationattempt -list application_1437364567082_0106

Spark sql 小文件问题得解决方案分享

当仓库长到几十 GB、几百人同时提交，Git 原生工作流开始失效——分享 monorepo 协作中工具链与分支策略的落地经验。

Disruptor是英国外汇交易公司LMAX开发的一个高性能队列，研发的初衷是解决内存队列的延迟问题（在性能测试中发现竟然与I/O操作处于同样的数量级）。基于Disruptor开发的系统单线程能支撑每秒600万订单，2010年在QCon演讲...

当前SparkSQL支持三种join算法：Shuffle Hash Join、Broadcast Hash Join以及Sort Merge Join。

在Maven命令后加入参数“-Dmaven.wagon.http.ssl.insecure=true -Dmaven.wagon.http.ssl.allowall=true”

平时在面试中，你肯定会经常碰见的问题就是：RocketMQ为什么快？Kafka为什么快？什么是mmap？（注意是mmap，不是mmp）

Linux系统资源限制优化

在微服务的架构中，服务网关就是一个介于客户端与服务端之间的中间层。在这种情况下，客户端只需要跟服务网关交互，无需调用具体的微服务接口。这样的好处在于，客户端可以降低复杂性；对于需要认证的服务，只需要在服务网关配置即可；同样也方便后期微服务的...

Presto是一个facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。presto之所以能在各个内存计算型数据库中脱颖而出，在于以下几点：

使用Intellij工具开发Hive的UDF函数，进行编译；

梳理主流开源 License 的区别与选择建议，解释 DCO 和 CLA 的作用，以及贡献开源前必须知道的合规常识。

1. 为帖子数据增加content字段

一条数据是如何落地到对应的shard上的？

首先说一下,在最原始的数据库理论中,是没有MVCC这个概念的.如果现在的DBA学习数据库理论,用一些比较老的教材,会发现,课本上理论的实现,与实际上操作的数据库之间,是有很大差别的.

介绍 Hive cube 的 rollup 和 groupingsets 语法。

ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和P...

在 InfluxDB 中，我们可以粗略的将要存入的一条数据看作一个虚拟的 key 和其对应的 value(field value)。格式如下：

java.arg.13=-XX:+UseConcMarkSweepGC

从零搭建开源项目的 GitHub Actions CI：PR 检查、测试矩阵、缓存加速与发布自动化。

用 Helm Chart 模板化 Kubernetes 资源，通过 values 分离环境差异，实现可回滚的多环境发布。

深入 .git 目录，讲清楚 blob、tree、commit 三类对象和引用机制，理解之后 reset、rebase、reflog 都不再神秘。

用 Ingress 统一管理集群入口流量，实现基于域名和路径的路由、TLS 终止与灰度发布。

系统梳理 merge conflict 的产生原因、解决流程与预防手段，包括 rerere 和锁文件等容易踩坑的场景。

讲清楚 rebase 和 merge 的区别、interactive rebase 整理提交的实战操作，以及团队何时该禁止 rebase。

把配置从镜像中剥离出来，用 ConfigMap 和 Secret 管理不同环境的应用配置。

分享用 GitHub Issue、Label、Milestone 管理开源项目的经验，让贡献者来了就知道能做什么、怎么做。

从 Author 和 Reviewer 双视角总结 Code Review 的实用经验：小步提交、描述先行、对事不对人。

从零开始在 Kubernetes 上部署第一个应用，理解 Pod、Deployment 和 Service 的关系。

对比 Git Flow 与 GitHub Flow 两种主流分支模型，分析各自适用场景，帮团队选出合适的协作方式。