Posts
All the articles I've posted.
数据湖与数据仓库的区别
—我们都知道，进行数据分析工作的时候会用到很多的工具，比如说数据湖和数据仓库，不过这两者之间的差异和区别，可能会让人困惑。那么大家知道不知道数据湖和数据仓库的区别是什么呢？下面我们就给大家介绍一下数据湖和数据库的相关知识。
大型 Monorepo 协作经验分享：工具链与分支策略
Updated:—当仓库长到几十 GB、几百人同时提交，Git 原生工作流开始失效——分享 monorepo 协作中工具链与分支策略的落地经验。
超大流量的多层嵌套日志ETL作业过程优化经验总结
—流量超大，每秒钟160条至800条日志记录流入，每条记录有近2M字节；每天流入500万到1100万记录
SparkSQL优化分享
—在大数据处理中，基于spark计算引擎在大数据离线计算领域所占的比例越来越高，同时也会产生越来越来多的性能问题。下面根据自己使用的spark sql的经验，并参考业界的经验，总结出以下优化方法。一般而言，常见的影响spark任务快慢的因素主...
深入 ProtoBuf
—之前在网络通信和通用数据交换等应用场景中经常使用的技术是 JSON 或 XML，而在最近的开发中接触到了 Google 的 ProtoBuf。