Repository: huangfox/dpkb Branch: main Commit: e62b935e9354 Files: 19 Total size: 35.5 KB Directory structure: gitextract_e8gsxs7x/ ├── README.md └── columns/ ├── doris/ │ ├── Doris全面解析.md │ └── Doris最佳实践.md ├── flink/ │ ├── Apache Flink 漫谈系列.md │ ├── Flink 相关论文.md │ ├── Flink实战系列.md │ ├── Flink开源项目汇总.md │ ├── Flink架构、源码分析专栏.md │ ├── Flink进阶教程.md │ └── Flink零基础入门.md ├── hive/ │ └── hive教程.md ├── kudu/ │ ├── Kudu原理论文.md │ └── 网易云Kudu技术文章.md ├── opensource/ │ └── 数仓相关开源项目汇总.md ├── presto/ │ ├── Presto最佳实践、调优、踩坑专栏.md │ ├── Presto架构、源码分析专栏.md │ └── Presto资料汇总、会议资讯专栏.md ├── spark/ │ └── Apache Spark的设计与实现.md └── starrocks/ └── StarRocks技术内幕.md ================================================ FILE CONTENTS ================================================ ================================================ FILE: README.md ================================================ # DPKB 大数据相关知识库，主要包括： * 数据存储层、数据库（HDFS、Hive、HBase、Kudu、Doris、StarRocks、ClickHouse、TiDB等） * 数据处理层、OLAP引擎（Spark、Flink、Presto、Trino等） * 数据湖（IceBerg、Hudi、Delta等） * 大数据开发、应用（主要包括ETL、调度、数仓、数据应用等，例如Seatunnel、Dolphinscheduler等） * 数据治理（元数据管理、数据模型、数据标准、数据质量、数据安全等） 持续更新中（2024-12） ## 一、数据存储层、数据库（HDFS、Hive、HBase、Kudu、Doris、StarRocks、ClickHouse、TiDB等） ### ▶ HDFS ### ▶ Yarn #### 1）原理 - [Hadoop Yarn 一文搞懂 Yarn架构原理和工作机制](https://www.cnblogs.com/liangzilx/p/14837562.html) ### ▶ Hive #### 1）官网、社区、博客 - [Hive 官网](https://hive.apache.org/) #### 2）专栏 - [Hive 教程](columns/hive/hive教程.md) #### 3）大厂实践 - [HiveCube 在有赞的实践](https://tech.youzan.com/cube/) 2019-11 - [Hive Metastore Federation 在滴滴的实践](https://blog.didiyun.com/index.php/2019/03/25/hive-metastore-federation/) 2019-03 ### ▶ HBase #### 1）官网、社区、博客 - [HBase 官网](https://hbase.apache.org/) - [hbasefly](http://hbasefly.com/) #### 2）专栏 #### 3）大厂实践 #### 4）其他 - [HBase Bulkload 实践探讨](https://tech.youzan.com/hbase-bulkloadshi-practice/) 2019-12 ### ▶ Kudu #### 1）官网、社区、博客 - [Kudu 官网](https://kudu.apache.org/) #### 2）专栏 - [Kudu 原理 论文](columns/kudu/Kudu原理论文.md) - [网易云Kudu技术专栏](columns/kudu/网易云Kudu技术文章.md) #### 3）大厂实践 - [Apache Kudu 在网易的实践](https://www.infoq.cn/article/kgwyqb5wer5wl8cquweq) 2021-08 - [Apache Kudu 在网易实时数仓的实践](https://www.infoq.cn/article/QETxjyIu5tAJTZ9ksMdu) 2020-02 - [Kudu架构介绍及其在小米的应用实践](https://www.modb.pro/db/119708) 2017-06 #### 4) 其他 - [我是如何成为Apache Kudu committer & PMC 的？](https://cloud.tencent.com/developer/article/1450749) 2019-06 ### ▶ Doris #### 1）官网、社区、博客 - [Doris 官网](https://doris.apache.org/) - [Doris github](https://github.com/apache/doris) - [Doris 论坛](https://github.com/apache/incubator-doris/discussions) #### 2）专栏 - [Doris全面解析](columns/doris/Doris全面解析.md) - [Doris最佳实践](columns/doris/Doris最佳实践.md) #### 3）案例实践 - [Apache Doris在美团外卖数仓中的应用实践](https://tech.meituan.com/2020/04/09/doris-in-meituan-waimai.html) 2020-04 - [Apache Doris 在韵达物流领域的应用实践](https://mp.weixin.qq.com/s/Z_PhWk92ctZ7slz4SrVZ9Q) 2021-07 - [Apache Doris 在蜀海供应链的实践](https://mp.weixin.qq.com/s/SHuE-KCsIyh6jfo0DqLD6w) 2021-07 - [京东物流基于 Doris 的亿级数据自助探索应用](https://mp.weixin.qq.com/s/qVFa40yMg0_N9Lsb10ACQA) 2021-07 - [Doris on ES在快手商业化的最佳实践](https://mp.weixin.qq.com/s/5Pc5ewVFWPgauG4hNLH9xw) 2021-08 - [基于Doris的有道精品课数据中台建设实践](https://mp.weixin.qq.com/s/Gz-au9CHJ4lHrs5MkzeAJg) 2020-12 - [美团外卖实时数仓建设实践](https://mp.weixin.qq.com/s/-JPWqa_-at7F5hZ0zekVSQ) 2020-10 - [Doris在作业帮实时数仓中的应用&实践](https://mp.weixin.qq.com/s/hjbMM8CbElO04VLN5cfJtQ) 2020-09 - [基于Apache Doris的小米增长分析平台实践](https://mp.weixin.qq.com/s/WeNAItPJ4b7fsqW4kf0dSA) 2020-08 - [Apache Doris在京东双十一大促中的实践](https://mp.weixin.qq.com/s/8XnwJXm4kzq56SvElwL6kA) 2020-03 - [Apache Doris 在百度商业大规模微服务全链路监控的实践](https://mp.weixin.qq.com/s/k7CcCdHPTK1ZTDs_qKgh5w) 2020-02 ### ▶ StarRocks #### 1）官网、社区、博客 - [StarRocks](https://www.starrocks.com/zh-CN/index) - [StarRocks文档](https://docs.starrocks.com/zh-cn/main/introduction/StarRocks_intro) - [编程小梦 康凯森](https://blog.bcmeng.com/) #### 2) 专栏 - [StarRocks技术内幕](columns/starrocks/StarRocks技术内幕.md) ### ▶ ClickHouse #### 1）官网、社区、博客 - [ClickHouse 官网](https://clickhouse.com/) #### 2）专栏 #### 3）大厂实践 - [ClickHouse 在有赞的实践之路](https://tech.youzan.com/clickhouse-zai-you-zan-de-shi-jian-zhi-lu/) 2021-01 #### 4）其他 ## 二、数据处理层、OLAP引擎（Spark、Flink、Presto、Trino等） ### ▶ Spark #### 1）官网、社区、博客 - [Spark 官网](https://spark.apache.org/) #### 2）专栏 - [Apache Spark 的设计与实现](columns/spark/Apache%20Spark的设计与实现.md) #### 3）大厂实践 - [SparkSQL 在有赞的实践](https://tech.youzan.com/sparksql-in-youzan/) 2019-01 - [SparkSQL 在有赞大数据的实践（二）](https://tech.youzan.com/sparksql-in-youzan-2/) 2020-01 ### ▶ Flink #### 1）官网、社区、博客 - [Flink 官网](https://flink.apache.org/) - [Flink Confluence](https://cwiki.apache.org/confluence/display/FLINK/) - [Flink Blog](https://flink.apache.org/blog/) - [Ververica Blog](https://www.ververica.com/blog?hsLang=en) - [Ververica 中文](https://ververica.cn/developers-resources/) - [Flink 知识图谱](https://ververica.cn/wp-content/uploads/2020/03/Apache-Flink-Stateful-Computations-over-Data-Streams.pdf) - [Jark's Blog - WuChong - 云邪](http://wuchong.me/) #### 2）专栏 - [Flink 架构、源码分析专栏](columns/flink/Flink架构、源码分析专栏.md) - [Flink 实战系列](columns/flink/Flink实战系列.md) - [Flink 开源项目汇总](columns/flink/Flink开源项目汇总.md) ##### 教程 - [Flink SQL Cookbook - Ververica](https://github.com/ververica/flink-sql-cookbook/) - [Flink 零基础入门](columns/flink/Flink零基础入门.md) - [Flink 进阶教程](columns/flink/Flink进阶教程.md) - [Apache Flink 漫谈系列](columns/flink/Apache%20Flink%20漫谈系列.md) - [Flink 相关论文](columns/flink/Flink%20相关论文.md) #### 3）大厂实践 - [flink-forward-asia-hackathon-2021](https://github.com/flink-china/flink-forward-asia-hackathon-2021/issues) ### ▶ Presto、Trino #### 1）官网、社区、博客 - [PrestoDB 官网](https://prestodb.io/) - [Trino 官网](https://trino.io/) 原PrestoSql - [Google Presto Group](https://groups.google.com/g/presto-users) - [Presto 知乎专栏](https://www.zhihu.com/column/presto-cn) - [若飞-技术博客](http://armsword.com/archives/) #### 2）专栏 - [Presto 架构、源码分析专栏](columns/presto/Presto架构、源码分析专栏.md) - [Presto 最佳实践、调优、踩坑专栏](columns/presto/Presto最佳实践、调优、踩坑专栏.md) - [Presto 资料汇总、会议资讯专栏](columns/presto/Presto资料汇总、会议资讯专栏.md) #### 3）大厂实践 - [Presto 在车好多的实践](https://mp.weixin.qq.com/s/Bmqv54sVZgTqQ82I_RfmsA) 2020-12 - [Presto 在滴滴的探索与实践](https://zhuanlan.zhihu.com/p/266162270) 2020-10 - [Presto 在有赞的实践之路](https://tech.youzan.com/presto-zai-you-zan-de-shi-jian-zhi-lu/) 2020-04 - [PrestoCon 2020：云原生数据湖分析DLA的Presto实践](https://zhuanlan.zhihu.com/p/260784762) 2020-03 - [携程 Presto 技术演进之路](https://zhuanlan.zhihu.com/p/41538472) 2018-08 - [Presto 实现原理和美团的使用实践](https://tech.meituan.com/2014/06/16/presto.html) 2014-06 - [Presto 高性能引擎在美图的实践](https://zhuanlan.zhihu.com/p/408957032) 2021-09 ## 三、数据湖（IceBerg、Hudi、Delta等） - [一文看懂：什么是数据库、数据湖、数据仓库、湖仓一体、智能湖仓？](https://www.smartcity.team/consultingskills/experience/shujukuyushujuhu/#comments) 2021-08 ### ▶ Iceberg #### 1）官网、社区、博客 - [Iceberg 官网](https://iceberg.apache.org/) #### 2）应用 - [数据湖 Iceberg | 实时数据仓库的发展、架构和趋势](https://mp.weixin.qq.com/s?__biz=MzIwNTUxNTI1Ng==&mid=2247485623&idx=1&sn=9f03a36dbfc06c712b6132faabaa1dfd&chksm=972ef820a05971360311fd69c686e4b420222cfa639a1bcb5648bece4c3d886ae8f981712d8c&scene=21#wechat_redirect) 2021-03 - [数据湖 Iceberg | Apache Iceberg 快速入门](https://mp.weixin.qq.com/s?__biz=MzIwNTUxNTI1Ng==&mid=2247485637&idx=1&sn=0489f233e3bda2bcef221c9532bb001e&chksm=972ef852a0597144538b7807948443a27e58f99ba33d17a7bcb12ccb8b382fd1d712d6e80cbc&cur_album_id=1746684202856579076&scene=190#rd) 2021-03 - [数据湖 Iceberg | 如何正确使用 Iceberg](https://mp.weixin.qq.com/s?__biz=MzIwNTUxNTI1Ng==&mid=2247485644&idx=1&sn=b2194d8f3c1e7cf7e8e8d9296b9025e2&chksm=972ef85ba059714dc69472e3860497389f2ca4503d2cddeedd348695b5c314da49aad0278978&cur_album_id=1746684202856579076&scene=190#rd) 2021-04 - [数据湖 Iceberg | 在网易云音乐的实践](https://mp.weixin.qq.com/s?__biz=MzIwNTUxNTI1Ng==&mid=2247485718&idx=1&sn=34347ac54e97877e4401ad37f1d15577&chksm=972ef981a059709724b7abab56786ef047a68f31fd829031d2214fa4994b9ec0f1b04e25318c&cur_album_id=1746684202856579076&scene=190#rd) 2021-04 ### ▶ Hudi #### 1）官网、社区、博客 - [Hudi 官网](https://hudi.apache.org/) #### 2）应用 - [Flink CDC + Hudi + Hive + Presto 构建实时数据湖最佳实践](https://mp.weixin.qq.com/s/079VeDeIM_MQPyiiDX2l_w) ### ▶ Delta ## 四、大数据开发、应用（主要包括ETL、调度、数仓、数据应用等，例如Seatunnel、Dolphinscheduler等） ### ▶ Seatunnel ### ▶ DolphinScheduler ### ▶ 大数据架构 - [SQL on Hadoop 在快手大数据平台的实践与优化](https://www.infoq.cn/article/BN9cJjg1t-QSWE6fqkoR) 2019-06 - [携程机票大数据架构最佳实践](https://dbaplus.cn/news-73-1420-1.html) 2017-08 - [火山引擎DataLeap一站式数据治理解决方案及平台架构](https://www.cnblogs.com/bytedata/p/17745908.html) 2023-10 ### ▶ 数仓相关 - [有赞数据仓库实践之路](https://tech.youzan.com/dw-in-youzan/) 2020-03 - [OneData 建设探索之路：SaaS 收银运营数仓建设](https://tech.meituan.com/2019/10/17/meituan-saas-data-warehouse.html) 2019-10 - [面向AI技术的工程架构实践 | 贝壳一站式大数据开发平台实践](https://www.infoq.cn/article/mmnwzdlcyjg83qm0tgqm) 2020-11 ### ▶ 报表平台 - [有赞 BI 平台实现原理](https://tech.youzan.com/principle-on-bi-platform/) 2021-01 ## 五、数据治理（元数据管理、数据指标、数据标准、数据质量、数据安全等） ### ▶ 数据治理 - [美团配送数据治理实践](https://tech.meituan.com/2020/03/12/delivery-data-governance.html) 2020-03 - [全链路数据治理在网易严选的实践](https://www.infoq.cn/article/FOV6aEWRGNOfhD91YVcr) 2020-10 - [数据资产、数据治理 - 有赞](https://tech.youzan.com/shu-ju-zi-chan-zan-zhi-zhi-li/) 2019-11 - [美团酒旅起源数据治理平台的建设与实践](https://tech.meituan.com/2018/12/27/onedata-origin.html) 2018-12 - [滴滴数据仓库指标体系建设实践](https://mp.weixin.qq.com/s/-pLpLD_HMiasyyRxo5oTRQ) 2020-08 - [有赞指标库实践](https://tech.youzan.com/you-zan-zhi-biao-ku-shi-jian/) 2020-03 - [浅谈有赞大数据安全体系](https://tech.youzan.com/you-zan-da-shu-ju-an-quan-ti-xi-jian-she-shi-jian/) 2021-01 ### ▶ 元数据管理 - [字节跳动构建Data Catalog数据目录系统的实践](https://www.cnblogs.com/bytedata/p/16189474.html) 2022-04 - [有赞数据仓库元数据系统实践](https://tech.youzan.com/youzan-metadata/) 2018-08 - [饿了么元数据管理实践之路](https://dbaplus.cn/news-73-2143-1.html) 2018-07 - [数据治理方案技术调研 Atlas VS Datahub VS Amundsen](https://cloud.tencent.com/developer/article/1746714) 2020-11 - [数据资产治理-元数据采集那点事 - 有赞](https://tech.youzan.com/zi-chan-zhi-li-yuan-shu-ju-cai-ji-na-dian-shi/) 2020-12 - [来看看字节跳动内部的数据血缘用例与设计](https://segmentfault.com/a/1190000041452770) 2022-02 - [携程数据血缘构建及应用](https://mp.weixin.qq.com/s/LGK3YPZCe6oPTf48QaAIqA) 2021-09 - [Datahub](https://datahubproject.io/) A Metadata Platform for the Modern Data Stack ## 六、机器学习、AI ### ▶ 机器学习平台 - [机器学习平台建设指南](https://mp.weixin.qq.com/s/HEg_6Gly2WMrcPD5Ao2n6g) 2021-04 - [一站式机器学习平台建设实践](https://mp.weixin.qq.com/s/ZDRD0vAxkSqe4UeXi9avKQ) 2020-02 - [汽车之家机器学习平台的架构与实践](https://blog.csdn.net/hellozhxy/article/details/107210015) 2020-07 - [微博推荐算法实践与机器学习平台演进](https://blog.csdn.net/m0_37586850/article/details/116465255) 2021-05 - [爱奇艺机器学习平台的建设实践](https://mp.weixin.qq.com/s/Np4w7RC2JFlB7ZGIduu71w) 2020-11 - [爱奇艺一站式机器学习平台Deepthought的建设与初探](https://mp.weixin.qq.com/s?__biz=MzI0MjczMjM2NA==&mid=2247487206&idx=1&sn=c8db1e12378376722a1521f409149d44&chksm=e97692c5de011bd3f1b42a8112cd04c24907cb101ac5474b0054c95941ff5c4769a42d496f3a&scene=21#wechat_redirect) 2020-06 - [一站式机器学习平台在 vivo AI 的实践](https://www.infoq.cn/article/THlkStomYLRgXL2hzm8w) 2020-02 - [再见，Yarn！滴滴机器学习平台架构演进](https://mp.weixin.qq.com/s/iTfHv8EFx4O4G1sNxsuMkg) 2019-03 - [网易严选机器学习平台建设实践](https://www.6aiq.com/article/1661745581086) 2022 - [Sunfish-有赞智能平台实践](https://tech.youzan.com/sunfish/) 2020-06 - [同程-利用已有的大数据技术，如何构建机器学习平台](https://www.infoq.cn/news/build-machine-learning-platform-bigdata) 2017-11 ## 七、LLM应用 ### ▶ Text2SQL - [NL2SQL基础系列(1)：业界顶尖排行榜、权威测评数据集及LLM大模型（Spider vs BIRD）全面对比优劣分析](https://blog.csdn.net/sinat_39620217/article/details/137603846) - [NL2SQL基础系列(2)：主流大模型与微调方法精选集，Text2SQL经典算法技术回顾七年发展脉络梳理](https://blog.csdn.net/sinat_39620217/article/details/137603958) - [NL2SQL进阶系列(1)：DB-GPT-Hub、SQLcoder、Text2SQL开源应用实践详解](https://blog.csdn.net/sinat_39620217/article/details/137674671) ## 八、资源汇总 ### ▶ 大厂技术博客 - [美团技术团队](https://tech.meituan.com/) - [有赞技术团队](https://tech.youzan.com/) - [滴滴云博客](https://blog.didiyun.com/) ### ▶ 大数据相关网站 - [dbaplus](https://dbaplus.cn/) ### ▶ 相关开源项目 - [数仓相关开源项目汇总](columns/opensource/数仓相关开源项目汇总.md) ### ▶ 相关论文 - [raft 中文翻译](https://github.com/maemual/raft-zh_cn/blob/master/raft-zh_cn.md) ================================================ FILE: columns/doris/Doris全面解析.md ================================================ # Doris全面解析 ## 原理 - [Apache Doris : 一个开源 MPP 数据库的架构与实践](https://www.jianshu.com/p/d3742af8ecce) ## 存储相关 - [存储层设计介绍1——存储结构设计解析](https://mp.weixin.qq.com/s/aJ3FwDI6KprYYUwXzhl_-A) 2020-07 - [存储层设计介绍2——写入流程、删除流程分析](https://mp.weixin.qq.com/s/xl4ePcsSVPPNQDGBw-KoKA) 2020-07 - [存储层设计介绍3——读取流程、Compaction流程分析](https://mp.weixin.qq.com/s/U9w3VxCKhTk_3Sglo9J-aA) 2020-08 - [Doris Compaction机制解析](https://mp.weixin.qq.com/s/5D1gAOEiFWM7N6KPwqHHdw) 2021-02 - [Apache Doris Parquet文件读取的设计与实现](https://mp.weixin.qq.com/s/5D6G_kvl9TzYCMIgynhERA) 2019-08 - [Doris核心功能介绍——数据模型和物化视图](https://mp.weixin.qq.com/s/eRUg1du8AQxLvqYjJ621fA) 2020-07 ## 计算相关 - [Apache Doris 查询原理](https://blog.bcmeng.com/post/apache-doris-query.html) 2020-03 - [Doris SQL 原理解析](https://mp.weixin.qq.com/s/v1jI1MxEHPT5czCWd0kRxw) 2021-01 - [Doris Stream Load原理解析](https://mp.weixin.qq.com/s/NUSHwAUsFskSXG5R0mw8kg) 2021-06 - [Apache Doris 索引机制解析](https://mp.weixin.qq.com/s/KdCdXb9Z3MdUZ5S0RV726Q) 2021-09 - [Spark Doris Sink的设计和实现](https://mp.weixin.qq.com/s/uoPLfFBv9Vt2gg9HEriR0Q) 2019-08 ## 其他 - [Doris基于Hive表的全局字典设计与实现](https://mp.weixin.qq.com/s/YlZnlMTTI8xhULmk1y-N6w) 2020-08 ================================================ FILE: columns/doris/Doris最佳实践.md ================================================ # Doris最佳实践 ## 调优 - [Compaction调优(1)](https://mp.weixin.qq.com/s/Kv71HomwNioHQDz8NUec1A) 2021-06 - [Compaction调优(2)](https://mp.weixin.qq.com/s/mJrxpvYIoE9rgP9Hvo1Dnw) 2021-06 - [Compaction调优(3)](https://mp.weixin.qq.com/s/cZmXEsNPeRMLHp379kc2aA) 2021-06 - [Apache Doris Join 实现与调优实践](https://mp.weixin.qq.com/s/pukjERSOW-D-BM4z1G9JlA) 2021-09 ## 业务实现 - [Apache Doris 基于 Bitmap的精确去重和用户行为分析](https://mp.weixin.qq.com/s/e0IrXgkinpeEDKi0etfGKA) 2020-01 - [Doris在用户画像人群业务的应用](https://mp.weixin.qq.com/s/HGyIgqCIIXfeJtNdKbj-fQ) 2020-10 ## 组件结合 - [基于 Iceberg 拓展 Doris 数据湖能力的实践](https://mp.weixin.qq.com/s/Vgo2kWED8oxg45x6zumEYQ) 2021-07 - [Flink 消费 Kafka 实时写入 Apache Doris（KFD）](https://mp.weixin.qq.com/s/nUeHwFBQs50EvPukqnrinQ) 2021-09 - [Spark Doris Connector的最佳实践](https://mp.weixin.qq.com/s/c8zE7ymv6jC1WTlV44dldQ) 2020-04 - [ProxySQL实现Doris FE高可用](https://mp.weixin.qq.com/s/XHgtIzekxkiGCjqcRbqndw) 2020-08 ## 其他 - [Apache Doris和ClickHouse的深度分析](https://mp.weixin.qq.com/s/fyVSRB3wxmsZUx4kY1eQRQ) 2021-10 ================================================ FILE: columns/flink/Apache Flink 漫谈系列.md ================================================ # Apache Flink 漫谈系列 (阿里云实时计算Flink) ## 教程 - [Apache Flink 漫谈系列(01) - 序](https://developer.aliyun.com/article/666043?spm=a2c6h.14164896.0.0.541b7cb2dQp6jL) - [Apache Flink 漫谈系列(02) - 概述](https://developer.aliyun.com/article/666052?spm=a2c6h.14164896.0.0.541b7cb2dQp6jL) - [Apache Flink 漫谈系列(03) - Watermark](https://developer.aliyun.com/article/666056?spm=a2c6h.14164896.0.0.541b7cb2dQp6jL) - [Apache Flink 漫谈系列(04) - State](https://developer.aliyun.com/article/667562?spm=a2c6h.14164896.0.0.541b7cb2dQp6jL) - [Apache Flink 漫谈系列(05) - Fault Tolerance](https://developer.aliyun.com/article/667564?spm=a2c6h.14164896.0.0.541b7cb2dQp6jL) - [Apache Flink 漫谈系列(06) - 流表对偶(duality)性](https://developer.aliyun.com/article/667566?spm=a2c6h.14164896.0.0.59817cb20Sk3GI) - [Apache Flink 漫谈系列(07) - 持续查询(Continuous Queries)](https://developer.aliyun.com/article/667700?spm=a2c6h.14164896.0.0.541b7cb2dQp6jL) - [Apache Flink 漫谈系列(08) - SQL概览](https://developer.aliyun.com/article/670202?spm=a2c6h.14164896.0.0.59817cb20Sk3GI) - [Apache Flink 漫谈系列(09) - JOIN 算子](https://developer.aliyun.com/article/672760?spm=a2c6h.14164896.0.0.59817cb20Sk3GI) - [Apache Flink 漫谈系列(10) - JOIN LATERAL](https://developer.aliyun.com/article/674345?spm=a2c6h.14164896.0.0.59817cb20Sk3GI) - [Apache Flink 漫谈系列(11) - Temporal Table JOIN](https://developer.aliyun.com/article/679659?spm=a2c6h.14164896.0.0.59817cb20Sk3GI) - [Apache Flink 漫谈系列(12) - Time Interval(Time-windowed) JOIN](https://developer.aliyun.com/article/683681?spm=a2c6h.14164896.0.0.541b7cb2dQp6jL) - [Apache Flink 漫谈系列(13) - Table API 概述](https://developer.aliyun.com/article/685085?spm=a2c6h.14164896.0.0.59817cb20Sk3GI) - [Apache Flink 漫谈系列(14) - DataStream Connectors之Kafka](https://developer.aliyun.com/article/686809?spm=a2c6h.14164896.0.0.541b7cb2dQp6jL) ## 资源 - [阿里云实时计算Flink](https://developer.aliyun.com/group/sc?spm=a2c6h.12873639.0.0.e12d59b2IvG4B2#/?_k=9flh5j) ================================================ FILE: columns/flink/Flink 相关论文.md ================================================ # Flink 相关论文 - [Distributed Snapshots: Determining Global States of Distributed Systems ](https://www.microsoft.com/en-us/research/uploads/prod/2016/12/Determining-Global-States-of-a-Distributed-System.pdf?ranMID=24542&ranEAID=J84DHJLQkR4&ranSiteID=J84DHJLQkR4-mVoVymFnAblBx3zwyf98Pw&epi=J84DHJLQkR4-mVoVymFnAblBx3zwyf98Pw&irgwc=1&OCID=AID2000142_aff_7593_1243925&tduid=%28ir__1hs2uuow6wkfq3oxkk0sohzzwm2xpc33lxd0o6g200%29%287593%29%281243925%29%28J84DHJLQkR4-mVoVymFnAblBx3zwyf98Pw%29%28%29&irclickid=_1hs2uuow6wkfq3oxkk0sohzzwm2xpc33lxd0o6g200) ================================================ FILE: columns/flink/Flink实战系列.md ================================================ # Flink实战系列 - [从零构建Flink SQL计算平台 - 1平台搭建概述](https://www.cnblogs.com/pyx0/p/12348114.html) - [从零构建Flink SQL计算平台 - 2实现作业提交](https://www.cnblogs.com/pyx0/p/12387509.html) - [从零构建Flink SQL计算平台 - 3实现校验和调试](https://www.cnblogs.com/pyx0/p/12441367.html) - [网易游戏基于 Flink 的流式 ETL 建设](http://www.whitewood.me/2020/12/20/%E7%BD%91%E6%98%93%E6%B8%B8%E6%88%8F%E5%9F%BA%E4%BA%8E-Flink-%E7%9A%84%E6%B5%81%E5%BC%8F-ETL-%E5%BB%BA%E8%AE%BE/) 2020-12 ================================================ FILE: columns/flink/Flink开源项目汇总.md ================================================ # Flink开源项目汇总 - [flink-sql-gateway](https://github.com/ververica/flink-sql-gateway#readme) - [flink-jdbc-driver](https://github.com/ververica/flink-jdbc-driver) - [flinkStreamSQL](https://github.com/DTStack/flinkStreamSQL) - [flinkx](https://github.com/DTStack/flinkx) - [waterdrop](https://github.com/InterestingLab/waterdrop) - [streamx](https://github.com/streamxhub/streamx) - [flink-streaming-platform-web](https://github.com/zhp8341/flink-streaming-platform-web) - [dlink](https://github.com/DataLinkDC/dlink) - [plink](https://github.com/hairless/plink) ================================================ FILE: columns/flink/Flink架构、源码分析专栏.md ================================================ # Flink架构、源码分析专栏 ## 流式计算原理 - [Streaming 101: The world beyond batch](https://www.oreilly.com/radar/the-world-beyond-batch-streaming-101/) - [Streaming 102: The world beyond batch](https://www.oreilly.com/radar/the-world-beyond-batch-streaming-102/) ## DataSet,DataStream ## Table,SQL ## Time,Watermark - [Flink Watermark 机制浅析](http://www.whitewood.me/2018/06/01/Flink-Watermark-%E6%9C%BA%E5%88%B6%E6%B5%85%E6%9E%90/) 2018-06 ## State - [Flink State 最佳实践](https://ververica.cn/developers/flink-state-best-practices/) 2020-04 ## Checkpoint,Savepoint - 关键词：Barrier非对齐 - [分布式快照算法: Chandy-Lamport 算法](https://zhuanlan.zhihu.com/p/53482103) 2020-11 - [Flink Checkpoint 原理流程以及常见失败原因分析](https://tech.youzan.com/flink_checkpoint_mechanism/) 2019-12 - [Flink 轻量级异步快照 ABS 实现原理](http://www.whitewood.me/2018/05/13/Flink-%E8%BD%BB%E9%87%8F%E7%BA%A7%E5%BC%82%E6%AD%A5%E5%BF%AB%E7%85%A7-ABS-%E5%AE%9E%E7%8E%B0%E5%8E%9F%E7%90%86/) 2018-05 - [Flink Checkpoint/Savepoint 差异](http://www.whitewood.me/2018/09/06/Flink-Checkpoint-Savepoint-%E5%B7%AE%E5%BC%82/) 2018-09 ## Operators ### Windows ### Joining ### ProcessFunction ## Connector - [漫谈 Flink Source 接口重构](http://www.whitewood.me/2020/02/11/%E6%BC%AB%E8%B0%88-Flink-Source-%E6%8E%A5%E5%8F%A3%E9%87%8D%E6%9E%84/) 2020-02 - [Flink JDBC Connector：Flink 与数据库集成最佳实践](https://developer.aliyun.com/article/776069) ## Flink On YARN - [Flink on YARN（上）：一张图轻松掌握基础架构与启动流程](https://developer.aliyun.com/article/719262) - [Flink on YARN（下）：常见问题与排查思路](https://developer.aliyun.com/article/719703) ================================================ FILE: columns/flink/Flink进阶教程.md ================================================ # Flink进阶教程 时间：2019 来源：Ververica中文社区 - [Apache Flink 进阶教程（一）：Runtime 核心机制剖析](https://ververica.cn/developers/advanced-tutorial-1-analysis-of-the-core-mechanism-of-runtime/) - [Apache Flink 进阶教程（二）：Time 深度解析](https://ververica.cn/developers/advanced-tutorial-2-time-depth-analysis/) - [Apache Flink 进阶教程（三）：Checkpoint 的应用实践](https://ververica.cn/developers/advanced-tutorial-2-checkpoint-application-practice/) - [Apache Flink 进阶教程（四）：Flink on Yarn/K8s 原理剖析及实践](https://ververica.cn/developers/advanced-tutorial-2-flink-on-yarn-k8s/) - [Apache Flink 进阶教程（五）：数据类型和序列化](https://ververica.cn/developers/advanced-tutorial-2-serialize/) - [Apache Flink 进阶教程（六）：Flink 作业执行深度解析](https://ververica.cn/developers/advanced-tutorial-2-flink-job-execution-depth-analysis/) - [Apache Flink 进阶教程（七）：网络流控及反压剖析](https://ververica.cn/developers/advanced-tutorial-2-analysis-of-network-flow-control-and-back-pressure/) - [Apache Flink 进阶教程（八）：详解 Metrics 原理与实战](https://ververica.cn/developers/advanced-tutorial-2-principles-and-practice-of-metrics/) ================================================ FILE: columns/flink/Flink零基础入门.md ================================================ # Flink零基础入门 时间：2019 来源：Ververica中文社区 - [Apache Flink 零基础入门（一&二）：基础概念解析](https://ververica.cn/developers/flink-basic-tutorial-1-basic-concept/) - [Apache Flink 零基础入门（三）：开发环境搭建和应用的配置、部署及运行](https://ververica.cn/developers/flink-basic-tutorial-1-environmental-construction/) - [Apache Flink 零基础入门（四）：DataStream API 编程](https://ververica.cn/developers/apache-flink-basic-zero-iii-datastream-api-programming/) - [Apache Flink 零基础入门（五）：客户端操作](https://ververica.cn/developers/apache-flink-zero-basic-introduction-iv-client-operation/) - [Apache Flink 零基础入门（六）：Flink Time & Window 解析](https://ververica.cn/developers/time-window/) - [Apache Flink 零基础入门（七）：状态管理及容错机制](https://ververica.cn/developers/state-management/) - [Apache Flink 零基础入门（八）：Table API 编程](https://ververica.cn/developers/table-api-programming/) - [Apache Flink 零基础入门（九）：Flink SQL 编程实践](https://ververica.cn/developers/flink-sql-programming-practice/) ================================================ FILE: columns/hive/hive教程.md ================================================ # Hive教程 ## Hive学习之路 2018 - [Hive学习之路 （一）Hive初识](https://www.cnblogs.com/qingyunzong/p/8707885.html) - [Hive学习之路 （二）Hive安装](https://www.cnblogs.com/qingyunzong/p/8708057.html) - [Hive学习之路 （三）Hive元数据信息对应MySQL数据库表](https://www.cnblogs.com/qingyunzong/p/8710356.html) - [Hive学习之路 （四）Hive的连接3种连接方式](https://www.cnblogs.com/qingyunzong/p/8715925.html) - [Hive学习之路 （五）DbVisualizer配置连接hive](https://www.cnblogs.com/qingyunzong/p/8715250.html) - [Hive学习之路 （六）Hive SQL之数据类型和存储格式](https://www.cnblogs.com/qingyunzong/p/8733924.html) - [Hive学习之路 （七）Hive的DDL操作](https://www.cnblogs.com/qingyunzong/p/8723271.html) - [Hive学习之路 （八）Hive中文乱码](https://www.cnblogs.com/qingyunzong/p/8724155.html) - [Hive学习之路 （九）Hive的内置函数](https://www.cnblogs.com/qingyunzong/p/8744593.html) - [Hive学习之路 （十）Hive的高级操作](https://www.cnblogs.com/qingyunzong/p/8746159.html) - [Hive学习之路 （十一）Hive的5个面试题](https://www.cnblogs.com/qingyunzong/p/8747656.html) - [Hive学习之路 （十二）Hive SQL练习之影评案例](https://www.cnblogs.com/qingyunzong/p/8727264.html) - [Hive学习之路 （十三）Hive分析窗口函数(一) SUM,AVG,MIN,MAX](https://www.cnblogs.com/qingyunzong/p/8782794.html) - [Hive学习之路 （十四）Hive分析窗口函数(二) NTILE,ROW_NUMBER,RANK,DENSE_RANK](https://www.cnblogs.com/qingyunzong/p/8798102.html) - [Hive学习之路 （十五）Hive分析窗口函数(三) CUME_DIST和PERCENT_RANK](https://www.cnblogs.com/qingyunzong/p/8798382.html) - [Hive学习之路 （十六）Hive分析窗口函数(四) LAG、LEAD、FIRST_VALUE和LAST_VALUE](https://www.cnblogs.com/qingyunzong/p/8798606.html) - [Hive学习之路 （十七）Hive分析窗口函数(五) GROUPING SETS、GROUPING__ID、CUBE和ROLLUP](https://www.cnblogs.com/qingyunzong/p/8798987.html) - [Hive学习之路 （十八）Hive的Shell操作](https://www.cnblogs.com/qingyunzong/p/8847532.html) - [Hive学习之路 （十九）Hive的数据倾斜](https://www.cnblogs.com/qingyunzong/p/8847597.html) - [Hive学习之路 （二十）Hive 执行过程实例分析](https://www.cnblogs.com/qingyunzong/p/8847651.html) - [Hive学习之路 （二十一）Hive 优化策略](https://www.cnblogs.com/qingyunzong/p/8847775.html) ================================================ FILE: columns/kudu/Kudu原理论文.md ================================================ # Kudu 原理 - [Apache Kudu Read & Write Paths](https://blog.cloudera.com/apache-kudu-read-write-paths/) 2017-04 - [Kudu存储原理](https://github.com/collabH/repository/blob/master/bigdata/olap/kudu/Kudu%E5%8E%9F%E7%90%86%E5%88%86%E6%9E%90.md) # Kudu 相关论文 - [LSM Tree](https://www.cs.umb.edu/~poneil/lsmtree.pdf) - [Kudu论文解读: Fast Analytics on Fast Data (上)](https://zhuanlan.zhihu.com/p/137238298) 2020-04 - [Kudu论文解读: Fast Analytics on Fast Data (下)](https://zhuanlan.zhihu.com/p/137243163) 2020-04 ================================================ FILE: columns/kudu/网易云Kudu技术文章.md ================================================ # 网易云Kudu技术文章 - [【大数据之数据仓库】选型流水记](https://sq.sf.163.com/blog/article/174995941069086720) 2018-07 - [【大数据之数据仓库】kudu客户端java驱动缺陷](https://sq.sf.163.com/blog/article/169595475122905088) 2018-06 - [【大数据之数据仓库】kudu性能测试报告分析](https://sq.sf.163.com/blog/article/174995336187535360) 2018-07 - [分布式存储系统 Kudu 与 HBase 的简要分析与对比](https://sq.163yun.com/blog/article/198870236065431552) 2018-11 - [【kudu pk parquet】runtime filter实践](https://sq.sf.163.com/blog/article/174993565549518848) 2018-07 - [【kudu pk parquet】TPC-H Query2对比解析](https://sq.sf.163.com/blog/article/175000124925075456) 2018-07 ================================================ FILE: columns/opensource/数仓相关开源项目汇总.md ================================================ # 数仓相关开源项目汇总 ## 元数据、数据治理 - [atlas](https://github.com/apache/atlas) - [datahub](https://github.com/linkedin/datahub) ## 数据集成 - [DataX](https://github.com/alibaba/DataX) - [datax-web](https://github.com/WeiYe-Jing/datax-web) ## 数据计算 - [streamx](https://github.com/streamxhub/streamx) - [plink](https://github.com/hairless/plink) Platform for Flink - [FlinkSQL](https://github.com/ambition119/FlinkSQL) - [flinkStreamSQL](https://github.com/DTStack/flinkStreamSQL) - [waterdrop](https://github.com/InterestingLab/waterdrop) ## 调度 - [dolphinscheduler](https://github.com/apache/dolphinscheduler) ## 开发平台、其他 - [davinci](https://github.com/edp963/davinci) - [DataSphereStudio](https://github.com/WeBankFinTech/DataSphereStudio) 微众银行 - [wormhole](https://github.com/edp963/wormhole) 宜信 - [big-whale](https://github.com/MeetYouDevs/big-whale) - [lark](https://github.com/wxgzgl/lark) ================================================ FILE: columns/presto/Presto最佳实践、调优、踩坑专栏.md ================================================ # Presto最佳实践、调优、踩坑专栏 ## 一、最佳实践 - [Presto的ETL之路](https://zhuanlan.zhihu.com/p/53996153) 2019-01 - [Presto的应用场景与企业案例](https://zhuanlan.zhihu.com/p/260653669) 2020-10 ### 1.1 技术选型 - [PrestoDB VS PrestoSQL发展比较](https://zhuanlan.zhihu.com/p/87621360) 2019-10 - [PrestoDB和PrestoSQL比较及选择](http://armsword.com/2020/05/02/the-difference-between-prestodb-and-prestosql/) 2020-05 ### 1.2 大厂实践 - [Presto在B站的实践](https://www.bilibili.com/read/cv16043517) 2022-04 - [Presto 在字节跳动的内部实践与优化（优化篇）](https://xie.infoq.cn/article/061bb0935a8575e01ea243852) 2021-12 - [Presto at Tencent at Scale - pdf](https://static.sched.com/hosted_files/prestocon2021/ed/Presto%20at%20Tencent%20at%20Scale%20%281%29.pdf) 2021-12 - [Presto在车好多的实践](https://mp.weixin.qq.com/s/Bmqv54sVZgTqQ82I_RfmsA) 2020-12 - [Presto在滴滴的探索与实践](https://zhuanlan.zhihu.com/p/266162270) 2020-10 - [Presto 在有赞的实践之路](https://tech.youzan.com/presto-zai-you-zan-de-shi-jian-zhi-lu/) 2020-04 - [PrestoCon 2020：云原生数据湖分析DLA的Presto实践](https://zhuanlan.zhihu.com/p/260784762) 2020-03 - [携程 Presto 技术演进之路](https://zhuanlan.zhihu.com/p/41538472) 2018-08 - [Presto实现原理和美团的使用实践](https://tech.meituan.com/2014/06/16/presto.html) 2014-06 - [阿里数据湖 Presto分析算力隔离技术剖析 ](https://mp.weixin.qq.com/s/lV_nzLI6_Ott7Abyaik_bw) ## 二、性能调优 - [Presto性能调优的五大技巧](https://zhuanlan.zhihu.com/p/162809568) 2020-07 - [Presto内存管理原理和调优](http://armsword.com/2018/05/22/the-memory-management-and-tuning-experience-of-presto/) 2018-05 - [Presto内存管理相关参数设置](http://armsword.com/2019/11/13/the-configuration-settings-of-presto-memory-management/) 2019-11 - [Presto集群内存不足时保护机制](http://armsword.com/2020/02/18/presto-memory-kill-policy/) 2020-02 - [火焰图在Presto YGC优化中的应用](https://mp.weixin.qq.com/s/BZG7Av5f9HH9gueVF8ABvQ) 2020-03 - [使用火焰图定位 OLAP 引擎瓶颈](https://mp.weixin.qq.com/s/pIYdeF0TtbGgV0Va35ejQg) 2021-03 - [How to Make The Presto Query Engine Run Fastest](https://ahana.io/learn/presto/making-the-presto-query-engine-run-faster/) ## 三、问题排查（踩坑） - [说下那些导致Presto查询变慢的JVM Bug和解决方法](http://armsword.com/2021/02/07/jvm-bug-causes-Presto-queries-to-slow-down/) 2021-02 - [Presto Master JVM Core问题调研](http://armsword.com/2020/12/10/solve-presto-jvm-coredump/) 2020-12 - [Jetty导致Presto堆外内存泄露的排查过程](http://armsword.com/2020/06/23/jetty-cause-presto-memory-leak/) 2020-06 - [记一次Presto Worker OOM的查找过程](http://armsword.com/2020/06/03/the-solution-of-presto-oom-caused-by-orc-statistics/) 2020-06 - [Presto System load过高问题调研](http://armsword.com/2019/09/18/solve-presto-system-load-too-high/) 2019-09 - [一次 Presto 的连接数超限的问题定位](https://zhuanlan.zhihu.com/p/57956341) 2019-03 - [Presto Codegen问题排查案例](https://zhuanlan.zhihu.com/p/66243773) 2019-05 - [Presto coordinator的CPU持续上涨，原因竟然是这样](https://mayunlei.github.io/2019/05/20/Presto-coordinator%E7%9A%84CPU%E6%8C%81%E7%BB%AD%E4%B8%8A%E6%B6%A8%EF%BC%8C%E5%8E%9F%E5%9B%A0%E7%AB%9F%E7%84%B6%E6%98%AF%E8%BF%99%E6%A0%B7/) 2019-05 - [Presto内存泄露问题调查](https://mayunlei.github.io/2019/09/02/Presto%E5%86%85%E5%AD%98%E6%B3%84%E9%9C%B2%E9%97%AE%E9%A2%98%E8%B0%83%E6%9F%A5/) 2019-09 ================================================ FILE: columns/presto/Presto架构、源码分析专栏.md ================================================ # Presto架构、源码分析专栏 ## 一、原理、架构 - [Presto概述：特性、原理、架构](https://zhuanlan.zhihu.com/p/260399749) 2020-10 - [分布式SQL查询引擎Presto原理介绍](http://armsword.com/2017/12/05/presto/) 2017-12 - [深入理解Presto](https://zhuanlan.zhihu.com/p/101366898) 2020-01 - [分布式SQL查询引擎原理（以Presto SQL为例）](https://zhuanlan.zhihu.com/p/293775390) 2020-11 - [深入理解Presto,Presto的内部架构](https://mayunlei.github.io/2020/08/16/%E6%B7%B1%E5%85%A5%E7%90%86%E8%A7%A3Presto-Presto%E7%9A%84%E5%86%85%E9%83%A8%E6%9E%B6%E6%9E%84/) 2020-08 - [Presto 分布式SQL查询引擎及原理分析](https://mp.weixin.qq.com/s?__biz=MzI5MDEzMzg5Nw==&mid=2660400264&idx=1&sn=ebff65980ef45f7dffea1e5ec7d51fdc&chksm=f7425e6ec035d778dcc5704babe5241d8c80f3d21059434b00d8d4c46d9ce0bd232467ec92a6&scene=21#wechat_redirect) 2020-05 ## 二、源码分析 ### 2.1 前期准备 - [如何快速掌握Presto源码：思路和经验](https://zhuanlan.zhihu.com/p/262236892) 2020-10 - [Presto 源码阅读： Overview](https://zhuanlan.zhihu.com/p/51393518) 2018-12 - [Presto的一些基本概念](http://armsword.com/2018/08/11/the-basic-concepts-of-presto/) 2018-08 - [Presto/Trino权威指南及官方设计文档解读](https://www.jianshu.com/p/d3600d2a115d) 2021-05 ### 2.2 数据类型、Query Execution Model - [Presto类型系统初探](https://zhuanlan.zhihu.com/p/55299409) 2019-01 - [Presto源码分析之数据类型](https://zhuanlan.zhihu.com/p/52713533) 2018-12 - [Presto Core Data Structures: Slice, Block & Page](https://zhuanlan.zhihu.com/p/60813087) 2019-03 - [Presto源码分析之Slice](https://zhuanlan.zhihu.com/p/52735465) 2018-12 - [Presto Driver,Split and Pipeline](https://www.lewuathe.com/presto-driver,split-and-pipeline.html) 2017-05 ### 2.3 SQL解析、执行计划生成与优化 - [Presto 源码分析：Coordinator 篇](https://www.infoq.cn/article/VNe0A9yKszPCmp32akCa) 2019-12 - [Presto SQL Parser源码分析](https://zhuanlan.zhihu.com/p/57438825) 2019-02 - [Presto 源码阅读：Optimizers](https://zhuanlan.zhihu.com/p/52154130) 2019-01 - [Presto逻辑执行计划生成](https://zhuanlan.zhihu.com/p/57395047) 2019-02 - [Presto源码分析之IterativeOptimizer](https://zhuanlan.zhihu.com/p/52879375) 2018-12 - [Presto源码分析之模式匹配](https://zhuanlan.zhihu.com/p/52916774) 2018-12 - [Presto技术源码解析总结-一个SQL的奇幻之旅 上](https://www.jianshu.com/p/3fccfa82e1ec) 2019-04 - [Presto技术源码解析总结-一个SQL的奇幻之旅 下](https://www.jianshu.com/p/d8a3d7488358) 2019-04 - [Presto查询执行过程和索引条件下推分析](https://mp.weixin.qq.com/s?src=11×tamp=1616394200&ver=2961&signature=E7fzfl-wO5wGpohLLkE8v9hRKn5GR1TbVwU-N6Hl11T0Xl6TtlgCbhJmisPs*Z-hYiprO0yYK91O5GR0m-V-s5kvv6NudfeWMGW4iPXdAdetAfDAo4EITB9l*yZajiJS&new=1) 2020-05 ### 2.4 分布式任务调度、split生成与调度策略、worker选择策略 - [Presto运行时浅析](https://zhuanlan.zhihu.com/p/345733460) 2021-01 - [Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)](https://blog.csdn.net/huang_quanlong/article/details/80380474) 2018-07 - [Presto如何构建和使用海量Hive Splits](https://zhuanlan.zhihu.com/p/344559757) 2021-01 - [Presto之Task执行框架](https://zhuanlan.zhihu.com/p/54172313) 2019-01 - [Presto 是如何 schedule task 的?](https://zhuanlan.zhihu.com/p/58959725) 2019-03 - [Presto 由Stage到Task的旅程](https://zhuanlan.zhihu.com/p/55785284) 2019-01 - [Presto调度task选择Worker方法](http://armsword.com/2020/04/08/presto-scheduling-task/) 2020-04 - [presto中的AllAtOnce与Phased](https://zhuanlan.zhihu.com/p/61656233) 2019-05 - [Presto 任务调度： 任务分配到哪里](https://mayunlei.github.io/2020/05/30/Presto-%E4%BB%BB%E5%8A%A1%E8%B0%83%E5%BA%A6%EF%BC%9A-%E4%BB%BB%E5%8A%A1%E5%88%86%E9%85%8D%E5%88%B0%E5%93%AA%E9%87%8C/) 2020-05 - [Presto Split 详解](https://blog.csdn.net/zhanyuanlin/article/details/109215177) ### 2.5 常用Operator分析、常用SQL底层实现原理 - [Window函数与WindowOperator源码解析](https://zhuanlan.zhihu.com/p/59550902) 2019-03 - [Presto中coalesce函数的实现与Expression Codegen](https://zhuanlan.zhihu.com/p/64131496) 2019-04 - [Presto Limit 类算子分析](https://zhuanlan.zhihu.com/p/62448395) 2019-04 - [Presto分页功能概述](https://zhuanlan.zhihu.com/p/57030465) 2019-02 #### join、shuffle - [Presto 数据如何进行shuffle](https://zhuanlan.zhihu.com/p/61565957) 2019-04 - [Presto中的Hash Join](https://zhuanlan.zhihu.com/p/54731892) 2019-03 #### 分组聚合 - [Presto中的分组聚合查询流程](https://zhuanlan.zhihu.com/p/54385845) 2019-01 - [深入理解Presto中的Group By查询](https://zhuanlan.zhihu.com/p/67742519) 2019-09 ### 2.6 Function、UDF ### 2.7 Connector机制、常用Connector分析 - [ORC & Presto](https://zhuanlan.zhihu.com/p/110013789) 2020-02 - [Presto ORC及其性能优化](http://armsword.com/2019/09/30/presto-orc-and-performance-optimization/) 2019-09 - [Presto Hive MetaStore相关代码分析](https://zhuanlan.zhihu.com/p/109033118) 2020-02 - [Presto Connector之SystemTable](https://zhuanlan.zhihu.com/p/60934739) 2019-03 - [如何让Presto可以连接Hbase？文中含Hbase-Connect开发详解](https://www.analysys.cn/article/detail/20019023) 2018-11 ### 2.8 其他 - [Presto源码分析之TupleDomain](https://zhuanlan.zhihu.com/p/53113638) 2018-12 - [Presto的缓存机制](https://zhuanlan.zhihu.com/p/196398077) 2020-08 - [Presto Caching](https://zhuanlan.zhihu.com/p/147769024) 2020-06 - [Presto Codegen简介与优化尝试](https://zhuanlan.zhihu.com/p/53469238) 2018-12 - [Presto Procedure](https://zhuanlan.zhihu.com/p/59159147) 2019-03 - [How is data inserted into Presto?](https://zhuanlan.zhihu.com/p/59846328) 2019-03 - [Presto兼容Hive SQL的一些改造工作](http://armsword.com/2019/03/31/presto-compatible-hive-syntax/) 2019-03 - [Presto Coordinator分布式改造](https://mayunlei.github.io/2019/11/26/Presto-Coordinator%E5%88%86%E5%B8%83%E5%BC%8F%E6%94%B9%E9%80%A0/) 2019-11 - [Visualize Execution Plan in Presto](https://www.lewuathe.com/visualize-execution-plan-in-presto.html) 2019-09 - [Presto兼容Hive隐式类型转换](https://mp.weixin.qq.com/s/1hn3nVBdBtBeiPl3wxvHfQ) 2021-02 - [Presto 标量函数注册和调用过程简述](https://mp.weixin.qq.com/s/vd65OVeIOH7YFQ0QOAmsUg) 2020-09 - [Presto 函数实现简述](https://mp.weixin.qq.com/s/1Z_qik61N3hKwWqG8QR69w) 2020-07 - [Improved Hive Bucketing](https://trino.io/blog/2019/05/29/improved-hive-bucketing.html) ## 三、相关论文 - [官方论文《Presto: SQL on everything》](https://trino.io/Presto_SQL_on_Everything.pdf) [中文翻译](https://www.jianshu.com/p/de0a1de9f26e) - [《F1 Query: Declarative Querying at Scale》读后感](https://zhuanlan.zhihu.com/p/53299556) 2018-12 - [《Column-Stores vs. Row-Stores》读后感](https://zhuanlan.zhihu.com/p/54433448) 2019-01 abei-知乎 - [读后感之《Column-Stores vs. Row-Stores》](https://zhuanlan.zhihu.com/p/54484592) 2019-01 萌豆-知乎 - [Wander Join:Online Aggregation via Random Walks读后感](https://zhuanlan.zhihu.com/p/55050773) 2020-03 - [《The Snowflake Elastic Data Warehouse》读后感](https://zhuanlan.zhihu.com/p/55577067) 2019-01 ================================================ FILE: columns/presto/Presto资料汇总、会议资讯专栏.md ================================================ # Presto资料汇总、会议资讯专栏 ## 一、官网、技术博客 ### 1.1 官网 - [PrestoDB 官网](https://prestodb.io/) - [Trino 官网](https://trino.io/) 原PrestoSql - [PrestoDB Blog](https://prestodb.io/blog/index.html) - [Trino Blog](https://trino.io/blog/) - [PrestoDB github](https://github.com/prestodb/presto) - [Trino github](https://github.com/trinodb/trino) ### 1.2 讨论区（群组、公众号等） - [Google Presto Group](https://groups.google.com/g/presto-users) - [PrestoDB Slack](https://prestodb.slack.com) - [Trino Slack](https://trinodb.slack.com) - 公众号：Presto News - 公众号：FFCompute ### 1.3 技术博客 - [Presto知乎专栏](https://www.zhihu.com/column/presto-cn) - [若飞-技术博客](http://armsword.com/archives/) ## 二、书籍相关 - [《Presto: The Definitive Guide》](https://trino.io/blog/2020/04/11/the-definitive-guide.html) - [《Presto技术内幕》](https://book.douban.com/subject/26855863/) 京东Presto团队 ## 三、会议、资讯 ### 3.1 会议 - [Presto Meetup Oct 2019](https://zhuanlan.zhihu.com/p/88350254) 2019-10 - [PrestoCon 2020](https://prestocon2020.sched.com/) - [PrestoCon 2021](https://prestocon2021.sched.com/) - [PrestoCon 2022](https://prestocon2022.sched.com/) ### 3.2 资讯 - [惊闻Facebook开源大数据引擎Presto团队正在分裂](https://zhuanlan.zhihu.com/p/55628236) 2019-01 - [与 Facebook 分手后 ，PrestoSQL 再度因商标侵权被迫更名](https://www.infoq.cn/article/WmH0WXhqsWqpHDm6PpjC) 2021-01 ================================================ FILE: columns/spark/Apache Spark的设计与实现.md ================================================ # Apache Spark的设计与实现 > Spark Version: 1.0.2 Doc Version: 1.0.2.0 - [介绍](https://spark-internals.books.yourtion.com/index.html) - [概览](https://spark-internals.books.yourtion.com/markdown/1-Overview.html) - [Job 逻辑执行图](https://spark-internals.books.yourtion.com/markdown/2-JobLogicalPlan.html) - [Job 物理执行图](https://spark-internals.books.yourtion.com/markdown/3-JobPhysicalPlan.html) - [Shuffle 过程](https://spark-internals.books.yourtion.com/markdown/4-shuffleDetails.html) - [架构](https://spark-internals.books.yourtion.com/markdown/5-Architecture.html) - [Cache 和 Checkpoint](https://spark-internals.books.yourtion.com/markdown/6-CacheAndCheckpoint.html) - [Broadcast](https://spark-internals.books.yourtion.com/markdown/7-Broadcast.html) - [SparkInternals - github](https://github.com/JerryLead/SparkInternals) ================================================ FILE: columns/starrocks/StarRocks技术内幕.md ================================================ # StarRocks技术内幕 - [多表物化视图的设计与实现](https://blog.csdn.net/StarRocks/article/details/127863764) 2022-11