📚 课程介绍
本课程深入讲解Flink和ClickHouse在企业级实时大数据开发中的应用,包括Flink的核心API、Table API、SQL API、时间语义、窗口API等,以及与ClickHouse的集成和项目实战。
📋 学习前提
1. Java基础(Java编程语言的基本语法和面向对象编程) 2. Linux基础(Linux操作系统的基本使用和管理) 3. 数据库基础(关系型数据库的基本概念和SQL语言)
📖 课程目录
第3章 Flink部署篇
3-1 课程目录
3-4 Flink部署
3-3 Flink架构
3-5 Flink UI参数讲解
3-6 通过命令行方式提交&展示&取消Flink作业
3-7 通过UI方式提交&展示&取消Flink作业
3-8 关于并行度的补充
第4章 Flink实时处理核心API基础篇
4-1 课程目录
4-2 DataStream API概述
4-3 StreamExecutionEnvironment详解
4-4 Source概述
4-5 Source API编程之Socket及并行度
4-6 Source API编程之并行集合及并行度
4-7 Transformation之map
4-8 Source API编程之对接Kafka数据
4-9 Transformation概述
4-10 Transformation算子之map
4-11 Transformation算子之filter
4-12 Transformation算子之flatMap
4-13 Transformation算子之keyBy
4-14 Transformation算子之reduce
4-15 Sink概述
4-16 Sink之print&printToErr及并行度
第5章 Flink实时处理核心API进阶篇
5-1 课程目录
5-2 MapFunction&RichMapFunction认识
5-3 通过RichMapFunction认识对应的生命周期方法
5-4 SourceFunction代码层级
5-5 自定义单并行度Source
5-6 自定义多并行度Source
5-7 自定义Source读取MySQL数据
5-8 Transformation算子之union
5-9 Transformation算子之connect
5-10 Transformation算子之CoMapFunction
5-11 Transformation算子之CoFlatMapFunction
5-12 自定义分区器
5-13 自定义MySQLSink功能实现
5-14 自定义MySQLSink需求分析
5-15 RedisSink功能实现
第6章 【项目实战第一篇】基于Flink+ClickHouse构建大数据实时分析项目实战
6-1 课程目录
6-2 同类产品分析
6-3 项目架构
6-4 项目子工程创建
6-5 字段说明
6-6 用户行为日志类定义
6-7 功能一需求分析
6-8 功能一实现之数据清洗
6-9 功能一实现之统计分析
6-10 功能一实现之统计结果入Redis
6-11 功能一实现之拓展
6-12 需求二之功能分析
6-13 需求二之IP解析测试
6-14 功能二实现之自定义UDF函数解析IP地址
6-15 功能二实现之统计分析及入库
6-16 需求二之异步IO补充
6-17 前面两个需求可能会遇到的问题提炼
6-18 重难点总结
第7章 Flink时间语义及Window API篇
7-1
7-2
7-3
7-4
7-5
7-6
7-7
7-8
7-9
7-10
7-11
7-12
7-13
7-14
7-15
7-16
7-17
第8章 Flink Watermark
8-1
8-2
8-3
8-4
8-5
8-6
8-7
第10章 【项目实战第二篇】基于Flink+ClickHouse构建大数据实时分析项目实战
10-1
10-2
10-3
10-4
10-5
10-6
10-7
10-8
10-9
第12章 初识ClickHouse
12-10
12-11
12-12
12-14
12-18
12-19
第14章 Flink DataSet篇
14-1 课程目录
14-2 Flink批处理概述
14-3 对接数据源为csv格式的数据
14-4 对接数据源为压缩后的数据
14-5 对接数据源为子目录的数据
14-6 Transformation之map
14-7 Transformation之mapPartition
14-8 Transformation之distinct
14-9 Transformation之first-n
14-10 Sink
14-11 Flink中分布式缓存的使用
14-12 Flink中计数器的使用
14-13 重难点总结
14-14 Flink SQL结合Window及EventTime编程
14-15 Flink SQL整合DataStream编程
14-16 Flink Table API结合Window及EventTime编程
14-17 动态表和连续查询
第15章 Flink Table&SQL API篇
15-1 课程目录
15-2 Flink Table API&SQL概述
15-3 Flink Table API&SQL编程模型
15-4 Flink SQL整合DataStream编程
15-5 Flink Table API整合DataStream编程
15-6 Flink Table API整合DataStream编程toRetractStream使用
15-7 动态表和连续查询
15-8 图解连续查询
15-9 Table转Stream的方式
15-10 Flink Table API&SQL Connector概述
15-11 Flink Table API&SQL FileSystem Connector读取数据
15-12 Flink Table API&SQL FileSystem Connector写出数据
15-13 Flink Table API结合Window及EventTime编程
15-14 Flink SQL结合Window及EventTime编程
15-15 Flink UDF函数概述
15-16 Flink UDF函数编程实战
15-17 重难点总结
第18章 总结和展望
18-1 课程总结和回顾
