📚 课程介绍
本课程通过实战项目,深入讲解如何使用Storm进行实时数据处理,构建实时热力分布系统,适合有一定Java基础和大数据背景的学习者。
📋 学习前提
1. Java基础(熟悉Java编程语言的基本语法和面向对象编程) 2. 大数据基础(了解Hadoop、Spark等大数据技术的基本概念和原理)
📖 课程目录
第1章 课程导学
1-1 课程导学
1-2 OOTB环境使用演示
1-3 授课习惯与学习建议
第2章 初识实时流处理Storm
2-1 课程目录
2-2 Storm是什么
2-3 Storm发展历史之从Twitter说起
2-4 Storm发展历史之Storm的成长
2-5 Storm技术网站介绍
2-6 Storm和Hadoop的区别
2-7 Storm和Spark Streaming的区别
2-8 Storm的优势
2-9 Storm当前现状与发展趋势
2-10 Storm应用案例分享
第3章 Storm核心概念
3-1 课程目录
3-2 初识Storm核心概念
3-3 Storm核心概念理解记忆概述
3-4 Storm核心概念理解记忆之地铁运行模型
3-5 Storm核心概念理解记忆之Storm
3-6 Storm核心概念小结
3-7 Storm核心概念官网详解
3-8 图解Storm核心概念
第4章 Storm编程
4-1 课程目录
4-2 Storm开发环境搭建
4-3 Storm核心接口ISpout详解
4-4 Storm核心接口IComponent详解
4-5 Storm核心接口IBolt详解
4-6 Storm求和案例编程之Spout功能实现
4-7 Storm求和案例编程之Bolt功能实现
4-8 Storm求和案例编程之Topology提交功能实现及测试
4-9 Storm词频案例编程之Spout功能实现
4-10 Storm词频案例编程之Bolt功能实现
4-11 Storm词频案例编程之Topology提交功能实现及测试
4-12 Storm编程注意事项
第5章 Storm周边框架使用
5-1 课程目录
5-2 JDK安装
5-3 ZooKeeper概述及环境搭建
5-4 ZooKeeper使用详解
5-5 Logstash概述及部署
5-6 Logstash使用之控制台输入输出
5-7 Logstash使用之文件输入控制台输出
5-8 Kafka概述
5-9 Kafka架构及核心概念
5-10 Kafka单节点单broker的部署及使用
5-11 Kafka单节点多broker部署及使用
5-12 Kafka容错性测试
5-13 Logstash使用之整合Kafka
第6章 Storm架构及部署
6-1 课程目录
6-2 Storm架构详解
6-3 Storm单机部署之前置条件及解压
6-4 Storm单机部署之启动Storm各节点及Storm UI界面详解
6-5 改写Storm作业并提交到Storm单节点集群运行
6-6 Storm常用命令介绍
6-7 Storm集群部署规划
6-8 Storm集群部署之软件包分发和jdk部署
6-9 Storm集群部署之ZooKeeper分布式环境部署
6-10 Storm集群部署之Storm集群部署及启动
6-11 提交Storm作业到集群中运行
第7章 并行度
7-1 课程目录
7-2 并行度概念详解
7-3 如何将Storm集群模式更改为单机模式
7-4 Storm作业运行UI页面上的参数详解
7-5 worker数量的设置
7-6 executor数量的设置
7-7 task数量的设置
7-8 acker的设置
7-9 并行度案例讲解及并行度动态调整
第8章 分组策略
8-1 课程目录
8-2 Stream Grouping概述
8-3 Shuffle Grouping开发详解
8-4 FieldGrouping开发详解
8-5 AllGrouping开发详解
8-6 Stream Grouping其他
第9章 Storm可靠性
9-1 课程目录
9-2 Storm进程级别的容错
9-3 Storm的ack和fail机制
第10章 DRPC
10-1 课程目录
10-2 RPC原理图解
10-3 基于Hadoop的RPC实现
10-4 Storm DRPC概述
10-5 Storm Local DRPC开发
10-6 Storm Remote DRPC及客户端代码开发
第11章 Storm整合其他大数据框架的使用
11-1 课程目录
11-2 Storm整合Redis使用概述
11-3 Storm整合Redis编程开发
11-4 Storm整合jdbc概述
11-5 Storm整合JDBC编程开发
11-6 Storm整合HDFS使用概述
11-7 HDFS环境快速搭建
11-8 Storm整合HDFS编程开发
11-9 Storm整合HBase概述
11-10 HBase环境快速搭建
11-11 Storm整合HBase编程开发
11-12 Storm整合Elasticsearch概述
第12章 Storm综合项目实战
12-1 课程目录
12-2 项目概述
12-3 如何采集实时区域人流量数据
12-4 项目架构
12-5 高德地图API基本使用
12-6 高德地图API常用工具介绍
12-7 高德地图热力图静态数据展示
12-8 Storm整合Kafka原理
12-9 Storm整合Kafka功能开发
12-10 Storm整合Kafka功能测试
12-11 Logstash和Kafka的整合注意事项详解
12-12 数据源产生器开发
12-13 打通整条实时流处理流程链路
12-14 项目处理及表结构设计
12-15 Storm处理结果存储到数据库中
12-16 通过SQL完成我们的最终结果统计
12-17 基于SpringBoot构建Web项目
12-18 动态获取数据并在高德地图上展示出热力图
12-19 添加统计的时间范围并在热力图上展示
12-20 项目扩展
第13章 课程总结
13-1 课程总结及后续课程计划
