📚 课程介绍
本课程将带你深入理解并实践使用Spark、ES和ClickHouse构建DMP用户画像的全过程,从项目环境搭建到用户画像搭建,再到项目展示及版本升级解决方案。
📋 学习前提
1. Java基础(Java是Spark运行的主要语言) 2. Hadoop和Spark基础(了解Hadoop和Spark的基本概念和操作) 3. Elasticsearch基础(了解Elasticsearch的索引、查询和聚合等基本操作) 4. ClickHouse基础(了解ClickHouse的表结构、查询和性能优化等基本操作)
📖 课程目录
第1章 DMP用户画像项目介绍
1-1 关于这门课,你需要知道的
1-2 DMP项目的意义和课程的侧重点
1-3 DMP项目架构及各个模块介绍
1-4 项目技术选型及各组件版本
1-5 本章重难点总结
第2章 项目环境搭建
2-1 本章重点及学习计划
2-2 基于docker一键部署大数据开发环境
2-3 环境搭建的常见问题及解决方案
2-4 数据准备:表结构和数据导入Hive数仓
2-5 数据准备:Hive数仓和Hbase同步标签数据
2-6 Springboot+JdbcTemplate+druid整合Hive(上)
2-7 Springboot+JdbcTemplate+druid整合Hive(下)
2-8 Springboot+Mybatis+phoenix整合Hbase
2-9 Springboot整合ClickHouse(上)
2-10 Springboot整合ClickHouse(下)
2-11 Spark+phoenix整合Hbase
2-12 【项目文档】本章重难点–环境部署步骤
2-13 【项目文档】本章重难点–表结构和数据导入步骤
2-14 【项目文档】Hive,ES,ClickHouse导入人群标签数据步骤
2-15 【项目文档】Hive、Hbase、ES、clickhouse表结构
2-16 使用说明.txt
第3章 DMP和用户画像
3-1 本章重点及学习计划
3-2 用户画像是如何生成的
3-3 用户画像的标签维度
3-4 如何构建高质量的用户画像
3-5 用户画像和特征工程
3-6 DMP用户画像的正确使用场景
3-7 【知识点梳理】本章重难点总结
第4章 用户画像搭建之特征工程
4-1 本章重点及学习计划
4-2 特征工程流程
4-3 数值型数据的特征提取
4-4 文本型数据的特征提取
4-5 使用Spark实现中文分词+TF-IDF
4-6 Spark基于TF-IDF+SVM实现电商商品评论情感提取(上)
4-7 Spark基于TF-IDF+SVM实现电商商品评论情感提取(下)
4-8 类别型和时间型数据的特征提取
4-9 构建新特征之特征交叉
4-10 基于FM的特征交叉
4-11 Spark实现基于FM的特征交叉
4-12 特征筛选之GBDT和xgboost
4-13 Spark实现基于Xgboost的特征筛选(上)
4-14 Spark实现基于Xgboost的特征筛选(下)
4-15 特征监控方案设计
4-16 【知识点梳理】本章重难点总结
第5章 用户画像搭建之标签体系构建
5-1 本章重点及学习计划
5-2 电商行业的标签体系以及reachCTR曲线
5-3 用户行为标签的ES存储
5-4 基于TF-IDF的标签权重算法(上)
5-5 基于TF-IDF的标签权重算法(中)
5-6 基于TF-IDF的标签权重算法(下)
5-7 时间衰减因子和用户偏好标签的计算(上)
5-8 时间衰减因子和用户偏好标签的计算(下)
5-9 ES构建Hbase二级索引对标签进行组合查询
5-10 商品标签与用户画像标签的匹配度
5-11 【知识点梳理】本章重难点总结
第6章 用户画像搭建之群体用户画像构建
6-1 本章重点及学习计划
6-2 朴素贝叶斯分类算法
6-3 使用Spark-ml实现基于朴素贝叶斯预测性别(上)
6-4 使用Spark-ml实现基于朴素贝叶斯预测性别(中)
6-5 使用Spark-ml实现基于朴素贝叶斯预测性别(下)
6-6 基于RFM模型的用户价值划分及Spark代码(上)
6-7 基于RFM模型的用户价值划分及Spark代码(下)
6-8 使用Spark-ml实现基于Kmeans的用户消费分群
6-9 通过订单数据挖掘用户的行为属性及Spark代码(上)
6-10 通过订单数据挖掘用户的行为属性及Spark代码(下)
6-11 DMP的用户分群
6-12 【知识点梳理】本章重难点总结
第7章 用户画像搭建之DMP人群管理
7-1 本章重点及学习计划
7-2 DMP的标签管理
7-3 DMP生成人群包数据
7-4 人群组合和人群去重
7-5 lookalike的主要算法
7-6 ClickHouse和ES在人群圈选上的对比
7-7 ClickHouse集成Bitmap
7-8 基于宽表的ClickHouse人群圈选
7-9 将Hive数据导入到ClickHouse
7-10 将Hive数据转换为ClickHouse的Bitmap
7-11 基于Bitmap的ClickHouse人群圈选
7-12 本章知识点梳理
第8章 项目展示及版本升级解决方案
8-1 项目完整演示(上)
8-2 项目完整演示(下)
8-3 版本升级解决方案
8-4 课程总结
