📚 课程介绍
本课程将深入讲解Spark2.x环境下协同过滤算法的应用,从理论到实践,逐步构建企业级个性化推荐系统,适合有一定编程基础,希望学习推荐系统开发的学员。
📋 学习前提
1. Java基础(Java是Spark的主要编程语言) 2. Spark基础(了解Spark的基本概念和操作) 3. 数据结构与算法基础(理解基本数据结构和算法对推荐系统开发很重要)
📖 课程目录
第1章 课程介绍与学习指南
1-1 课程介绍及导学
第2章 了解推荐系统的生态
2-1 推荐系统的关键元素和思维模式
2-2 推荐算法的主要分类
2-3 推荐系统常见的问题
2-4 推荐系统效果评测
第3章 给学习算法打基础
3-1 推荐系统涉及的数学知识
3-2 推荐系统涉及的概率统计知识
第4章 详解协同过滤推荐算法原理
4-1 什么是user-based的协同过滤
4-2 协同过滤的数学知识:最小二乘法
4-3 协同过滤的数学知识:余弦相似度
4-4 协同过滤的数学知识:梯度下降法
4-5 什么是item-based的协同过滤
4-6 基于Spark实现user-based协同过滤
4-7 基于Spark实现item-based协同过滤
4-8 什么是item-based协同过滤
4-9 基于Spark实现item-based协同过滤
4-10 基于模型的协同过滤
4-11 基于矩阵分解模型的两种算法:SVD和PMF
4-12 缺失值填充
第5章 Spark内置推荐算法ALS原理
5-1 ALS 算法原理
5-2 ALS 算法在Spark上的实现
5-3 ALS 算法在 Spark 上的源码分析
第6章 推荐系统搭建——需求分析和环境搭建
6-1 数据上报(上)
6-2 项目需求分析 技术分解 模块设计
6-3 开发环境搭建
6-4 环境问题 工具问题 版本问题
第7章 推荐系统搭建——UI界面模块
7-1 VUE+ElementUI简单入门
7-2 用户访问页面实现
7-3 AB Test 控制台页面(上)
7-4 AB Test 控制台页面(下)
第8章 推荐系统搭建——数据层
8-1 数据上报(上)
8-2 数据上报(下)
8-3 日志清洗和格式化数据(上)
8-4 日志清洗和格式化数据(中)
8-5 日志清洗和格式化数据(下)
8-6 分析用户行为和商品属性
8-1 数据上报(上)
第9章 推荐系统搭建——推荐引擎
9-1 基于用户行为构建评分矩阵
9-2 离线推荐:基于用户角度召回策略筛选候选集(上)
9-3 离线推荐:基于用户角度召回策略筛选候选集(下)
9-4 离线推荐:基于物品角度召回策略筛选候选集(上)
9-5 离线推荐:基于物品角度召回策略筛选候选集(下)
9-6 离线推荐:写特征向量到HBase
9-7 离线推荐:基于模型的排序
9-8 实时推荐:Storm解析用户行为
9-9 实时推荐:通过FTRL更新特征权重-原理
9-10 实时推荐:通过FTRL更新特征权重-代码实现
9-11 离线推荐和实时推荐项目梳理
第10章 推荐系统搭建——推荐结果存储
10-1 数仓ODS和DWD层搭建
10-2 搭建用户行为日志数据仓库
10-3 利用外部分区表存储用户行为
第11章 推荐系统搭建——推荐效果评估模块
11-1 AB Test
11-2 AB Test的分流管理
11-3 搭建AB Test 实验控制台(上)
11-4 搭建AB Test 实验控制台(下)
11-5 常用评测指标
第12章 知识拓展——基于关联规则的推荐算法
12-1 基于Apriori的关联算法
12-2 基于Spark实现Apriori算法(上)
12-3 基于Spark实现Apriori算法(下)
12-4 基于FP-Growth的关联算法
12-5 基于Spark实现FP-Growth算法
第13章 知识拓展——基于机器学习的推荐算法
13-1 RBM神经网络
13-2 CNN卷积神经网络
13-3 RNN循环神经网络
第14章 知识拓展——基于内容的推荐算法
14-1 文本向量化
14-2 基于Spark实现TF-IDF
14-3 课程总结
