大数据DMP画像系统龙果学院-免费资源网

大数据DMP画像系统龙果学院

【课程介绍】

一、课程目标  

1、掌握画像标签开发技巧

2、掌握数据挖掘技巧

3、了解业内画像和DMP系统的架构和开发

4、大数据结合业务场景落地

二、系统开发要求

涉及的技术要点:spark 、elasticsearch、hadoop 、hive 、LR GBDT等机器学习算法 开发工具:idea、eclipse 开发环境:spark2.2、hadoop2.7、hive1.2、hbase、redis 开发语言:scala、java、python、shell、sql

三、课程目录

课程一览

1、用户画像概述 什么是用户画像,为什么要用户画像,画像的场景应用 业内,facebook,阿里巴巴(达摩盘),腾讯(广点通)分析 打造自己的内部达摩盘,基本功能跟达摩盘一致

2、画像指标整理

   2-1.基础属性。人的基础属性标签,包括地域、年龄、性别等。

   2-2.兴趣偏好。这部分是投放端已有的定向能力,后期可规划更细的基于宝贝、店铺或行业的搜索选择,特定兴趣的定向功  能。

   2-3.行为轨迹。基于兴趣偏好更细的行为(包括浏览、点击、成交、收藏、复购等),及不同时间段的行为交叉(包括1天、7天、30天的行为)。

   2-4.消费能力。基于平台的支付交易,购物行为、交易额计算高中低,及类目上的高消费偏好。  

   2-5.好友关系。基于平台的关系链数据,推荐偏好该宝贝、店铺、行业的好友用户。  

   2-6.自定义人群。支持上传自定义人群包,lookalike扩展包的大小。

3、 画像标签体系建设和开发

   3-1)基本属性 地域、年龄、性别、学历、职业

   3- 2)兴趣偏好 品牌、 店铺、一级类目、场景、行业

   3-3)消费能力 能力等级开发

   3-4)特征人群 划分一些特定的人群,高活跃,低活跃,有车一族,奶爸一家

   3-5)LBS属性 长居住地

   3-6)用户轨迹 交易、浏览,收藏等

四、画像系统架构

功能:画像多维度分析、画像指标下钻分析、投放效果追踪分析 技术:基于es 、spark、hadoop 建设画像计算,以及数据存储和计算 模块:用户人群包(交集并集)、追踪分析、人群画像、人群对比模块开发

五、画像系统应用案例

  用户精准营销

  用户商品推荐   

六、大数据面试技巧

  hadoop、hive、spark常见面试问题以及解答

【课程目录】
第1章 第一章
 第1讲 01什么是画像结合阿里达摩盘讲解免费 00:20:34| 下载课件
 第2讲 02画像功能介绍00:23:41
 第3讲 03腾讯画像dmp介绍00:09:30
 第4讲 04画像课程目录和目标00:06:21
 第5讲 05画像基础指标性别预测方案-补录00:18:36
 第6讲 06生产用户行为日志以及导入hive和数据处理(有点小延迟关问题不大)00:21:34
 第7讲 07用户app安装应用数据处理以及特征组合00:10:39
 第8讲 08用户交易数据mysql同步hive00:28:00
 第9讲 09用户画像性别预测spark代码0100:32:13| 下载课件
 第10讲 10用户画像性别预测-spark代码0200:20:29
 第11讲 11用户分群活跃区分打标签kmeans聚类编写00:28:23
 第12讲 12基于统计用户分群含时间衰减和hive窗口函数00:20:20| 下载课件
 第13讲 13用户消费能力等级划分代码编写0100:15:29
 第14讲 14用户消费能力等级划分代码编写0200:14:54
 第15讲 15TF-IDF算法介绍00:11:29
 第16讲 16手写TF-IDF,以及后续sparkAPI调用00:27:29
 第17讲 17利用TF-IDF思想进行画像偏好计算00:20:35
 第18讲 18实时模型信用评分架构介绍00:16:31| 下载课件
 第19讲 19节视频补录-随机森林信息熵和信息增益算法介绍00:22:02
 第20讲 20flume安装以及java代码RPC发送数据00:08:47
 第21讲 21离线随机森林模型代码开发-随机森林算法介绍看后面19节补录00:14:25
 第22讲 22实时模型预测和实时画像总结00:12:13
 第23讲 23lookalike几种常见方法介绍00:20:31
 第24讲 24局部敏感哈希(LSH)和相似度计算几种常见方法00:08:21
 第25讲 25spark计算LSH采用杰卡德相似度00:12:33
 第26讲 26lookalike大赛介绍以及LR来做预测00:20:43
 第27讲 27DMP功能介绍、以及架构设计-补录00:11:22
 第28讲 28技术选型、以及elasticsearch介绍-先看下面27讲00:25:58
 第29讲 29elasticsearch安装和elasticsearch-head和elasticsearch-sql安装00:12:53
 第30讲 30画像数据处理、画像指标合并成宽表00:35:42
 第31讲 31画像的脚本调度编写00:07:34
 第32讲 32画像数据写入es代码编写00:06:01
 第33讲 32利用es做下钻查询以及多维度分析mp400:10:43
 第34讲 33项目总结00:10:52
 第35讲 34面试总结、怎样打造你的简历mp4

大数据DMP画像系统龙果学院

大数据DMP画像系统龙果学院

本站所有课程资源均为用户上传,如有侵权,请联系邮箱提供相应材料,我们会尽快删除
免费资源网 » 大数据DMP画像系统龙果学院