深度学习集训营 第三期

【课程介绍】

• 八大真实BAT项目，冲击年薪40万！！！

• 本深度学习集训营略过Python基础，直接从人工神经网络起步，实战BAT工业项目，并组织学员参赛，帮助学员成功就业或转行。为确保每一位学员的学习效果，本期继续维持前二期的从头到尾全部实战，但除了涵盖特征工程、以及深度学习在CV、NLP中的应用之外，特新增了以下三大模块：
  a.工业界业务上线/部署的大杀器——神经网络压缩技术

  b.新增深度学习在物体检测中的应用

  c.深度学习在推荐系统中的应用

  从而让内容更成体系、更加成熟。

【课程目录】

• 预习阶段 从DL基础起步，掌握三大核心模型
  在线视频：DNN与CNN，及NN框架

  • 1-DNN与混合网络：google Wide&Deep
  • 2-实战项目：数据非线性切分+google wide&deep 模型实现分类
  • 3-CNN:从AlexNet到ResNet
  • 4-实战项目：搭建CNN完成图像分类示例
  • 5-NN框架：caffe, tensorflow与pytorch
  • 6-实战项目：用几大框架完成DNN与CNN网络搭建与分类

  在线视频：RNN、LSTM、与条件生成、attention

  • 1-RNN/LSTM/Grid LSTM
  • 2-实战项目：RNN文本分类
  • 3-RNN条件生成与attention
  • 4-实战项目：google神经网络翻译系统
• 第一阶段 从数据科学比赛里看深度学习应用
  在线视频：深入理解神经网络原理

  • 1-从线性分类器说到非线性分类器
  • 2-理解神经网络参数W的物理意义
  • 3-Backpropagation的两种理解/推导方式
  • 4-初探神经网络模型训练调参

  在线实训：基于tensorflow/keras实现分类任务

  在线视频：深度卷积神经网络原理与实践

  • 1-卷积操作的数学定义和物理意义
  • 2-卷积神经网络结构的两大原理—局部连接和权值共享
  • 3-卷积神经网络的主体结构和变种
  • 4-3小时内用百行代码登顶Kaggle图像分类比赛的Top-5%

  在线实训：参加Kaggle图像分类比赛并提交结果

  在线视频：神经网络压缩技术：工业界业务上线/部署的大杀器！

  • 1-业务场景下的特征处理与挖掘套路
  • 2-Deep Compression：兼顾神经网络模型的效果和效率
  • 3-详解网络剪枝技术（及其变种）以及知识蒸馏模型

  在线实训：基于tensorflow/keras实现知识蒸馏模型

  在线视频：深入理解CNN、RNN和LSTM

  • 1-CNN网络结构及误差反向传播推导
  • 2-RNN网络结构及误差反向传播推导
  • 3-LSTM及GRU

  在线实训：基于TensorFlow的CNN/RNN网络构建训练集推理应用

  线下实战：从DNN/Wide/Wide&Deep解决房价预测问题

  • 1-机器学习vs深度学习，工业界的利弊权衡
  • 2-神经网络基本原理和训练要点
  • 3-如何针对不同的应用场景选择模型结构
  • 4-从wide&deep到混合网络的搭建与应用
  • 5-以kaggle比赛为例讲解神经网络解决方案
• 第二阶段 深度学习在计算机视觉中的应用
  在线视频：深度学习在物体检测中的应用（上）

  • 1-物体检测相关必备背景知识
  • 2-深入理解RCNN家族模型
  • 3-消灭令人抓狂的Anchor理解（从Motivation说到实践技巧）

  在线实训：MS-COCO物体检测by Faster RCNN

  在线视频：深度学习在物体检测中的应用（中）

  • 1-对比One Stage/Two Stage模型的优劣势
  • 2-从SSD说到YOLO-V3
  • 3-深入理解Focal Loss-消灭Class Imbalance/Hard-Easy Examples Problem

  在线实训：MS-COCO物体检测by YOLO-V3

  在线视频：深度学习在物体检测中的应用（下）

  • 1-物体检测中多尺度变化问题的处理
  • 2-2019年物体检测领域的弄潮儿：Anchor Free
  • 3-刷新行人检测记录的新思路：Center and Scale Prediction

  在线实训：行人检测by CSP

  线下实战：图像分类与图像检索实战

  • 1-灵活选取卷积神经网络结构作为图像分类的Backbone
  • 2-迁移学习在深度学习中的应用——“微调”（Fine-tune）技术
  • 3-图像搜索的前世（Bag-of-Visual-Words）和今生（Deep Learning）
• 第三阶段 深度学习在自然语言处理中的应用
  在线视频：文本预处理，词袋模型，word2vec，语言模型

  • 1-NLP基本知识：词袋、tf-idf、朴素贝叶斯
  • 2-DL中的NLP基础：word2vec、doc2vec、embedding、N-gram LM
  • 3-用深度学习一步步完成情感分析任务

  在线实训：基于维基百科语料库自己动手训练word2vec模型

  在线视频：CNN/LSTM 文本分类

  • 1-文本分类问题处理流程
  • 2-传统模型在文本分类上的表现
  • 3-从RNN到LSTM
  • 4-CNN/LSTM 在文本分类上的应用

  在线实训：百行代码用CNN/LSTM实现文本分类

  在线视频：图像生成文本(Image2text)

  • 1-Image2text基本模型
  • 2-基于Attention的Image2Text
  • 3-反问题：Text2ImageM

  线下实战：文本语义相似度匹配模型以及Seq2Seq模型构建

  • 1-深度学习在自然语言处理中的基础工具：word2vec、Embedding
  • 2-文本检索与匹配通用模型方法：DSSM，CDSSM，DRMM，ARC-I
  • 3-Seq2Seq模型搭建详解与应用案例
  • 4-(短)文本语义相似度匹配模型构建及其实践应用
• 第四阶段 高级深度学习应用场景
  在线视频：当下流行的语言模型BERT介绍

  • 1-语言模型的发展历程
  • 2-BERT（Bidirectional Encoder Representations from Transformers）语言模型介绍
  • 3-从预训练到NLP问题求解
  • 4-应用举例：问答系统，命名实体识别

  在线实训：实战BERT模型与fine tuning

  在线视频：生成式对抗网络（GAN）

  • 1-15分钟无公式理解GAN
  • 2-GAN的基本推导和优化目标
  • 3-GAN的训练难点以及Improved GAN Training
  • 4-From GAN to WGAN

  在线实训：Step by Step实现DCGAN

  在线视频：深度学习在推荐系统里的应用场景

  • 1-深度学习模型用作Feature Embedding
  • 2-Cross Layer：为推荐系统定制的网络结构
  • 3-与传统推荐模型的结合

  上午线下：基于深度学习的聊天机器人，看图说话与VQA

  • 1-基于深度学习匹配的聊天机器人
  • 2-基于序列到序列模型的聊天机器人
  • 3-结合CNN与RNN的看图说话与VQA看图问答机器人

  下午线下：智慧城市中的核心技术：大规模车辆图片搜索（Re-ID）算法原理及实践

  • 1-多任务（Multi-task）深度学习模型搭建与训练
  • 2-深度排序(Deep Ranking, Triplet Loss)原理与训练技巧
  • 3-使用多任务和深度排序模型，构建一个工业界和学术界最前沿的大规模车辆图片搜索算法(可用于智慧城市、视频监控等安防场景)，在业界的车辆搜索开源数据集上取得State-of-the-Art效果
  • 4-ReID算法思维延伸：基于视觉特征二次识别问题的技巧（比如Person Re-ID）
• 第五阶段 深度学习模型优化及实践技巧
  在线视频：NLP应用之文本分类系统

  • NLP的经典任务，但应用场景也非常广泛。情感分类被应用于利用网上评论打分，探究金融市场情绪。主题分类被应用于新闻分类，intent classification被用于构建聊天机器人。

  在线实训：从特征抽取到索引构建——自己动手实现实现一个文本分类系统

  在线视频：CV方向专项项目

  • 1-深入理解损失函数曲线
  • 2-CNN模型训练/实践中的常见问题以及Checklist
  • 3-CNN模型训练的若干高效技巧（Bag of Tricks）
  • 4-若干技术面试真题快问快答

  在线实训：基于CoCo数据集上实现物体检测分类模型Faster-RCNN

  在线视频：推荐应用之电商平台的商品推荐

  • 电商业务在全球各大互联网公司的营收中都占有极其重要的地位，推荐系统对用户推荐商品的质量好坏直接影响了巨头们的股价，商品推荐团队是公司各大算法团队中的核心团队，有着绝对地位的优势，我们针对全球Top 1的电商数据进行推荐算法优化。

  上午线下：NLP与CV数据科学比赛案例详解与实践

  • • 1-NLP AI比赛：文本主题与标签预测(通用模型结构、textCNN与textRNN、texRCNN与其他网络)
    • 2-图像比赛基本套路
    • 3-图像分类与图像分割比赛解决方案介绍

  NLP与CV数据科学比赛案例详解与实践

  下午线下：深度学习模型优化前瞻技术 以及实践技巧

  • 1-深度卷积神经网络的历史变革和设计理念——从AlexNet到DenseNet
  • 2-解析各类轻量级深度网络的设计理念——深度可分离网络
  • 3-深度学习模型训练时应注意的问题即实践技巧
  • 深度学习集训营 第三期/
    ├──01、第一阶段 从数据科学比赛里看深度学习应用
    | ├──在线视频：01-深入理解神经网络原理.mp4 253.01M
    | ├──在线视频：02-神经网络压缩技术：工业界业务上线.部署的大杀器！.mp4 232.53M
    | └──在线视频：03-深入理解CNN、RNN和LSTM.mp4 246.02M
    ├──02、第二阶段深度学习在计算机视觉中的应用
    | ├──在线视频：01-深度学习在物体检测中的应用（上）.mp4 258.17M
    | ├──在线视频：02-深度学习在物体检测中的应用（中）.mp4 216.70M
    | └──在线视频：03-深度学习在物体检测中的应用（下）.mp4 271.33M
    ├──03、第三阶段深度学习在自然语言处理中的应用
    | ├──在线视频：01-文本预处理，词袋模型，word2vec，语言模型.mp4 344.15M
    | ├──在线视频：02-CNN.LSTM 文本分类.mp4 381.93M
    | └──在线视频：03-图像生成文本(Image2text).mp4 246.37M
    ├──04、第四阶段高级深度学习应用场景
    | ├──在线视频：01-当下最好的语言模型BERT介绍.mp4 500.93M
    | ├──在线视频：02-生成式对抗网络（GAN）.mp4 271.90M
    | └──在线视频：03-深度学习在推荐系统里的应用场景.mp4 178.28M
    ├──05、第五阶段深度学习模型优化及实践技巧
    | ├──在线视频：01-NLP应用之文本分类系统.mp4 423.58M
    | ├──在线视频：02-CV方向专项项目.mp4 249.05M
    | └──在线视频：03-推荐应用之电商平台的商品推荐.mp4 165.52M
    └──06 拓展阶段
    | ├──01、预习课-卷积神经网络与计算机视觉.mp4 305.83M
    | ├──02、预习课-循环神经网络与自然语言处理.mp4 381.19M
    | ├──03、在线直播：深度卷积神经网络原理与实践.mp4 252.49M
    | ├──04、在线直播：深入理解CNN、RNN和LSTM知识点梳理.mp4 276.10M
    | ├──05、在线直播：CV项目介绍.mp4 126.42M
    | ├──06、在线直播：NLP项目介绍.mp4 152.36M
    | ├──07、在线直播：CV项目-人体姿态估计基础方法介绍.mp4 283.04M
    | ├──08、在线直播：NLP-信息抽取（一）.mp4 485.50M
    | ├──09、在线直播：CV项目-人体姿态估计核心技术.mp4 475.28M
    | └──10、在线直播：NLP-信息抽取（二）.mp4 376.77M