【课程简介】
无论是火遍全网的AI绘画,还是震惊世人的ChatGPT,都属于AIGC(基于人工智能的内容生成)这一概念。AIGC并不是一个全新的概念,它最早出现在深度学习模型“对抗生成网络”GAN的应用中,被誉为“21世纪最强大的算法模型之一” ,后续发展起来的扩散模型,以及自然语言领域BERT、GPT等都是典型的AIGC模型。
本课程以AIGC发展历程为主线,由浅入深介绍了AIGC相关模型的技术和应用场景,可以作为AIGC领域学习者的入门到进阶级课程。
【课程时长】
6天(6小时/天)
【课程对象】
理工科本科及以上,且至少了解一门编程语言。
【课程大纲】(培训内容可根据客户需求调整)
时间 | 内容 | 案例实践与练习 |
Day1上午 综述与准备 | AIGC综述 - AIGC的概念
- AIGC的应用场景
- AIGC的知识地图
准备工作 - 概念与术语
- Python(Anaconda)的安装
- Pycharm的安装与使用
- Jupyter Notebook的安装与使用
- Tensorflow与pytorch的安装
- Opencv、Sklearn工具包的运用
| 案例实践: - Anaconda安装
- Pip install的技巧
- Tensorflow-GPU的安装
- pytorch的安装
- Jupyter Notebook的使用
- Opencv的基本例子
|
Day1下午 基础模型 | 基础的基础:神经网络 - 人工神经元及感知机模型
- Sigmoid激活函数
- 前向神经网络的架构
- 梯度下降
- 误差反向传播详解
基础的基础:性能评价指标(5) - 精确率;
- P、R与F1
- ROC与AUC
- 对数损失
- 泛化性能评价:k折验证验证
| 案例实践: - 手算神经网络BP算法
- 只用numpy,手推BPNN
|
Day2上午 深度学习基础 | 深度学习基础 - 连接主义的兴衰
- 深度学习与神经网络的区别与联系
- 目标函数与激励函数
- 学习步长
- 权重初始化
- 权重衰减(Weight Decay)
- 梯度下降的方法
- 避免过适应
图像处理基础:用于分类的CNN - 图像分类概述
- AlexNet
- ZF-Net
- 卷积层的误差反向传播
- 池化层的误差反向传播
- VGG(5层变为5组)
- 迁移学习
- GoogLenet和Inception模块
- 模型退化与ResNet
- DenseNet(充分利用特征)
- 最新的efficientnet
| 案例实践: - 通过深度BP网络实现手写数字的识别
- 各种梯度下降方法的实战效果
- Batch normalization的实战效果
- VGG各层的可视化展现
- 迁移学习:识别猫和狗
- Resnet用于图像分类
|
Day2下午 图像生成模型 VAE GAN | 早期图像生成模型:VAE - 图像生成模型
- AE
- VAE
- DAE
图像生成经典模型:GAN - 生成对抗网络(GAN)
- KL散度与JS散度
- 改进的GAN:DCGAN
- 加上约束:infoGAN
- 根本上解决:Wasserstein GAN
- Zoo of GAN
| 案例实践: - GAN生成的数字
- VAE生成的数字
- babyGAN:特朗普的孩子?
- styleGAN:查无此人
|
Day3上午 图像分类 CNN 图像分类CNN | 自然语言处理基础(1) - 语言模型
- Bi-Gram与N-Gram
- 机械分词与统计分词
- 词性标注
- 命名实体识别
- 情感分析
自然语言生成基础:RNN - RNN基本原理
- LSTM、GRU
- 双向循环神经网络
- 编码器与解码器结构
- seq2seq模型
- Attention
- 图片->文字的生成:NIC
| 案例实践: - jieba的分词效果
- 交易数据的预测;
- 《绝代双骄》人物关系分析
- SnowNLP:褒义的中性词
- Show and tell模型效果
|
Day4上午 自然语言处理 | 自然语言生成基础:词向量 - W2V:CBOW
- W2V:skip-gram
- W2V:Hierachical Softmax
- W2V:Negative Sampling
自然语言生成进阶:Transformer - 所需的仅仅是“注意力”
- Transformer中的block
- 自注意力机制
- 多头注意力
- 位置编码(抛弃RNN)
- Batch Norm与Layer Norm
- 解码器的构造
| 案例实践: - 藏头诗生成;
- 《绝代双骄》分析
- SnowNLP:褒义的中性词
- Word2vec代码解读
- 手撕Transformer
|
Day4下午 预训练模型基础 | 自然语言生成进阶:BERT - BERT整体架构
- Masked-LM
- Next Sentence Prediction
- 改造下游任务
- WordPiece作为输入
- 哪些改进起作用?
自然语言生成进阶:GPT - “独角兽”的威力
- GPT的内部架构
- 基于Transformer的改造
- 自注意力机制的改进
- GPT的应用场景
- GPT-3
- 最新的GPT-3.5
基于图像补全的模型:MAE - iGPT
- Vision Transformer(ViT)
- BEiT
- MAE令人惊奇的效果
- MAE详解
| 案例实践: - BERT代码解读
- BERT下游任务的改造
- 让GPT写一篇散文
- GPT会做小学应用题吗?
- MAE的效果
|
Day5上午 强化学习 | 强化学习基础 - agent的属性
- 马尔科夫奖励/决策过程
- exploration and exploitation
- 状态行为值函数
- Bellman期望方程
- 最优策略
强化学习经典方法 - 策略迭代与价值迭代
- 蒙特卡洛法
- 时序差分法
- DP、MC、TD的关系
| 案例实践: - 格子世界
- 谷底的小车
- 倒立摆
- blackjack
|
Day5下午 深度强化学习 | 深度强化学习 - 值函数的参数化表示
- 值函数的估计过程
- 深度学习与强化学习的结合
- 基础的DQN 方法
- Double DQN
- Prioritized Replay
- Dueling Network
基于信赖域的深度强化学习 - 信赖域系方法背景
- 信赖域系方法发展路线图
- TRPO方法
- PPO方法
| 案例实践: - 井字棋
- 笨鸟先飞:DQN
|
Day6上午 最新生成模型 | 扩散模型(图像生成最新模型)综述 1、扩散模型与GAN、VAE的关系 2、扩散模型常用算法 3、扩散模型的应用领域 扩散模型之DDPM 1、整体流程 2、前向与还原步骤 3、训练与采样过程 4、模型结构 5、实验效果 扩散模型之DDIM 1、前提条件 2、优化推理与优化前置条件 4、实验效果 扩散模型之CLIP 1、基本概念 2、模型架构 3、实验效果 | 案例实践: - DDPM的效果
- CLIP的效果
|
Day6下午 最新生成模型及chatGPT | 扩散模型之DALLE-2 1、整体架构 2、PIROR模块与DECODER模块 4、效果对比 扩散模型之Stable-Diffusion 1、整体架构 2、潜在表达得生成模型 3、条件化机制 4、实验效果 chatGPT(自然语言生成最新模型) 1、技术背景 2、主要特点 3、ChatGPT的训练过程 4、InstructGPT与PPO 5、WebGPT和CICERO 6、chatGPT的应用领域 7、chatGPT引发的讨论 | 案例实践: - 异想天开的DALL-E 2
- 匪夷所思的chatGPT
- 其他生成模型效果演示
|