深度学习算法发展分析(15 页)

---

目录

1. 感知机：第一个神经网络......4

2. 多层感知机与BP 算法——神经网络的再兴起 .......4

2.1 多层感知机解决了多元分类问题 .....4

2.2 BP 算法：神经网络训练的基本算法 .......5

3. 浅层神经网络在多应用领域各自演进 ....6

3.1 图像识别领域：“卷积”机制提取图像空间特征 ....6

3.2 自然语言处理领域：“循环”机制提取语言时序特征 .....6

3.3 支持向量机：深度学习出现之前的主流算法 .......7

4. 梯度消失问题的解决使神经网络向深层迈进......8

4.1 逐层无监督是深度学习的初次探索 .....8

4.2 ReLu 激活函数的提出开启了深度学习时代 ....8

5. Transformer 统一了各任务底层算法，开启多模态和大模型时代 .......9

6. 探索多模态主干网络....... 11

7. 探索Transformer 时代的分支网络 ......12

7.1 AIGC 领域：多模态Transformer+扩散模型 .....12

7.2 对话机器人ChatGPT：语言Transformer+强化学习模型 .....13

8. 小结及投资建议......13

9. 风险提示 ....14

图表目录

图表 1：感知机二元分类过程......4

图表2：数据的线性可分性 .....4

图表3：多层感知机通过引入隐藏层进行多元分类 ......5

图表4：梯度消失使神经网络无法正常训练.....5

图表5：卷积神经网络典型结构 ......6

图表6：卷积的实质是提取关键特征 .......6

图表7：RNN 同时接受当前时刻输入与上一时刻输出的信息.......7

图表8：感知机与支持向量机目标函数不同.....7

图表9：在深度学习之前，支持向量机是解决人工智能任务的主流方法.......7

图表10：逐层无监督+BP 有监督解决梯度消失问题....8

图表11：Sigmoid 和tanh 函数存在梯度过大/过小问题 .......9

图表12：残差学习进一步缓解了梯度消失问题 .......9

图表13：Transformer 示意图 .......10

图表14：GPT 系列模型参数呈指数级增长 .......10

图表15：ViT 模型将图像当作文本进行处理......10

图表16：每层Swin Transformer 之间进行了类似CNN 的patch merging..... 11

图表17：CLIP 多模态网络采用图像-文本联合训练 ....... 11

图表 18：目前主流的多模态主干网络 .......12

图表19：扩散模型的前向扩散和反向生成过程 .....12

图表20：DDPM 在AIGC 领域的前沿成果 ....13

图表21：强化学习模型示意 .....13

图表22：神经网络各发展阶段经典模型梳理.....14