大语言模型发展对终端设备需求分析( 23 页)

---

目录

百亿参数大模型具备涌现能力，训练数据需等比例提升...... 5

大模型的参数下限：AI2.0 时代，基础大模型参数指数级增长.... 5

大模型的参数上限：参数的增加需要同等量级的训练集增加...... 6

大模型训练对硬件的挑战：算力、内存和通信...... 8

终端部署具有必要性，轻量化技术优化模型....... 11

超低时延的智慧场景，终端部署具有必要性....... 11

缩减优化模型，部署终端设备....... 12

“贾维斯”式智能管家，引领全新换机需求....... 16

大语言模型有望成为复杂AI 系统的控制中心和交互入口.... 16

当前旗舰机款手机芯片仅可运行优化版十亿参数级大模型....... 19

风险提示..... 23

图表目录

图1： AI2.0 时代的特征是通过超级海量数据无需标注训练一个大模型.....5

图2： 过去五年LLM 模型参数快速增长.... 6

图3： 参数量的指数提升线性提高模型性能.... 6

图4： 当模型的参数量大于一定程度时模型效果会突然提升...... 6

图5： 小模型的性能也随着规模扩大而逐步提高.... 6

图6： 2022 年最大的五个transfomer 模型条件.....7

图7： 各模型位于LM 损失等高线图上的位置....... 7

图8： LaMDA 模型训练数据来源.......7

图9： 静态内存.... 8

图10： 动态内存....... 8

图11： 模型大小与设备内存的增长示意图..... 9

图12： 算力计算公式...... 10

图13： 近年推出的大预言模型有效算力比率...... 10

图14： 边缘计算的应用场景.... 11

图15： 云计算与边缘计算的区别.... 11

图16： 云计算与边缘计算...... 11

图17： 边缘AI 的数据传输..... 12

图18： 量化可以降低功耗和占用面积.... 13

图19： NVIDIA Turing GPU 体系结构中各种数据类型相对的张量运算吞吐量和带宽减少倍数.... 13

图20： 优化AI 完全在终端侧高效运行Stable Diffusion ....... 13

图21： 骁龙8 Gen2 旗舰芯片组15 秒出图.... 13

图22： 知识蒸馏基本框架...... 14

图23： 单独训练子模型反哺主模型...... 14

图24： 联邦学习的升级版FedCG ..... 14

图25： 两种经典剪枝方法...... 15

图26： 剪枝算法流程...... 15

图27： 钢铁侠和Jarvis .... 16

图28： 微软亚洲研究院的Jarvis 项目....... 16

图29： Hugging Face AI 模型写作系统四个步骤....... 17

图30： Plugin 插件界面.... 17

图31： PaLM2 的从小到大的四种版本..... 18

图32： PaLM2 在部分测试中体现出了优异性....... 18

图33： ChatGPT App 欢迎界面....... 18

图34： 微软bing chat 应用.... 18

图35： 2019 年美国语音助理市场份额.... 19

图36： 全球智能音箱市场下滑...... 19

图37： 语音交互过程示意图.... 19

图38： Siri 信号流示意图...... 20

图39： 双通检测（AOP 唤醒主CPU） ..... 20

图40： 苹果A11 芯片开始搭载NPU ....... 20

图41： 全球手机分处理器频率销量占比...... 21

图42： 全球手机分价格段销量占比...... 21

图43： AIGC 支撑AI 多模交互....... 21

图44： 鸟鸟和类ChatGPT 模型分身对话...... 21

图45： 全球AR/VR 出货量预测...... 22

图46： 全球智能家居啊出货量预测...... 22

表1： GPT 参数和训练集规模快速增长.....8

表2： 大语言模型的计算.... 9

表3： 大预言模型算力测算..... 10