刘晖：大模型技术从入门到精通

一、课纲   3天

第1章 大模型技术概述

1.1 大模型技术的发展历史

1.2 大模型技术的生态发展

1.3大模型技术的风险与挑战

第2章语言大模型技术

2.1 Transformer架构

2.2语言大模型架构

2.2.1 掩码语言建模

2.2.2 自回归语言建模

2.2.3序列到序列建模

2.3语言大模型关键技术

2.3.1 语言大模型的预训练

2.3.2 语言大模型的适配微调

2.3.3 语言大模型的提示学习

2.3.4 语言大模型的知识增强    

2.4.5 语言大模型的工具学习

第3章 多模态大模型技术

3.1 多模态大模型的技术体系

3.1.1面向理解任务的多模态大模型

3.1.2 面向生成任务的多模态大模型

3.1.3 兼顾理解和生成任务的多模态大模型

3.1.4知识增强的多模态大模型

3.2多模态大模型的关键技术    

3.2.1 多模态大模型的网络结构设计

3.2.2多模态大模型的自监督学习优化

3.2.3 多模态大模型的下游任务微调适配

第4章 大模型技术生态

4.1 典型大模型平台

4.2 典型开源大模型

4.2.1 典型开源语言大模型  

4.2.2 典型开源多模态大模型    

4.3 典型开源框架与工具

4.4大模型的训练数据

4.4.1 大模型的训练数据处理流程和特点

4.4.2 大模型常用的公开数据集

第5章 大模型的开发训练与推理部署

5.1 大模型开发与训练

5.2 大模型推理部署

5.2.1 大模型压缩   

5.2.2 大模型推理与服务部署

5.3 软硬件适配与协同优化

5.3.1大模型的软硬件适配

5.3.2 大模型的软硬件协同优化

第6章 大模型应用

6.1 信息检索

6.2 新闻媒体

6.3 智慧城市

6.4生物科技

6.5 智慧办公

6.6 影视制作

6.7 智能教育

6.8 智慧金融

6.9 智慧医疗

6.10 智慧工厂

6.11生活服务

6.12 智能机器人

6.13 其他应用  

第7章 大模型的安全性      

7.1 大模型安全风险引发全球广泛关注

7.2 大模型安全治理的政策法规和标准规范

7.3 大模型安全风险的具体表现

7.3.1 大模型自身的安全风险

7.3.2 大模型在应用中衍生的安全风险

7.4大模型安全研究关键技术

7.4.1 大模型的安全对齐技术

7.4.2 大模型安全性评测技术

第8章 大模型的发展与展望

8.1协同多方合作，共同推动大模型发展

8.2 建立大模型合规标准和评测平台

8.3应对大模型带来的安全性挑战

8.4开展大模型广泛适配，推动大模型技术栈自主可控

二、授课方式

理论讲授：通过讲解和演示，使学员掌握课程内容；

实践操作：提供实际操作和实践的机会，使学员能够亲自动手进行实践；

案例分析：通过案例分析，使学员了解课程内容的应用前景和实际效果；

互动讨论：鼓励学员提问、分享经验和见解，促进知识交流与碰撞。