在本课程中，您将学习如何使用 Amazon SageMaker JumpStart 自定义和评估大型语言模型 (LLM)。Amazon SageMaker JumpStart 是一个机器学习 (ML) 中心，提供基础模型、内置算法和预构建的机器学习解决方案，您只需点击几下即可部署这些内容。您将了解微调的替代方案，包括提示词工程和检索增强生成 (RAG) 的基础知识。您还会了解微调、部署和评估 SageMaker JumpStart 上提供的微调模型。
通过使用您自己的 AWS 账户和提供的 Notebook，您可以实践使用 Amazon SageMaker-LangChain 集成构建 RAG 应用程序的过程。您还可以微调 Llama3 模型，并使用评估指标对其进行评估。您可以借助能解决提示词模式化问题的 Notebook，练习负责任的 AI 的一个方面。或者，您也可以观看运行 Notebook 的视频演示。
- 课程级别：高级
- 时长：4 小时
注意：本课程具有本地化的注释/字幕。 旁白保留英语。要显示字幕，请单击播放器右下角的 CC 按钮。
课程内容
本课程包括演示文稿、演示和评估。
课程目标
在本课程中，您将完成以下任务：
- 说明自定义 LLM 的不同技术。
- 说明何时使用提示词工程和检索增强生成作为自定义选项。
- 演示如何使用 Amazon SageMaker-LangChain 集成，通过 Falcon 模型构建 RAG 应用程序。
- 说明领域自适应和指令微调的用途。
- 演示如何从 SageMaker JumpStart ML 中心微调和部署模型。
- 演示如何使用 SageMaker Python SDK 通过参数高效微调 (PEFT) 对 LLM 进行微调。
- 使用 SageMaker JumpStart 控制台和 fmeval 库评估基础模型。
受众
本课程面向以下工作角色：
- 数据科学家
- 机器学习工程师
预备知识
我们建议参加本课程学习的人员具备以下知识：
- 拥有 1 年以上自然语言处理 (NLP) 经验
- 拥有 1 年以上语言模型训练和优化经验
- 具备中级水平的 Python 语言编程能力
- AWS Technical Essentials
- Amazon SageMaker JumpStart Foundations
课程大纲
模块 1：自定义 LLM 简介
- 自定义 LLM
- 选择自定义方法
模块 2：用于自定义 LLM 的提示词工程和 RAG
- 使用提示词工程
- 使用检索增强生成 (RAG)
- 使用高级 RAG 模式
演示 1：使用 Amazon SageMaker-LangChain 集成和 SageMaker JumpStart 的 Falcon 7B 模型创建 RAG 应用程序
模块 3：微调和部署基础模型
- 通过微调自定义基础模型
- 如何使用 SageMaker JumpStart 控制台微调和部署 LLM
演示 2：使用 Amazon SageMaker Python SDK 微调 SageMaker JumpStart 上提供的 Llama 3 模型
模块 4：评估基础模型
讨论模型评估指标
- 使用 Amazon SageMaker JumpStart 控制台评估基础模型
演示 3：使用 fmeval 库评估 Falcon-7B 模型的提示词模式化
模块 5：资源
- 了解详情
- 联系我们
