在本课程中，您将学习如何使用 Amazon SageMaker 的监控功能来监控和维护机器学习 (ML) 解决方案的性能和可靠性。首先，您需要确定监控的重要性以及 ML 中的偏移类型。然后，您将了解检测数据偏移、模型质量问题、统计偏差和特征归因偏移的方法。您将了解用于持续监控的 SageMaker Model Monitor、用于检测偏移和提供可解释说明的 SageMaker Clarify 以及用于可视化和分析性能指标的 SageMaker Model Dashboard。
本课程分享了最佳实践，帮助您构建和维护符合 AWS Well-Architected 机器学习剖析设计原则的可靠且值得信赖的高性能 ML 解决方案。您将学习主动决策、自动修复、通知和重新培训工作流程的方法，帮助保持您的 ML 解决方案长期有效。
- 课程级别：高级
- 时长：2 小时 30 分钟
注意：本课程具有本地化的注释/字幕。 旁白保留英语。要显示字幕，请单击播放器右下角的 CC 按钮。
活动
- 线上资料
- 练习
- 知识考核问题
课程目标
- 介绍监控方面的 AWS Well-Architected 机器学习剖析设计原则。
- 了解监控数据质量和模型性能的最佳实践。
- 使用 SageMaker Model Monitor 持续监控生产环境中的模型是否存在数据偏移和模型质量问题。
- 解释 Amazon SageMaker Clarify 如何检测模型偏差并提供可解释的说明。
- 介绍 SageMaker Clarify 在归因监控方面的优势和使用案例。
- 阐述使用 A/B 测试来监控模型在生产环境中的性能的优势。
- 阐述 SageMaker Model Dashboard 的主要功能和常见使用案例。
- 通过监控 ML 解决方案主动发现问题，并实施自动修复、通知和重新训练工作流。
培训对象
- 云架构师
- 机器学习工程师
建议具备的技能
- 拥有至少 1 年使用 SageMaker 和其他 AWS 服务进行机器学习工程工作的经验
- 拥有至少 1 年相关职位（例如后端软件开发人员、DevOps 开发人员、数据工程师或数据科学家）的工作经验
- 对 Python 等编程语言有基本的了解
- 已完成 AWS ML Engineer Associate 学习计划的前几门课程
课程大纲
- 第 1 部分：简介
- 第 1 课：如何学习本课程
- 第 2 课：领域简介
- 第 3 课：课程概览
- 第 2 部分：监控机器学习解决方案
- 第 4 课：监控在 ML 中的重要性
- 第 5 课：在监控中检测偏移
- 第 6 课：Amazon SageMaker Model Monitor
- 第 7 课：监控数据质量偏移
- 第 8 课：使用 SageMaker Model Monitor 监控模型质量
- 第 9 课：SageMaker Model Monitor 演示
- 第 10 课：使用 SageMaker Clarify 监控统计偏差偏移
- 第 11 课：监控特征归因偏移
- 第 12 课：使用 A/B 测试监控模型性能
- 第 13 课：SageMaker Model Dashboard 简介
- 第 14 课：选择监控方法
- 第 3 部分：修复通过监控发现的问题
- 第 15 课：自动修复和故障排除
- 第 4 部分：总结
- 第 16 课：课程总结
- 第 17 课：评估
- 第 18 课：联系我们
