本课程概述了生产 LLM 所面临的挑战以及一套可用于解决这些挑战的工具。该课程将概述开发、部署和实施 LLM 的参考架构，并展开介绍该过程的每个阶段。
- 课程级别：中级
- 时长：90 分钟
课程内容
本课程包括演讲、真实示例和案例研究。
课程目标
在本课程中，您将学习以下内容：
- 区分 MLOPs 和 LLMOPs，定义实施 LLM 时面临的核心挑战
- 学习如何为给定的使用案例选择最合适的 LLM
- 了解如何评估 LLM，以及评估和基准测试之间的区别
- 定义检索增强生成 (RAG) 的核心组件及其管理方式
- 区分持续的预训练与微调
- 了解 AWS 中直接可用的微调技术
- 了解要在 LLM 中监控哪些内容，以及如何在 AWS 上执行此操作
- 了解监管与安全性最佳实践
- 说明 AWS 上的 LLMOps 的参考架构
培训对象
本课程面向：
- 希望自动构建和部署 LLM 的数据科学家和机器学习工程师
- 希望了解 LLMOps 平台整体架构的解决方案架构师和 DevOps 工程师
前提条件
我们建议本课程的参加者符合以下条件：
- 完成面向开发人员的生成式人工智能学习计划（数字化）
- 有技术背景和编程经验者更佳
课程大纲
模块 1：LLMOps 简介
- LLMOps 简介
- LLMOps 角色
- 实施 LLM 时面临的挑战
模块 2：LLM 选择
- LLM 的使用案例基准测试
- 制定基于优先级的决策
模块 3：LLM 评估
- 评估方法
- 评估提示目录
- 评估框架和指标
- 基准测试框架和指标
模块 4：检索增强生成 (RAG)
- LLM 定制
- 嵌入模型
- 向量数据库
- RAG 工作流
- 高级 RAG 技术
模块 5：LLM 微调
- 持续的预训练与微调
- 参数高效微调 (PEFT)
- 微调架构
模块 6：LLM 监控
- LLM 监控
- LLM 防护机制
模块 7：LLM 监管与安全性
- 安全性与监管最佳实践
- 安全性与监管工具
模块 8：LLMOps 架构
- LLMOps 生命周期
演示
- 文本嵌入和语义相似度
- LLM 大规模微调和评估
- 推理安全措施
