Amazon SageMaker 協助資料科學家準備、建置、訓練、部署和監控機器學習 (ML) 模型。SageMaker 匯集了廣泛的功能，包括存取分散式訓練函式庫、開源模型和基礎模型 (FM)。本課程為經驗豐富的資料科學家們帶來了建立語言模型的挑戰，以及處理大型文字語料庫的不同儲存、擷取和訓練選項。本課程還討論了使用 Amazon SageMaker Jumpstart 部署大型模型和自訂生成式人工智慧 (生成式 AI) 任務的基礎模型的挑戰。
- 課程等級：進階
- 持續時間：5.5 小時
注意：本課程具有本地化的註釋/字幕。旁白保留英語。要顯示字幕，請按一下播放器右下角的 CC 按鈕。
活動
本課程內容包含文字說明、圖解式說明、知識檢測題目，以及可以在自己的 Amazon Web Services (AWS) 帳戶中執行的實驗影片示範。
課程目標
完成本課程後，資料科學家可以使用 SageMaker 自信地在 AWS 上建置、訓練和調校高效能語言模型。
在本課程中，您會了解如何進行下列事項：
- 套用儲存和擷取大量文字資料的最佳實務來支援分散式訓練
- 探索資料平行處理和模型平行處理函式庫以支援 SageMaker 上的分散式訓練
- 說明 SageMaker 上可用於加強訓練績效表現的選項，例如 Amazon SageMaker Training Compiler 和 Elastic Fabric Adapter (EFA)
- 探索大型語言模型 (LLM) 最佳化技術以進行有效的模型部署
- 示範如何微調 SageMaker Jumpstart 上提供的基礎模型
目標對象
本課程適用於下列角色：
- 資料科學家
- 機器學習 (ML) 工程師
先決條件
我們建議參加本課程的學員應具備：
- 1 年以上的自然語言處理 (NLP) 經驗
- 1 年以上訓練和調校語言模型的經驗
- 中級熟練度的 Python 語言程式設計能力
- 已完成 AWS Technical Essentials 課程
- 已完成 Amazon SageMaker Studio for Data Scientists 課程
課程大綱
課程系列簡介
第 1 節：簡介
- Building Language Models on AWS 簡介
第 2 節：大型語言模型基本概論
- 大型語言模型的類型
- 常見的生成式 AI 使用案例
第 3 節：課程系列大綱
- 未來單元涵蓋的主題
解決建置語言模型的挑戰
第 1 節：常見挑戰
- 常見 LLM 從業者挑戰
第 2 節：多機訓練解決方案
- 透過分散式訓練擴展 LLM
- 套用資料平行處理技術
- 套用模型平行處理技術
第 3 節：效能最佳化解決方案
- 效能最佳化技術
- 使用專用基礎設施
第 4 節：總結
- 單元評定
使用 Amazon SageMaker 訓練語言模型
第 1 節：設定 SageMaker Studio
- SageMaker 基礎知識
- 設定 SageMaker Studio 網域
第 2 節：SageMaker 基礎架構
- 選擇運算執行個體類型
第 3 節：使用 SageMaker Python SDK
- SageMaker Python SDK 基礎知識
- 使用 SageMaker Python SDK 訓練和部署語言模型
第 4 節：總結
- 單元評定
示範 - 設定 Amazon SageMaker Studio
擷取語言模型資料
第 1 節：準備資料
- 資料管理概觀
- 準備要擷取的資料
第 2 節：分析資料擷取選項
- 使用 SageMaker Python SDK 載入資料
- 從 Amazon S3 擷取資料
- 使用 FSx for Lustre 擷取資料
- 附加資料擷取選項
- 資料擷取和儲存考量
第 3 節：總結
- 單元評定
訓練大型語言模型
第 1 節：建立 SageMaker 訓練任務
- 啟動 SageMaker 訓練任務
- 修改指令碼模式的指令碼
第 2 節：SageMaker 訓練任務最佳化
- 監控與疑難排解
- 運算效能最佳化
- 用於語言模型訓練的 SageMaker 訓練功能
第 3 節：在 SageMaker 上使用分散式訓練
- SageMaker 分散式訓練支援
- 使用 SageMaker 分散式資料平行函式庫
- 使用 SageMaker 模型平行函式庫
- 使用 SageMaker 模型平行函式庫和分片資料平行處理
- 使用 EFA 進行訓練
第 4 節：編譯訓練程式碼
- 使用 SageMaker Training Compiler
第 5 節：總結
- 單元評定
示範 - 使用 Amazon SageMaker 訓練您的第一個語言模型
示範 - 使用 PyTorch Lightning 在 SageMaker 訓練上進行資料平行處理
示範 - 使用 Amazon SageMaker 模型平行處理庫中的碎片資料平行處理技術，透過近線性擴縮微調 GPT-2
部署語言模型
第 1 節：在 SageMaker 中部署模型
- SageMaker 部署簡介
- 選擇 SageMaker 部署選項
第 2 節：部署推論的模型
- 即時推論概觀
- 使用 SageMaker Python SDK 進行模型部署
- 使用 SageMaker 推論推薦網站
第 3 節：部署推論的大型語言模型
- 最佳化技術
- 模型壓縮技術
- 模型分割
- 最佳化核心及編譯
- 使用 SageMaker LMI 容器進行部署
第 4 節：其他考量
- 在 SageMaker 上部署模型時的其他考量
第 5 節：總結
- 單元評定
示範 - 使用 DeepSpeed 容器在 Amazon SageMaker 上託管 LLM 的簡介
為生成式 AI 任務自訂基礎語言模型
第 1 節：簡介
- 基礎模型簡介
第 2 節：使用 SageMaker JumpStart
- 開始使用 SageMaker JumpStart
- 使用 SageMaker Python SDK 部署 SageMaker JumpStart 模型
- 選取 FM
第 3 節：自訂 FM
- 提示工程設計
- 使用 SageMaker Python SDK 微調 JumpStart 模型
第 4 節：檢索增強生成 (RAG)
- 使用檢索增強生成 (RAG)
第 5 節：總結
- 單元評定
示範 - 使用 Amazon SageMaker JumpStart 部署用於文字生成任務的 FLAN-T5 模型
行動號召和其他資源
第 1 節：複習
- 本課程系列涵蓋的主題
第 2 節：總結
- 資源、回顧及後續步驟
