이 과정에서는 LLM을 프로덕션화할 때 직면하는 과제와 이를 해결하는 데 사용할 수 있는 일련의 도구에 대한 개요를 제공합니다. 이 과정에서는 LLM 개발, 배포, 운영을 위한 참조 아키텍처에 대한 개요를 제공하고 프로세스의 각 단계에 대해 자세히 설명합니다.
- 과정 수준: 중급
- 소요 시간: 90분
참고: 이 과정의 동영상에는 한국어 트랜스크립트 또는 자막이 지원되며 음성은 영어로 출력됩니다. 자막을 표시하려면 동영상 화면 우측 하단의 CC 버튼을 클릭하세요.
참고: 이 과정은 Google Chrome(최신 주요 버전 2개), Microsoft Edge(최신 주요 버전 2개), Safari(최신 주요 버전 2개)에 최적화되어 있습니다.
활동
이 과정에는 프레젠테이션, 실제 예시 및 사례 연구가 포함되어 있습니다.
과정 목표
이 과정에서 학습할 내용은 다음과 같습니다.
- MLOps와 LLMOps를 구별하고 LLM 운영의 핵심 과제를 정의
- 특정 사용 사례에 맞는 최적의 LLM을 선택하는 방법을 이해
- LLM 평가 방법 및 평가와 벤치마킹의 차이점을 파악
- 검색 증강 생성(RAG)의 핵심 구성 요소 및 관리 방법을 정의
- 지속적 사전 훈련과 미세 조정을 구별
- AWS에서 바로 사용할 수 있는 미세 조정 기법을 이해
- LLM에서 모니터링할 대상 및 AWS에서 모니터링하는 방법을 이해
- 거버넌스 및 보안 모범 사례를 이해
- AWS 기반 LLMOps용 참조 아키텍처를 설명
수강 대상
이 과정의 수강 대상은 다음과 같습니다.
- LLM 빌드 및 배포를 자동화하려는 데이터 과학자 및 ML 엔지니어
- LLMOps 플랫폼의 전체 아키텍처를 이해하고자 하는 Solutions Architect 및 DevOps 엔지니어
사전 조건
이 과정을 수강하기 전에 다음 조건을 갖추는 것을 권장합니다.
- 개발자를 위한 생성형 AI 학습 플랜 이수(디지털)
- 기술적 배경 지식과 프로그래밍 경험이 있으면 도움이 됩니다.
과정 개요
모듈 1: LLMOps 소개
- LLMOps 소개
- LLMOps 역할
- LLM 운영 시 과제
모듈 2: LLM 선택
- LLM의 사용 사례 벤치마킹
- 우선 순위 기반 의사 결정
모듈 3: LLM 평가
- 평가 방법
- 평가 프롬프트 카탈로그
- 평가 프레임워크 및 지표
- 벤치마킹 프레임워크 및 지표
모듈 4: 검색 증강 생성(RAG)
- LLM 사용자 지정
- 임베딩 모델
- 벡터 데이터베이스
- RAG 워크플로
- 고급 RAG 기법
모듈 5: LLM 미세 조정
- 지속적 사전 훈련 vs. 미세 조정
- 파라미터 효율적 미세 조정(PEFT)
- 미세 조정 아키텍처
모듈 6: LLM 모니터링
- LLM 모니터링
- LLM 가드레일
모듈 7: LLM 거버넌스 및 보안
- 보안 및 거버넌스 모범 사례
- 보안 및 거버넌스 도구
모듈 8: LLMOps 아키텍처
- LLMOps 수명 주기
데모
- 텍스트 임베딩 및 의미적 유사성
- 대규모로 LLM 미세 조정 및 평가
- 추론 보호 조치
