MLOps: Saving and Loading Microsoft Phi3 Mini 128k in GGUF Format with MLflow
The Machine Learning Engineer via YouTube
Overview
Aprende a guardar y cargar el modelo Microsoft Phi3 mini 128k en formato GGUF utilizando MLflow en este tutorial de 17 minutos. Explora cómo cuantizar el modelo a int8, almacenarlo en MLflow y posteriormente cargarlo para realizar inferencias en un entorno diferente. Accede al notebook proporcionado en GitHub para seguir paso a paso el proceso de trabajo con modelos de lenguaje cuantizados en bfloat16. Ideal para profesionales de machine learning y ciencia de datos interesados en optimizar el rendimiento y la portabilidad de modelos de lenguaje.
Syllabus
MLOPS MLFlow :Salvar y cargar Microsoft Phi3 mini 128k en GGUF MLflow #machinelearning #datascience
Taught by
The Machine Learning Engineer