Aprende a guardar y cargar el modelo Microsoft Phi3 mini 128k en formato GGUF utilizando MLflow en este tutorial de 17 minutos. Explora cómo cuantizar el modelo a int8, almacenarlo en MLflow y posteriormente cargarlo para realizar inferencias en un entorno diferente. Accede al notebook proporcionado en GitHub para seguir paso a paso el proceso de trabajo con modelos de lenguaje cuantizados en bfloat16. Ideal para profesionales de machine learning y ciencia de datos interesados en optimizar el rendimiento y la portabilidad de modelos de lenguaje.
MLOps: Saving and Loading Microsoft Phi3 Mini 128k in GGUF Format with MLflow
The Machine Learning Engineer via YouTube
Overview
Syllabus
MLOPS MLFlow :Salvar y cargar Microsoft Phi3 mini 128k en GGUF MLflow #machinelearning #datascience
Taught by
The Machine Learning Engineer
Related Courses
-
MLOps with MLFlow: Comparing Microsoft Phi3 Mini 128k in GGUF, MLFlow, and ONNX Formats
-
MLOps: Logging and Loading Microsoft Phi3 Mini 128k in GGUF with MLflow
-
MLOps: Comparing Microsoft Phi3 Mini 128k in GGUF, MLFlow, and ONNX Formats
-
MLOps MLFlow: Serving LLMs with MLflow - Phi-3-mini-4k-instruct Local Deployment in Spanish
-
Prompt Engineering: Técnicas de Creación de Instrucciones con Microsoft Phi3-mini 128k Instruct
-
LLMOPs: Inferencia en CPU con Phi3 Vision 128k Instruct - ONNX 4bits en C#
