LLMOps: Acelerar Inferencia en GPU de LLMs usando TensorRT-LLM
The Machine Learning Engineer via YouTube
Overview
Save Big on Coursera Plus. 7,000+ courses at $160 off. Limited Time Only!
Descubre cómo acelerar la generación de modelos de lenguaje de gran escala (LLMs) utilizando el runtime TensorRT-LLM en este video informativo de 16 minutos. Explora las técnicas de optimización para mejorar el rendimiento de inferencia en GPUs, con un enfoque práctico que incluye un notebook de Jupyter para implementar los conceptos aprendidos. Aprende sobre LLMOps y cómo aplicar estas estrategias de aceleración en tus proyectos de ciencia de datos y aprendizaje automático.
Syllabus
LLMOps: Acelerar Inferencia en GPU de LLMs usando TensorRT-LLM #datascience #machinelerning
Taught by
The Machine Learning Engineer