LLMOps: Comparación de Openvino, ONNX, TensorRT y Pytorch para Inferencia

Overview

Explora las técnicas de optimización de modelos de aprendizaje profundo en este video tutorial de 39 minutos. Aprende a convertir modelos a formatos ONNX, OpenVino y TensorRT, y realiza comparaciones de tiempo de inferencia en GPU y CPU utilizando PyTorch nativo. Descubre cómo estas herramientas pueden mejorar el rendimiento de tus modelos de aprendizaje automático y profundiza en las mejores prácticas de LLMOps. El tutorial incluye demostraciones prácticas y acceso a un notebook de GitHub para seguir junto con el instructor.

Syllabus

LLMOps: Comparación Openvino, ONNX, TensorRT y Pytorch Inferencia #datascience #machinelearning

Taught by

The Machine Learning Engineer

Reviews

Start your review of LLMOps: Comparación de Openvino, ONNX, TensorRT y Pytorch para Inferencia

Taught by

LLMOps: Comparison of OpenVino, ONNX, TensorRT, and PyTorch Inference

LLMOps: Como usar Nvidia TensorRT SDK para Inferencia en GPU

LLMOps: Converting Video Classifier (ViViT) to ONNX for CPU Inference

Inferencia en CPU con Microsoft Florence 2 ONNX en C# - LLMOPs

LLMOPs - Inferencia en CPU con Phi3 4k Instruct ONNX 4bits en C#

LLMOps: Converting Fine-Tuned ViT Classifier to ONNX for CPU Inference

Never Stop Learning.