Logo de Mydra
Artificial Intelligence
DeepLearning.AI logo

DeepLearning.AI

Atención en Transformadores: Conceptos y Código en PyTorch

  • hasta 1 hora
  • Principiante

Este curso proporciona una comprensión integral del mecanismo de atención en transformadores, un componente clave en modelos de lenguaje grande como ChatGPT. Aprende a codificar mecanismos de atención en PyTorch y mejora tus habilidades en el desarrollo de aplicaciones de IA.

  • Mecanismo de atención
  • Transformadores
  • PyTorch
  • Autoatención
  • Autoatención enmascarada

Resumen

Profundiza en el mecanismo de atención que revolucionó la IA con los transformadores. Este curso, impartido por Josh Starmer, cubre la evolución de la atención, el papel de las matrices de Consulta, Clave y Valor, y las diferencias entre la autoatención y la autoatención enmascarada. Obtén experiencia práctica codificando estos conceptos en PyTorch y comprende cómo contribuyen a construir aplicaciones de IA escalables.

  • Web Streamline Icon: https://streamlinehq.com
    Online
    ubicación del curso
  • Layers 1 Streamline Icon: https://streamlinehq.com
    Inglés
    idioma del curso
  • A tu propio ritmo
    formato del curso
  • Clases En vivo
    entregado en línea

¿Para quién es este curso?

Entusiastas de Python

Individuos con conocimientos básicos de Python interesados en aprender sobre el mecanismo de atención en LLMs como ChatGPT.

Desarrolladores de IA

Desarrolladores que buscan mejorar su comprensión de los transformadores y mecanismos de atención en aplicaciones de IA.

Científicos de Datos

Científicos de datos que desean mejorar sus habilidades en la construcción de modelos de IA escalables usando PyTorch.

Desbloquea el poder de los transformadores dominando el mecanismo de atención, un componente crucial en modelos de IA como ChatGPT. Este curso es perfecto para principiantes y profesionales que buscan mejorar sus habilidades de desarrollo de IA usando PyTorch.

Requisitos Previos

1 / 3

  • Conocimientos básicos de Python

  • Comprensión de conceptos de aprendizaje automático

  • Familiaridad con redes neuronales

¿Qué aprenderás?

Introducción
Una visión general del curso y sus objetivos.
Las Ideas Principales Detrás de los Transformadores y la Atención
Exploración de los conceptos centrales de los transformadores y el mecanismo de atención.
Las Matemáticas de Matrices para Calcular la Autoatención
Explicación detallada de los fundamentos matemáticos para la autoatención.
Codificación de Autoatención en PyTorch
Sesión práctica de codificación para implementar la autoatención usando PyTorch.
Autoatención vs Autoatención Enmascarada
Comparación entre los mecanismos de autoatención y autoatención enmascarada.
Las Matemáticas de Matrices para Calcular la Autoatención Enmascarada
Perspectivas matemáticas sobre los cálculos de autoatención enmascarada.
Codificación de Autoatención Enmascarada en PyTorch
Ejercicio práctico de codificación para implementar la autoatención enmascarada en PyTorch.
Atención Codificador-Decodificador
Comprensión del papel de la atención en las arquitecturas codificador-decodificador.
Atención de Múltiples Cabezas
Exploración de la atención de múltiples cabezas y sus beneficios en los transformadores.
Codificación de Atención Codificador-Decodificador y Atención de Múltiples Cabezas en PyTorch
Sesión de codificación para implementar la atención codificador-decodificador y de múltiples cabezas usando PyTorch.
Conclusión
Resumen del curso y puntos clave.
Cuestionario
Evaluación para probar la comprensión del material del curso.
Apéndice – Consejos y Ayuda
Recursos adicionales y consejos para un aprendizaje más profundo.

Próximos cohortes

  • Fechas

    comienza ahora

Libre