Logo de Mydra
Artificial Intelligence
DeepLearning.AI logo

DeepLearning.AI

Atención en Transformadores: Conceptos y Código en PyTorch

  • hasta 1 hora
  • Principiante

Este curso proporciona una explicación clara del mecanismo de atención en transformadores, una arquitectura innovadora que impulsa modelos de lenguaje grandes como ChatGPT. Aprende a codificar mecanismos de atención en PyTorch y mejora tu comprensión de las aplicaciones de IA.

  • Mecanismo de atención
  • Transformadores
  • PyTorch
  • Autoatención
  • Autoatención enmascarada

Resumen

En este curso, profundizarás en el mecanismo de atención, un componente clave de los transformadores, y aprenderás a implementarlo usando PyTorch. Explorarás las relaciones entre las incrustaciones de palabras, las incrustaciones posicionales y la atención, y comprenderás los roles de las matrices de Consulta, Clave y Valor. El curso cubre la autoatención, la autoatención enmascarada y la atención cruzada, proporcionando una comprensión completa de cómo estos conceptos se incorporan en los transformadores. Al final, estarás equipado con el conocimiento para construir aplicaciones de IA confiables y escalables.

  • Web Streamline Icon: https://streamlinehq.com
    Online
    ubicación del curso
  • Layers 1 Streamline Icon: https://streamlinehq.com
    Inglés
    idioma del curso
  • A tu propio ritmo
    formato del curso
  • Clases En vivo
    entregado en línea

¿Para quién es este curso?

Entusiastas de Python

Individuos con conocimientos básicos de Python interesados en aprender sobre el mecanismo de atención en LLMs.

Desarrolladores de IA

Desarrolladores que buscan entender la arquitectura fundamental de los transformadores para construir aplicaciones de IA escalables.

Científicos de Datos

Científicos de datos que desean mejorar su comprensión de los mecanismos de atención en modelos de lenguaje grandes.

Este curso ofrece una inmersión profunda en el mecanismo de atención, un componente crucial de los transformadores, permitiendo a los estudiantes entender e implementarlo usando PyTorch. Ideal para principiantes y profesionales, proporciona las habilidades necesarias para avanzar en IA y aprendizaje automático.

Requisitos Previos

1 / 3

  • Conocimientos básicos de Python

  • Interés en IA y aprendizaje automático

  • Comprensión de conceptos matemáticos básicos

¿Qué aprenderás?

Introducción
Una visión general del curso y sus objetivos.
Las Ideas Principales Detrás de los Transformadores y la Atención
Exploración de los conceptos centrales de los transformadores y el mecanismo de atención.
Las Matemáticas de Matrices para Calcular la Autoatención
Explicación detallada de los cálculos matemáticos involucrados en la autoatención.
Codificación de Autoatención en PyTorch
Sesión práctica de codificación para implementar la autoatención usando PyTorch.
Autoatención vs Autoatención Enmascarada
Comparación entre la autoatención y la autoatención enmascarada, destacando sus diferencias y usos.
Las Matemáticas de Matrices para Calcular la Autoatención Enmascarada
Desglose matemático de los cálculos de autoatención enmascarada.
Codificación de Autoatención Enmascarada en PyTorch
Sesión práctica de codificación para implementar la autoatención enmascarada en PyTorch.
Atención Codificador-Decodificador
Comprensión del papel de la atención en la arquitectura codificador-decodificador.
Atención de Múltiples Cabezas
Exploración de la atención de múltiples cabezas y su importancia en los transformadores.
Codificación de Atención Codificador-Decodificador y Atención de Múltiples Cabezas en PyTorch
Sesión práctica de codificación para implementar la atención codificador-decodificador y de múltiples cabezas usando PyTorch.
Conclusión
Resumen del curso y puntos clave.
Cuestionario
Evaluación para probar la comprensión del material del curso.
Apéndice – Consejos y Ayuda
Recursos adicionales y consejos para un aprendizaje más profundo.

Próximos cohortes

  • Fechas

    comienza ahora

Libre