Logotipo Mydra
Artificial Intelligence
DeepLearning.AI logo

DeepLearning.AI

Atenção em Transformers: Conceitos e Código em PyTorch

  • até 1 hora
  • Iniciante

Este curso fornece uma explicação clara do mecanismo de atenção em transformers, uma arquitetura inovadora que alimenta grandes modelos de linguagem como o ChatGPT. Aprenda a codificar mecanismos de atenção em PyTorch e melhore sua compreensão de aplicações de IA.

  • Mecanismo de atenção
  • Transformers
  • PyTorch
  • Auto-atenção
  • Auto-atenção mascarada

Visão Geral

Neste curso, você se aprofundará no mecanismo de atenção, um componente chave dos transformers, e aprenderá a implementá-lo usando PyTorch. Você explorará as relações entre embeddings de palavras, embeddings posicionais e atenção, e entenderá os papéis das matrizes Query, Key e Value. O curso abrange auto-atenção, auto-atenção mascarada e atenção cruzada, proporcionando uma compreensão abrangente de como esses conceitos são incorporados nos transformers. Ao final, você estará equipado com o conhecimento para construir aplicações de IA confiáveis e escaláveis.

  • Web Streamline Icon: https://streamlinehq.com
    Online
    localização do curso
  • Layers 1 Streamline Icon: https://streamlinehq.com
    Inglês
    idioma do curso
  • Ao seu próprio ritmo
    formato do curso
  • Aulas Ao vivo
    entregue online

Para quem é este curso?

Entusiastas de Python

Indivíduos com conhecimento básico de Python interessados em aprender sobre o mecanismo de atenção em LLMs.

Desenvolvedores de IA

Desenvolvedores que buscam entender a arquitetura fundamental dos transformers para construir aplicações de IA escaláveis.

Cientistas de Dados

Cientistas de dados que desejam aprimorar sua compreensão dos mecanismos de atenção em grandes modelos de linguagem.

Este curso oferece um mergulho profundo no mecanismo de atenção, um componente crucial dos transformers, permitindo que os alunos entendam e implementem-no usando PyTorch. Ideal para iniciantes e profissionais, fornece as habilidades necessárias para avançar em IA e aprendizado de máquina.

Pré-Requisitos

1 / 3

  • Conhecimento básico de Python

  • Interesse em IA e aprendizado de máquina

  • Compreensão de conceitos matemáticos básicos

O que vai aprender?

Introdução
Uma visão geral do curso e seus objetivos.
As Principais Ideias por Trás dos Transformers e Atenção
Exploração dos conceitos centrais dos transformers e do mecanismo de atenção.
A Matemática das Matrizes para Calcular Auto-Atenção
Explicação detalhada dos cálculos matemáticos envolvidos na auto-atenção.
Codificando Auto-Atenção em PyTorch
Sessão prática de codificação para implementar auto-atenção usando PyTorch.
Auto-Atenção vs Auto-Atenção Mascarada
Comparação entre auto-atenção e auto-atenção mascarada, destacando suas diferenças e usos.
A Matemática das Matrizes para Calcular Auto-Atenção Mascarada
Desmembramento matemático dos cálculos de auto-atenção mascarada.
Codificando Auto-Atenção Mascarada em PyTorch
Sessão prática de codificação para implementar auto-atenção mascarada em PyTorch.
Atenção Codificador-Decodificador
Compreensão do papel da atenção na arquitetura codificador-decodificador.
Atenção Multi-Cabeça
Exploração da atenção multi-cabeça e sua importância nos transformers.
Codificando Atenção Codificador-Decodificador e Atenção Multi-Cabeça em PyTorch
Sessão prática de codificação para implementar atenção codificador-decodificador e atenção multi-cabeça usando PyTorch.
Conclusão
Resumo do curso e principais conclusões.
Quiz
Avaliação para testar a compreensão do material do curso.
Apêndice – Dicas e Ajuda
Recursos adicionais e dicas para aprendizado adicional.

Próximas turmas

  • Datas

    comece agora

Gratuito