Logotipo Mydra
Iniciar sessão
>Todos os cursos>Artificial Intelligence
Artificial Intelligence
DeepLearning.AI logo

DeepLearning.AI

Atenção em Transformers: Conceitos e Código em PyTorch

  • até 1 hora
  • Iniciante

Este curso oferece uma compreensão abrangente do mecanismo de atenção em transformers, um componente chave em grandes modelos de linguagem como o ChatGPT. Aprenda a codificar mecanismos de atenção em PyTorch e melhore suas habilidades de desenvolvimento de aplicações de IA.

  • Mecanismo de atenção
  • Transformers
  • PyTorch
  • Auto-atenção
  • Auto-atenção mascarada

Visão Geral

Mergulhe profundamente no mecanismo de atenção que revolucionou a IA com transformers. Este curso, ministrado por Josh Starmer, cobre a evolução da atenção, o papel das matrizes Query, Key e Value, e as diferenças entre auto-atenção e auto-atenção mascarada. Ganhe experiência prática codificando esses conceitos em PyTorch e entenda como eles contribuem para a construção de aplicações de IA escaláveis.

  • Web Streamline Icon: https://streamlinehq.com
    Online
    localização do curso
  • Layers 1 Streamline Icon: https://streamlinehq.com
    Inglês
    idioma do curso
  • Ao seu próprio ritmo
    formato do curso
  • Aulas Ao vivo
    entregue online

Para quem é este curso?

Entusiastas de Python

Indivíduos com conhecimento básico de Python interessados em aprender sobre o mecanismo de atenção em LLMs como o ChatGPT.

Desenvolvedores de IA

Desenvolvedores que buscam aprimorar sua compreensão sobre transformers e mecanismos de atenção em aplicações de IA.

Cientistas de Dados

Cientistas de dados que desejam melhorar suas habilidades na construção de modelos de IA escaláveis usando PyTorch.

Desbloqueie o poder dos transformers dominando o mecanismo de atenção, um componente crucial em modelos de IA como o ChatGPT. Este curso é perfeito para iniciantes e profissionais que desejam aprimorar suas habilidades de desenvolvimento de IA usando PyTorch.

Pré-Requisitos

1 / 3

  • Conhecimento básico de Python

  • Compreensão de conceitos de aprendizado de máquina

  • Familiaridade com redes neurais

O que vai aprender?

Introdução
Uma visão geral do curso e seus objetivos.
As Principais Ideias por Trás dos Transformers e da Atenção
Exploração dos conceitos centrais dos transformers e do mecanismo de atenção.
A Matemática das Matrizes para Calcular a Auto-Atenção
Explicação detalhada das bases matemáticas para a auto-atenção.
Codificando Auto-Atenção em PyTorch
Sessão prática de codificação para implementar auto-atenção usando PyTorch.
Auto-Atenção vs Auto-Atenção Mascarada
Comparação entre os mecanismos de auto-atenção e auto-atenção mascarada.
A Matemática das Matrizes para Calcular a Auto-Atenção Mascarada
Insights matemáticos sobre os cálculos de auto-atenção mascarada.
Codificando Auto-Atenção Mascarada em PyTorch
Exercício prático de codificação para implementar auto-atenção mascarada em PyTorch.
Atenção Codificador-Decodificador
Compreensão do papel da atenção em arquiteturas codificador-decodificador.
Atenção Multi-Cabeça
Exploração da atenção multi-cabeça e seus benefícios em transformers.
Codificando Atenção Codificador-Decodificador e Atenção Multi-Cabeça em PyTorch
Sessão de codificação para implementar atenção codificador-decodificador e atenção multi-cabeça usando PyTorch.
Conclusão
Resumo do curso e principais conclusões.
Quiz
Avaliação para testar a compreensão do material do curso.
Apêndice – Dicas e Ajuda
Recursos adicionais e dicas para aprendizado contínuo.

Próximas turmas

  • Datas

    comece agora

Gratuito