Logotipo Mydra
Artificial Intelligence
DeepLearning.AI logo

DeepLearning.AI

Como Funcionam os LLMs de Transformadores

  • até 1 hora
  • Iniciante

Este curso oferece uma imersão profunda nos principais componentes da arquitetura de transformadores que alimenta grandes modelos de linguagem (LLMs). Adquira uma base técnica sólida em transformadores, entenda as melhorias recentes e explore implementações na biblioteca Hugging Face Transformers.

  • Arquitetura de transformadores
  • Estratégias de tokenização
  • Mecanismo de atenção
  • Processamento de modelos de linguagem
  • Evolução do bloco de transformadores

Visão Geral

Neste curso, você aprenderá como funciona uma arquitetura de rede de transformadores que alimenta os LLMs. Você desenvolverá a intuição de como os LLMs processam texto e trabalhará com exemplos de código que ilustram os principais componentes da arquitetura de transformadores. Ao final deste curso, você terá uma compreensão profunda de como os LLMs processam a linguagem e será capaz de ler artigos que descrevem modelos e entender os detalhes usados para descrever essas arquiteturas.

  • Web Streamline Icon: https://streamlinehq.com
    Online
    localização do curso
  • Layers 1 Streamline Icon: https://streamlinehq.com
    Inglês
    idioma do curso
  • Ao seu próprio ritmo
    formato do curso
  • Aulas Ao vivo
    entregue online

Para quem é este curso?

Entusiastas de IA

Indivíduos interessados em entender o funcionamento interno das arquiteturas de transformadores que alimentam os LLMs de hoje.

Cientistas de Dados

Profissionais que desejam aprofundar seu conhecimento sobre modelos de transformadores e suas aplicações em IA.

Desenvolvedores

Desenvolvedores que desejam construir aplicações usando grandes modelos de linguagem e entender sua arquitetura subjacente.

Adquira uma compreensão profunda das arquiteturas de transformadores que alimentam os LLMs de hoje. Aprenda componentes-chave como tokenização, embeddings e auto-atenção, e explore melhorias recentes. Ideal para entusiastas de IA, cientistas de dados e desenvolvedores que desejam avançar em suas carreiras.

Pré-Requisitos

1 / 3

  • Compreensão básica de conceitos de aprendizado de máquina

  • Familiaridade com linguagens de programação como Python

  • Interesse em IA e modelos de linguagem

O que vai aprender?

Introdução
Uma visão geral do curso e seus objetivos.
Compreendendo Modelos de Linguagem: Linguagem como um Saco de Palavras
Exploração de como a linguagem tem sido representada numericamente, começando pelo modelo de Saco de Palavras.
Compreendendo Modelos de Linguagem: (Word) Embeddings
Introdução aos embeddings de palavras e seu papel nos modelos de linguagem.
Compreendendo Modelos de Linguagem: Codificação e Decodificação de Contexto com Atenção
Explicação de como os mecanismos de atenção codificam e decodificam o contexto nos modelos de linguagem.
Compreendendo Modelos de Linguagem: Transformadores
Análise detalhada da arquitetura de transformadores e seus componentes.
Tokenizadores
Discussão sobre estratégias de tokenização e sua importância nos modelos de linguagem.
Visão Geral da Arquitetura
Visão geral da arquitetura de transformadores e sua evolução.
O Bloco de Transformadores
Análise aprofundada do bloco de transformadores e seus componentes.
Auto-Atenção
Explicação detalhada do mecanismo de auto-atenção e seu papel nos transformadores.
Exemplo de Modelo
Exemplo prático de um modelo usando a arquitetura de transformadores.
Melhorias Recentes
Visão geral das melhorias recentes na arquitetura de transformadores.
Mistura de Especialistas (MoE)
Introdução ao modelo de Mistura de Especialistas e suas aplicações.
Conclusão
Resumo do curso e seus principais aprendizados.
Quiz
Avaliação para testar a compreensão do material do curso.
Apêndice – Dicas, Ajuda e Download
Recursos adicionais e dicas para aprendizado adicional.

Conheça seus instrutores

  • Jay Alammar

    Diretor e Engenheiro Sênior, Cohere

    Coautor de Mãos à Obra com Modelos de Linguagem de Grande Escala

  • Maarten Grootendorst

    Cientista de Dados Clínicos Sênior, Organização Holandesa de Combate ao Câncer

    Coautor de Mãos à Obra com Modelos de Linguagem de Grande Escala

Próximas turmas

  • Datas

    comece agora

Gratuito