Logotipo Mydra
Artificial Intelligence
DeepLearning.AI logo

DeepLearning.AI

Como Funcionam os LLMs de Transformadores

  • até 1 hora
  • Iniciante

Este curso oferece uma imersão profunda nos principais componentes da arquitetura de transformadores que alimentam os modelos de linguagem de grande porte (LLMs). Adquira uma base técnica sólida em transformadores, entenda as melhorias recentes e explore implementações na biblioteca Hugging Face Transformers.

  • Arquitetura de transformadores
  • Estratégias de tokenização
  • Mecanismo de atenção
  • Processamento de modelos de linguagem
  • Evolução do bloco de transformadores

Visão Geral

Neste curso, você aprenderá como funciona uma arquitetura de rede de transformadores que alimenta os LLMs. Você desenvolverá a intuição de como os LLMs processam texto e trabalhará com exemplos de código que ilustram os principais componentes da arquitetura de transformadores. Ao final deste curso, você terá uma compreensão profunda de como os LLMs processam a linguagem e será capaz de ler artigos que descrevem modelos e entender os detalhes usados para descrever essas arquiteturas.

  • Web Streamline Icon: https://streamlinehq.com
    Online
    localização do curso
  • Layers 1 Streamline Icon: https://streamlinehq.com
    Inglês
    idioma do curso
  • Ao seu próprio ritmo
    formato do curso
  • Aulas Ao vivo
    entregue online

Para quem é este curso?

Entusiastas de IA

Indivíduos interessados em entender o funcionamento interno das arquiteturas de transformadores que alimentam os LLMs de hoje.

Cientistas de Dados

Profissionais que buscam aprofundar seu conhecimento sobre modelos de transformadores e suas aplicações em IA.

Desenvolvedores

Desenvolvedores de software que desejam construir aplicações usando modelos de linguagem de grande porte e arquiteturas de transformadores.

Adquira uma compreensão profunda das arquiteturas de transformadores que alimentam os LLMs, essencial para entusiastas de IA, cientistas de dados e desenvolvedores. Este curso cobre componentes-chave, melhorias recentes e implementações práticas, ajudando você a avançar em sua carreira em IA.

Pré-Requisitos

1 / 3

  • Compreensão básica de conceitos de aprendizado de máquina

  • Familiaridade com linguagens de programação como Python

  • Interesse em IA e modelos de linguagem

O que vai aprender?

Introdução
Uma visão geral do curso e seus objetivos.
Compreendendo Modelos de Linguagem: Linguagem como um Saco de Palavras
Exploração do modelo Saco de Palavras e suas limitações.
Compreendendo Modelos de Linguagem: (Word) Embeddings
Introdução aos embeddings de palavras e seu papel nos modelos de linguagem.
Compreendendo Modelos de Linguagem: Codificação e Decodificação de Contexto com Atenção
Explicação de como os mecanismos de atenção codificam e decodificam o contexto.
Compreendendo Modelos de Linguagem: Transformadores
Análise detalhada dos modelos de transformadores e seus componentes.
Tokenizadores
Discussão sobre estratégias de tokenização com exemplos de código.
Visão Geral da Arquitetura
Visão geral da arquitetura de transformadores e seus componentes.
O Bloco de Transformadores
Análise aprofundada do bloco de transformadores e suas funções.
Autoatenção
Exame do mecanismo de autoatenção em transformadores.
Exemplo de Modelo
Exemplo prático de um modelo de transformador com código.
Melhorias Recentes
Visão geral das melhorias recentes nos modelos de transformadores.
Mistura de Especialistas (MoE)
Introdução ao modelo Mistura de Especialistas e suas aplicações.
Conclusão
Resumo do curso e principais conclusões.
Quiz
Avaliação para testar a compreensão do material do curso.
Apêndice – Dicas, Ajuda e Download
Recursos adicionais e exemplos de código para aprendizado adicional.

Conheça seus instrutores

  • Jay Alammar

    Diretor e Engenheiro Sênior, Cohere

    Coautor de Mãos à Obra com Modelos de Linguagem de Grande Escala

  • Maarten Grootendorst

    Cientista de Dados Clínicos Sênior, Organização Holandesa de Combate ao Câncer

    Coautor de Mãos à Obra com Modelos de Linguagem de Grande Escala

Próximas turmas

  • Datas

    comece agora

Gratuito