Curso de Introducción a NLP y Modelos Transformer usando Hugging Face

Duración: 10 horas
Lugar: Online
Capacidad: 100 personas
Idioma: Castellano
FASEA/K ORDUA/K DATA Ordutegia MOTA
1 5.00 24-06-2024 09:00 – 14:00 Online
2 5.00 26-06-2024 09:00 – 14:00 Online
Ordu ez Presentzialak: 0.00

Competencias

  • Fundamentos Teóricos de NLP y Modelos Transformer:
    • Conceptos básicos de NLP y sus aplicaciones prácticas.
    • Comprensión de los modelos Transformer, incluyendo su arquitectura y funcionamiento, tanto en modelos Encoder como Decoder.
    • Comparación y entendimiento de las diferencias y aplicaciones de modelos Encoder y Decoder.
  • Habilidades Prácticas en el Uso de Plataformas y Herramientas:
    • Configuración y uso de Google Colab para proyectos de NLP, aprovechando sus funcionalidades básicas.
    • Manejo del ecosistema Hugging Face, incluyendo la plataforma Model Hub, Dataset Hub y la biblioteca Transformers.
    • Carga y uso de modelos preentrenados como BERT, RoBERTa, GPT, T5, y BART en Hugging Face para diversas tareas de NLP.
  • Aplicación Práctica de Modelos Transformer:
    • Uso práctico de BERT para clasificación de texto y RoBERTa para extracción de entidades.
    • Generación de texto y tareas específicas utilizando modelos Decoder como GPT.
    • Fine-tuning de modelos para tareas específicas como traducción automática, resumen de textos, y generación de preguntas.
    • Evaluación de desempeño y optimización de modelos para mejorar la eficacia en aplicaciones reales de NLP.
  • Evaluación y Refinamiento de Conocimientos:
    • Evaluaciones periódicas a través de tests de selección múltiple para consolidar tanto los conocimientos teóricos como las habilidades prácticas adquiridas durante las sesiones.

Contenidos

Sesión 1: Introducción a NLP y Modelos Encoder

1.- Teoría (1.25 horas aprox)

  •  Introducción a NLP: Conceptos básicos y aplicaciones.
  • Fundamentos de los modelos Transformer.
  • Modelos Encoder: Arquitectura y funcionamiento.
  • Introducción a Hugging Face y su ecosistema.

 

2.- Práctica (3.5 horas aprox)

  • Uso de Google Colab para proyectos NLP.
  • Introducción a Google Colab: configuración y funcionalidades básicas.
  • Conexión a Hugging Face desde Colab.
  • Introducción a la plataforma Hugging Face: Model Hub, Dataset Hub y
  • Transformers library.
  • Carga de modelos preentrenados en Hugging Face: BERT y RoBERTa.
  • Ejemplo práctico de uso de BERT para clasificación de texto.
  • Ejemplo práctico de uso de RoBERTa para extracción deentidades.

 

Sesión 2: Modelos Decoder y su Aplicación en NLP

1. Teoría (1.25 horas aprox)

  • Conceptos y arquitectura de los modelos Decoder.
  • Comparación entre modelos Encoder y Decoder.
  • Aplicaciones específicas de modelos Decoder en NLP.

2. Práctica (3.5 horas aprox)

  • Uso de modelos preentrenados en Hugging Face: GPT.
  • Ejemplos prácticos con modelos Decoder para generación de texto
  • Fine-tuning de modelos Decoder para tareas específicas usando Hugging Face.

Metodología

Taller online

Evaluación

  • Cumplir con el 90% de las horas de la formación.
  • Desarrollar las competencias establecidas para esta formación.
  • Participación activa en el curso.

Requisitos

  • Ser docente en algún centro de Formación Profesional de la CAPV.
  • Conocimientos de programación

Criterios de selección

Si el número de inscripciones supera el número de plazas ofertadas, se realizará la selección teniendo en cuenta los siguientes criterios:

  • Se priorizará a los centros que hayan o estén participando en el programa de Coordinador de Aprendizaje.
  • Se tendrá en cuenta el orden de inscripción.

Apúntate a este curso

FSE
Esta acción formativa podrá ser co-financiada por el Fondo Social Europeo, en el marco de las acciones destinadas a la formación del profesorado de Educación y Formación Profesional.