Velké jazykové modely a zpracování přirozeného jazyka

Společně se seznámíme s transformery, základním stavebním moderních jazykových modelů, představíme si nejznámější architektury a ukážeme si, jak se velké jazykové modely dají použít pro různé aplikace. K praktickým cvičením není nutný žádný placený účet třetích stran. Budeme používat open source modely, které jsou při správném způsobu použití stejně dobré jako ty největší komerční modely.

• Základní znalost programování v Pythonu
• Znalosti strojového učení na úrovni kurzu Úvod do strojového učení.

Tento kurz je určen pro všechny, kteří jsou fascinovaní schopnostmi velkých jazykových modelů a generativní umělé inteligence, a chtějí proniknout do této problematiky než jen na úrovni běžného uživatele.

• Generativní umělá inteligence pro text a obrázky
• Evoluce jazykového modelování
• Transformery
• Typy transformerů pro jazykové modelování (encoder, decoder, encoder-decoder)
• Posilované učení s lidskou zpětnou vazbou (RLHF)
• Vybrané modely pro jazykové modelování založené na transformerech (BERT, GPT, LLAMA, T5, BART…)
• Praktický příklad na klasifikaci textů pomocí transformerů s využitím knihovny HuggingFace v prostředí Google Colab
• Prompt engineering: in-context learning, zero shot, one shot and few shot prompting, nejdůležitější konfigurační parametry generativních procesů
• Praktický příklad na in-context learning s využitím knihovny HuggingFace v prostředí Google Colab
• Fine-tuning velkých jazykových modelů a parameter-efficient fine-tuning (LoRA)
• Evaluace jazykových generativních modelů (ROUGE, BLEU)
• Praktický příklad na využití parameter-efficient fine-tuning s využitím knihovny HuggingFace v prostředí Google Colab
• Retrieval Augmented Generation (RAG)