W 2023 roku duże modele językowe (LLMy) oraz zbudowane na ich podstawie narzędzia takie jak ChatGPT czy Bard zmieniły postrzeganie sztucznej inteligencji. Ta zmiana była tak duża, że znacząca część społeczeńśtwa zaczęła utoższamiać: ChatGTP = AI. O tym jak duży i powszechny jest brak zrozumienia czym są i jak działają modele LLM świadczy chociażby wysyp artykułów typu "Zapytaliśmy AI/ChatGPT/komputer jaki będzie wynik wyborów/kurs dolara/pogoda na święta."

Dlatego w ramach wykładu chcemy opowiedzieć o szczegółach działania LLM-ów. Zaczniemy od prześledzenia zmian w metodyce i narzedziach do przetwarzania języka naturalnego(NLP) na przestrzeni ostatnich lat. Przy okazji omówimy w skrócie ewolucję modeli jezykowych, od sieci rekurencyjnych LSTM, przez układy transformerów, aż do architektury modeli używanych w ChatGPT.

Na zakończenie porozmawiamy o tym, jak najnowsze duże modele językowe LLM zmieniły obszar zainteresowań sposób pracy inżynierów NLP - skupimy się m.in. na eksploracji wiedzy zapisanej w dokumentach wg modelu RAG (Retrieval Augmented Generation).