Tworzenie dużych zbiorów dokumentów na potrzeby trenowania LLM - problemy i wyzwania скачать в хорошем качестве

Tworzenie dużych zbiorów dokumentów na potrzeby trenowania LLM - problemy i wyzwania

Tworzenie dużych zbiorów dokumentów na potrzeby trenowania LLM - problemy i wyzwania - dr Katarzyna Głowińska (Snowflake Computing, Lingventa) Trenowanie LLM wymaga dużego wolumenu danych. Odpowiedź na pytanie, skąd je wziąć, jest pozornie prosta: z Internetu. Nie wszystko jednak jest dostępne, a to, co dostępne, nie zawsze można wykorzystać. W referacie zostaną przedstawione różne zagadnienia związane z pozyskiwaniem dużej liczby dokumentów: źródła dokumentów, problemy prawne, wstępne przetwarzanie dokumentów. Ponadto zaprezentowane zostaną inne sposoby pozyskania dokumentów, a także ich anotacji. Konferencja jubileuszowa pt. "Dziesięć lat otwartej infrastruktury naukowej CLARIN w Polsce" odbyła się na Politechniki Wrocławskiej w dniach 25-27 września 2023 roku. Jej tematyka dotyczyła najnowszych osiągnięć w dziedzinie maszynowego przetwarzania języka (oraz AI) w naukach humanistycznych i społecznych, administracji oraz przedsiębiorstw sztucznej inteligencji. #konferencjaCLARIN #clarin #nlp