TnT-LLM: масштабируемый текстовый майнинг с большими языковыми моделями скачать в хорошем качестве

TnT-LLM: масштабируемый текстовый майнинг с большими языковыми моделями

Практический разбор того, как превратить большие языковые модели в рабочий инструмент масштабного текстового майнинга с помощью подхода TnT-LLM. Владислав Попов показывает, как на базе одной LLM построить end-to-end конвейер: от автоматического проектирования таксономии до устойчивой классификации миллионов документов. ​ В докладе обсуждаются архитектура TnT-LLM, принципы формирования иерархии меток, стратегии подсказок для получения качественных категорий и псевдоразметки, а также обучение лёгких моделей-классификаторов поверх аннотаций LLM. На примерах демонстрируется, как предложенный подход превосходит традиционные методы кластеризации и topic modeling по точности, масштабируемости и прозрачности результатов. ​ Материал будет особенно интересен специалистам в области NLP; командам, строящим системы аналитики текстов, и тем, кто хочет использовать LLM не только для чата, но и для систематического анализа больших коллекций документов. ВНИМАНИЕ❗️ Запись начинается не с самого начала мероприятия. Часть вступления или начальной дискуссии может отсутствовать. ------------------------------------------------------------------------------- ТАЙМ-КОДЫ 0:00 - 2:31 Введение, опыт спикера и постановка задачи 2:31 - 4:25 Задача анализа текстов и опыт Microsoft 4:25 - 6:41 Ручная и эмбеддинг‑кластеризация, их ограничения 6:41 - 7:53 Важность понимания метода и статьи 7:53 - 10:27 Саммаризация диалогов и подготовка входных текстов 10:27 - 14:10 Итеративная обработка и построение таксономии 14:10 - 19:46 Обновление таксономии и риски потери информации 19:46 - 22:57 Заморозка таксономии, аналогия с оптимизацией и роль LLM 22:57 - 26:25 Второй этап: разметка, обучение модели и оценка кластеризации 26:25 - 32:18 Метрики покрытия, DECA и пример с отзывами 32:18 - 38:11 Оценка качества кластеров людьми и сравнение с k‑means 38:11 - 40:33 Промпты, schema‑guided reasoning и практическая ценность подхода ------------------------------------------------------------------------------- ССЫЛКИ 🔗 Telegram [Mad ML Talks] - https://t.me/MadML_Talks Telegram [Mad Devs Channel] - https://t.me/maddevsio​ Facebook -   / maddevsllc   Instagram -   / maddevsio   X [ex.Twitter] - https://x.com/MadDevsIO #machinelearning #ml #машинноеобучение #llm #largelanguagemodels