Почему рост LLM остановится (исследование MIT) скачать в хорошем качестве

Почему рост LLM остановится (исследование MIT)

В этом видео разбираю крутое исследование - призер NeurlIPS(топ-1 конференция в мире по нейросетям и AI) от коллектива из MIT, которое вскрывает фундаментальное ограничение современных LLM: проблему не в архитектуре или данных, а в низкой размерности эмбеддингов. Когда векторное пространство недостаточно велико, семантические представления разных слов начинают перекрываться — возникают коллизии, которые искажают понимание модели. Именно это ограничение, а не нехватка параметров или данных, ставит жёсткий предел масштабированию: дальше просто добавлять параметры бессмысленно — модель будет «путать» понятия на уровне представлений. Показываю, почему индустрия упирается в математический барьер и какие пути обхода предлагает исследование. Статья: https://arxiv.org/pdf/2505.10465 Статья от Anthropic: https://arxiv.org/pdf/2209.10652 🤓Интерактивная база вопросов с собесов - https://botayinterview.site 💻Больше полезного в моем телеграм канале - https://t.me/Ai_bolno_ml 💐Консультация, подготовка к собеседованию - https://filonov.site ТАЙМКОДЫ: 00:00 - Старт 00:41 - Сколько стоит самому запустить LLM 01:50 - Сколько стоит ChatGPT-5 02:14 - Затраты больших AI-компаний 02:42 - Законы масштабирования 03:04 - Формула OpenAI 03:58 - Ошибка OpenAI и Chinchilla 04:46 - Статья MIT - призер NeurlIPS 05:38 - Новая проблема - размеры векторов 06:01 - Что такое текстовые эмбединги 07:05 - Проблема размерности 07:34 - Слова просто перекрываются 08:05 - Основная суть исследования 10:07 - Бонус