Комплексное сравнение производительности программ для суммаризации текста. Многофакторная оценка ... скачать в хорошем качестве

Комплексное сравнение производительности программ для суммаризации текста. Многофакторная оценка ...

#ai #искусственныйинтеллект #nlp #информатика #технологии Комплексное сравнение производительности суммаризации текста: многофакторная оценка больших языковых моделей с учетом практических соображений. Анантараман Джанакираман и Бехназ Горани, Университет Флориды Атлантик, США Аннотация: Суммаризация текста имеет решающее значение для снижения информационной перегрузки в различных областях. В данном исследовании оценивается производительность суммаризации в 17 больших языковых моделях с использованием семи различных наборов данных при трех длинах выходных данных (50, 100, 150 токенов). Мы используем новую многомерную структуру, оценивающую фактическую согласованность, семантическое сходство, лексическое совпадение и оценку, аналогичную человеческой, с учетом как факторов качества, так и эффективности. Основные результаты показывают значительные различия между моделями, при этом отдельные модели превосходят другие по точности фактов (deepseek-v3), качеству, близкому к человеческому (claude-3-5-sonnet), эффективности обработки (gemini-1.5-flash) и экономичности (gemini-1.5-flash). Производительность сильно варьируется в зависимости от набора данных: модели испытывают трудности в технических областях, но хорошо работают с разговорным контентом. Мы выявили критическое противоречие между фактической согласованностью (лучший результат при 50 токенах) и воспринимаемым качеством (лучший результат при 150 токенах). Ключевые слова: Резюмирование текста, Большие языковые модели, Многомерная оценка, Метрики оценки, Сравнение моделей Аннотация: https://csitcp.com/abstract/16/162csit07 Полный текст статьи: https://aircconline.com/csit/papers/v... Том: https://csitcp.com/volume/162 00:00 - Введение 02:00 - Связанные работы 03:00 - Набор данных