CLT-Forge: Масштабируемая библиотека интерпретируемости LLM скачать в хорошем качестве

CLT-Forge: Масштабируемая библиотека интерпретируемости LLM

В этом выпуске обзора исследований в области ИИ Алекс обсуждает статью «CLT-Forge: масштабируемая библиотека для кросс-слойных транскодеров и графов атрибуции». Механистическая интерпретируемость стремится понять, как LLM-модели обрабатывают информацию, разбивая активации на разреженные, интерпретируемые признаки. Хотя графы атрибуции признаков являются мощным инструментом, они часто становятся слишком большими и избыточными для практического использования. В этой статье представлена ​​CLT-Forge, библиотека с открытым исходным кодом, разработанная для обучения и анализа кросс-слойных транскодеров, которые используют общие признаки между слоями. Фреймворк поддерживает масштабируемое распределенное обучение, сегментирование моделей и автоматизированные конвейеры для объяснения взаимодействия признаков. Предоставляя единое решение для масштабирования этих сложных графов, CLT-Forge делает интерпретируемость крупномасштабных моделей более доступной для исследователей. Ссылка на статью: https://arxiv.org/pdf/2603.21014 #AI #MachineLearning #DeepLearning #MechanisticInterpretability #LLMs #Transcoders #CLTForge #FeatureAttribution Ресурсы: GitHub: https://github.com/LLM-Interp/CLT-Forge