PhD Defense: Thomas Carta - Language as a cognitive tool for open-ended agents скачать в хорошем качестве

PhD Defense: Thomas Carta - Language as a cognitive tool for open-ended agents

Title: Language as a cognitive tool for open-ended agents Abstract: Despite progress, current AI systems succeed only in human-defined domains, where problems and strategies are pre-specified. The long-term ambition is toward agents that act effectively even without predefined goals. Achieving this requires open-ended agents: systems that autonomously explore, learn, and repurpose knowledge across their lifetimes. Humans exemplify this process, guided by curiosity, intrinsic motivation, and self-generated goals. Language plays a central role. It enables abstraction, reasoning, and planning, making it a powerful medium for open-ended discovery in artificial agents. To function, an open-ended agent must: (1) explore environments autonomously, (2) adapt to evolving rules, and (3) learn new skills efficiently as complexity grows. This thesis leverages language to advance open-ended agents across three dimensions: environment modelling, goal exploration, and efficient learning. First, LLMs are used both as embodied reinforcement learning agents and as hypothesis generators to improve world models. Second, language is employed to evaluate, generalize, and generate goals, supporting scalable curriculum learning. Third, novel methods use language for reward shaping and hierarchical control, enabling efficient policy learning and skill reuse. Overall, the thesis argues that language is not only a communication tool but a cognitive engine. By embedding LLMs into agent architectures, we move closer to autonomous systems capable of continuous learning, self-directed exploration, and adaptive lifelong discovery. Date: 13/10/2025 Members of the jury: Dr. Georg MARTIUS, Professor, Université de Tübingen, Reviewer Dr. Pierre-Luc BACON, Associate Professor, Université de Montreal DIRO, Reviewer Dr. Edward HUGHES, Researcher and Associate Professor, Deepmind et The London School of economics, Examinator Dr. Martha WHITE, Associate Professor, Université d’Alberta, Examinator Pr Jean PONCE, Professor,Ecole normale supérieure-PSL, Examinator Dr. Pierre-Yves OUDEYER, Director de Recherche, INRIA, Director Pr. Olivier SIGAUD, Professor, Université de la Sorbonne, Director Pr. Sylvain Lamprier, Professor, Université d’Anger, Invited ======= Français ======= Titre: Le langage comme outil cognitif pour les agents ouverts Résumé: Malgré les progrès réalisés, les systèmes d’IA actuels ne fonctionnent que dans des domaines définis par l’homme, où les problèmes et les stratégies sont prédéfinis. L’ambition à long terme est d’obtenir des agents agissant efficacement même sans objectifs prédéfinis. Pour y parvenir, il faut des agents ouverts : des systèmes qui explorent, apprennent et réutilisent de manière autonome les connaissances tout au long de leur vie. Les êtres humains illustrent ce processus, guidés par la curiosité, la motivation intrinsèque et des objectifs qu’ils se fixent eux-mêmes. Le langage joue un rôle central. Il permet l’abstraction, le raisonnement et la planification, ce qui en fait un moyen puissant pour la découverte ouverte chez les agents artificiels. Pour fonctionner, un agent ouvert doit : (1) explorer des environnements de manière autonome, (2) s’adapter à des règles en évolution et (3) acquérir efficacement de nouvelles compétences à mesure que la complexité augmente. Cette thèse exploite le langage pour faire progresser les agents ouverts dans trois dimensions : la modélisation de l’environnement, l’exploration des objectifs et l’apprentissage efficace. Premièrement, les LLMs sont utilisés à la fois comme agents d’apprentissage par renforcement incarnés et comme générateurs d’hypothèses pour améliorer les modèles du monde. Deuxièmement, le langage est utilisé pour évaluer, généraliser et générer des objectifs, ce qui favorise un apprentissage évolutif. Troisièmement, de nouvelles méthodes utilisent le langage pour la mise en forme des récompenses et le contrôle hiérarchique, ce qui permet un apprentissage efficace des politiques et la réutilisation des compétences. Dans l’ensemble, cette thèse soutient que le langage n’est pas seulement un outil de communication, mais aussi un moteur cognitif. En intégrant les LLMs dans les architectures des agents, nous nous rapprochons de systèmes autonomes capables d’apprendre en continu, d’explorer de manière autonome et de faire des découvertes adaptatives tout au long de leur vie.