Evaluating System-Level Reasoning in LLM Agents - Jacob Andreas скачать в хорошем качестве

Evaluating System-Level Reasoning in LLM Agents - Jacob Andreas

Jacob Andreas ask a question that sits at the heart of AI research: “How should machines learn?” Should they learn from datasets? Those can be expensive to create and often inherit the biases of their annotators. Should we rely on prompting? That approach is fragile and overly dependent on human engineering. Jacob’s team explores an alternative direction grounded in something fundamentally human: asking questions. Their research investigates whether an agent can learn to reduce uncertainty simply by identifying and asking the right questions. In doing so, the agent can uncover what the user really intends. Early results suggest that question-asking helps agents uncover user intentions and preferences more effectively than traditional instruction-following. The natural next step here is: can we build agents that reason under uncertainty without explicit prompting? #aiagents, #humancomputerinteraction, #reasoning, #alignment ------ Jacob Andreas pose une question qui est au cœur de la recherche sur l'IA : « Comment les machines devraient-elles apprendre ? » Devraient-elles apprendre à partir d'ensembles de données ? Ceux-ci peuvent être coûteux à créer et héritent souvent des biais de leurs annotateurs. Devrions-nous nous fier à des prompts? Cette approche est fragile et dépend trop de l'ingénierie humaine. L'équipe de Jacob explore une autre voie, fondée sur quelque chose de fondamentalement humain : poser des questions. Leurs recherches visent à déterminer si un agent peut apprendre à réduire l'incertitude simplement en identifiant et en posant les bonnes questions. Ce faisant, l'agent peut découvrir ce que l'utilisateur souhaite réellement. Les premiers résultats suggèrent que le fait de poser des questions aide les agents à découvrir les intentions et les préférences des utilisatrices et utilisateurs plus efficacement que le suivi traditionnel des instructions. La question qui se pose naturellement est la suivante : pouvons-nous créer des agents capables de raisonner dans l'incertitude sans incitation explicite ? #agentsia, #interactionentrehumainsordinateurs, #raisonnement, #alignement