Quels papiers Agentic AI pour tester vos agents IA au réel ?

Je lirais d’abord ALE, ClawBench, Code as Agent Harness, AutoResearchClaw et AREX. Ces papiers montrent un truc simple : les agents impressionnent en démo, mais ils calent encore sur les tâches longues, vérifiables, web et vraiment utiles au business.

Pourquoi ces papiers comptent ?

Ces papiers comptent parce qu’ils déplacent enfin le sujet Agentic AI de la démo sympa vers l’exécution mesurable. On sort du “Regardez, l’agent a répondu un truc intelligent” pour aller vers une question beaucoup plus dure : Est-ce qu’il finit vraiment le travail ?

Pour moi, c’est là que le domaine devient sérieux. Un agent utile ne doit pas seulement produire une bonne réponse sur un prompt isolé. Il doit tenir une tâche longue, produire un livrable vérifiable, naviguer dans un environnement réel, utiliser des outils sans se perdre, garder un état cohérent, reprendre après une erreur, et parfois améliorer sa propre méthode. C’est beaucoup moins spectaculaire qu’une démo bien montée, mais c’est exactement ce qui compte en production.

Les cinq papiers dont je parle donnent un bon instantané des priorités 2026 du sujet :

• Agents’ Last Exam regarde les workflows professionnels, donc des tâches proches du vrai travail, avec plusieurs étapes et une sortie qu’on peut évaluer.
• ClawBench met les agents face au web vivant, avec ses interfaces changeantes, ses pages imparfaites, ses obstacles bêtes mais réels.
• Code as Agent Harness traite le code comme une infrastructure d’exécution, pas juste comme une réponse générée par le modèle.
• AutoResearchClaw explore les pipelines de recherche autonome, avec collecte, analyse, synthèse et contrôle de qualité.
• AREX pousse l’idée d’amélioration récursive par vérification, c’est-à-dire un agent qui progresse en testant et corrigeant ses propres sorties.

Sur le terrain, dans les projets IA en entreprise, ce qui bloque rarement c’est la réponse brillante. Ce qui bloque, c’est la fiabilité de bout en bout. Est-ce que l’agent respecte les contraintes ? Est-ce qu’il sait quoi faire quand un outil échoue ? Est-ce qu’on peut vérifier son résultat sans relire trois pages de texte au doigt mouillé ?

La suite va donc regarder ces papiers par angle pratique. Pas comme une revue académique abstraite. Plutôt comme une grille pour comprendre ce qu’on doit tester quand on veut que des agents IA travaillent vraiment, dans le réel, avec des outils, des erreurs, des délais et des livrables attendus.

Les agents finissent-ils les vraies tâches ?

Très rarement, si on parle de tâches longues, professionnelles et vérifiables. C’est ça qui m’intéresse avec Agents’ Last Exam, un benchmark publié le 3 juin 2026. Il ne demande pas juste à un agent IA de “faire un bout du chemin”. Il regarde s’il arrive vraiment au bout, avec un livrable final qu’on peut contrôler.

Le benchmark a été construit avec plus de 250 experts, sur plus de 1 000 tâches, réparties dans 55 sous-domaines et 13 industries. Donc on n’est pas sur le petit test jouet où l’agent doit réserver un restaurant ou résumer trois lignes. On est plus proche de ce qu’une entreprise attend vraiment : produire un rapport exploitable, compléter un dossier sans trou, générer une analyse correcte, finaliser une opération métier avec les bonnes contraintes.

Le point clé, c’est la manière de noter. Agents’ Last Exam ne récompense pas seulement la progression partielle. Si l’agent avance bien pendant 80 % du workflow mais se trompe à la fin, oublie une pièce, rend un document inutilisable ou ne respecte pas le format attendu, ce n’est pas une réussite complète. Et franchement, c’est comme ça que ça se passe dans la vraie vie. Un client ne paie pas pour “presque livré”.

Le chiffre qui calme un peu les fantasmes : sur le tiers le plus difficile des tâches, les configurations courantes atteignent environ 2,6 % de réussite complète. Ça ne veut pas dire que les agents sont inutiles. Ça veut dire qu’ils peuvent donner une impression d’autonomie sur une portion du workflow, puis échouer au moment le plus important : livrer proprement, sans supervision, avec un résultat vérifiable.

J’ai vu ce cas plusieurs fois chez des clients. L’agent sait chercher, classer, rédiger, parfois même raisonner correctement. Puis il rate une validation, confond deux règles métier, ou sort un livrable qui demande encore 30 minutes de reprise humaine. C’est là que le benchmark devient intéressant.

Autre point important : Agents’ Last Exam est vivant et extensible. C’est essentiel, parce que les agents évoluent vite, les usages aussi. Un benchmark figé devient vite décoratif.

Papier	Ce qu’il teste	Signal fort	Limite actuelle
Agents’ Last Exam	La capacité d’un agent à terminer des tâches longues, professionnelles et vérifiables.	Environ 2,6 % de réussite complète sur le tiers le plus difficile.	Les agents progressent vite, donc le benchmark doit rester vivant et mis à jour.

Le web réel casse-t-il les agents ?

Oui, le web réel casse souvent les agents IA. C’est même assez sain de le dire clairement. Un agent qui réussit dans un environnement propre, avec des pages stables et des consignes bien cadrées, peut se planter dès qu’il touche un vrai site avec ses pop-ups, ses sessions expirées, ses champs bizarres et ses boutons qui changent de place.

ClawBench, publié le 9 avril 2026, attaque exactement ce problème. Le papier propose un benchmark de 153 tâches quotidiennes sur 144 plateformes. On parle de cas très concrets : achats, voyages, recrutement, finance, travail de bureau. Pas juste “trouve une info sur une page”. Plutôt “avance dans un vrai parcours, avec les mêmes frictions qu’un humain”.

Les obstacles testés sont ceux qui font mal en production :

• Authentification, avec les comptes, les sessions, les redirections, parfois les validations qui cassent le rythme.
• Pages dynamiques, où le contenu change après chargement, souvent via JavaScript.
• Formulaires longs, avec des champs obligatoires, des formats attendus, des dépendances entre réponses.
• Documents, à lire, télécharger, interpréter ou réutiliser dans une action.
• Interactions inattendues, comme une bannière cookies, une modale, une erreur temporaire, ou un bouton désactivé sans raison claire.

Ce que j’aime bien dans ClawBench, c’est qu’il capture cinq couches du comportement de l’agent. Il garde le replay de session, les captures d’écran, le trafic HTTP, c’est-à-dire les échanges techniques entre navigateur et serveur, les messages de l’agent, et les actions du navigateur. Ça permet de comprendre où ça casse, pas juste de dire “échec”.

La partie la plus utile à mon avis, c’est la couche d’interception légère. Elle bloque la soumission finale. L’agent peut aller jusqu’au bout du parcours, remplir, vérifier, cliquer presque jusqu’à l’action réelle, mais sans déclencher un achat, une candidature, un virement ou une modification irréversible. Pour tester en conditions réelles, c’est précieux.

Le chiffre clé calme tout le monde : sur sept modèles de pointe, le meilleur taux de complétion observé est 33,3 %. Ce n’est pas nul. C’est même déjà exploitable pour assister, préparer, pré-remplir, contrôler. Mais ce n’est pas suffisant pour laisser un agent agir seul sur un parcours business sensible, sans garde-fous, validation humaine ou rollback.

J’ai vu ça chez des clients avec des formulaires web très ordinaires. Ce sont rarement les grandes difficultés qui tuent l’automatisation. C’est plutôt le champ téléphone qui refuse les espaces, le menu déroulant qui charge trop lentement, la case “J’accepte” cachée sous un bandeau, ou le PDF qui s’ouvre dans un nouvel onglet.

ClawBench complète très bien Agents’ Last Exam. Agents’ Last Exam mesure la livraison professionnelle, la capacité à produire un résultat utile sur une mission complexe. ClawBench mesure la friction opérationnelle du web vivant. Les deux racontent la même vérité : un bon agent, ce n’est pas seulement un modèle intelligent, c’est un système qui tient quand le réel devient pénible.

Pourquoi le code devient-il central ?

Le point important, c’est que le code ne sert plus seulement à “produire quelque chose”. Dans un agent IA sérieux, le code devient le harnais. C’est lui qui tient ensemble le modèle, les outils, l’état, la mémoire, l’environnement et la vérification.

Le papier Code as Agent Harness, publié le 18 mai 2026, va exactement dans ce sens. Il positionne le code non pas comme une simple sortie générée par l’IA, mais comme le substrat d’exécution de l’agent. Dit plus simplement : l’agent ne flotte pas dans le vide avec un prompt magique. Il s’exécute dans une structure.

Sans harnais	L’agent décide, appelle un outil, improvise, et on espère que ça passe.
Avec harnais	L’agent suit un flux, garde un état, vérifie, logue, reprend ou escalade.

Un agent utile a besoin d’un flux de contrôle. Il faut savoir quoi faire si l’outil répond mal, si une donnée manque, si le résultat est incohérent, si l’utilisateur demande quelque chose de risqué. Il faut aussi gérer l’état, c’est-à-dire ce que l’agent sait à un moment donné. La mémoire, elle, permet de réutiliser des informations pertinentes. Les logs servent à comprendre ce qui s’est passé. Les tests et les mécanismes de vérification évitent de découvrir les erreurs trop tard, parfois chez le client, ce qui est rarement un grand moment.

Dans l’automatisation low code, je vois la même chose avec n8n. Les agents deviennent plus fiables quand ils sont encadrés par des workflows, des contrôles, des conditions, des retries et des points de reprise. Ça ne rend pas l’IA parfaite. Ça rend son comportement plus observable, plus récupérable, et franchement plus exploitable en production.

Le papier parle aussi d’une architecture en trois couches. Je reste prudent ici, parce que l’extrait disponible ne donne pas les détails complets. L’idée générale suffit déjà : le code sert à organiser l’exécution de l’agent, pas juste à générer une réponse.

TÂCHE = RecevoirDemandeUtilisateur()

RÉSULTAT = AppelerOutil(TÂCHE)

SI Vérifier(RÉSULTAT) = VRAI
    Retourner(RÉSULTAT)
SINON SI PeutRelancer(TÂCHE)
    RÉSULTAT = RelancerAvecContexte(TÂCHE)
    Retourner(RÉSULTAT)
SINON
    EscaladerÀUnHumain(TÂCHE, RÉSULTAT)
FIN

La différence est simple. Un agent libre peut être impressionnant en démo, mais fragile au réel. Un agent encadré par du code, des workflows et des vérifications devient moins spectaculaire peut-être, mais beaucoup plus utilisable.

Les agents peuvent-ils améliorer leur recherche ?

Quand je teste un agent IA, je ne regarde pas seulement s’il donne une bonne réponse une fois. Je regarde surtout s’il sait se reprendre quand il se trompe. C’est là que des papiers comme AutoResearchClaw et AREX deviennent intéressants.

L’angle est assez clair : ne pas traiter la recherche comme une simple génération de réponse, mais comme une boucle. L’agent cherche, vérifie, débat éventuellement avec d’autres agents ou d’autres étapes internes, corrige ses erreurs, puis relance une meilleure tentative. C’est beaucoup plus proche du travail réel. Personne ne résout un sujet complexe en une seule passe propre.

AutoResearchClaw va dans cette direction avec une pipeline de recherche autonome centrée sur plusieurs idées fortes : le débat, la réparation des échecs, la vérification des résultats et l’apprentissage à travers plusieurs exécutions. Je reste prudent ici, parce que les détails opérationnels précis ne sont pas disponibles dans le contenu exploitable. Donc je ne vais pas inventer une mécanique interne. Mais l’intention est importante : créer un système qui ne se contente pas d’exécuter une tâche, il observe aussi ce qui a échoué et tente de mieux faire ensuite.

AREX pousse une logique proche avec des agents de recherche profonds qui utilisent la vérification pour s’améliorer récursivement. Récursif, ça veut dire que le système réapplique son raisonnement à son propre travail. Il ne vérifie pas seulement la réponse finale. Il vérifie aussi la manière dont il a enquêté. Est-ce que la source est fiable ? Est-ce que la piste suivie était pertinente ? Est-ce qu’il a ignoré une contradiction ? C’est exactement le genre de questions qu’on veut voir apparaître dans un agent sérieux.

Pour moi, c’est un point clé. Si les agents doivent travailler sur des problèmes complexes, ils doivent détecter leurs erreurs, corriger leur trajectoire et éviter de répéter les mêmes échecs. J’ai vu ça chez des clients avec des agents connectés à des outils internes : le problème n’était pas toujours la première erreur, c’était l’absence de récupération derrière.

On peut voir les choses comme ça :

Papier	Ce qu’il mesure ou apporte
ALE	Le livrable final et sa qualité.
ClawBench	L’action dans le web réel.
Code as Agent Harness	L’infrastructure pour tester proprement les agents.
AutoResearchClaw et AREX	La capacité à boucler, vérifier, corriger et progresser.

Ma recommandation est simple : évaluez vos agents avec des critères de complétion, de vérification, de reprise après erreur et d’amélioration entre plusieurs runs. Un agent qui réussit une fois, c’est bien. Un agent qui comprend pourquoi il a échoué et fait mieux au run suivant, c’est beaucoup plus utile.

Alors, quels papiers lire en premier ?

Je commencerais par Agents’ Last Exam si votre sujet, c’est la performance sur des workflows business vérifiables. Puis ClawBench si vos agents doivent agir sur le web réel. Code as Agent Harness vient juste après, parce qu’il remet les pieds sur terre : sans couche d’exécution, de contrôle et de vérification, un agent reste fragile. AutoResearchClaw et AREX ouvrent la suite logique, avec des agents capables de débattre, réparer, vérifier et améliorer leur méthode. Le bénéfice pour vous est simple : mieux choisir quoi tester avant de déployer des agents IA dans vos vrais process.

FAQ

• Qu’est-ce que l’Agentic AI ?
  L’Agentic AI désigne des systèmes IA capables d’agir avec un objectif, d’utiliser des outils, de suivre un workflow, de prendre des décisions intermédiaires et de produire un résultat. Le vrai sujet, ce n’est pas juste la réponse générée, c’est la capacité à terminer une tâche utile et vérifiable.
• Pourquoi Agents’ Last Exam est important ?
  Parce qu’il teste des workflows professionnels longs avec un livrable final vérifiable. Le chiffre marquant est dur à ignorer : sur la partie la plus difficile, les configurations courantes atteignent environ 2,6 % de réussite complète. Ça montre l’écart entre une bonne démo et une vraie exécution métier.
• Que mesure ClawBench exactement ?
  ClawBench mesure la capacité des agents à réaliser des tâches quotidiennes sur le web vivant. Il couvre 153 tâches sur 144 plateformes, avec des frictions réelles comme les pages dynamiques, l’authentification, les longs formulaires, les documents et les interactions inattendues.
• Pourquoi le code est-il présenté comme un harnais d’agent ?
  Parce que le code peut connecter le modèle à son environnement, à ses outils, à sa mémoire, à son état et à ses mécanismes de vérification. Un agent sans harnais agit trop librement. Un agent encadré par du code ou des workflows devient plus contrôlable et plus testable.
• Comment utiliser ces papiers dans une entreprise ?
  Je les utiliserais comme grille de lecture avant un projet agent IA. Il faut tester la complétion réelle, la vérification du livrable, la robustesse sur le web, la reprise après erreur et la capacité à s’améliorer entre plusieurs exécutions. C’est beaucoup plus utile que de juger un agent sur une simple réponse brillante.

 

 

A propos de l’auteur

Je suis Franck Scandolera, expert et formateur en tracking avancé server-side, Analytics Engineering, automatisation No/Low Code avec n8n, intégration de l’IA en entreprise et SEO/GEO. Avec webAnalyste et Formations Analytics, j’accompagne des équipes qui veulent passer de la démo IA à des systèmes fiables, mesurables et exploitables. J’ai travaillé avec des références comme Logis Hôtel, Yelloh Village, BazarChic, la Fédération Française de Football ou Texdecor. Si vous voulez cadrer, tester ou automatiser vos agents IA proprement, contactez-moi.