Avant toutes choses, veuillez pardonner mon absence de ces derniers jours car j'étais en déplacement au Cambodge (l'article arrive bientôt). Me voici donc de retour sur le sol français et pendant que j'attends mon train, je me suis dit que ce serait rigolo de tester SkillEvaluator , un nouvel outil open source (Apache 2.0) que NVIDIA a présenté en août et qui permet de contrôler les skills des agents IA.

Alors si l'IA c'est pas votre truc, je vous explique rapidos ce que sont des skills. En anglais, ça veut dire "compétences" et ce sont ni plus ni moins que des dossiers contenant des instructions que Claude Code ou Codex vont chercher quand une tâche s'y prête.

Le premier contrôle effectué par SkillEvaluator est donc statique. Il contrôle la structure, la qualité, et bien sûr la sécurité de vos skills. Ensuite, deux autres cherchent les doublons, puis lancent un vrai agent dans une sandbox Docker, une fois avec le skill et une fois sans, pour mesurer ce que ça change et vérifier que tout est bien OK. Et ces deux-là demandent un accès à un modèle, plus Docker pour le dernier.

Dans SkillEvaluator il y a surtout un harness-check, qui prédit en une seconde, sans clé API Nvidia et sans avoir à lancer d'agent, si Claude Code, Codex, Copilot CLI, Hermes, OpenClaw et OpenCode vont charger correctement vos skills. Mais pour ma part, j'ai surtout passé mes propres skills dans l'outil "quality-check" et voici ce que ça donne...

Tout d'abord Côté quality-check, tout passe nickel !

quality-check sur mes douze skills

Faut dire que j'avais bien bossé en amont, donc oui, il n'a rien trouvé de très problématique. Toutefois dans certains de mes skills, leur description contenait un deux-points suivi d'une espace (en gros ça faisait "relecture : là"), sans guillemets, et malheureusement un parseur YAML strict refuse ça, du coup le fichier ne passe pas. J'ai donc mis ça entre des guillemets droits et c'est bien passé. Voici comment ça s'installe et ça s'utilise et comme vous pouvez le voir, pas de LLM ici :

pip install skillevaluator skillevaluator tier1 ./mon-skill --no-llm --checks schema,quality 

Le contrôle de schéma échoue sur le YAML

De son côté, la commande harness-check m'annonçait que Codex ne chargerait pas ce skill cassé, alors que PAS DU TOUT. Mon Codex l'a chargé parfaitement... Mais une fois encore, ce sont des prédictions, donc ces notes, c'est quand même à relativiser.

Pour les deux autres étages c'est beaucoup plus intéressant vous allez voir. Là, il vous faudra une clé chez un fournisseur de modèles (j'ai pris NVIDIA Build) et un Docker fonctionnel (que j'ai installé avec Colima mon Mac) :

pip install "skillevaluator[all]" export SKILL_EVAL_LLM_PROVIDER=nv_build export NVIDIA_API_KEY='nvapi-...' skillevaluator doctor --env-mode docker 

Et là, l'analyse a réussi à me repérer un chemin user (/Users/korben/) oublié dans un de mes skills, ainsi que 6 paires de skills qui se ressemblaient trop. Et ça c'est un problème parce qu'à cause de ça, l'agent IA qui utilise ces skills hésite entre l'un ou l'autre.

Mais le plus intéressant, c'est l'agent OpenCode qui ensuite teste une dizaine de fois vos skills dans Docker, avec ou sans ses modifs pour évaluer la qualité des réponses AVEC ou SANS le skill. Ça permet de voir s'il y a un vrai gain. Et parfois le skill ne se charge même pas, ce qui veut dire qu'il faut le rendre plus explicite pour que votre agent IA sache qu'il est là et qu'il faut l'utiliser.

Le rapport sur un autre de mes skills : 7 objectifs atteints sur 10 avec le skill activé, 5 sans le skill

Voilà, c'est un peu niche comme usage, mais si vous faites du skills pour vos agents IA, c'est un bon moyen d'en augmenter la solidité. Comptez une bonne demi-heure par skill, et si comme moi, vous utilisez NVIDIA Build, updatez le délai du juge qui évalue les skills (SKILL_EVAL_LLM_JUDGE_BUDGET_SEC=600) afin d'esquiver les erreurs 429.

À vous de jouer !