Section en cours de refonte

Recherche & évaluation · ITRIIA

Comprendre ce que l’IA fait.
Et ce que cela vaut.

Une réponse rapide ne suffit pas. Sonar relie l’observation du travail des IA à une question simple : est-ce utile, à quel coût et avec quelles preuves ?

Présentation publique. Les données de vos projets restent dans votre espace privé.

Des mesures situéesUne tâche, un contexte, une version.
Des preuves consultablesUne méthode et des limites explicites.
Un jugement humainUn score éclaire une décision ; il ne la remplace pas.

La démarche

Observer. Comparer.
Comprendre.

Sonar est l’espace d’observation et d’évaluation d’ITRIIA. Cette section publique en présente la démarche ; l’espace privé donne accès aux traces autorisées dans l’application.

01 / OBSERVER

Voir le travail réalisé.

Modèles mobilisés, temps de traitement, coûts connus et contexte de la tâche : commencer par les faits disponibles.

Une donnée manquante reste une donnée manquante.
02 / COMPARER

Mettre les résultats à l’épreuve.

Comparer sur des tâches définies, à partir des mêmes sources et de critères annoncés. Examiner les erreurs autant que les réussites.

Une expérience ne constitue pas un classement universel.
03 / COMPRENDRE

Garder la décision éclairée.

Relier qualité, ressources mobilisées et effets sur les personnes. Documenter ce qui permet de conclure, et ce qui reste incertain.

L’accord entre modèles ne garantit pas la vérité.

Le cadre IIT

Évaluer au-delà
de la bonne réponse.

Le cadre IIT propose 16 critères pour examiner la valeur d’une réponse, les ressources qu’elle mobilise et ses effets humains et collectifs.

Sonar donne une place à ce travail de recherche. Le score produit par une méthode reste une mesure située : il ne remplace ni la lecture des sources ni l’examen du contexte.

Voir la première étude documentée

La réponse et son usage

Pertinence, charge cognitive, calibration de l’incertitude, autonomie : que permet réellement la réponse ?

Les ressources et les effets

Efficience, accès, diversité, souveraineté cognitive : quels coûts et quelles conséquences faut-il examiner ?

La solidité de l’évaluation

Protocole, évaluateurs, versions et limites : que démontre l’expérience, et jusqu’où peut-on généraliser ?

Les expérimentations

Des résultats datés.
Des limites accessibles.

Une étude se lit avec son protocole et son contexte. Les résultats ci-dessous sont conservés comme archive de recherche, sans les présenter comme un état actuel des modèles.

Archive de recherche · résultats préliminairesCampagne S53 · 3 mai 2026

Scoring spectral et classement humain

Une première campagne compare le classement du worker IIT à celui d’un expert humain sur un corpus de 20 questions. Elle rapporte un accord élevé sur ce corpus ; elle ne constitue pas une validation indépendante et générale de la méthode.

20 questionsCorpus de la campagne
6 modèlesVersions testées en mai 2026
ρ = 0,8644Corrélation globale rapportée
Ce qu’il faut garder en tête avant d’interpréter ces chiffres
  • Un seul expert humain a fourni le classement de référence : cette étude n’établit pas un consensus entre évaluateurs indépendants.
  • Le corpus et les versions des modèles sont ceux de la campagne de mai 2026. Ce résultat ne classe pas les modèles actuels.
  • 117 réponses ont été retenues sur 120 attendues, avec trois sorties Kimi vides signalées dans l’étude.
  • Le juge IA de la campagne est Sonnet 4.6, également présent parmi les modèles évalués : ce choix doit être pris en compte dans l’analyse du protocole.
  • Le coefficient est celui publié dans l’archive. Il n’a pas été recalculé dans le cadre de cette refonte.

Refonte en cours

Une présentation plus claire.
Une recherche traçable.

Cette page devient la porte d’entrée publique de Sonar. La publication des prochaines études suivra la disponibilité de leurs méthodes, de leurs résultats et de leurs limites.

  1. 01
    Clarifier le cadre

    Expliquer IIT, ses critères et ce que les mesures permettent d’affirmer.

  2. 02
    Documenter les expériences

    Présenter les campagnes avec leurs versions, leur protocole et leurs sources.

  3. 03
    Relier recherche et usage

    Rendre lisibles les enseignements utiles à l’orientation des modèles et des outils, sans exposer de données privées.

Votre espace de travail est sur ITRIIA.

Pour vos projets et leurs outils, retrouvez l’application. Ici, découvrez la démarche et les études publiques.

Ouvrir ITRIIA