Voir le travail réalisé.
Modèles mobilisés, temps de traitement, coûts connus et contexte de la tâche : commencer par les faits disponibles.
Recherche & évaluation · ITRIIA
Une réponse rapide ne suffit pas. Sonar relie l’observation du travail des IA à une question simple : est-ce utile, à quel coût et avec quelles preuves ?
Présentation publique. Les données de vos projets restent dans votre espace privé.
La démarche
Sonar est l’espace d’observation et d’évaluation d’ITRIIA. Cette section publique en présente la démarche ; l’espace privé donne accès aux traces autorisées dans l’application.
Modèles mobilisés, temps de traitement, coûts connus et contexte de la tâche : commencer par les faits disponibles.
Comparer sur des tâches définies, à partir des mêmes sources et de critères annoncés. Examiner les erreurs autant que les réussites.
Relier qualité, ressources mobilisées et effets sur les personnes. Documenter ce qui permet de conclure, et ce qui reste incertain.
Le cadre IIT
Le cadre IIT propose 16 critères pour examiner la valeur d’une réponse, les ressources qu’elle mobilise et ses effets humains et collectifs.
Sonar donne une place à ce travail de recherche. Le score produit par une méthode reste une mesure située : il ne remplace ni la lecture des sources ni l’examen du contexte.
Voir la première étude documentéePertinence, charge cognitive, calibration de l’incertitude, autonomie : que permet réellement la réponse ?
Efficience, accès, diversité, souveraineté cognitive : quels coûts et quelles conséquences faut-il examiner ?
Protocole, évaluateurs, versions et limites : que démontre l’expérience, et jusqu’où peut-on généraliser ?
Les expérimentations
Une étude se lit avec son protocole et son contexte. Les résultats ci-dessous sont conservés comme archive de recherche, sans les présenter comme un état actuel des modèles.
Une première campagne compare le classement du worker IIT à celui d’un expert humain sur un corpus de 20 questions. Elle rapporte un accord élevé sur ce corpus ; elle ne constitue pas une validation indépendante et générale de la méthode.
Refonte en cours
Cette page devient la porte d’entrée publique de Sonar. La publication des prochaines études suivra la disponibilité de leurs méthodes, de leurs résultats et de leurs limites.
Expliquer IIT, ses critères et ce que les mesures permettent d’affirmer.
Présenter les campagnes avec leurs versions, leur protocole et leurs sources.
Rendre lisibles les enseignements utiles à l’orientation des modèles et des outils, sans exposer de données privées.
Pour vos projets et leurs outils, retrouvez l’application. Ici, découvrez la démarche et les études publiques.