Science · Validation
Le réel est notre benchmark.
Une population synthétique n’est pas validée parce qu’elle paraît réaliste.
Elle est validée lorsqu’on peut la confronter au réel, mesurer les écarts et documenter ses limites.
Imagine All The People valide ses simulations à plusieurs niveaux : structure de la population, réponses individuelles, décisions comparées et, progressivement, dynamiques dans le temps.
De la population au comportement collectif.
La validité d’une population synthétique n’est pas une mesure unique.
Nous distinguons quatre niveaux qui répondent à quatre questions différentes.
Ces statuts qualifient l’état de la preuve, pas la disponibilité des fonctionnalités.
L’évaluation par les pairs d’une méthode de génération, publiée dans Frontiers in Artificial Intelligence, ne vaut pas validation automatique de toutes les simulations comportementales produites avec elle.
- Niveau 1 — Reconstruction statistique des populationsRésultats documentés sur benchmark
La population synthétique représente-t-elle correctement la population réelle ?
Nous mesurons la reproduction des distributions statistiques et de leurs dépendances : variables unitaires, croisements binaires et contraintes multidimensionnelles.
La question n’est pas seulement de reproduire chaque variable séparément, mais de préserver les structures qui les relient.
- Niveau 2 — Réponses individuellesÉvaluation en cours
Les individus synthétiques répondent-ils comme les populations réelles ?
Une même question est posée à une population réelle et à sa contrepartie synthétique.
Les réponses utilisées pour mesurer la performance ne servent pas à calibrer le résultat attendu.
Nous comparons ensuite les distributions de réponses, les écarts entre segments et la direction des effets observés.
- Niveau 3 — Comparaison des décisionsValidation progressive
Le système conduit-il à la même lecture décisionnelle que le terrain ?
Reproduire correctement une distribution de réponses ne suffit pas.
Lorsque plusieurs options sont testées, nous vérifions si la simulation retrouve leur hiérarchie, la direction des effets et les différences entre segments.
- A est-il préféré à B ?
- Quel segment réagit le plus ?
- Dans quelle direction évolue le résultat ?
- L’écart observé peut-il modifier la décision ?
- Niveau 4 — Dynamiques temporellesValidation prospective en développement
Les dynamiques simulées résistent-elles à l’épreuve du temps ?
Une société ne produit pas seulement des réponses.
Les individus observent, réagissent, s’influencent et changent.
La validation dynamique consiste à comparer les trajectoires produites par la simulation aux évolutions effectivement observées : adoption, opposition, diffusion, polarisation ou changements de comportement.
Faire tourner le réel et le synthétique en parallèle.
Le principe est simple.
- Même question.
- Même population cible.
- Même moment.
- Deux terrains.
D’un côté, une étude menée auprès de personnes réelles.
De l’autre, la même étude exécutée sur une population synthétique construite indépendamment du résultat terrain.
Les résultats ne sont comparés qu’ensuite.
Terrain réel
OBSERVED- Population réelle
- Même protocole
- Résultats réels
Population synthétique
SIMULATED- Population synthétique
- Même protocole
- Résultats simulés
Comparaison
BACKTESTED- Distribution par distribution
- Segment par segment
- Question par question
- Décision par décision
Nous ne mesurons pas si la simulation semble plausible.Nous mesurons l’écart entre la simulation et le réel.
Du passé vers le futur.
- 01 — Backtesting
Rejouer ce qui s’est déjà produit.
Nous utilisons une situation dont le résultat réel est connu, mais caché au système au moment de la simulation.
La simulation est ensuite comparée au résultat observé.
QuestionLe modèle aurait-il correctement lu la situation ?
- 02 — Parallel testing
Tester le réel et le synthétique simultanément.
Une étude terrain et son équivalent synthétique sont conduits en parallèle.
Aucun résultat terrain n’est utilisé pour corriger la simulation avant la comparaison.
QuestionLes deux systèmes produisent-ils des résultats convergents ?
- 03 — Prospective validation
Produire le résultat avant que le réel n’existe.
La simulation est exécutée et ses résultats sont figés.
Lorsque le résultat réel devient observable, les deux trajectoires sont confrontées.
QuestionQu’aurions-nous réellement pu anticiper ?
Pas de score magique de « réalisme ».
Une corrélation élevée sur une question ne valide pas l’ensemble d’un modèle.
Une population statistiquement fidèle ne garantit pas automatiquement la validité de ses comportements.
Une bonne reproduction des réponses individuelles ne prouve pas automatiquement la validité d’une dynamique collective.
Chaque niveau doit donc être mesuré séparément.
- Populationécart aux distributions de référence
- Réponsesécart entre réponses réelles et synthétiques
- Décisionscohérence du classement entre scénarios
- Segmentsécarts de performance selon les sous-populations
- Dynamiquesécart entre trajectoires simulées et observées
- Robustessestabilité des conclusions lorsque les hypothèses changent
EVIDENCE GRAMMAR
Chaque résultat dit d’où il vient.
Sur Imagine All The People, un chiffre n’est jamais simplement présenté comme un “résultat”. Nous distinguons ce qui a été observé dans le réel, produit par simulation, comparé au réel ou utilisé uniquement à des fins d’illustration.
- OBSERVED
- résultat mesuré dans le réel
- SIMULATED
- résultat issu de la simulation
- BACKTESTED
- simulation comparée au réel
- ILLUSTRATIVE
- démonstration produit
Mesurer la distance entre simulation et réalité.
Les résultats publiés sur la construction des populations portent sur un protocole déterminé et des mesures reproductibles.
Les validations des réponses, des décisions et des dynamiques sont documentées séparément, selon leur niveau de maturité.
Un résultat décrit toujours un protocole précis. Il ne constitue pas une garantie générale de précision pour toute population, toute question ou toute situation.
Voir le protocole et les limitesSavoir où la simulation fonctionne. Et où elle ne fonctionne pas.
Nous ne considérons pas la validation comme une démonstration destinée à prouver que le système fonctionne toujours.
Elle doit également permettre d’identifier les situations dans lesquelles il fonctionne moins bien.
Limite
Certaines questions reposent sur une expérience réellement vécue et ne peuvent pas nécessairement être reconstruites correctement à partir d’une population synthétique.
Limite
Une performance démontrée sur un domaine ne peut pas être automatiquement transposée à un autre.
Limite
Une forte validité des réponses statiques ne suffit pas à démontrer une validité dynamique.
Limite
Une projection à long terme comporte davantage d’incertitude qu’un test à horizon court.
La validité est toujours attachée à un protocole, une population, une question et un horizon.
Agents IA
Les mêmes niveaux de validation.
Les mêmes niveaux de validation s’appliquent aux résultats produits lorsqu’Imagine All The People est utilisé depuis un agent ou un système agentique.
Une intégration technique réussie démontre que l’agent peut utiliser le service. Elle ne constitue pas, à elle seule, une validation supplémentaire de la précision comportementale.
Évaluer un système agentique est une question distincte.
Des interlocuteurs synthétiques peuvent être utilisés pour construire des scénarios de test. La qualité d’un agent doit toutefois être évaluée avec des critères adaptés à sa mission et, lorsque nécessaire, confrontée à des résultats humains ou terrain.
Nos résultats doivent pouvoir être vérifiés.
- Nous publions les méthodes utilisées pour construire les populations.
- Nous documentons les benchmarks.
- Nous séparons les résultats publiés des travaux encore en cours.
- Nous conservons les protocoles permettant de reproduire les simulations.
- Et nous cherchons à confronter nos résultats à de nouveaux terrains réels.
Parce qu’un système de simulation qui ne peut pas être mis en défaut ne peut pas être scientifiquement validé.
Parallel testing
Faites votre prochaine étude deux fois.
Vous prévoyez une étude réelle ?
Faites fonctionner Imagine All The People en parallèle, sans communiquer les résultats du terrain à notre système.
Lorsque l’étude est terminée, comparez.
Même brief.Mêmes questions.Réel vs synthétique.
Organiser un parallel test