L'IA en santé au travail : évaluation de son potentiel pour renforcer la précision et la clarté des préconisations médicales

Point de départ : une étude menée dans les Hauts-de-France (thèse du Dr N'Guessan) a montré que 78 % des préconisations rédigées par les médecins du travail présentent au moins un défaut de qualité (imprécision, doute sur le caractère obligatoire, informations hors annexe 4, changement de poste déguisé, ou atteinte au secret médical), avec un risque pour le maintien en emploi, la relation de confiance avec l'employeur et, plus marginalement, un risque contentieux.

L'article teste la capacité du modèle de raisonnement o1 (OpenAI) à détecter ces mêmes défauts sur 385 préconisations, en comparaison avec un consensus multidisciplinaire (CM) de référence. Résultats : 74,6 % de concordance globale avec le CM, et surtout aucune hallucination ⁽¹⁾ détectée sur l'ensemble de l'échantillon. Le modèle a toutefois tendance à sur-détecter les erreurs (13,2 % de discordances par excès), signe d'une approche prudente plutôt que d'un défaut de fiabilité. L'accord est quasi parfait sur le critère le plus sensible, la rupture du secret médical, plus faible sur les critères d'imprécision et de doute sur l'obligation - un écart que l'auteur explique par les propriétés statistiques du kappa plutôt que par une réelle divergence de jugement.

L'auteur souligne plusieurs limites : le modèle ne connaît pas le contexte réel du poste du salarié, les résultats concernent spécifiquement o1 et ne sont pas transposables à d'autres modèles, et le domaine évolue vite (des modèles plus récents existaient déjà au moment de la publication).

Conclusion : les grands modèles de langage constituent un outil prometteur d'aide à la relecture des préconisations médicales - en soutien, non en substitution de l'expertise du médecin du travail - sous réserve d'une évaluation rigoureuse via un benchmark dédié à la santé au travail avant toute utilisation à plus grande échelle.

=> Voir l'article de C. Broutin.dans le n°186 de "références en santé au travail"

(1) Une hallucination désigne le fait, pour une intelligence artificielle, de générer une information fausse ou inventée en la présentant comme un fait avéré. Elle ne trompe pas volontairement : elle produit un texte statistiquement plausible, sans pouvoir garantir son exactitude. Dans un contexte réglementaire, cela peut se traduire par une référence de texte inexistante, une date erronée ou un article de loi mal cité, d'où l'importance de toujours vérifier ces informations auprès d'une source officielle.