Quand l’IA menace l’édifice des connaissances scientifiques

Des données scientifiques inventées de toutes pièces ? Des instructions invisibles aux humains adressées aux machines qui évalueront une publication ? Et même une image artificielle d’un rat doté d’un pénis disproportionné ? Ces méconduites ne sont pas des fictions. À l’heure où l’intelligence artificielle générative se répand dans toutes les disciplines scientifiques, elles ont déjà cours et entachent, ce faisant, la qualité comme la réputation de la recherche.

Ces usages frauduleux de l’IA, Guillaume Cabanac, professeur à l’université de Toulouse1 et membre de l’Institut universitaire de France, se plaît à les traquer, « comme une aiguille, voire un micro-organisme, dans une botte de foin ». Son flair de science sleuth – soit « détective de la science » – sait repérer le moindre indice. « Comme les textes écrits par IA générative sont difficiles à distinguer de textes écrits par des humains, je m’appuie sur les traces indésirables de prompts malencontreusement oubliées, explique-t-il. Par exemple : « En tant qu’IA », « Voici un texte reformulé de manière académique », etc. C’est ce que j’appelle un smoking gun, la fumée qui sort d’un revolver après un coup de feu ! ». Son travail de détective scientifique est désormais reconnu parmi les maisons d’édition elles-mêmes, à tel point que la revue Nature l’a classé parmi les dix scientifiques de l’année en 2021 et que plusieurs éditeurs ont fait appel à ses services ou à d’autres chasseurs et chasseuses de fraudes.

• 1

  Au sein de l’Institut de recherche en informatique de Toulouse (CNRS / Toulouse INP / Université de Toulouse).

La responsabilité humaine derrière l’IA

Au-delà des cas de fraude les plus spectaculaires, le recours à l’IA pour publier des articles scientifiques pose un éminent problème déontologique : est-on encore responsable d’un papier qu’une IA a écrit ? « Les auteurs sont entièrement responsables du contenu de leur manuscrit, même des parties produites par un outil d’IA, et sont donc responsables de tout manquement à l’éthique de publication », souligne Lucienne Letellier, déléguée scientifique à la Mission à l’intégrité scientifique (MIS) du CNRS, dans la dernière version du guide « Pour une recherche intègre et responsable »1. Claudine Pique, directrice de la MIS et référente intégrité scientifique du CNRS, renchérit : « Le problème n’est pas d’utiliser l’IA dans ses travaux scientifiques, mais de ne pas le déclarer. La méthode intègre, c’est de déclarer dans le moindre détail les usages qu’on en a fait. La mauvaise méthode, c’est de ne pas déclarer avoir utilisé l’IA ». De fait, aux premières loges de l’intégrité scientifique, la MIS a déjà vu arriver plusieurs signalements portant sur des documents scientifiques écrits de manière non-déclarée par une IA.

• 1

  Une nouvelle version du guide sortira en septembre 2026.

Ces fraudes à l’IA sont d’autant plus graves qu’elles alimentent la crise actuelle des publications scientifiques, marquée par la surproduction et des rétractations en série. Cette crise a un coût indéniable pour la recherche. En 2020, le CNRS a payé plus de 3 millions d’euros de frais de publication (APC pour Article Processing Charges), contre 1,8 million d’euros en 2017. Toujours en 2020, la France a déboursé près de 30 millions d’euros d’APC. À ce rythme, le pays pourrait payer 50 millions d’euros d’APC en 2030, voire près de 200 millions si l’ensemble des publications scientifiques basculait d’ici là vers un système auteur-payeur1.

Continuer à bâtir le mur des connaissances

Mais en plus du fardeau financier pour la recherche publique, la surproduction dopée par l’IA grève la qualité des résultats scientifiques en eux-mêmes. « Le côté pervers des frais de publication, c’est que si l’on paye pour publier, une maison d’édition aura tout intérêt à scinder les articles en plusieurs papiers, explique Alain Schuhl, ancien directeur général délégué à la science du CNRS qui avait dénoncé ces frais de prestige. Et donc la qualité des revues baisse parce qu’il n’y a pas de contrôle sur elles de la part des auteurs et autrices, qui se rendent compte par conséquent que publier ne sert plus à rien ». Autrement dit : faire payer pour publier, quel que soit l’intérêt scientifique des articles en question, ouvre la porte à une science de moindre qualité. Science ouverte et intégrité scientifique se rejoignent ici pour dénoncer un système auteur-payeur qui facilite les méconduites et pratiques frauduleuses. Ou, comme le soutient Claudine Pique : « La pression à la publication est une perversion du système d’évaluation des scientifiques qui, si l’on n’en prend pas conscience, fera que les chercheurs et chercheuses ne feront plus de la science, mais des articles ».

• 1

  https://www.ouvrirlascience.fr/wp-content/uploads/2022/12/APC_Cost_Study_Poster.pdf

Publications vides de sens, articles frauduleux et rétractations en série ? L’ombre du discrédit plane sur la science. « On peut se figurer la somme des connaissances comme un mur et chaque connaissance comme une brique, illustre Guillaume Cabanac. Dans mon travail, je cherche les trous, c’est-à-dire les rétractations, car chacun d’eux menace la stabilité du mur dans son ensemble ». Les rétractations – jusqu’à 10 000 articles sur les 4,5 millions publiés dans le monde en 20231 – ont en effet des conséquences qui vont bien au-delà de la rétractation de quelques articles frauduleux. Quantité de scientifiques intègres peuvent sans le savoir s’appuyer sur ces trous dans le mur de la recherche avant que les maisons d’édition ne déclarent officiellement leur rétractation. Or, « quand on appuie son raisonnement sur une brique de connaissances qui s’avère rétractée par la suite, c’est potentiellement tout le mur qui devient fragile. Il faudrait donc envisager une rétractation en chaîne2 et réévaluer en cascade les articles qui citent la publication rétractée », estime le science sleuth. Ce qui pourrait concerner près de 640 000 articles qui citent au moins un article rétracté, soit 6 % de références non fiables sur l’ensemble des publications scientifiques en 2023.

• 1

  https://www.nature.com/articles/d41586-023-03974-8

• 2

  Cabanac, G. (2024). Chain retraction: how to stop bad science propagating through the literature. Nature. 632(8027), 977-979. https://doi.org/10.1038/d41586-024-02747-1

Pour identifier ces faux articles dont tout ou partie est générée par IA, le CNRS a mis au point, grâce à l’Institut de l’information scientifique et technique (Inist), qui dépend de la Direction des données ouvertes de la recherche (DDOR), et aux travaux de Guillaume Cabanac, une interface clé en main appelé TDM Factory, qui met à disposition l’outil BibCheck capable de détecter les articles rétractés par leurs éditeurs dans les références bibliographiques d’un article, ainsi que les références inexistantes, potentiellement générées par IA et dites « hallucinées ». Un usage préventif pour permettre à tous les scientifiques de vérifier leur bibliographie avant de publier un article, afin d’enrayer la circulation d'une science de mauvaise qualité. Ou, pour reprendre la métaphore maçonne de Guillaume Cabanac : « TDM Factory rajoute une maçonnerie autour des trous pour renforcer le mur et ainsi continuer à bâtir les connaissances communes ».

Réformer l’évaluation des chercheurs et chercheuses

Cependant, la défense d’une science de qualité ne peut pas reposer exclusivement sur des innovations techniques. Elle suppose de revoir de fond en comble un écosystème fondé sur une pression à la publication, ce qui pousse à tant de dérives afin de publier dans des revues prestigieuses. C’est ce qu’a fait le CNRS en réformant l’évaluation individuelle de ses chercheurs et chercheuses dès 2019 sur la base dequatre principes pour encourager une évaluation plus intègre, équitable et qualitative. Et pour cause : « On est bien aidés par les revues prédatrices et l’émergence de l’IA, qui nous ont obligés à réagir pour conserver la qualité de la science », martèle Alain Schuhl. La nouvelle évaluation des scientifiques du CNRS privilégie désormais une production scientifique de qualité, évaluée sur ses apports, en opposition à une recherche en quantité, exclusivement fondée sur des indicateurs bibliométriques. En parallèle de cette réforme, la science ouverte au CNRS propose des alternatives crédibles pour encourager une science plus transparente, vérifiable, accessible à tous et surtout sans frais pour les auteurs et autrices et leur lectorat. Le CNRS soutient les archives ouvertes comme HAL et les archives de préprints, ainsi que l’émergence de l’édition diamant1 et du modèle Subscribe-to-Open2 qui reposent sur des contributions académiques afin de proposer des solutions à l’ensemble des disciplines. 

• 1

  L’édition diamant est un modèle de publication scientifique en libre accès, gratuit pour les auteurs et autrices et leur lectorat, qui repose sur des contributions académiques.

• 2

  Le modèle Subscribe-to-Open est un modèle d’ouverture qui repose sur les abonnements à des revues. La maison d’édition fixe un seuil minimal d’abonnements à atteindre pour convertir une revue payante en revue totalement ouverte, sans frais supplémentaires pour les auteurs et autrices et leur lectorat.

« La réforme a poussé nos scientifiques à ne publier que des contenus intéressants et à montrer qu’elles et ils ont fait avancer les connaissances, de quelque manière que ce soit », commente Alain Schuhl. L’ancien directeur général délégué à la science se félicite de voir que, « depuis la réforme, les pratiques de la recherche sont en train de changer ». Ce que constate également Guillaume Cabanac. L’enseignant-chercheur toulousain observe que depuis la réforme du CNRS, la plupart des pays voient leur volume de publications annuelles continuer de croître, sauf la France : « Soit on lit cette tendance comme un décrochage scientifique du pays, soit comme une résistance à la boulimie des publications scientifiques à faible impact. Je privilégie la seconde option. », défend-il.

Lucienne Letellier se montre plus sceptique : « On ne peut pas dissocier ce qui se passe en France de ce qui se passe ailleurs dans le monde, où la pression à la publication engendre des dérives. Être l’organisme de recherche français le plus vertueux ne suffit pas, tant le système, bancal, pousse à la perversion ». C’est précisément pour réformer le système international de la recherche que le CNRS a rejoint dès son lancement en décembre 2022 la Coalition for Advancing Research Assessment (CoARA), qui comptabilise à ce jour plus de 970 institutions signataires, dont les trois quarts en Europe. Objectif de la coalition : définir collectivement l’évolution des pratiques d’évaluation de la recherche, des scientifiques et des établissements de recherche.

Ces enjeux de science ouverte et d’intégrité scientifique vont bien au-delà des seules problématiques propres à la recherche. Ils concernent l’image de la science et sa place dans la société. Car, comme le rappelle Lucienne Letellier : « Dans un contexte international où la science fait l’objet d’une défiance de la part du public mais aussi des médias et des politiques et où se propagent désinformation et croyances complotistes, les scientifiques ont plus que jamais le devoir d’être intègres non seulement pour faire avancer la connaissance mais pour que leur parole soit crédible et puisse être entendue ».