Que vaut Pangram, l’outil de détection d’IA ?

La plateforme américaine connaît un regain de popularité dans le monde francophone depuis quelques jours, avec l’éclatement de l’affaire Thélyson Orélien, du nom de l’écrivain québécois d’origine haïtienne accusé d’avoir fait générer son roman à succès par l’intelligence artificielle. Mais que vaut réellement cet outil ?

Prenez garde, chers écrivains, car vous risquez d’être « Pangramés ». Si vous ne connaissez pas ce mot, c’est parce qu’il s’agit d’un néologisme créé par nos soins — bien qu’inspiré de l’anglais « Pangramed » — pour désigner le fait de voir son manuscrit étiqueté « AI Written » ou « écrit par l’IA ».

Le terme dérivé de Pangram — en référence au nom de l’outil américain de détection d’intelligence artificielle — pourrait bientôt devenir tendance, tant ce logiciel fait parler de lui ces derniers mois. Certains l’ont ainsi découvert avec l’éclatement de la polémique autour de « C’était ça ou mourir ».

Publié en août aux éditions Grasset, ce roman, sacré par le prix du Roman Fnac et en lice pour le Goncourt et le Renaudot, est en effet soupçonné d’avoir été entièrement généré par l’IA.

Une fiabilité érigée en preuve

« Pangram est de loin le détecteur d’IA le plus fiable : son taux de faux positifs est de 0,0041%, soit environ un texte humain sur 24 400. Sur 996 273 textes antérieurs à 2022, Pangram n’en classe que 14 (0,0014%) comme étant partiellement écrits par l’IA », a notamment affirmé, lundi 21 septembre 2026, le compte X « Balance ton Claude », à l’origine des accusations.

Les auteurs, anonymes, affirment avoir « testé plusieurs passages, à divers endroits du manuscrit, pour presque toujours obtenir le même résultat : 100% IA ».

« La probabilité que vingt passages d’un même livre — et il y a bien plus de 20 signalements dans le roman — soient identifiés à tort par Pangram comme ayant été produits par une IA s’élève donc à 0,0041% puissance 20, soit 0,1802 × 10⁻⁸⁵ %, c’est-à-dire 0 suivi de 85 zéros après la virgule », écrivent-ils encore.

Depuis la polémique, la fiabilité affichée par Pangram a pris une place telle qu’elle laisse les dénégations de Thélyson Orélien presque inaudibles.

… Mais pas sans limites

Grâce à sa méthode de détection axée à la fois sur le « miroir synthétique » (synthetic mirroring) — l’apprentissage par génération de textes similaires à ceux d’un humain — et le hard negative mining — l’identification de contenus produits par l’IA à partir des propres erreurs de la machine — Pangram se présente comme l’outil le plus fiable du marché dans sa catégorie.

Mais il n’est pas infaillible, comme en témoignent plusieurs affaires récentes aux États-Unis. Selon Wired, citant un document de travail de l’université Notre-Dame, il lui est déjà arrivé de qualifier de contenus générés par l’IA de simples retouches légères effectuées à l’aide de la machine.

« Cet outil détecte qu’un texte est régulier et prévisible. C’est un radar à textes plats », explique au Point Thibault Celier, créateur d’Usuel.ai, un cabinet de conseil en IA générative à Paris, qui relève par ailleurs certains biais dans les résultats fournis par ces outils.

Enfin, Pangram assume un compromis méthodologique pour le moins problématique. En cas de doute, le logiciel classe un texte comme provenant d’un humain, afin de limiter les faux positifs. « C’est un choix délibéré que nous avons fait », admet le cofondateur de l’entreprise, Max Spero, interrogé par Wired.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *