En réponse à cette montée en puissance de la génération de contenu par l'IA, les outils de détection de texte par l'IA ont connu un développement correspondant. Cependant, alors que les générateurs de texte d'IA s'améliorent rapidement, le développement des outils de détection de texte d'IA n'a pas suivi. Le propre outil de classification de texte d'OpenAI, OpenAI text classifier, présente des limites dans la détection précise des textes générés par l'IA. Avec un taux de précision de 26 % seulement, cet outil ne peut pas être utilisé sur des textes de moins de 1 000 caractères, fonctionne mal avec les langues autres que l'anglais et confond parfois des textes écrits par des humains avec du contenu généré par l'IA. En effet, le but du langage de l'IA est d'imiter, de générer ou de créer un texte fluide, d'apparence humaine. ChatGPT prédit le prochain mot probable dans une phrase, d'une manière relativement non complexe.
GPTZero mesure la perplexité (le caractère aléatoire) et l'éclatement (la complexité) des phrases et de la structure et présente apparemment un taux de réussite beaucoup plus élevé, certaines sources faisant état d'une précision de 98 %. Cependant, de nombreux sites et blogs technologiques affirment avoir réfuté ces affirmations avec leurs propres tests. Tout comme le classificateur de texte d'OpenAI, GPTZero a ses propres limites et a du mal avec les phrases courtes et les textes modifiés. Il fournit un retour d'information plus clair et fournit également un raisonnement pour expliquer pourquoi une détermination a été faite.
Les outils de détection de l'IA ne sont pas suffisamment fiables pour être utilisés seuls, OpenAI reconnaissant qu'il ne faut pas se fier à ces outils pour déterminer de manière définitive si un contenu est généré par l'IA. Nous devons également nous rappeler que les textes peuvent être modifiés pour éviter la détection. Avant de soumettre des travaux d'élèves à des applications et des sites Web tiers, il est également crucial de prendre en compte les limites des outils de détection de texte d'IA et les éventuelles implications en matière de confidentialité.
Malgré ces limites, il est probable que les détecteurs d'IA continueront de s'améliorer à mesure que les générateurs de texte d'IA deviendront plus avancés. Cependant, il est peu probable qu'il existe un outil capable de détecter l'écriture IA avec une précision de 100 %.
Cette video montre comment déjouer GPTZero.