L'unico strumento ufficiale che dovrebbe essere in grado di identificare l'impiego di ChatGPT è ancora inaffidabile: la disarmante ammissione arriva direttamente dal team di ricerca di OpenAI, proprio coloro che hanno sviluppato l'intelligenza artificiale più famosa del momento.
Sul blog ufficiale di OpenAI è stato pubblicato un lungo approfondimento su quello che è stato definito il “classificatore addestrato per distinguere un testo scritto dall'intelligenza artificiale da uno scritto dall'uomo”. Si chiama Classifier e dovrebbe essere d'aiuto per individuare eventuali campagne di disinformazione automatizzate, falsi testi accademici e chatbot che vogliono far credere di essere umani.
Il problema è che questo strumento è ancora molto acerbo: “Il nostro classificatore non è completamente affidabile”, hanno sottolineato proprio OpenAI. Il riscontro si è avuto sottoponendolo a diverse sfide con testi in inglese. Alla fine è stato in grado di identificare correttamente il 26% del testo scritto da ChatGPT (veri positivi), bollandoli come "probabilmente scritto dall'AI”; a fronte però di un 9% erroneamente accreditato all'intelligenza artificiale invece che all'uomo (falsi positivi). In pratica ha un margine di errore talmente alto che legalmente il suo valore potrebbe essere scardinato da uno studente di Giurisprudenza del primo anno.
Non bisogna però demordere, perché l'affidabilità pare migliorare con l'aumentare della lunghezza dei testi e soprattutto Classifier diventa più bravo con il costante addestramento. Un po' come allenare un cucciolo di segugio che domani dovrà confrontarsi con una preda adulta. Tutto nella norma.
Le debolezze di Classifier
OpenAI ricorda che il suo classificatore non può essere usato come strumento decisionale primario, “ma come complemento ad altri metodi per determinare la fonte di una parte di testo". I motivi di questa cautela si devono al fatto che lo strumento è molto inaffidabile con i testi brevi (sotto i mille caratteri) e a volte sbaglia anche con quelli più lunghi. Al netto di queste prestazioni, fa ancora peggio con le lingue diverse dall’inglese ed "è inaffidabile sul codice". Scordarsi quindi di impiegare Classifier per testi italiani.
Un altro problema è che un documento scritto da una intelligenza artificiale può essere modificato per eludere il classificatore: “Classificatori come il nostro possono essere aggiornati e ri-addestrati in base agli attacchi riusciti, ma non è chiaro se il rilevamento abbia un vantaggio a lungo termine", hanno aggiunto i ricercatori.
L'unica consolazione è che ChatGPT ha dimostrato che l'addestramento è una componente essenziale per far evolvere un'intelligenza artificiale. E così ci si aspetta per Classifier, che è attualmente disponibile gratuitamente proprio per favorirne l'evoluzione.
Classifier per i professori, ma non solo
Il mondo accademico, quello dell’istruzione e della ricerca sono stati senza dubbio quelli più sensibili rispetto al successo di ChatGPT. E infatti lo stesso team di OpenAI ammette che questa nuova risorsa è stata pensata soprattutto per loro, anche se si augura che possa avere impatto su altre categorie: “Ci stiamo impegnando con i docenti negli Stati Uniti per sapere cosa stanno vedendo nelle loro classi e per discutere delle capacità e dei limiti di ChatGPT, e continueremo ad ampliare il nostro raggio d'azione man mano che apprendiamo", hanno spiegato. Ancora: “Accogliamo con favore anche tutte le risorse che i docenti stanno sviluppando o hanno trovato utili (linee guida del corso, codice di condotta e aggiornamenti delle policy, strumenti interattivi, programmi di alfabetizzazione IA e così via).
Gli strumenti alternativi
OpenAI non è l'unica realtà che sta lavorando su uno strumento di rilevazione come Classifier, ma al momento è quella più autorevole. Online si stanno moltiplicando gli annunci di professionisti, ricercatori, società e studenti che assicurano di avere trovato una soluzione al problema. Come su Italian Tech avevamo già ricordato, si parla per esempio di GPTZero di uno studente di Princeton, Corrector App di una presunta società di sviluppo con sede a Londra, AI Content Detector e tantissimi altri.
Il problema non è se siano in grado o meno di funzionare (al netto dei progetti realizzati da malintenzionati per sottrarre dati o pagamenti), bensì la certificazione degli strumenti. Chi comprova l'affidabilità?
In Italia recentemente diverse società che operano online hanno iniziato a domandare ai dipendenti e alle loro agenzie di comunicazione di non impiegare ChatGPT, poiché Google potrebbe danneggiare l'indicizzazione delle pagine testuali online realizzate con le intelligenze artificiali concorrenti. Per un e-commerce sarebbe un danno economico devastante la scomparsa delle rispettive pagine-prodotto dai risultati del motore di ricerca. Già, ma come assicurarsi che nessuno faccia uso di testi inventati da ChatGPT?