Negli scorsi giorni OpenAI ha presentato CriticGPT, un nuovo modello di Intelligenza Artificiale che ha un compito alquanto singolare, ovvero identificare gli errori di ChatGPT.

Il suo principale scopo è tenere sotto controllo gli output del noto chatbot, facendo si che il modello linguistico di grandi dimensioni (noto come LLM) offra risultati quanto più possibili accurati. L’integrazione di CriticGPT rientra in quanto riportato da un nuovo documento intitolato LLM Critics Help Catch LLM Bugs e, come sottolineato da OpenAI, il progetto prevede che il modello lavori come assistente per il personale umano che controlla l’operato di ChatGPT.

Così come da prassi per l’IA, CriticGPT è stato addestrato con un set di dati, in questo caso svariati bug e altri errori, che permettono all’IA di avere una sorta di “esperienza” quando si tratta di individuare errori. Il fine di questo strumento, tra le altre cose, è anche quello di ridurre al minimo il rischio legato alle allucinazioni., uno dei principali problemi dell’IA  e non solo di ChatGPT.

CriticGPT ha ancora degli evidenti (e fisiologici) limiti

Il nuovo modello, per svolgere al meglio il suo lavoro, può anche contare su una nuova tecnica inventata dai ricercatori. Stiamo parlando della Sampling Beam Search (FSBS), che aiuterà CriticGPT ad effettuare revisioni più dettagliate del codice, permettendo ai ricercatori di regolare manualmente la precisione delle analisi. Questo nuovo strumento è davvero così efficace? Nonostante risultati apprezzabili, per gli esperti CriticGPT presenta ancora dei sostanziali limiti.

Prima di tutto, va tenuto conto che questo modello è efficace solo su output testuali brevi e, con testi più strutturati, presenta alcune difficoltà. Inoltre, il modello è in grado di ridurre le allucinazioni ma non di eliminarli del tutto: errori in fase di addestramento possono rendere comunque inefficace questo strumento. Infine va tenuto conto del fatto che alcune imprecisioni nel testo potrebbero essere strutturate, presenti in più parti di un output complesso. CriticGPT, a livello attuale, è in grado di individuare solo un errore in una posizione specifica per testo.

Nonostante questi limiti, va comunque ricordato come questo modello sia relativamente giovane e come rappresenti comunque un ottimo punto di partenza per un futuro sviluppo da parte di OpenAI.

I nostri contenuti da non perdere: