# Un difetto nei modelli linguistici li rende vulnerabili senza soluzione URL: https://menteinformatica.it/intelligenza-artificiale/falla-strutturale-llm-vulnerabili-attacco/ Autore: Giorgio Perillo Aggiornato: 2026-10-01 Categoria: Intelligenza Artificiale --- Un gruppo di ricercatori indipendenti ha presentato all’International Conference on Machine Learning (ICML) un paper che mette in discussione uno dei pilastri della sicurezza dei modelli linguistici: la capacità di riconoscere chi sta effettivamente dando loro istruzioni. Il problema, secondo gli autori dello studio Charles Ye e Jasmine Cui, non è un bug da correggere ma una caratteristica intrinseca del modo in cui questi sistemi funzionano. ## Come funziona l’attacco al chain-of-thought I modelli linguistici come **GPT-5** o **gpt-oss-20b** di OpenAI non percepiscono fisicamente chi scrive: vedono un flusso continuo di testo (token) in cui prompt dell’utente, risposte precedenti e note interne si mescolano. Per orientarsi, i sistemi usano etichette che marcano i vari tipi di contenuto: cosa ha scritto l’utente, cosa ha generato il modello nel suo **ragionamento interno** (il chain-of-thought, una specie di blocco appunti che il modello usa per organizzare i passaggi di un compito), cosa arriva da fonti esterne. I ricercatori hanno scoperto che i modelli non si basano davvero su queste etichette per capire la provenienza di un testo. Guardano piuttosto lo stile e il contenuto: se un testo somiglia al proprio ragionamento interno, il modello lo tratta come tale, indipendentemente dall’etichetta che lo racchiude. Da qui la tecnica chiamata **chain-of-thought forgery** (falsificazione del ragionamento interno): basta scrivere un prompt che imita lo stile delle note che il modello genera per sé stesso, magari includendo una finta regola di policy, per convincerlo a seguirla come se l’avesse dedotta da solo. ## Cosa hanno ottenuto i ricercatori Nel paper vengono descritti attacchi contro diversi modelli di OpenAI, ma secondo Cui e Ye risultati simili sono stati osservati anche su modelli di Anthropic, Alibaba e DeepSeek. Le istruzioni malevole spingevano i sistemi a fornire contenuti che erano stati addestrati a rifiutare, comprese indicazioni sulla sintesi di sostanze illegali e su come compromettere sistemi di navigazione aerea. - Il modello legge testo con lo stile del proprio chain-of-thought e lo tratta come proprio, a prescindere dall’etichetta usata - Basta inserire una finta regola di policy dentro un testo che imita quello stile per aggirare i filtri - L’effetto è stato riprodotto su famiglie di modelli diverse, non solo su quelli di OpenAI La scoperta, secondo quanto riportato da MIT Technology Review, avrebbe vinto un hackathon di red-teaming (test di sicurezza offensivi) organizzato da OpenAI ad agosto 2025. Nello stesso periodo, altri ricercatori dell’azienda affermano che il proprio [sistema automatico GPT-Red](https://menteinformatica.it/intelligenza-artificiale/openai-gpt-red-hacker-sicurezza/) avrebbe individuato in autonomia un attacco molto simile, denominato internamente fake chain of thought. **Cosa cambia:** le difese attuali si basano sull’insegnare ai modelli lunghe liste di comportamenti da evitare, ma nessuna lista può coprire ogni variante di attacco: è il limite che il paper mette a nudo. ## Perché il problema resta senza soluzione facile Il metodo di difesa più diffuso, il red-teaming, consiste nell’assumere squadre umane (o modelli specializzati come GPT-Red) che cercano nuovi modi per rompere i filtri, per poi riaddestrare il sistema a resistere a quegli specifici attacchi. Cui liquida questo approccio come strutturalmente incompleto: è come insegnare a un bambino a ripetere cento volte una regola di comportamento, sperando che basti a coprire ogni situazione che non è stata prevista in anticipo. Il vero limite, a mio avviso, non è tecnico ma concettuale: se il sistema di sicurezza si fonda sul riconoscere ruoli e i modelli non distinguono i ruoli dalle etichette ma dallo stile del testo, ogni nuova patch rincorre un problema che si può sempre riformulare in una veste diversa. Non è un dettaglio da manuale per addetti ai lavori: riguarda modelli già usati, secondo quanto scrive MIT Technology Review, in ambiti che vanno dai sistemi governativi e militari all’e-commerce fino alla sanità. Il difetto non sta in un modello specifico, ma nel modo in cui tutti i modelli linguistici tengono traccia di chi sta parlando. Restano da chiarire se OpenAI, Anthropic o le altre aziende citate abbiano già distribuito correzioni per gli attacchi descritti nel paper. È uno dei punti da seguire nelle prossime settimane, quando eventuali dichiarazioni ufficiali delle aziende coinvolte potrebbero chiarire quali contromisure sono già in campo. Il paper non riguarda un jailbreak isolato che si può patchare e archiviare. Se la tesi di Ye e Cui regge al vaglio della comunità scientifica, il problema è nell’architettura stessa dei modelli attuali, non in una svista correggibile con il prossimo aggiornamento. Fonte: [technologyreview.com](https://www.technologyreview.com/2026/07/30/1140927/a-fundamental-flaw-leaves-llms-vulnerable-to-attack/).