Alcuni ricercatori hanno scoperto che istruzioni nascoste nelle e-mail possono manipolare i riassunti generati da Microsoft Copilot e Gmail, inserendo avvisi in stile phishing all’interno di interfacce percepite come affidabili.

Introduzione

Gli assistenti di intelligenza artificiale (IA) si stanno sempre più imponendo come uno dei principali motori della produttività sul posto di lavoro. Tuttavia, nuove ricerche indicano che tali tecnologie potrebbero anche aprire la strada a un vettore di phishing finora ampiamente sottovalutato.

Secondo i ricercatori di Permiso – società statunitense specializzata in cybersecurity – strumenti come Microsoft Copilot non rappresentano solo un supporto all’efficienza, ma delineano anche un nuovo perimetro di sicurezza che molte organizzazioni non hanno ancora considerato in modo esplicito.

Pertanto, la domanda chiave da porsi è la seguente: cosa accade quando le “istruzioni” seguite dal modello non provengono dall’utente, ma vengono in realtà scritte da un attaccante e recapitate tramite un’e-mail che si chiede a Copilot di riassumere?

I ricercatori hanno dimostrato che contenuti controllati da attori malevoli, incorporati nei messaggi di posta elettronica, possono manipolare i riepiloghi generati da Microsoft Copilot attraverso attacchi di cross prompt injection (XPIA). Il risultato è la potenziale visualizzazione di falsi avvisi di sicurezza o prompt dannosi all’interno di un’interfaccia di intelligenza artificiale percepita come affidabile.

Il rischio di prompt injection all’interno di Copilot

Gli assistenti AI come Microsoft Copilot sono integrati nei flussi di lavoro quotidiani di produttività su Outlook, Microsoft Teams e altri servizi Microsoft 365. Funzionalità, quali la sintesi via e-mail, permettono ai dipendenti di comprendere rapidamente i lunghi thread, dare priorità alle risposte e raccogliere contesto da documenti o conversazioni correlate, migliorando l’efficienza, oltre a ridurre il tempo impiegato per revisionare i messaggi e coordinare i team.

Tuttavia, questa comodità introduce anche un nuovo confine di sicurezza: ai sistemi di IA viene spesso chiesto di interpretare e riassumere contenuti esterni non affidabili, incluse e-mail inviate da attori sconosciuti o potenzialmente dannosi.

Le ricerche che esaminano il comportamento di Copilot mostrano che le istruzioni controllate dall’attaccante incorporate in un’e-mail possono talvolta influenzare il modo in cui l’assistente genera il suo riassunto. In alcuni casi, queste istruzioni possono indirizzare l’output in modi che introducono contenuti fuorvianti o dannosi direttamente nell’interfaccia Copilot.

Come la cross prompt injection (XPIA) influenza i riassunti dell’IA

Tradizionalmente, le campagne di phishing si basavano su messaggi falsificati, allegati dannosi o link ingannevoli incorporati direttamente nei contenuti delle e-mail. Con gli assistenti AI nel flusso di lavoro, gli attaccanti potrebbero, invece, tentare di manipolare la voce e la credibilità dell’assistente, usandole per trasmettere messaggi di ingegneria sociale che sembrano generati dal sistema.

La tecnica alla base di questa manipolazione è nota come cross prompt injection, i.e. istruzioni nascoste, incorporate nel contenuto, che influenzano il modo in cui un grande modello linguistico elabora o riassume tali informazioni.

Pertanto, quando un utente chiede a Copilot di riassumere un’e-mail in Outlook o Teams, l’assistente analizza l’intero corpo del messaggio — incluso qualsiasi testo fornito da un attaccante e, se il modello interpreta quel testo come un’istruzione, piuttosto che semplicemente come contenuto, può modificare, di conseguenza, il riassunto generato.

Differenze tra le interfacce Copilot

I ricercatori hanno valutato tre interfacce comuni di Copilot utilizzate per riassumere i contenuti delle e-mail: il pulsante “Summarize” di Outlook, il pannello di chat di Outlook Copilot e Copilot in Microsoft Teams.

I test hanno mostrato che, pur apparendo simili dal punto di vista dell’utente, le diverse interfacce presentavano comportamenti di sicurezza leggermente differenti. In alcuni casi, la funzione di riepilogo integrata in Outlook individuava istruzioni sospette e bloccava la generazione del riassunto, segnalando l’attivazione dei meccanismi di protezione.

In altri scenari — soprattutto in presenza di e-mail più lunghe e realistiche — il comportamento risultava meno coerente: alcuni riepiloghi venivano prodotti senza anomalie, mentre altri includevano frammenti di prompt injection.

L’interfaccia di Teams Copilot ha inoltre mostrato la maggiore propensione a riprodurre contenuti forniti dagli attaccanti. In questi casi, accanto a un riassunto apparentemente legittimo, veniva aggiunto testo influenzato dalle istruzioni nascoste incorporate nell’e-mail.

Quando i riassunti dell’IA diventano un canale di phishing

In uno degli scenari analizzati dai ricercatori di Permiso, gli attaccanti sono riusciti a incorporare istruzioni nascoste all’interno di un’e-mail, inducendo Copilot a inserire nel riassunto generato dall’IA messaggi ingannevoli in perfetto stile phishing, come “Azione richiesta” o “Avviso di sicurezza”.

Tali avvisi possono invitare l’utente a verificare presunte attività sospette sull’account o a “proteggere la propria identità”, spesso includendo un link o un pulsante che sollecita un’azione immediata.

Inoltre, il rischio aumenta in quanto il messaggio non appare come una normale e-mail, ma viene visualizzato all’interno del pannello di riepilogo generato da Copilot e può essere facilmente scambiato per una notifica di sistema legittima, piuttosto che per un contenuto manipolato da un attaccante.

Anche utenti abituati a diffidare di e-mail sospette potrebbero abbassare la guardia di fronte a un messaggio presentato da un assistente di IA integrato direttamente nel flusso di lavoro aziendale, percepito come affidabile per definizione.

I ricercatori precisano che, al momento, non vi sono evidenze di uno sfruttamento diffuso di questa tecnica in ambienti reali. Tuttavia, il proof-of-concept dimostra l’esistenza di un percorso di attacco realistico e mette in luce come gli strumenti di produttività basati su IA possano ampliare le opportunità di social engineering, qualora gli attaccanti riescano a influenzare l’output del modello.

Anche gli assistenti AI di Gmail introducono nuovi rischi per la sicurezza

Le tecniche di prompt injection non sono limitate a Microsoft Copilot e sono state rilevate anche in altre piattaforme di produttività, inclusi strumenti di IA integrati in Google Workspace.

In particolare, gli hacker stanno sfruttando, altresì, le nuove funzioni IA di Gmail – soprattutto attraverso la funzione dei riassunti – per ingannare gli utenti. La funzione al momento è disponibile solamente per chi ha sottoscritto un abbonamento a Google AI Pro.

DI fatto, gli hacker mirano ad ingannare Gemini, fornendo false informazioni che sono incluse nei riepiloghi e bypassando le barriere di sicurezza di Gmail, con un semplice ma efficace trucchetto.

Ovvero, nel contenuto fraudolento non vengono inseriti link o allegati, in modo da non far attivare i filtri anti-spam. L’e-mail arriva direttamente nella posta in arrivo dell’utente, senza destare alcun sospetto. Al suo interno, però, è presente un testo non visibile con codice malevolo, con carattere bianco e di dimensioni minime che Gemini è in grado di recepire quando analizza il contenuto per generare il riassunto AI. Solitamente si tratta di falsi avvisi sulla sicurezza, che invitano l’utente a chiamare uno specifico numero telefonico e che sembrano essere inviati direttamente da Google. Una volta compiuta questa attività, si rischia di perdere informazioni personali e denaro senza possibilità di recupero.

Pertanto, le organizzazioni che adottano assistenti AI dovrebbero assicurarsi che siano in atto controlli e supervisioni appropriati, affinché questi strumenti non rafforzino o amplifichino involontariamente le istruzioni fornite dagli attaccanti, oltre a considerare l’adozione di soluzioni zero trust per rafforzare la verifica dell’identità, i controlli di accesso e la protezione dei dati.

Phishing assistito dall’IA: come ridurre il rischio

È fondamentale che le organizzazioni riconoscano come gli assistenti di intelligenza artificiale di Microsoft e Gmail, pur offrendo significativi vantaggi in termini di produttività, introducano anche nuove implicazioni sul piano della sicurezza. Diventa quindi necessario adottare un approccio strutturato che includa l’implementazione di controlli multilivello, il monitoraggio dell’output dell’IA e la formazione degli utenti, al fine di ridurre i rischi di prompt injection e di phishing assistito dall’intelligenza artificiale.

Di seguito, alcune attività consigliate:

• Applicare le ultime patch Microsoft e testarle in un ambiente di staging prima di essere distribuite in produzione.
• Limitare l’accesso e i permessi a Copilot utilizzando principi di privilegio minimo, RBAC e politiche di accesso condizionato per limitare chi può utilizzare le funzionalità di sintesi AI e da quali dispositivi.
• Implementar regole di filtraggio delle e-mail che segnalano elementi HTML invisibili come o testo di dimensione zero del font.
• Limitare la capacità di Copilot di recuperare dati cross-application da fonti come Teams, OneDrive e SharePoint, salvo necessità, per ridurre l’impatto potenziale dei tentativi di prompt injection.
• Implementare controlli di sicurezza e-mail e filtraggio dei contenuti per rilevare istruzioni nascoste, tecniche di offuscamento HTML o pattern di inserimento di prompt incorporati nei contenuti delle e-mail.
• Monitorare l’attività di Copilot e Gmail in termini di riassunti generati dall’IA per individuare link sospetti, istruzioni insolite o output anomali utilizzando strumenti EDR/XDR e comportamentali.
• Programmare una formazione per gli utenti, per rendere il personale consapevole che i pannelli di riassunto generati dall’IA possono contenere contenuti influenzati dagli attaccanti e non sono notifiche intrinsecamente “generate dal sistema”.
• Testare regolarmente piani di risposta agli incidenti e utilizzare soluzioni di simulazione di attacchi con scenari di phishing basato su IA e attacchi prompt injection.

Conclusione

L’emergere di nuovi vettori di phishing legati ai riepiloghi generati dall’IA conferma come l’evoluzione delle minacce proceda parallelamente all’adozione delle tecnologie più avanzate.

Gli assistenti AI, ormai parte integrante dei flussi di lavoro quotidiani, non sono di per sé insicuri, ma contribuiscono ad ampliare la superficie di attacco, introducendo dinamiche che mettono alla prova i modelli di difesa tradizionali.

Di fatto, la sicurezza non può basarsi esclusivamente su controlli tecnici o automatismi. La capacità degli attaccanti di sfruttare la fiducia riposta negli strumenti di produttività evidenzia come il fattore umano resti un elemento centrale della catena di difesa. Anche le soluzioni più avanzate possono, infatti, risultare inefficaci se gli utenti non sono preparati a valutare criticamente contenuti e suggerimenti provenienti da interfacce percepite come autorevoli.

Per questo motivo, la formazione continua e le iniziative di awareness rappresentano una componente imprescindibile di qualsiasi strategia di cybersecurity. Non si tratta solo di riconoscere email sospette, ma di promuovere una cultura della sicurezza che includa l’uso consapevole degli strumenti basati su IA, la comprensione dei loro limiti e la capacità di mettere in discussione anche output apparentemente legittimi.

L’adozione responsabile dell’IA in ambito aziendale richiede, quindi, un equilibrio tra innovazione e spirito critico: investire nella formazione, aggiornare le policy di sicurezza e considerare l’IA come parte integrante del perimetro di rischio è, oggi, essenziale per evitare che strumenti progettati per aumentare la produttività diventino un nuovo punto di esposizione.

Si è da poco conclusa la terza edizione della CYBSEC EXPO a Piacenza. Guarda il recap finale della fiera!