Una vulnerabilità in Claude Desktop invia automaticamente prompt pericolosi agli agenti AI

Immagina di cliccare su un semplice link in un messaggio o in una pagina web e, senza che tu lo sappia o lo autorizzi, il tuo assistente AI inizia a eseguire comandi dannosi. Questo è esattamente ciò che permetteva una vulnerabilità recently scoperta nell’applicazione desktop di Claude, sviluppata da Anthropic. La falla, chiamata “PromptFiction”, rappresenta un nuovo livello di rischio per gli utenti di agenti AI, poiché elimina la necessità che l’utente premia il tasto “Invio” per attivare un attacco.

La soluzione immediata è semplice e fondamentale: se utilizzi Claude Desktop, aggiorna immediatamente alla versione 1.1.2321 o successiva. Anthropic ha già corretto il problema, quindi assicurarsi di avere l’ultima versione installata è la protezione più efficace per evitare qualsiasi rischio di sicurezza. Non è necessario disinstallare l’applicazione né cambiare le tue impostazioni, basta verificare che l’aggiornamento sia completo.

Questa vulnerabilità dimostra come la sicurezza degli agenti AI sia diventata una sfida complessa. Gli ricercatori di Oasis Security hanno identificato che Claude Desktop registra un protocollo URI personalizzato, “claude://”. Quando un utente clicca su un link che utilizza questo protocollo, l’applicazione desktop si apre automaticamente e invia immediatamente un prompt preparato dall’attaccante all’agente AI, senza alcuna possibilità per l’utente di leggere o revocare l’azione. Questo elimina il classico meccanismo di sicurezza che richiede l’approvazione umana tramite il tasto Invio, rendendo l’attacco completamente silenzioso e automatico.

Conseguenze potenziali per la sicurezza

Se un attaccante avesse sfruttato questa vulnerabilità in combinazione con altre falle precedentemente scoperte, chiamate “Claudy Day”, le conseguenze per un utente potrebbero essere estremamente gravi. L’attacco completo avrebbe permesso:

• Esfiltrazione silenziosa delle conversazioni precedenti dell’utente, inclusi dati sensibili e informazioni private;
• Accesso completo ai file locali (leggi e scrittura) se il Filesystem Server ufficiale di Anthropic è installato;
• Persistenza dell’attacco sul sistema, permettendo all’aggressore di mantenere il controllo nel tempo;
• Esecuzione di codice remoto sulla macchina dell’utente, trasformando il dispositivo in un punto di controllo per ulteriori attacchi.

La particolarità di PromptFiction è che non richiede l’interazione dell’utente oltre al clic iniziale. Un singolo clic su un link presente in un browser, un messaggio di chat, un documento o un risultato di ricerca è sufficiente per inserire istruzioni create dall’attaccante davanti all’agente AI e farle eseguire immediatamente.

Come funziona tecnicamente l’attacco

Il protocollo “claude://” è progettato per consentire a siti web o altre applicazioni di creare collegamenti diretti verso l’applicazione desktop di Claude. Sebbene questa funzionalità sia utile per l’integrazione, rappresenta anche una fonte classica di rischio di sicurezza. Il contesto che invia il comando (come una pagina web, un’email o un messaggio di chat) è spesso influenzabile da un attaccante, mentre l’applicazione che riceve il comando tende a fidarsi troppo degli argomenti ricevuti.

Per ridurre il sospetto dell’utente, il prompt dannoso è spesso “padded” (aggiunto) con testo benigno. Questo sfrutta il comportamento di raggruppamento dei messaggi di Claude, nascondendo le istruzioni dannose sotto la parte visibile della conversazione. L’utente vede solo una richiesta innocua, a meno che non espanda manualmente il messaggio contrattato per vedere il contenuto completo.

Una volta eseguito, il prompt nascosto instrada Claude a eseguire azioni per conto dell’attaccante. Questo è già un attacco di iniezione di prompt affidabile. Tuttavia, come descritto, quando combinato con le falle di “Claudy Day”, le istruzioni iniettate possono eseguire attività dannose più gravi, tra cui l’accesso alla storia delle conversazioni private, al codice sorgente, ai documenti interni o persino l’esecuzione di codice remoto.

La risposta di Anthropic e il processo di divulgazione

Oasis Security ha segnalato la sua scoperta ad Anthropic attraverso il Programma di Divulgazione Responsabile dell’azienda di AI. Il problema è stato corretto nella versione 1.1.2321 di Claude Desktop. L’azienda ha riconosciuto rapidamente la vulnerabilità e ha implementato le correzioni necessarie.

È importante notare che Oasis ha riconosciuto che la sua ricerca su PromptFiction era un doppio scoprimento. Un altro ricercatore aveva segnalato indipendentemente lo stesso problema ad Anthropic, ma ha scelto di non pubblicare i suoi risultati. Oasis ha ringraziato questo ricercatore per il suo lavoro e ha dichiarato che non rivendica la scoperta esclusiva.

La divulgazione responsabile di PromptFiction e la sua rapida correzione sono considerate un “risultato positivo”, anche se la falla stessa avrebbe potuto evolvere da una semplice esposizione di dati a un potenziale esecuzione di codice sulla macchina dell’utente, come osservato Randolph Barr, CISO di Cequence Security.

Il ritmo accelerato della sicurezza AI

Il fatto che questa vulnerabilità sia esistita dimostra come l’intelligenza artificiale sta accelerando la corsa tra ricercatori e attaccanti per scoprire lacune di sicurezza nelle tecnologie emergenti. Gli stessi modelli che aiutano i difensori stanno anche aiutando gli attaccanti a trovare e armeggiare le falle più rapidamente. Questo significa che il periodo tra l’esistenza di una vulnerabilità e la distribuzione di una correzione è esattamente il momento in cui le organizzazioni sono più esposte.

Elad Luz, responsabile della ricerca di Oasis, sottolinea che il vecchio modello di una persona che revisiona attentamente ogni rilascio non sopravvive al contatto con questa velocità. La migliore strategia per proteggere gli agenti AI e altre applicazioni è riportare gli stessi strumenti AI sul problema, utilizzandoli per revisionare e proteggere ciò che viene distribuito con la stessa velocità con cui viene distribuito.

Stare al passo con i rischi degli agenti AI

Con le capacità dell’AI che accelerano a un ritmo senza precedenti, sembra solo una questione di tempo prima che gli agenti AI iniziassero a trovare modi per aggirare le protezioni integrate dei loro sistemi. PromptFiction è un esempio di questo fenomeno.

John Gallagher, vicepresidente di Viakoo, consiglia alle organizzazioni di vedere gli agenti AI come una forma di “shadow IT”, simile alle tecnologie operative (OT) e ai dispositivi IoT che sono gestiti fuori dall’IT tradizionale. Spesso hanno privilegi ma possono anche consentire il movimento laterale nelle reti aziendali e nei sistemi di storage.

La governance dell’AI è chiaramente carente in questo settore. La gestione delle identità non umane è nelle sue fasi iniziali, e questo è un esempio di come l’AI sta andando avanti rispetto ai controlli appropriati. Invece di concentrarsi esclusivamente sulle vulnerabilità individuali, i difensori dovrebbero costruire controlli di sicurezza attorno agli agenti stessi, posizionando un livello di inspection e policy tra gli agenti AI e tutto ciò che comunicano.

In pratica, questo significa monitorare e governare il traffico API degli agenti per rilevare o bloccare trasferimenti di dati sospetti, limitare quali destinazioni e credenziali API gli agenti possono accedere, rilevare comportamenti anomali e mantenere un inventario degli agenti AI, dei server MCP e dei plug-in distribuiti nell’ambiente.

Technical Deep Dive

Meccanismo di iniezione diretta tramite URI personalizzato

La vulnerabilità PromptFiction sfrutta il registro di un protocollo URI personalizzato claude:// nell’applicazione desktop di Claude. Questo protocollo è progettato per consentire il deep-linking verso l’applicazione desktop, ma viene utilizzato in modo non sicuro per l’invio di prompt.

Flusso di attacco dettagliato:

1. Creazione del link malevolo: L’attaccante crea un URL con il formato claude://?prompt=<payload_dannoso>.
2. Distribuzione: Il link viene distribuito tramite qualsiasi mezzo (sito web, email, chat, documento, risultato di ricerca).
3. Clic dell’utente: Quando l’utente clicca sul link, il sistema operativo invia l’URL all’applicazione desktop di Claude.
4. Esecuzione automatica: L’applicazione desktop apre automaticamente una nuova conversazione e invià il prompt preparato senza richiedere l’approvazione dell’utente.
5. Nessuna revisione: L’utente non ha alcuna opportunità di revisionare o revocare il prompt prima dell’esecuzione.

Tecnica di padding per ridurre il sospetto

Per evitare che l’utente si accorga dell’iniezione, il payload dannoso è preceduto da testo benigno che sfrutta il comportamento di folding dei messaggi di Claude:

[TESTO BENIGNO VISIBLE]

[TESTO DANNO SO NASCOSTO - visibile solo dopo l'espansione]

Il testo dannoso contiene istruzioni per:

• Esportare la storia delle conversazioni
• Leggere/scrivere file locali (se Filesystem Server installato)
• Eseguire codice remoto
• Mantenere la persistenza dell’attacco

Combinazione con Claudy Day

Quando PromptFiction è combinato con le vulnerabilità di Claudy Day, l’attacco diventa completo:

Risultato combinato: Esfiltrazione silenziosa di dati, accesso completo ai file, persistenza e esecuzione di codice remoto.

Mitigazioni consigliate per sviluppatori

Dal punto di vista della piattaforma Claude, le mitigazioni raccomandate includono:

1. Non inserire istruzioni nei risultati degli strumenti: Claude tratta il contenuto dei risultati degli strumenti come dati non attendibili.
2. Limitare l’accesso ai dati sensibili: Applicare il principio del privilegio minimo.
3. Screening degli output degli strumenti: Applicare lo stesso pattern di filtraggio usato per l’input utente ai contenuti restituiti dagli strumenti.
4. Red-teaming dell’agente: Testare il workflow con documenti, email e output di strumenti che contengono deliberatamente tentativi di injection.
5. Analisi regolare degli output: Monitorare i segni di iniezione riuscita e refine iterativamente le strategie di validazione e filtraggio.

Considerazioni sulla sicurezza dei protocolli URI

I protocolli URI personalizzati sono convenienti per il deep-linking, ma rappresentano una classica fonte di rischio perché:

• Il contesto di lancio (pagina web, email, chat) è frequentemente influenzabile da attaccanti
• L’applicazione ricevente spesso fidarsi troppo degli argomenti ricevuti
• Non esiste un meccanismo di approvazione utente nativo per l’invio di dati tramite URI

La soluzione migliore è implementare un livello di validazione e policy tra l’applicazione e il contesto di lancio, monitorando il traffico e bloccando le richieste sospette.

Fonte: https://www.darkreading.com/vulnerabilities-threats/claude-flaw-malicious-prompts-ai-agents