Gli studiosi hanno dimostrato che GPT-4 può sfruttare il 87% delle vulnerabilità rispetto allo 0% degli altri modelli testati, come GPT-3.5, modelli open-source e scanner open-source di vulnerabilità.
Vulnerabilità non note a GPT-4
Undici delle vulnerabilità testate si sono verificate dopo il taglio dell’addestramento di GPT-4, il che significa che il modello non aveva acquisito dati su di esse durante l’addestramento. Il tasso di successo di GPT-4 per queste CVE è leggermente inferiore, pari al 82%, o 9 su 11.
Natura delle vulnerabilità
Le vulnerabilità testate riguardano vulnerabilità di siti web, vulnerabilità di container e pacchetti Python vulnerabili. Oltre la metà di esse è categorizzata come severità ‘alta’ o ‘critica’ dalla descrizione CVE.
Costi di un attacco di agente LLM
Kang e i suoi colleghi hanno calcolato il costo di un attacco di agente LLM con successo a $8.80 per exploit, che è circa 2,8x meno del costo di un tester di penetrazione umano per 30 minuti.
Best practice per la sicurezza
Kang ha sottolineato che la sicurezza attraverso l’oscurità non è sostenibile, e ha incoraggiato misure di sicurezza proattive come l’aggiornamento regolare dei pacchetti quando sono disponibili patch di sicurezza.
Suggerimenti e consigli
- Limitare l’accesso a informazioni di sicurezza sensibili per i modelli linguistici
- Implementare misure di sicurezza proattive come l’aggiornamento regolare dei pacchetti quando sono disponibili patch di sicurezza
- Monitorare attivamente i modelli linguistici per rilevare e mitigare eventuali exploit
- Collaborare con i fornitori di modelli linguistici per migliorare la sicurezza dei loro prodotti
GPT-4 di OpenAI può sfruttare vulnerabilità reali leggendo avvisi di sicurezza, secondo la ricerca. È importante adottare misure di sicurezza proattive e monitorare attivamente i modelli linguistici per mitigare i rischi di sicurezza.
Fonte: https://www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/
