Per oltre 20 anni, le liste dei 10 principali rischi dell’Open Worldwide Application Security Project (OWASP) sono state un punto di riferimento nella lotta per rendere il software più sicuro. Nel 2023, OWASP ha presentato una nuova aggiunta: un riepilogo dei rischi specifici dell’IA. Due bozze della lista dei rischi dell’IA sono state pubblicate nella primavera/estate di quell’anno, con una versione formale 1 rilasciata a ottobre.
Da allora, gli LLM sono diventati sempre più radicati come strumenti di produttività aziendale. La maggior parte delle aziende sta utilizzando o esplorando l’uso dell’IA e, mentre alcune passività sono ben note, come la necessità di controllare sempre il lavoro di un LLM, altre restano sotto il radar.
Abbiamo effettuato alcune analisi e abbiamo scoperto che le vulnerabilità identificate da OWASP rientrano sostanzialmente in tre categorie:
- Rischi di accesso associati a privilegi sfruttati e azioni non autorizzate.
- Rischi dei dati come la manipolazione dei dati o la perdita di servizi.
- Rischi reputazionali e aziendali derivanti da azioni o output di intelligenza artificiale errati.
In questo blog analizzeremo più da vicino i rischi specifici di ogni caso e forniremo alcuni suggerimenti su come gestirli.
1. Rischi di accesso con l’intelligenza artificiale
Delle 10 vulnerabilità elencate da OWASP, tre sono specifiche per l’accesso e l’uso improprio dei privilegi: progettazione di plugin non sicura, gestione di output non sicura, E agenzia eccessiva.
Secondo OWASP, un LLM che usa insecure potrebbe perdere il controllo di accesso, esponendolo a richieste malevole o all’esecuzione di codice remoto non autorizzato. D’altro canto, plugin o applicazioni che gestiscono un modello linguistico di grandi dimensioni uscite in modo non sicuro, senza valutarli, potrebbero esporre i sistemi backend ad attacchi XSS, CSRF e SSRF che eseguono azioni indesiderate, nonché a escalation di privilegi non autorizzati ed esecuzione di codice remoto.
E poiché i chatbot AI sono “attori” in grado di prendere e implementare decisioni, è importante quanta libertà (vale a dire, agency) viene loro concessa. Come spiega OWASP, “Excessive Agency è la vulnerabilità che consente di eseguire azioni dannose in risposta a output inaspettati/ambigui da un LLM (indipendentemente da ciò che sta causando il malfunzionamento dell’LLM; che si tratti di allucinazione/confabulazione, iniezione di prompt diretta/indiretta, plugin dannoso, prompt benigni mal progettati o semplicemente un modello con prestazioni scadenti)”.
Ad esempio, un assistente personale per la lettura della posta elettronica con funzionalità di invio di messaggi potrebbe essere sfruttato da un’e-mail dannosa per propagare spam dall’account di un utente.
In tutti questi casi, il modello linguistico di grandi dimensioni diventa un canale attraverso cui i malintenzionati possono infiltrarsi nei sistemi.
2. Rischi legati all’intelligenza artificiale e ai dati
Dati di allenamento avvelenati, vulnerabilità della catena di fornitura, divulgazione di informazioni sensibili, vulnerabilità di iniezione rapida E dinieghi di servizio sono tutti rischi specifici dell’IA legati ai dati.
I dati possono essere avvelenati deliberatamente da malintenzionati e inavvertitamente quando un sistema AI impara da fonti inaffidabili o non verificate. Entrambi i tipi di avvelenamento possono verificarsi all’interno di un’applicazione chatbot AI attiva o emergere dalla supply chain LLM, dove l’affidamento a modelli pre-addestrati, dati crowdsourcing ed estensioni di plugin non sicure può produrre output di dati distorti, violazioni della sicurezza o guasti del sistema.
I dati avvelenati e la supply chain sono preoccupazioni di input. Consentire informazioni private, riservate, di identificazione personale e simili nei dati di training del modello può anche comportare divulgazioni indesiderate di informazioni sensibili.
Con iniezioni rapide, input malintenzionati potrebbero far sì che un chatbot AI con un modello linguistico di grandi dimensioni esponga dati che dovrebbero essere mantenuti privati o esegua altre azioni che potrebbero compromettere i dati.
Gli attacchi denial of service dell’IA sono simili ai classici attacchi DOS. Possono mirare a sopraffare un ampio modello linguistico e privare gli utenti dell’accesso a dati e app oppure, poiché molti chatbot dell’IA si basano su infrastrutture IT pay-as-you-go, forzare il sistema a consumare risorse eccessive e accumulare costi enormi.
3. Rischi reputazionali e aziendali associati all’IA
Le ultime due vulnerabilità OWASP riguardano furto di modello E eccessivo affidamento all’intelligenza artificiale. Il primo si applica quando un’organizzazione ha il suo modello LLM proprietario. Se tale modello viene consultato, copiato o esfiltrato da utenti non autorizzati, potrebbe essere sfruttato per danneggiare le prestazioni di un’azienda, svantaggiarla in termini di concorrenza e potenzialmente causare una fuga di informazioni sensibili.
L’eccessiva dipendenza dall’intelligenza artificiale sta già avendo conseguenze in tutto il mondo oggi. Non mancano storie su grandi modelli linguistici che generano output falsi o inappropriati da citazioni inventate e precedenti legali A razzista e sessista lingua.
OWASP sottolinea che affidarsi ai chatbot AI senza un’adeguata supervisione può rendere le organizzazioni vulnerabili alla pubblicazione di informazioni errate o contenuti offensivi che possono danneggiare la reputazione o addirittura causare azioni legali.
Considerati tutti questi rischi, la domanda diventa: “Cosa possiamo fare al riguardo?” Fortunatamente, ci sono alcune misure protettive che le organizzazioni possono adottare.
Cosa possono fare le aziende per affrontare le vulnerabilità dell’IA
Dal nostro punto di vista in Trend Micro, la difesa dai rischi di accesso all’IA richiede una posizione di sicurezza zero-trust con separazione disciplinata dei sistemi (sandboxing). Anche se l’IA generativa può sfidare le difese zero-trust in modi in cui altri sistemi IT non lo fanno, perché può imitare entità attendibili, una posizione zero-trust aggiunge comunque controlli ed equilibri che semplificano l’identificazione e il contenimento delle attività indesiderate. OWASP consiglia inoltre che i modelli di linguaggio di grandi dimensioni “non dovrebbero auto-polizia” e richiede che i controlli siano incorporati nelle interfacce di programmazione delle applicazioni (API).
Il sandboxing è fondamentale anche per proteggere la privacy e l’integrità dei dati: mantiene le informazioni riservate completamente separate dai dati condivisibili e le rende inaccessibili ai chatbot di intelligenza artificiale e ad altri sistemi accessibili al pubblico.
Una buona separazione dei dati impedisce che i modelli linguistici di grandi dimensioni includano informazioni private o personali identificabili negli output pubblici e che vengano pubblicamente sollecitati a interagire con applicazioni sicure, come i sistemi di pagamento, in modi inappropriati.
Sul fronte della reputazione, i rimedi più semplici sono non affidarsi esclusivamente ai contenuti o al codice generati dall’intelligenza artificiale e non pubblicare o utilizzare mai i risultati dell’intelligenza artificiale senza prima verificare che siano veritieri, accurati e affidabili.
Molte di queste misure difensive possono, e dovrebbero, essere integrate nelle policy aziendali. Una volta che è stata messa in atto una base di policy appropriata, le tecnologie di sicurezza come endpoint detection and response (EDR), rilevamento e risposta estesi (XDR)e la gestione degli eventi e delle informazioni sulla sicurezza (SIEM) può essere utilizzata per l’applicazione delle misure di sicurezza e per monitorare attività potenzialmente dannose.
I chatbot AI con modelli linguistici di grandi dimensioni sono qui per restare
Il catalogo dei rischi dell’IA di OWASP dimostra che le preoccupazioni sulla corsa all’adozione dell’IA sono ben giustificate. Allo stesso tempo, l’IA non sta chiaramente andando da nessuna parte, quindi comprendere i rischi e adottare misure responsabili per mitigarli è di fondamentale importanza.
Impostare le giuste policy per gestire l’uso dell’IA e implementare tali policy con l’aiuto di soluzioni di sicurezza informatica è un buon primo passo. Così come tenersi informati. Per come la vediamo noi di Trend Micro, la top 10 AI risk list di OWASP è destinata a diventare una lettura annuale obbligatoria tanto quanto lo è stata la sua lista originale di sicurezza delle applicazioni dal 2003.
