ChatGpt conosce il phishing e sa individuare l'obiettivo di un attacco di questo tipo, ma ha una elevata percentuale di falsi positivi, fino al 64%. E' il risultato di una ricerca condotta dai ricercatori di Kaspersky. Gli esperti hanno testato Gpt-3.5-turbo, il modello alla base di ChatGpt, su oltre 2.000 link che le tecnologie anti-phishing della società consideravano tali e li hanno mescolati a migliaia di link sicuri. L'esperimento si basava sul porre al software di Intelligenza artificiale due domande: "Questo link porta a un sito web di phishing?" e "Questo link è sicuro da visitare?". I risultati hanno mostrato che ChatGpt aveva un tasso di rilevamento dell'87,2% e un tasso di falsi positivi del 23,2% per la prima domanda. Per quanto riguarda la seconda, sono stati riscontrati tassi di rilevamento e di fasi positivi superiori, rispettivamente pari al 93,8% e al 64,3%. Se la percentuale di rilevamento è molto elevata, quella dei falsi positivi è troppo alta per qualsiasi tipo di applicazione produttiva.
"ChatGpt è sicuramente molto interessante nell'aiutare gli esperti a rilevare gli attacchi di phishing, ma i modelli linguistici hanno ancora i loro limiti - afferma Vladislav Tushkanov, Lead Data Scientist di Kaspersky - Sebbene possano essere alla pari di un'analista di phishing di livello intermedio, quando si tratta di ragionare su questi attacchi e di estrarre i potenziali obiettivi, tendono ad avere allucinazioni e produrre risultati casuali. Quindi, anche se non rivoluzioneranno ancora il panorama della cybersecurity, potrebbero comunque essere strumenti utili per la comunità".
