Secure ML Demo è stata parzialmente sviluppata grazie ai finanziamenti dell'Unione Europea, Progetto ALOHA, Horizon 2020 Research and Innovation programme, grant agreement N° 780788.

Questa demo consente di valutare il livello di sicurezza di una rete neurale rispetto alle perturbazioni worst-case dell’input [1]. Aggiungendo questa perturbazione mirata nei dati in input, un attaccante ha modo di creare gli adversarial example ed effettuare attacchi evasivi contro la rete neurale [2]. Il primo passo per difendere il sistema è quello di valutare l’efficacia di questi attacchi. Il processo di valutazione della sicurezza consiste nel monitorare l’accuratezza del sistema contro livelli crescenti della massima perturbazione, al fine di creare una curva rappresentante la valutazione. Questa curva, che mostra il calo di prestazione del sistema all’aumentare della perturbazione, può essere utilizzata direttamente dal progettista per scegliere l’architettura della rete o le contromisure da applicare al sistema. L’utente può inoltre generare e visualizzare gli adversarial example e osservare come la perturbazione modifichi l’output della rete.
Per maggiori dettagli sui diversi algoritmi di attacco alle reti neurali e sulle difese applicabili, si rimanda alla lettura di Biggio e Roli [3].

[1] Szegedy et al., Intriguing Properties of Neural Networks, ICLR 2014
[2] Biggio et al., Evasion attacks against ML at test time, ECML PKDD 2013
[3] Biggio and Roli, Wild Patterns: Ten Years after the Rise of Adversarial Machine Learning, Patt. Rec., 2018