Convolutional Neural Networks

In questo esonero è chiesto agli studenti di studiare le reti convoluzionali.

• Scegliere un topic
• Preparare delle slides dettagliate (max 15) che lo descrivono
• Preparare un notebook in cui:
  • si implementa quello che è richiesto
  • si illustrano i risultati e la loro valutazione

Gli studenti interessati ad effettuare l’esonero dovranno mandare una mail al docente indicando, in ordine di priorità, tre scelte dalla lista di cui sotto. Le assegnazioni verranno comunicate a lezione. La deadline per la consegna degli elaborati è il 10 maggio 2020.

GoogLeNet

1. Scegliere una delle seguenti varianti di GoogLeNet e implementarla, riaddestrando la rete su CIFAR-10 e mostrando i risultati.
   • Utilizzare i layer di batch normalization [Ioffe & Szegedy, 2015]
   • Effettuare gli aggiustamenti all’inception block suggeriti in [Szegedy et al., 2016].
   • effettuare gli aggiustamenti alle residual connections suggerite in [Szegedy et al., 2017],
2. Qual’è la dimensione minima richiesta per l’immagine di input in GoogLeNet?

• Ioffe, S., & Szegedy, C. (2015). Batch normalization: accelerating deep network training by reducing internal covariate shift. arXiv preprint arXiv:1502.03167.
• Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J., & Wojna, Z. (2016). Rethinking the inception architecture for computer vision. Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2818–2826).
• Szegedy, C., Ioffe, S., Vanhoucke, V., & Alemi, A. A. (2017). Inception-v4, inception-resnet and the impact of residual connections on learning. Thirty-First AAAI Conference on Artificial Intelligence.

ResNet

1. Nelle versioni successive di ResNet, gli autori hanno cambiato l’architettura da “convolution, batch normalization, activation” in “batch normalization, activation, convolution”. Studia gli effetti di questo cambiamento nell’implementazione proposta in classe, ristrutturando la rete e riaddestrandola su CIFAR-10. [He et al., 2016]
2. Qual’è la dimensione minima richiesta per l’immagine di input in ResNet ?

• He, K., Zhang, X., Ren, S., & Sun, J. (2016). Identity mappings in deep residual networks. European conference on computer vision (pp. 630–645).

Saliency Maps using Flashtorch

Studiare l’articolo [Simonyan et al, 2014] e il package flashtorch e usalo su alcune reti preaddestrate (VGG16, GoogLeNet, ResNet).

• Karen Simonyan, Andrea Vedaldi, Andrew Zisserman. Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps. ICLR2014
• Visualize image specific class saliency with backprop

Alternative alla Batch Normalization

Prendere come riferimento la rete VGG16. Si studino gli effetti della normalizzazione riaddestrando la rete su CIFAR-10:

1. Aggiungendo Batch Normalization
2. Aggiungendo Local Response Normalization
3. Implementando la tecnica di Group Normalization descritta in [Wu et al, 2018]

• Y. Wu, K. He. Group Normalization.
• An alternative to Batch Normalization

Assegnazioni

• Costa Davide Alternative alla Batch Normalization
• Azzato Saverio GoogleLeNet (aggiustamenti all’inception block)
• Sergi Alfredo GoogLeNet (aggiustamenti alle residual connection)
• De Prete Alessandra Saliency Maps using Flashtorch
• Prospero Papaleo ResNet
• Lavecchia Umberto Mattia GoogLeNet (con studio sulla batch normalization)

Risultati