Introdução CNNs Usos médicos Referências
Aplicações de Deep Learning em Análise de Imagens Médicas
Vinicius Pavanelli Vianna
FAMB - FFCLRP - USP
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Capa CNNs Motivações Usos médicos Tipos de imagens médicas Referências
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Capa CNNs Motivações Usos médicos Tipos de imagens médicas Referências
O uso de registros eletrônicos de pacientes quadruplicaram, passando de 11,8% para 39,6% entre 2007 e 2012 Radiologistas são limitados por velocidade, fadiga e experiência, podendo cometer erros ou demorarem demais
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Capa CNNs Motivações Usos médicos Tipos de imagens médicas Referências
Figura: TC do cérebro mostrando um derrame no lado esquerdo, MRI mostrando um tumor no lado esquerdo, um raio-X normal do peito, CT normal do pulmão e slide de histologia mostrando um glioma (tumor cerebral)
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
CNN são redes neurais convolutivas originadas no Neocognitron (Fukushima, 1980) Formalizadas e melhoradas por (LeCun et al., 1989), que utilizou CNNs para reconhecer dígitos em CEPs Seu uso foi muito difundido após (Krizhevsky, Sutskever e Hinton, 2012) ganhar a competição 2012 Imagenet Large Scale Visual Recognition Challenge (ILSVRC) com apenas 16,7% de erros, o segundo lugar teve 26%.
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Neocognitron Proposto por Kunihiko Fukushima em 1980 nos laboratórios de pesquisa cientí ca da NHK Broadcasting Foi uma melhoria do seu cognitron feito em 1975, mas que dependia dos caracteres estarem posicionados corretamente Organizado em várias camadas com propriedades especí cas (S-Cells e C-Cells) Continha 34.980 neurônios
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Figura: Fonte: https://www.youtube.com/watch?v=Qil4kmvm2Sw Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Figura: Ilustração do neocognitron de (Fukushima, 1988)
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Figura: Ilustração do neocognitron de (Fukushima, 1988)
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Alguns números da rede da AlexNet (SuperVision) Foi treinada por duas semanas em duas GPUs NVIDIA usando gradiente descendente 650.000 neurônios 60.000.000 parâmetros 630.000.000 conexões 10.000.000 de imagens com mais de 10.000 categorias 16,7% de erro na ImageNet (ILSVRC 2012) Escrita em Python / C++ / CUDA Fonte: http: //image-net.org/challenges/LSVRC/2012/supervision.pdf
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Figura: Ilustração da AlexNet de (Krizhevsky, Sutskever e Hinton, 2012)
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Figura: Características extraídas da imagem pela camada CONV1
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Figura: Características extraídas da imagem pela camada POOL1
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Figura: Características extraídas da imagem pela camada CONV2
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Figura: Características extraídas da imagem pela camada POOL2
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Figura: Características extraídas da imagem pela camada CONV3
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Figura: Características extraídas da imagem pela camada CONV4
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Figura: Características extraídas da imagem pela camada CONV5
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Figura: Características extraídas da imagem pela camada POOL3
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Figura: Ilustração da AlexNet de (Krizhevsky, Sutskever e Hinton, 2012)
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Alguns números da rede da GoogleNet 22 camadas 5 milhões de parâmetros, 12x menos que a AlexNet Necessita de 2x o poder computacional que a AlexNet 6,7% de erro na ImageNet (ILSVRC 2014) Não possui camadas totalmente conectadas (FC - Fully Connected) Fonte: (Szegedy et al., 2014) e http://image-net.org/ challenges/LSVRC/2014/slides/GoogLeNet.pptx
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução Introdução CNNs Neocognitron Usos médicos AlexNet Referências GoogleNet
Googlenet (Szegedy et al., 2014) - 22 camadas
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução CNNs Shin, H.C. et al Usos médicos LIAO, FANGZHOU et al. Referências
(Shin et al., 2016) Detecção assistida por computador usando CNNs profundas Testou a técnica de transferência de aprendizado com sucesso Alcançou o estado da arte em detecção de nodos linfáticos tóraco-abdominais Reportou o primeiro resultado de classi cação com validação cruzada de doença intersticial pulmonar
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução CNNs Shin, H.C. et al Usos médicos LIAO, FANGZHOU et al. Referências
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução CNNs Shin, H.C. et al Usos médicos LIAO, FANGZHOU et al. Referências
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução CNNs Shin, H.C. et al Usos médicos LIAO, FANGZHOU et al. Referências
(Liao et al., 2017) Venceu o Data Science Bowl 2017 da kaggle, com um prêmio de US$ 500.000,00 Analisou cerca de 2000 imagens TC de pulmão Para contornar o problema de memória das GPU em virtude do tamanho dos dados das imagens em 3D usou uma abordagem em duas etapas, a primeira localizava as regiões da imagem que continham nódulos a segunda classi cava a probabilidade de câncer
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução CNNs Shin, H.C. et al Usos médicos LIAO, FANGZHOU et al. Referências
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução CNNs Shin, H.C. et al Usos médicos LIAO, FANGZHOU et al. Referências
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução CNNs Usos médicos Referências
FUKUSHIMA, KUNIHIKO (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaected by shift in position. Em: Biological Cybernetics 36.4, pp. 193202. ISSN: 1432-0770. DOI: 10.1007/BF00344251. URL: https://doi.org/10.1007/BF00344251. FUKUSHIMA, KUNIHIKO (1988). Neocognitron: A hierarchical neural network capable of visual pattern recognition. Em: Neural Networks 1.2, pp. 119 130. ISSN: 0893-6080. DOI: https://doi.org/10.1016/0893-6080(88)90014-7. URL: http://www.sciencedirect.com/science/article/pii/ 0893608088900147.
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução CNNs Usos médicos Referências
KRIZHEVSKY, ALEX, ILYA SUTSKEVER e GEOFFREY E HINTON (2012). ImageNet Classi cation with Deep Convolutional Neural Networks. Em: Advances in Neural Information Processing Systems 25. Ed. por F. PEREIRA et al. Curran Associates, Inc., pp. 10971105. URL: http: //papers.nips.cc/paper/4824-imagenet-classification- with-deep-convolutional-neural-networks.pdf. LECUN, Y. et al. (1989). Backpropagation Applied to Handwritten Zip Code Recognition. Em: Neural Computation 1.4, pp. 541551. ISSN: 0899-7667. DOI: 10.1162/neco.1989.1.4.541. LIAO, FANGZHOU et al. (2017). Evaluate the Malignancy of Pulmonary Nodules Using the 3D Deep Leaky Noisy-or Network. Em: CoRR abs/1711.08324. arXiv: 1711.08324. URL: http://arxiv.org/abs/1711.08324.
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas Introdução CNNs Usos médicos Referências
SHIN, H. C. et al. (2016). Deep Convolutional Neural Networks for Computer-Aided Detection: CNN Architectures, Dataset Characteristics and Transfer Learning. Em: IEEE Transactions on Medical Imaging 35.5, pp. 12851298. ISSN: 0278-0062. DOI: 10.1109/TMI.2016.2528162. SZEGEDY, CHRISTIAN et al. (2014). Going Deeper with Convolutions. Em: CoRR abs/1409.4842. arXiv: 1409.4842. URL: http://arxiv.org/abs/1409.4842.
Vinicius Pavanelli Vianna Deep Learning em Imagens Médicas