CNN

0. Convolutional Neural Network

이미지 인식과 음성 인식 등 다양한 곳에서 사용된다.
CNN의 네트워크는 합성곱 계층 convolutional layer 와 풀링 계층 pooling layer 를 포함한다.

1. Convolutional layer

완전연결 층 fully connected layer 와 비교했을 때 CNN의 장점은 입력받는 데이터의 형상을 유지할 수 있다는 점이다.
완전연결 층에서는 1차원 형태의 데이터를 입력으로 받는다. 따라서 이미지와 같은 3차원 데이터의 경우, 데이터를 1줄로 세워서 1차원으로 평평하게 변환한 뒤 사용한다.
반면 CNN에서는 3차원 데이터를 그대로 입력받을 수 있다.
이렇게 차원을 유지함으로써 만약 이미지 데이터라면 해당 이미지의 정보를 잃지 않고 유지할 수 있다.

CNN에서는 합성곱 계층의 입출력 데이터를 특징 맵 feature map 이라고 표현하기도 한다.

합성곱 층에서는 합성곱 연산 이 이루어진다. 입력 데이터에 필터를 적용하는 것인데 이 필터를 커널 이라 표현하기도 한다.

합성곱 연산

완전연결 신경망에서와 마찬가지로 CNN에도 가중치 매개변수와 편향이 존재한다.
합성곱 연산시 필요한 하이퍼파라미터들이 있다.

• 패딩 padding
  
  합성곱 연산을 수행하기 전에 입력 데이터 주변을 특정 값으로 채우는 것을 패딩 이라 한다.
  패딩을 통해 출력 크기를 조정할 수 있으며 패딩을 크게하면 출력 크기가 커진다.
  심층 신경망에서는 합성곱 연산이 반복해서 이루어지기 때문에 출력 크기가 너무 작아지면 안 된다. 예를 들어 출력 크기가 1이 되어버리면 더는 합성곱 연산을 진행할 수 없다. 이러한 상황을 막기 위해 패딩을 사용한다.
  

• 스트라이드 stride
  
  패딩을 적용하는 위치의 간격을 스트라이드라고 한다.
  스트라이드를 키우면 출력의 크기는 작아진다.
  
  

2. Pooling layer

풀링은 가로, 세로 방향의 공간을 줄이는 연산이다.
최대 풀링, 평균 풀링 등이 있다.
이때 풀링의 윈도우 크기와 스트라이드는 같은 값으로 설정하는 것이 보통이다.

3. CNN 시각화

여러 개의 레이어로 이루어진 CNN에서 각 레이어에서는 어떤 정보가 추출될까.
초기에는 edge나 blob (덩어리) 등의 저수준 정보 low-level feature 가 추출된다.
레이어가 깊어질수록 더 복잡하고 추상적인, high level feature 가 추출된다.

Reference

밑바닥부터 시작하는 딥러닝