Average pooling과 global average pooling

Average pooling과 global average pooling

---

Average pooling과 global average pooling은 모두 풀링 층에서 사용되는 기법으로, 입력 특성 맵의 크기를 줄이고 계산 비용을 줄이는 데 사용됩니다. 두 기법의 주요 차이점과 효과를 설명하겠습니다.

Average Pooling

Average pooling은 정해진 크기의 필터(또는 커널)를 사용하여 입력 특성 맵의 일정 부분을 평균화합니다. 이 과정을 통해 특성 맵의 크기를 줄이고, 다운샘플링된 출력을 생성합니다.

• 작동 방식: 예를 들어, 2x2 커널을 사용한 average pooling의 경우, 커널이 입력 특성 맵을 겹치지 않고 이동하면서 각 2x2 영역의 값들을 평균냅니다.
• 출력 크기: 커널 크기와 스트라이드(이동 간격)에 따라 출력 특성 맵의 크기가 결정됩니다.
• 효과:
  • 특성 맵의 크기를 줄여 계산량을 줄이고 메모리 사용을 감소시킵니다.
  • 지역적인 정보 손실을 줄이고, 더 높은 수준의 추상화를 제공할 수 있습니다.
  • 평균화 과정을 통해 작은 노이즈를 줄이고 안정적인 특징을 추출합니다.

---

Global Average Pooling

Global average pooling은 입력 특성 맵 전체에 대해 평균을 구하여, 각 특성 맵을 하나의 숫자로 축소합니다. 이는 전역적인 평균을 취하는 방식으로, 전역적인 정보 요약을 제공합니다.

• 작동 방식: 입력 특성 맵의 크기에 관계없이 각 채널의 모든 값을 평균내어 하나의 숫자를 출력합니다. 예를 들어, 7x7 특성 맵의 경우, 각 7x7 영역의 값을 평균내어 1x1 출력이 됩니다.
• 출력 크기: 항상 각 채널당 하나의 숫자로 축소됩니다.
• 효과:
  • 완전 연결층을 대체할 수 있어 모델 파라미터 수를 줄이고 과적합을 방지합니다.
  • 전역적인 문맥 정보를 요약하여 각 채널의 전체적인 의미를 학습할 수 있게 합니다.
  • 네트워크의 입력 크기에 유연하여 다양한 입력 크기에 대해 동일한 구조를 유지할 수 있습니다.

---

비교 및 사용 사례

• Average Pooling:
  • 중간 계층에서 자주 사용되어 특성 맵의 크기를 줄이고 지역적인 특징을 추출합니다.
  • 네트워크의 깊이와 복잡성을 제어하고, 과적합을 줄이는 데 도움을 줍니다.
• Global Average Pooling:
  • 네트워크의 마지막 계층에서 주로 사용되어 각 특성 맵의 전역적인 특징을 요약합니다.
  • 완전 연결층을 대체하여 파라미터 수를 크게 줄이고, 모델의 일반화 능력을 향상시킵니다.
  • 주로 이미지 분류 작업에서 널리 사용됩니다. 예를 들어, ResNet과 같은 최신 아키텍처에서 많이 사용됩니다.

---

참고 자료

• https://www.deeplearningbook.org/ 
• https://cs231n.github.io/
• https://blog.paperspace.com/global-pooling-in-convolutional-neural-networks/

이렇게 average pooling과 global average pooling의 차이점과 효과를 이해하면, 딥러닝 모델을 설계할 때 각 기법을 적절히 사용할 수 있습니다.