학습 자료
활성화 함수 비교 - 시그모이드, ReLU, 소프트맥스
활성화 함수는 인공 신경망에서 입력값을 변환해 다음 층으로 전달하는 역할을 합니다.
지금까지 학습한 시그모이드(Sigmoid), ReLU(Rectified Linear Unit), 소프트맥스(Softmax) 함수는 각각의 특성과 장단점이 있습니다.
활성화 함수 비교
| 함수 | 출력 범위 | 특징 및 장점 | 단점 및 한계 |
|---|---|---|---|
| 시그모이드 | (0, 1) | 확률적 해석 가능, 이진 분류에 적합 | 큰 값에서 기울기 소실 발생 |
| ReLU | (0, ∞) | 기울기 소실 문제 완화, 계산 간단 | 0 이하의 값에서 뉴런 비활성화 |
| 소프트맥스 | (0, 1) | 다중 클래스 분류에 적합, 확률 값 제공 | 한 클래스의 값이 다른 클래스에 영향을 줌 |
활성화 함수는 신경망 모델의 성능에 중요한 영향을 미칩니다.
문제의 특성에 따라 적절한 활성화 함수를 선택하는 것이 중요합니다.
다음 수업에서는 지금까지 배운 내용을 점검하는 간단한 퀴즈를 풀어보겠습니다.
이 챕터의 강의 · 신경망 개요
- 1. 신경망(Neural Network)이란?
- 2. 뉴런(Neuron)이란?
- 3. 신경망의 주요 구성 요소
- 4. 입력층 (Input Layer)
- 5. 은닉층 (Hidden Layer)
- 6. 출력층 (Output Layer)
- 7. 층의 개수와 모델 성능의 관계
- 8. 선택형 퀴즈
- 9. 퍼셉트론(Perceptron)이란?
- 10. 단층 퍼셉트론의 한계
- 11. 활성화 함수(Activation Function)의 역할
- 12. 값의 크기를 확률처럼 변환하는 시그모이드 함수
- 13. 선택형 퀴즈
- 14. 음수는 제거하고 양수만 활성화하는 ReLU 함수
- 15. 여러 개의 확률을 정리하는 소프트맥스 함수
- 16. 활성화 함수 비교 - 시그모이드, ReLU, 소프트맥스
- 17. 빈칸 채우기 퀴즈
Quiz
0 / 1
다음 중 다중 클래스 분류에 가장 적합한 활성화 함수는 무엇인가요?
시그모이드
ReLU
소프트맥스
탠하이퍼블릭
학습 자료
AI 튜터
디자인
업로드
수업 노트
즐겨찾기
도움말