머신러닝 학습의 목표, 최적화와 경사 하강법

최적화(Optimization)는 머신러닝 모델이 가장 좋은 성능을 내도록 가중치와 편향을 조정하는 과정입니다.

모델이 학습하는 과정은 다음과 같습니다.

1. 데이터를 입력받아 예측값을 계산합니다.

2. 손실 함수를 사용하여 예측값과 실제값의 차이인 손실을 계산합니다.

3. 손실이 크다면, 모델이 더 나은 예측을 하도록 가중치와 편향을 조정합니다.

4. 이 과정을 반복하면서 점점 더 정확한 예측을 하도록 학습됩니다.

이러한 과정을 통해 머신러닝 모델은 처음에는 정답을 잘 맞추지 못하지만, 점점 더 정답에 가까운 예측을 하도록 훈련됩니다.

모델이 스스로 학습하려면, 손실을 줄이는 방법을 찾아야 합니다.

이때 최적화 알고리즘이 사용됩니다.

가장 널리 사용되는 최적화 알고리즘은 경사 하강법(Gradient Descent)입니다.

경사 하강법은 마치 산에서 가장 낮은 곳을 찾아 내려가는 것과 비슷합니다.

산 꼭대기에서 출발했다고 가정해 보겠습니다.

손실 값이 크다는 것은 산 꼭대기에 있는 것과 같고, 손실 값이 작다는 것은 산 아래쪽에 가까운 것입니다.

경사 하강법은 가장 낮은 곳(손실이 가장 작은 값)을 찾을 때까지 조금씩 내려가는 과정입니다.

여기서 중요한 개념은 손실 함수의 기울기(Gradient)입니다.

산을 내려갈 때 가장 가파른 방향을 찾으면 더 빠르게 내려갈 수 있습니다.

마찬가지로 경사 하강법에서는 손실 함수의 기울기(미분 값)를 계산하여 가중치를 조정합니다.

기울기가 크면 손실 값을 빠르게 줄이기 위해 더 큰 폭으로 이동하고, 기울기가 작으면 신중하게 조금씩 이동하면서 최적의 값을 찾아갑니다.

이처럼 경사 하강법은 손실 함수를 미분하여 기울기를 계산하고, 가중치와 편향을 기울기의 반대 방향(기울기가 작아지는 방향)으로 조정합니다.

다음 수업에서는 지금까지 배운 내용들을 점검하는 간단한 퀴즈를 풀어보겠습니다.