파라미터 조정의 의한 학습

<아래 글은 '만들면서 배우는 기계학습' 을 읽고 쓰는 글입니다.>

이번 글의 주제는 '기계학습의 역사1'에 등장하는 '파라미터 조정의 의한 학습' 입니다.

앞에서 간략하게 다루었던 내용을 조금 더 상세하게 알아보려고 합니다.

'파라미터 조정의 의한 학습' 에서 획득해야 하는 데이터는 '파라미터를 포함한 수식'입니다.

이 수식은 대수식처럼 일반적인 수식이 되고, 다양한 함수를 포함한 복잡한 형식도 됩니다.

앞에서 학습을 '내부상태를 변화시키는 행동이나 어떤 것'을 학습이라 했습니다.

'파라미터 조정의 의한 학습'에서는 내부상태를 이 수식으로 정의합니다.

더욱 정확히 말하면 수식에 포함되는 '파라미터' 들을 내부상태로 정의합니다.

'파라미터'는 대수식의 항의 계수처럼 수치일 때도 있고, 식의 차수와 형식을 결정하는 

값일 때도 있습니다. 이러한 '내부상태' 즉, '파라미터'를 데이터 세트에 적합하게 조정

하는 학습 방법이 '파라미터 조정의 의한 학습방법'이 되겠습니다.

'파라미터 조정에 의한 학습' 은 기본적으로 통계적 분석법을 따릅니다.

통계적 방법에서 데이터 세트가 주어질 때 그 수식을 결정하는 것을 '회귀분석'이라 합니다.

여기서는 '최소제곱법' 그 중 가장 간단한 선형 최소 제곱법을 통해 개념을 이해해봅시다.

다음과 같은 데이터 세트가 주어졌다고 생각해봅시다.

'선형 최소 제곱법'은 각 점으로 부터 거리의 값의 합이 최소가 되는 직선을 구하는 것입니다.

수식으로 표현하자면 이고, 구하고 하는 값은

에서,

 값이 최소가 되는 와  값을 구하는 것입니다.