[PYTHON - 머신러닝_캐글_모델]★하이퍼파라미터 최적화★그리드 서치★랜덤서치★베이지안 최적화★

1. 하이퍼파라미터

 

==> 하이퍼파라미터는 사용자가 직접 설정해야 하는 값이다. 

 

==> 모델이 좋은 성능을 내려면 하이퍼파라미터가 어떤 값을 가지면 좋을지를 찾는 작업이 하리어파라미터 최적화 이다.

 

2. 그리드 서치

==> 그리드서치는 가장 기본적인 하이퍼파라미터 최적화 기법

 

==> 주어진 하이퍼파라미터를 모두 순회하며 가장 좋은 성능을 내는 값을 찾는다. ==> 모든 경우의 수를 탐색

 

3. 랜덤 서치

 

==> 하이퍼파라미터를 무작위로 탐색해 가장 좋은 성능을 내는 값을 찾는 기법

 

==> 무작위라는 한계 때문에 그리드 서치나 베이지안 최적화에 비해 사용 빈도가 떨어진다.

 

4. 베이지안 최적화(bayesian optimiziation)

 

==> 사전 정보를 바탕으로 최적 하이퍼파라미터 값을 확률적으로 추정하며 탐색하는 기법

 

==> 그리드서치나 랜덤서치보다 최적 하이퍼파라미터를 더 빠르고 효과적으로 찾는다.

 

1. 하이퍼파라미터 탐색 범위 설정 : 최적 값을 찾고 싶은 하이퍼파라미터의 범위 설정

 

2. 평가지표 계산 함수(성능 평가 함수) 정의 : 탐색하려는 하이퍼파라미터를 인수로 받아 평가지표 값을 계산해주는 함수를 정의

 

3. BayesianOptimization 객체 생성 : bayes_opt 패키지의 BayesianOptimization 객체를 생성한다. 객체 생성 시 '평가지표 계산 함수'와 '하이퍼파라미터 탐색 범위'를 입력받는다.

 

4. 베이지안 최적화 수행 : 하이퍼파라미터 범위 내 값을 평가지표 계산 함수에 전달하면서 평가지표 값을 구한다. 평가지표 값이 가장 좋았을 때의 하이퍼파라미터 값을 최적 하이퍼파라미터로 간주한다.

 

 

출처 : 머신러닝·딥러닝 문제해결 전략

(Golden Rabbit , 저자 : 신백균)

※혼자 공부용