XGBoost와 LightGBM 하이퍼파라미터 튜닝 가이드

목차 1. 왜 이 글을 쓰게 되었는가? xgboost와 lightgbm은 tabula데이터를 다루는 경진대회에서 가장 많이 쓰이는 모델이다. 몇번의 경진대회 경험에 의하면 text classification의 경우에도 딥러닝 모형에 비해 학습시간은 적게 소요되면서 더 나은 성능을 내는 경우가 많았다. 회사에서는 주로 클래스 불균형이 있는 이진분류 문제를 다루는데, 이 경우에도 기본적인 딥러닝 모형들(DNN, RNN, CNN)에 비해 학습속도와 성능 모두 xgboost나 lightgbm이 월등히 나은 모습을 보인다. 경험적으로 보면 하이퍼파라미터 튜닝보다는 파생변수 생성에 집중하는 것이 성능을 높이는데 더 효과적인 방법이다. 하지만, 기본적인 하이퍼파라미터들이 어떤 의미인지 정확히 알고 사용할 수 있어야 ..

• format_list_bulleted 데이터분석
• · 2021. 8. 13.
• textsms

R에서 lightgbm 설치하기

kaggle 대회에서 요즘 가장 인기있는 알고리즘은 lightgbm인 것 같습니다. 학습속도도 빠르고(개인저인 경험에 의하면 xgboost 보다 빠릅니다) 성능도 좋기 때문이죠. kaggle 대회에서는 kernel을 사용하면 별도의 설치과정 없이 lightgbm 패키지를 이용할 수 있지만 다른 공모전이나 분석을 하려면 결국 로컬에 설치해야합니다. 기본 설치법은 lightgbm 깃허브를 참고하면 됩니다. https://github.com/Microsoft/LightGBM/tree/master/R-package microsoft/LightGBM A fast, distributed, high performance gradient boosting (GBDT, GBRT, GBM or MART) framework ..

• format_list_bulleted R
• · 2019. 6. 3.
• textsms