전체 글7 [ML] ID3 알고리즘 이전 글에 이어 의사결정 나무 (Decision Tree) 알고리즘을 설명하도록 하겠습니다. 본 포스팅에서 다룰 알고리즘은 의사결정 나무의 기본 알고리즘이라고 할 수 있는 ID3 알고리즘입니다. ID3 알고리즘 ID3 알고리즘은 Iterative Dichotomiser 3의 약자입니다. Dichotomiser는 "이분하다"라는 뜻의 프랑스어로, 반복적으로 이분하는 알고리즘이라고 말할 수 있겠네요. 이전 포스팅에서 의사결정 나무의 분기는 불순도 (Impurity) 값이 작은 방향으로 이루어진다고 했습니다. ID3 알고리즘은 Impurity 값으로 엔트로피 (Entropy)를 사용합니다. ID3의 Impurity: 엔트로피 (Entropy) 흔히 무질서도라고 불리는 엔트로피는 사건의 집합 \( S \)에 대.. 2022. 3. 9. [ML] 의사결정나무 (Decision Tree) 본 포스팅에서는 기계 학습 (Machine learning)의 대표적인 알고리즘 중 하나인 의사결정 나무 (Decision tree) 알고리즘에 대해서 다뤄보고자 합니다. Motivation 의사결정나무는 개념 자체는 간단한 알고리즘입니다. 하지만 이를 바탕으로 발전된 다양한 모형들은 Kaggle 등 데이터 분석대회에서 사용되고 있을 뿐 아니라, 실제 업무에서도 베이스라인 코드로 많이 사용되고 있는 편입니다. 2019년 4월, Keras library의 개발자 중 한 명인 François Chollet의 tweet에 올라온 내용입니다. Kaggle competition 상위권 팀들의 알고리즘을 종합해본 결과, 2, 3위를 딥러닝 기반이 아닌 Gradient Boosting Decision Tree (GB.. 2022. 3. 9. Hello World! 나는 학부 시절부터 현재까지 네이버 블로그에서 10년 넘게 내 삶과 성장과정을 기록해오고 있다. 티얌록[log,錄] : 네이버 블로그 양박사 라이프 blog.naver.com 박사 과정이 끝나갈 즈음, 쭈욱 연구해오던 뇌공학이 아닌 데이터 사이언스 분야로 진로를 결정하면서, 내 삶과는 별개로 데이터 사이언티스트로서의 생각과 성장 과정을 기록해야겠다는 생각이 들었다. 그래서 전부터 만들어보고 싶던 Github 블로그를 뚝딱뚝딱 만들어 몇 달 정도 써봤다. 처음 보는 html, css를 공부해서 스킨과 기능들을 직접 수정하고, 포스팅을 최대한 효율적으로 작성할 수 있게끔 글쓰기 시작 전, 특정 경로 내 이미지들을 자동으로 삽입해서 프레임을 짜주는 Python 코드를 만드는 등 처음 몇 달간은 나름대로 꽤나 .. 2022. 3. 8. 이전 1 2 다음
