Machine learning/Optimal statistical calssifier 3

Support Vector Machine(SVM)

What is SVM? SVM은 기계 학습의 분야 중 하나로 패턴 인식, 자료 분석을 위한 지도 학습 모델이며, 주로 분류와 회귀 분석을 위해 사용한다. 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, SVM 알고리즘은 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단하는 비확률적 이진 선형 분류 모델을 만든다. -위키백과, 우리 모두의 백과사전(서포터 벡터 머신) 간단하게 서포터 벡터 머신은 어떻게 공간상에서 optimal 한 decision boundaries를 찾는가? 입니다. 아래 그림을 보시면 두 개의 집단이 있고 그 집단을 가장 잘 분류할 수 있는 Linear discriminant function을 만들어야 합니다. 하지만 두 개의 집단을 나누는..

Bayes decision rule - 2

지금껏 해온 이야기는 우리가 한탄강에서 낚시를 했을 때 잉어와 붕어에 대한 classification을 이루기 위해 한 가지 feature(물고기의 길이)를 사용하여 PDF 그래프를 만들고 사후 확률을 계산해 가장 높은 확률을 가진 class에 대한 의사결정(decision making)이 이루어졌다. 여기서 또 한가지 생각을 해야 하는 건 우리의 낚시 방법(action)이다. 어떤 action을 취해야 낚싯대를 잃어버릴(loss)가 적은지 그리고 우리가 낚시를 하는 동안 물에 빠질(Risk)가 얼마나 작은지에 대한 고려를 해야 Risk가 적은 action을 취해 posterior probability이 높은 decision을 이루는 것이 우리가 여태껏 달려온 Optimal statistical clas..

Bayes decision rule - 1

INTRODUCTION Classification의 문제는 샘플 공간 X에 존재하는 샘플 {x1, x2,⋯ } ∈ X 각각에 대해서 이 샘플들은 어떤 클래스 y ∈ Y로 분류할 것인가에 관한 문제로 생각할 수 있다. 일반적으로 이러한 문제에 대해 우리는 예로 Classifier f라는 함수를 정의할 수 있다. Classifier f:X⟼Y는 주어진 샘플 공간(X)으로부터 클래스 공간(Y)으로 Mapping 해주는 함수라고 정의할 수 있을 것이다. 예를 들어 여러 애완동물 중(X) 강아지냐 아니냐에 대한 Class((Y={0,1})로 분류하는 Classifier f를 예시로 들어보자 f는 다음과 같아진다. f(cat) = 0, f(Lion) = 0, f(Welsh Corgi) = 1, f(Pomerania..