Box World

인내는 어떤 실력보다 강하다 - 벤 호건 (프로 골퍼) - 시작하며 SVM은 Classification, Regression 등 다양한 곳에서 활용됩니다. 특히 복잡한 데이터셋을 학습하기에 용이하다는 점도 SVM의 인기를 높이는 데 한 몫 하였습니다. 5.1 선형 SVM 분류 위 데이터셋은 서로 다른 종류의 붓꽃들을 모아놓은 데이터셋입니다. 이 둘을 직선 하나만 그어서 같은 클래스의 데이터들만 모여있도록 구역을 나눌 수 있을까요? 당연히 가능합니다. 우리는 이것을 선형적으로 구분이 가능하다고 합니다. 그러나 왼쪽 그래프의 빨간색이나 자주색 선이 두 클래스를 잘 구분하는 듯 하지만 경계가 너무 데이터에 가깝기 때문에 좋은 성능을 보일거라곤 장담하지 못합니다. 결론은 오른쪽처럼 두 클래스를 나눌 때 최대한 ..

"당신은 뭔가 더 대단한 것을 해낼 수 있다." - 칼로스 M.구티에레즈미국 상무장관 - 4.6 로지스틱 회귀(Logistic Regression) 본래 회귀(Regression)은 값을 예측할 때 쓰이지만, Logistic Regression은 데이터가 어떤 클래스에 속하는지 분류하는데 사용됩니다. 다시 말해서 Logistic Regression은 어떤 데이터가 특정 클래스일 확률을 결과값으로 도출하기 때문에 회귀에 속하는 것입니다. 예를 들어 어떤 이메일이 스팸인지 아닌지를 분류할 때, 데이터를 Logistic Regression을 이용하여 추정할 때 결과값이 0.6이 나오면 해당 데이터가 스팸일 확률이 60%라는 것이고 이 경우 해당 메일을 스팸으로 분류하는 식입니다. 4.6.1 확률 추정 Logi..

"먼저 행동으로 옮기고 나서 말하라" - 스티븐 스필버그 - 4.3 Polynomial Regression(다항 회귀) Polynomial Regression은 비선형(non-linear) 데이터를 학습하는데 선형 모델을 사용할 수 있게 해줍니다. 다시 말해서 모델이란 것은 데이터를 대표하는 것인데 어떻게 선형 모델이 비선형 데이터를 대표할 수 있게 되는 것일까요? 우선 간단한 이차방정식으로 데이터를 생성해보겠습니다. m = 100 X = 6 * np.random.rand(m, 1) - 3 // rand : 0~1의 균일분포 표준 정규분포 난수를 생성 y = 0.5 * X**2 + X + 2 + np.random.randn(m, 1) // randn : 가우시안 표준정규분포 난수를 생성 선형 모델은 분명..

이기는 것이 중요한 것은 아니지만, 이기기를 원하는 것은 중요하다 - 에릭 슈미트(Google 전 Ceo) - 이번 포스팅에서는 머신러닝의 가장 간단한 모델 중 하나인 회귀(Regression)에 속하는 선형 회귀(Linear Regression)에 대해 알아보고, 이를 최적화하는 훈련 방식인 경사 하강 알고리즘과 Normal Equation에 대해 공부해보겠습니다. 보통 우리가 Regression에서 모델을 훈련시킨다고 하면 경사 하강 알고리즘(Gradient Descent algorithm)을 사용합니다. 좀 더 세부적으로는 Batch GD, Mini-Batch GD, SGD가 있는데, 이는 잠시 후에 다시 다뤄보겠습니다. 또 다른 훈련 방식에는 Normal Equation가 있습니다. 이 또한 Li..

나머지 인생을 설탕물이나 팔면서 보내고 싶습니까 아니면 세상을 바꿔 놓을 기회를 갖고 싶습니까? - 스티브 잡스 - 저번 포스팅에서는 MNIST 데이터셋을 활용하여 이진 분류(Bianry Classification)을 구현해보았습니다. 이번 포스팅에서는 같은 MNIST 데이터셋을 활용하여 둘 이상의 클래스를 구별할 수 있는 다중 분류(Multiclass Classifier)에 대해 공부해보겠습니다. 3.4 Multi-Class Classification SGDClassifier, RandomClassifier, Naive Bayers 같은 일부 알고리즘들은 Multi-class Classification이 가능합니다. 그러나 Logistic Regression, SVM과 같은 알고리즘은 Binary Cl..

이번 포스팅에서는 머신러닝 공부의 Hello World! 라고 부르는 데이터셋인 MNIST를 사용하여 분류(Classification) 작업을 하는 모델을 만들어보고자 합니다. 이번 포스팅은 아래 포스팅을 공부하시고 보시면 더욱 효과적입니다. https://box-world.tistory.com/24 [머신러닝] 머신러닝 시스템 디자인 하기 : Precision, Recall, F score 시작하며 머신러닝 시스템을 디자인하면서 적용해볼 수 있는 방법들은 다양하게 존재합니다. 이번 포스팅에서는 여러 방법들 중에 하나의 최선의 방법을 골라 적용할지 판단하는 체계적인 방�� box-world.tistory.com 3.1 MNIST MNIST 데이터셋은 고등학생과 미국 인구조사국 직원들이 손으로 쓴 7000..

이전 2개의 포스팅에 결쳐 우리는 지금까지 문제를 정의하고 데이터를 읽어들여 탐색하였습니다. 그리고 데이터를 training set과 test set으로 나누고 학습을 위한 머신러닝 알고리즘에 주입할 데이터를 자동으로 전처리하고 정제하는 파이프라인까지 만들어 보았습니다. 이번 포스팅에서는 머신러닝 모델을 선택하고 훈련시켜 세부적으로 튜닝하는 법까지 다뤄보겠습니다. box-world.tistory.com/42 [ 핸즈 온 머신러닝 2판 ] pandas, sklearn을 통한 데이터 전처리는 어떻게 하는걸까? (1) 발견에는 항상 뜻밖의 재미가 있다 - 제프 베조스(Amazon CEO) - Chapter 2 이번 포스팅을 시작으로 3번에 걸쳐 하나의 머신러닝 프로젝트가 어떻게 구성되고 진행되는지 알아보겠습니..

저번 포스팅에서는 캘리포니아 주택 가격 데이터셋을 가지고 pandas, sklearn을 이용하여 데이터의 특성을 탐색하고, 모델 학습을 위해 test set을 분리하는 다양한 방법에 대해 알아보았습니다. 이번 포스팅에서는 데이터를 탐색하고 시각화하는 것부터 데이터를 전처리 하는 과정까지 다뤄보도록 하겠습니다. box-world.tistory.com/42 [ 핸즈 온 머신러닝 2판 ] pandas, sklearn을 통한 데이터 전처리는 어떻게 하는걸까? (1) 발견에는 항상 뜻밖의 재미가 있다 - 제프 베조스(Amazon CEO) - Chapter 2 이번 포스팅을 시작으로 3번에 걸쳐 하나의 머신러닝 프로젝트가 어떻게 구성되고 진행되는지 알아보겠습니다. 우선 주요 단 box-world.tistory.co..

발견에는 항상 뜻밖의 재미가 있다 - 제프 베조스(Amazon CEO) - Chapter 2 이번 포스팅을 시작으로 3번에 걸쳐 하나의 머신러닝 프로젝트가 어떻게 구성되고 진행되는지 알아보겠습니다. 우선 주요 단계는 다음과 같습니다. 1) 큰 그림 보기 2) 데이터 구하기 3) 데이터 탐색 및 시각화 4) 모델 학습을 위한 데이터 전처리 5) 모델 선택 및 훈련 6) 모델 튜닝 7) 솔루션 제시 8) 시스템 론칭, 모니터링 및 유지 보수 2.1 실제 데이터로 작업하기 머신러닝을 적용하기 위해서 가장 먼저 필요한 것은 바로 데이터가 될텐데요. 특히 우리가 공부할 때는 인공적인 데이터셋이 아닌 실제 데이터셋을 직접 다뤄보는 것이 더욱 효과적입니다. 다음은 유명한 대표적인 데이터 저장소들입니다. - UC 얼바..

크게 실패할 용기있는 자만이 크게 이룰 수 있다” -존 F. 케네디(35대 미국 대통령)- 시작하며 사실 우리 주변에 머신러닝은 이미 오래전부터 존재해왔습니다. 그 시작은 1990년대에 등장한 스팸 필터(spam filter)입니다. 물론 성능이 완벽하진 않았겠지만, 기술적으로 머신러닝이 분명했고 시간이 흐르면서 이는 추천과 음성 검색으로 발전하였고, 현재는 더욱 다양한 분야에 머신러닝을 접목시키고자 많은 분들이 연구하고 있습니다. 그러면 이 머신러닝의 범주는 정확히 어디까지일까요? 기계가 학습한다는 것은 어떤 의미이며 머신러닝은 우리에게 왜 필요한 것일까요? 이번 포스팅에서 전체적인 머신러닝의 그림을 조망하며 본격적으로 구체적인 개념을 공부하기 전 머신러닝을 거시적으로 바라보는 시간을 가져보겠습니다. ..