Box World

시작하며 오늘은 머신러닝에서 가장 큰 고비 중 하나인 ' Back Propagation(역전파) 알고리즘' 에 대해 공부해보겠습니다. 알고리즘을 이해하기 어려울 수도 있고, 복잡한 수식이 나와 거부감이 드실 수도 있습니다. 하지만 정말 중요한 개념이니 조급해하지 마시고 최소 3번은 정독하며 완전히 이해하시고 다음 개념들을 공부하시길 바랍니다. 이번 포스팅은 아래 포스팅을 먼저 공부하시고 보시면 훨씬 효과적입니다. https://box-world.tistory.com/17?category=397062 [머신러닝] 딥러닝의 시작 Neural Network 정복하기 1 시작하며 우리는 저번 포스팅에서 Overfitting을 다루며 배웠던 'non-linear classification' 에서, feature가..

시작하며 저번 포스팅에서 Neural Network를 공부했습니다. 이번 시간에는 이러한 Neural Network를 AND, OR, NOT 연산, XNOR 연산 그리고 Multi Classification에 적용하면서 어떻게 차수가 높은 복잡한(non-linear) 가설함수를 처리하는지 공부해보겠습니다. 이번 포스팅은 Neural Network에 대한 이전 포스팅을 보시고 공부하시면 훨씬 효과적입니다. Neural Network https://box-world.tistory.com/17 [머신러닝] 딥러닝의 시작 Neural Network 정복하기 1 시작하며 우리는 저번 포스팅에서 Overfitting을 다루며 배웠던 'non-linear classification' 에서, feature가 두개일 때..

시작하며 우리는 저번 포스팅에서 Overfitting을 다루며 배웠던 'non-linear classification' 에서, feature가 두개일 때 위와 같이 Decision Boundary를 표현해보았습니다.. Overfitting https://box-world.tistory.com/16?category=397062 [머신러닝] 모델의 과적합(Overfitting)을 피하기 위한 방법 시작하며 우리는 지금까지 Linear Regression 그리고 Logistic Regression 두가지에 중점을 두어 Supervised Learning을 공부하였습니다. 이번 포스팅에서는 모델 학습 과정에서 발생할 수 있는 'Overfitting' 이.. box-world.tistory.com 이번 포스팅은 ..

시작하며 우리는 지금까지 Linear Regression 그리고 Logistic Regression 두가지에 중점을 두어 Supervised Learning을 공부하였습니다. 이번 포스팅에서는 모델 학습 과정에서 발생할 수 있는 'Overfitting' 이라는 것을 공부하고 이를 어떻게 해결해야하는지 알아보겠습니다. Overfitting 학습이 반복되면서 학습의 정확도(accuracy) 가 올라갑니다. 이상적인 학습이란 데이터가 계속 들어와 학습이 반복되면 될수록 accuracy가 높아지는 것입니다. 하지만 이 과정에서 학습 모델이 주어진 데이터에 너무 과하게 맞춰져서(overfit) 조금이라도 다른 데이터만 들어와도 다른 결과로 예측하여 결과적으로 정확도가 낮아지는 현상을 'Overfitting' 이라..

시작하며 우리가 저번 포스팅에서 배운 Logistic Regression 은 결과값이 0 혹은 1 두가지의 클래스(종류)로만 나오는 Binary Classification 이었습니다. 하지만 우리는 Email 폴더를 구분할 때 직장, 가족, 친구, 취미 등으로 분류할 수도 있고, 날씨만 하더라도 밝음, 흐림, 비, 눈 등 두가지 이상으로 분류할 수 있는 것들이 많습니다. 이렇게 분류에 따른 결과값이 2가지 이상의 클래스로 나올 수 있는 것을 'Multi-Classification' 이라고 합니다. 이제부터 이를 어떻게 하는지 알아보겠습니다. 이번 포스팅은 Logistic Regression을 이해하고 보시면 훨씬 효과적입니다. [머신러닝] Logistic Regression 이해하기 1 h..

시작하며 저번 포스팅에선 Supervised Learning 중 하나인 Classification 에 대해 알아보고, 여기에 사용되는 Logistic Regression 의 기초를 공부하였습니다. Logistic Regression 이해하기 1 https://box-world.tistory.com/13?category=397062 이번 포스팅에서는 Logistic Regression에서 사용되는 Cost Function 은 무엇이며, 이를 Gradient Descent Algorithm 에 적용하여 어떻게 최적의 Decision Boundary 를 만드는 θ를 구하는지 알아보겠습니다. Logistic Regression - Cost Function 우선 Logistic Regression에서 이용하는 C..

시작하며 우리는 그동안 Supervised Learning 에서 회귀(Regression) 를 중점적으로 다뤘습니다. 이때 회귀 란 결과값을 예측하는 것이었습니다. 이제부터는 마찬가지로 Supervised Learning 중 하나인 분류(Classification) 을 배워보겠습니다. Classification Classification 이란 어떤 기준에 의해 데이터를 처리하고 이를 A인지 B인지 내지는 1인지 0인지 식의 결과값 을 얻고 싶을 때 사용합니다. 앞으로 우리는 이렇게 이분법적으로 분류하는 Binary Classification 을 공부할 것이며 2가지 이상으로 분류하는 Multiple Classification 도 앞으로 차차 공부하게 될것입니다. EX) 이메일이 Spam vs Not Sp..

시작하며 이번 포스팅에선 정확하고 효율적인 머신러닝을 위해서, 데이터의 Feature가 어떤 영향을 끼치는지 알아보겠습니다. 겹치는 Feature는 합치자 위는 제가 참여했던 대회에서 버스 정보를 이용하여 버스의 도착 시간을 예상하는 모델 을 만들어 보라고 저에게 주어진 데이터입니다. 주어진 데이터의 feature에는 1)출발 지점의 위도(now) 와 2)도착 지점의 위도(next) 가 포함되어있었습니다. 이 둘을 그대로 학습에 적용할 수도 있지만 이 두 feature 대신 두 위도의 직선거리라는 새로운 feature로 대체 하여 전체 feature의 갯수를 줄인다면, 가설함수 h는 훨씬 심플 해지지 않을까요? 이처럼 모델 학습에 앞서 feature를 합치거나 필요가 없는 feature는 과감히 삭제해버..

시작하며 경사 하강 알고리즘(Gradient Descent Algorithm)은 선형 회귀(Linear Regression)에서 비용 함수(Cost Function)를 최소화하는 θ를 찾기 위한 방법 중 하나입니다. 이번 포스팅에선 이러한 θ를 찾는 또 다른 방법인 Normal Equation 에 대해 알아보고 경사 하강 알고리즘과의 차이점까지 알아보겠습니다. Normal Equation Gradient Descent Algorithm은 미분 값을 이용하여 반복적으로 θ를 갱신하면서 최적의 θ를 찾게 됩니다. 여기서 반복적인 연산이 이뤄진다는 점이 경사 하강 알고리즘의 단점 이라고 할 수 있습니다. 하지만 Normal Eqution을 이용하면 한번에 θ를 구할 수 있습니다. 우선 Normal Equati..

시작하며 우리가 머신러닝을 하면서 어떤 알고리즘이나 기법을 사용하여 모델을 학습시킬 것인가도 중요하지만, 학습을 위해 사용되는 데이터를 어떻게 가공해서 모델에게 학습시킬 것인가 도 정말 중요합니다. 오늘은 데이터 전처리(Feature Scaling) 를 배우면서 효과적인 학습을 위해 어떻게 데이터를 가공하고 어떤 이점을 지니고 있는지 공부해보겠습니다. 데이터 전처리(Feature Scaling) 막대기의 길이를 비교하는 경우 를 생각해봅시다. 우리가 막대기의 대소관계를 파악하기 위해서는 왼쪽 처럼 아무렇게나 널부러뜨려놓고 눈대중으로 비교하기보단, 오른쪽 처럼 동일한 선상에 막대기를 가지런히 놓고 관측하면 훨씬 더 정확하고 빠르게 대소관계를 알 수 있겠죠? 우리가 머신러닝에서 사용할 데이터도 마찬가지입니다..