Box World

이번 포스팅에서는 머신러닝 공부의 Hello World! 라고 부르는 데이터셋인 MNIST를 사용하여 분류(Classification) 작업을 하는 모델을 만들어보고자 합니다. 이번 포스팅은 아래 포스팅을 공부하시고 보시면 더욱 효과적입니다. https://box-world.tistory.com/24 [머신러닝] 머신러닝 시스템 디자인 하기 : Precision, Recall, F score 시작하며 머신러닝 시스템을 디자인하면서 적용해볼 수 있는 방법들은 다양하게 존재합니다. 이번 포스팅에서는 여러 방법들 중에 하나의 최선의 방법을 골라 적용할지 판단하는 체계적인 방�� box-world.tistory.com 3.1 MNIST MNIST 데이터셋은 고등학생과 미국 인구조사국 직원들이 손으로 쓴 7000..

이전 2개의 포스팅에 결쳐 우리는 지금까지 문제를 정의하고 데이터를 읽어들여 탐색하였습니다. 그리고 데이터를 training set과 test set으로 나누고 학습을 위한 머신러닝 알고리즘에 주입할 데이터를 자동으로 전처리하고 정제하는 파이프라인까지 만들어 보았습니다. 이번 포스팅에서는 머신러닝 모델을 선택하고 훈련시켜 세부적으로 튜닝하는 법까지 다뤄보겠습니다. box-world.tistory.com/42 [ 핸즈 온 머신러닝 2판 ] pandas, sklearn을 통한 데이터 전처리는 어떻게 하는걸까? (1) 발견에는 항상 뜻밖의 재미가 있다 - 제프 베조스(Amazon CEO) - Chapter 2 이번 포스팅을 시작으로 3번에 걸쳐 하나의 머신러닝 프로젝트가 어떻게 구성되고 진행되는지 알아보겠습니..

저번 포스팅에서는 캘리포니아 주택 가격 데이터셋을 가지고 pandas, sklearn을 이용하여 데이터의 특성을 탐색하고, 모델 학습을 위해 test set을 분리하는 다양한 방법에 대해 알아보았습니다. 이번 포스팅에서는 데이터를 탐색하고 시각화하는 것부터 데이터를 전처리 하는 과정까지 다뤄보도록 하겠습니다. box-world.tistory.com/42 [ 핸즈 온 머신러닝 2판 ] pandas, sklearn을 통한 데이터 전처리는 어떻게 하는걸까? (1) 발견에는 항상 뜻밖의 재미가 있다 - 제프 베조스(Amazon CEO) - Chapter 2 이번 포스팅을 시작으로 3번에 걸쳐 하나의 머신러닝 프로젝트가 어떻게 구성되고 진행되는지 알아보겠습니다. 우선 주요 단 box-world.tistory.co..

발견에는 항상 뜻밖의 재미가 있다 - 제프 베조스(Amazon CEO) - Chapter 2 이번 포스팅을 시작으로 3번에 걸쳐 하나의 머신러닝 프로젝트가 어떻게 구성되고 진행되는지 알아보겠습니다. 우선 주요 단계는 다음과 같습니다. 1) 큰 그림 보기 2) 데이터 구하기 3) 데이터 탐색 및 시각화 4) 모델 학습을 위한 데이터 전처리 5) 모델 선택 및 훈련 6) 모델 튜닝 7) 솔루션 제시 8) 시스템 론칭, 모니터링 및 유지 보수 2.1 실제 데이터로 작업하기 머신러닝을 적용하기 위해서 가장 먼저 필요한 것은 바로 데이터가 될텐데요. 특히 우리가 공부할 때는 인공적인 데이터셋이 아닌 실제 데이터셋을 직접 다뤄보는 것이 더욱 효과적입니다. 다음은 유명한 대표적인 데이터 저장소들입니다. - UC 얼바..

크게 실패할 용기있는 자만이 크게 이룰 수 있다” -존 F. 케네디(35대 미국 대통령)- 시작하며 사실 우리 주변에 머신러닝은 이미 오래전부터 존재해왔습니다. 그 시작은 1990년대에 등장한 스팸 필터(spam filter)입니다. 물론 성능이 완벽하진 않았겠지만, 기술적으로 머신러닝이 분명했고 시간이 흐르면서 이는 추천과 음성 검색으로 발전하였고, 현재는 더욱 다양한 분야에 머신러닝을 접목시키고자 많은 분들이 연구하고 있습니다. 그러면 이 머신러닝의 범주는 정확히 어디까지일까요? 기계가 학습한다는 것은 어떤 의미이며 머신러닝은 우리에게 왜 필요한 것일까요? 이번 포스팅에서 전체적인 머신러닝의 그림을 조망하며 본격적으로 구체적인 개념을 공부하기 전 머신러닝을 거시적으로 바라보는 시간을 가져보겠습니다. ..

모든 경험에는 가르침이 있다 - 브라이언 트레이시 - 시작하며 과거를 통해 미래를 예측하는 능력은 누구나 갖고 싶어하는 것입니다. 하지만 오늘날 딥러닝 분야에서는 이러한 예측 능력을 수학적으로 구현하여 미래에 한발짝 다가가고자 하는 알고리즘이 있습니다. 바로 RNN(Recurrent Neural Network)입니다. 이번 포스팅에서는 자연어 처리(NLP), 주가 예측 등 폭넓게 사용되는 기본적인 RNN에 대해 알아보겠습니다. RNN's Basic Idea 여기 네 개의 단어가 있습니다. 'I'는 주어, 'work'는 동사, 'at'은 전치사, 'google'은 명사라는건 대부분 알고 있습니다. 좀 더 구체적으로 들여다보자면 주어인 'I'가 왔기 때문에 그 뒤는 동사일 것이라고 자연스럽게 예측했고, 전치..

당신이 두려워하는 일을 매일 하라 - 엘리너 루즈벨트 - 시작하며 10년 후에 우리의 삶을 송두리째 바꿀 단 하나의 기술을 꼽으라 하면 저는 '자율주행'이라고 답할 것입니다. 현재 IT 산업 전반적으로 자율주행 자동차 상용화를 위해 천문학적인 금액을 투자중입니다. 그리고 이러한 자율주행 기술 구현을 위해 핵심이 되는 기술이 바로 '컴퓨터 비전(Computer vision)'입니다. 이번 포스팅에서는 이러한 컴퓨터 비전 분야에서 이미지 분석을 위해 가장 보편적으로 사용되는 'CNN(Convolutional Neural Network)'에 대해 공부해보겠습니다. 이번 포스팅은 아래 포스팅을 통해 딥러닝(Deep Learning)을 이해하고 공부하시면 더욱 효과적입니다. https://box-world.tis..

혁신을 할 때는 모든 사람들이 당신을 미쳤다고 할 테니, 그들 말에 준비가 되어 있어야 한다. - 래리 앨리슨 (Oracle ceo) - 시작하며 우리는 저번 포스팅을 통해 Anomaly Detection의 전반적인 이해를 마쳤습니다. 이번 포스팅에서는 Anomaly Detection에서 발생할 수 있는 문제를 살펴보며, 이에 대한 해결책인 다변량 정규분포(Multivariate Gaussian Distribution)에 대해 공부해보겠습니다. 이번 포스팅은 아래 포스팅들을 통해 Anomaly Detection을 이해하고 보시면 더욱 효과적입니다. https://box-world.tistory.com/35 [머신러닝 순한맛] 이상 탐지(Anomaly Detection)이란? "기술에는 품위와 친절이 녹아..

실패에 대해 걱정하지 마라. 한번만 제대로 하면 된다. - 드류 휴스턴(Dropbox 공동 창업자) 시작하며 우리는 저번 포스팅에서 Anomaly Detection이란 무엇이며,이를 위한 알고리즘의 작동 원리까지 공부했습니다. 이번 포스팅에서는 Anomaly Detection 알고리즘의 성능을 어떻게 평가할 수 있는지 그리고 Anomaly Detection과 Supervised Learning의 차이점을 알아보겠습니다. 이번 포스팅은 아래 포스팅들을 통해 'Test / Cv data', 'Anomaly Detection'에 대해 이해하고 보시면 더욱 효과적입니다. https://box-world.tistory.com/23 [머신러닝] 머신러닝 학습 시 고려해야할 것 : Test data와 Cv data란..

"기술에는 품위와 친절이 녹아있어야 한다." - 팀 쿡 - 시작하며 여기 암을 조기에 발견할 수 있는 인공지능을 만드는 개발자가 있습니다. 그 개발자는 우여곡절끝에 정확도 99.00%를 자랑하는 머신러닝 학습 모델을 만들어 냈습니다. 하지만 우리나라 기준으로 연간 암 발병률은 0.005%가 채 되지 않습니다. 열심히 만든 개발자에게는 99%도 겨우 만들어낸 훌륭한 모델이었으면 좋겠지만, 안타깝게도 이것으로 암을 조기에 발견하기에는 턱없이 부족한 정확도인것입니다. 이번 포스팅에서는 기존에 우리가 알던 분류(Classification)와는 다르게 100000개의 데이터 중에서 1개, 1000000000개 중에서 10개 꼴로 일어나는 것 같이 아주 극소수의 매우 작은 비율의 데이터 혹은 이상한(비정상적인) 데..