전체 글
-
6. 퍼셉트론(Perceptron)AI/딥러닝 2019. 7. 12. 02:56
퍼셉트론, 최초의 인공신경망입니다. 유서 깊네요. 선형 분류할 때 사용됩니다. 계속 사용했던 성적 데이터입니다. 이런 식으로 선형 분류해주는 게 Perceptron입니다. 방식은 이전에 봐온 것과 매우 유사합니다. w1*x1 + w2*x2 + w3*x3+....+wn*xn을 계산합니다. 이때 나온 결괏값이 특정 threshold를 넘으면 1, 아니면 0으로 체크합니다. X = (x1, x2, x3,... xn) (Input vector), W = (w1, w2, w3,..., wn) (Weight vector), t = threshold(임계점)라고 하겠습니다. 우리가 원하는 것은 X·W > t 이면 1, 아니면 0으로 만드는 것입니다. 편의를 위해 t를 왼쪽으로 넘기면 다음과 같은 수식을 얻을 수 있습..
-
5. Sotfmax, Cross EntropyAI/딥러닝 2019. 7. 11. 21:54
지난번엔 Binary Classification 모델인 Logistic Regression을 다뤘습니다. https://godute.tistory.com/42?category=792250 4. 로지스틱 회귀(Logistic Regression) 이전 Linear Regression에서 다룬 성적 데이터를 Pass/Non-Pass처럼 Binary Classfication(이진 분류)로 변경해 보겠습니다. 성적 점수보단, 통과 혹은 불통 자체에 관심이 생겼습니다. 그래서 이를 분류해 보려고.. godute.tistory.com 이번엔, 레이블이 3개 이상인 Multi Class Classification을 다뤄보겠습니다. 이진 분류에선 Pass / Non-Pass로 분류했는데, 이제 A, B, C등급으로 분..
-
4. 로지스틱 회귀(Logistic Regression)AI/딥러닝 2019. 7. 11. 17:45
이전 Linear Regression에서 다룬 성적 데이터를 Pass/Non-Pass처럼 Binary Classfication(이진 분류)로 변경해 보겠습니다. 성적 점수보단, 통과 혹은 불통 자체에 관심이 생겼습니다. 그래서 이를 분류해 보려고 합니다. 20, 44시간 공부한 학생들은 통과했고, 4, 12시간 공부한 학생들은 불합격 했습니다. 억지로 Linear Regresssion을 해볼까요 가설을 했지만, 영 좋지않은 그림이네요. 그렇다면 데이터를 하나 더 추가해볼까요, 200시간 공부해 통과한 학생입니다. 뭐 어떻게 선을 그어야할지 모르겠네요,,, 그렇다면 이런 형태는 어떨까요, 결괏값 y를 0~1 사이의 확률로 나타냈습니다. 0.5 이상의 확률이 되면 합격 처리하고, 0.5 이하의 확률은 불합격..
-
3. 다변량 선형 회귀(Multivariate Linear Regression)AI/딥러닝 2019. 7. 11. 15:45
이전까진 하나의 변수만 다뤘습니다. 하지만 세상엔 대부분 다양한 변수로 인해 결과가 나오는 경우가 많지요,, 운동 시간, 스쿼트 몇 세트 했는지, 음식은 몇 칼로리 먹었는지 여러 가지 변수가 종합되어 체중이 몇 kg 빠지나 결정되는 것처럼요. 다변량 선형 회귀는 이전에 다뤘던 단변량과 유사합니다. 변수만큼 가중치도 늘어날 뿐입니다. 감량 체중(y) 운동 시간(x1) 흡수 kcal(x2) 스쿼트 횟수(x3) 200g 30분 400kcal 2회 300g 40분 400kcal 3회 400g 30분 300kcal 5회 500g 40분 600kcal 10회 위와 같은 데이터가 있습니다. 체중에 영향을 주는 요인이 저렇게 3가지라고 생각해봅시다. 운동을 열심히 해야겠네요 단변량 선형 회귀에서 한 것처럼, 이런 가설..
-
2. 경사 하강법(Gradient Descent), Tensorflow 선형 회귀 구현AI/딥러닝 2019. 7. 9. 18:14
이전 포스트에서 이어집니다. 선형 회귀 보러 가기 https://godute.tistory.com/39 위 그림은, 이전에 임의로 지었던 가설의 예측값과 실제 값의 차이를 나타낸 그래프입니다. 가설의 가중치 W를 9/5로 설정했을 때, 112.75의 손실(loss, cost)가 발생했었습니다. 손실을 줄이기 위해선, 가중치 W가 이차 함수의 최저점으로 가야 합니다. 미분이 필요하겠군요 Cost function을 W에 대해 Cost(W)라고 표현할게요, Cost(W) = 1/N* Σ(H(x) - y)2 = 1/N * Σ(W·x + b - y)2 였죠~ W를 업데이트하는 표기는, W := W - a·(∂Cost(W)/∂W) 입니다. cost(W)를 W에 대해 미분했을 때, cost가 감소하는 방향으로 업데이..
-
1. 선형 회귀(Linear Regression)AI/딥러닝 2019. 7. 8. 01:18
공부를 많이 할수록 시험 점수가 오르거나 운동을 많이 할수록 체중이 빠지듯이, 종속 변수와 설명 변수가 선형성을 띌 때 선형 회귀분석을 한다고 합니다... 성적 공부시간 90 44 35 12 48 20 12 4 예를 들어, 공부시간과 성적에 대한 데이터가 있습니다. 딱보면 공부를 많이 할수록 성적이 높아지네요,, 공부를 많이 합시다 이제 우린 몇 시간 공부하면 점수가 얼마나 나올지 예측해볼 겁니다. 그래프 상에선 다음과 같이 표현됩니다. 선형적으로 표현되네요. 일단 그러면 하나의 가정을 해봅시다. 까만 선을 그었습니다. 보이시나요?? 이제 저 가정에 따라 예측해보겠습니다. predict요 저 까만 선을 H(x) = Wx + b 라고 해볼까요! 그림을 보고 W, b를 구해보자면, W = 9/5, b = 0..
-
Machine Learning 종류AI/딥러닝 2019. 7. 6. 01:57
Supervised Learning (지도 학습) 사전에 label을 주고 가르친다. feedback이 존재 Recognition Prediction task-driven ex) 사진을 보여준 뒤, 이건 귀여운 고양이야!라고 학습시킨다. 학습시켰는데 틀렸다? 고양이라는 걸 맞출 때까지 계속 교육시킴 Unsupervised Learning (비지도 학습) 지도 학습과 반대로 label이 주어지지 않고, 주로 주어진 데이터가 어떤 특성을 가지는지 본다. feedback이 없다 Clustering data-driven ex) 해당 고객이 어떤 군집에 속하는지, VIP인지? 분류 Reinforcement Learning (강화 학습) Agent가 선택한 결정에 대해 보상을 내린다. 잘했다 or 못했다 시행 착오..
-
2. 연속 확률 분포빅데이터/통계 이론 2019. 6. 19. 02:30
지난 포스트에서 알아본 연속 확률 분포 종류 정규분포, 표준 정규분포, t분포, 카이제곱, F, 와이블,, 을 파헤쳐 보겠습니다. 정규분포 정의 연속형 확률변수 X가 우연적 상태에서 무한히 집합할 때, 중심값 근처에 대다수가 밀집되는 좌우 대칭의 종 모양 분포가 형성된다. 는데,, 쉽게 말해 확률값이 좌우대칭인 종이다!(변수가 연속, 실수일 때) 용도 수집된 자료의 분포를 근사하는 데에 자주 사용한다. (중심 극한 정리에 의하면, 독립적인 확률변수들의 평균은 정규분포에 가까워지는 성질이 있다고 함! 표준 정규분포 정의 정규분포 밀도 함수를 통해 X를 Z로 정규화함으로써 평균이 0, 표준편차가 1인 표준 정규분포 쨋든, 정규분포인데 평균이 0, 표준편차가 1인거닷 실습 우선 몇 가지 파이썬 패키지가 필요하..