dev-hunmin

www.dacon.io/competitions/open/235596/overview/ [이미지] MNIST : 숫자 이미지 분류 출처 : DACON - Data Science Competition dacon.io 1. Dataset 구축 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 class DatasetMnist(data.Dataset): def __init__(self,file_path,test_mode=False,train=True,transform=None): self.file_pa..

www.dacon.io/competitions/open/235594/overview/ [이미지] Fashion MNIST : 의류 클래스 예측 출처 : DACON - Data Science Competition dacon.io 1. Dataset 구축 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 class DatasetFashion(data.Dataset): def __init__(self,file_path,test_mode=False,train=True,transform=None): data=..

[Day 15] Generative Models 1. 강의 복습 내용 더보기 Generative Models 1. Generative Model - 학습 데이터의 분포를 학습하는 것 - 학습 데이터의 분포를 어느 정도 안 상태에서 생성 -> Explicit - 학습 데이터의 분포를 잘 모르지만 그럼에도 생성 -> Implicit 2. Explicit density 학습 데이터의 분포를 어느 정도 파악 -> 확률 계산을 할 수 있다. 1) Tractable density - 학습 데이터의 분포를 직접적으로 구하는 방법 - Auto-Regressive (AR) Model -> 이전의 하나의 정보가 이전 정보들에 dependent - AR-1 : 이전 1개를 고려 - AR-N : 이전 N개를 고려 a. NAD..

[Day 14] RNN 1. 강의 복습 내용 1) Recurrent Neural Networks (RNN) 더보기 Recurrent Neural Networks (RNN) 1. Sequential Model - 입력의 차원을 알 수 없는 데이터(Sequential Data), 몇개의 입력들이 들어오던 상관없이 모델은 동작해야 한다. - 이전 데이터들이 들어왔을 때, 다음을 예측해보자 1) Autoregressive model 2) Markov model (first-order autoregressive model) 이 두 모델들의 단점은, 사실 과거의 많은 정보를 고려해야하는데 이 고려를 할 수가 없다는 한계가 있다. 3) Latent autoregressiv model 2. Recurrent Neura..

[Day 13] CNN 1. 강의 복습 내용 더보기 CNN 1. Convolution - RGB Image Convolution - input 의 채널과 filter의 채널은 같아야하고 이때 1개의 feature를 얻을 수 있다. - 따라서 input의 채널 수와 output의 채널 수를 알면 몇개의 filter가 필요한지 알 수 있다. - 이를 토대로 Filter들의 Parameter 개수도 도출해낼 수 있다. 2. Convolution Neural Networks - Convolution & pooling layers : feature extraction - Fully Connected Layer : 최종적으로 원하는 결과값을 만들어줌 (최근 들어서, 점점 없어지거나 최소화시키는 추세 -> Param..

[Day 12] 최적화 1. 강의 복습 내용 1) Deep Learning - Optimization 더보기 Deep Learning - Optimization 1. Important Concepts in Optimization 1) Generalization - 일반화 성능을 높이는 것이 목적 - Training error 와 Test error의 차이 - Generalization Gap (즉, Generalization이 좋다 -> 모델의 성능(테스트결과)이 학습 데이터와 비슷하게 나온다) 2) Under-fitting vs Over-fitting Over-fitting - 학습 데이터에 대해서 잘 동작하지만, 테스트 데이터에 대해서 잘 동작하지 않는 현상 (과적합) Under-fitting - 네..

[Day 11] 딥러닝 기초 1. 강의 복습 내용 1) 베이즈 통계학 더보기 베이즈 통계학 1. 조건부 확률 2. 베이즈 정리 - 조건부 확률을 이용하여 정보를 갱신하는 방법을 알려준다 - 새로운 데이터가 들어왔을 때 앞서 계산한 사후확률을 사전확률로 사용하여 갱신된 사후확률을 계산 할 수 있다. 3. 조건부 확률의 시각화 4. 조건부 확률과 인과관계 - 조건부 확률은 유용한 통계적 해석을 제공하지만, 인과관계를 추론할 때 함부로 사용해서는 안된다. (= 데이터가 많아져도 조건부 확률만 가지고 인과관계를 추론하는 것은 불가능) - 인과관계는 데이터 분포의 변화에 강건한 예측모형을 만들 때 필요 (단, 인과관계만으로는 높은 예측 정확도를 담보하기는 어렵다) *) 중첩요인 제거 - 인과관계를 알아내기 위해서..

www.data.go.kr/data/15067973/fileData.do 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr Q1) 인천광역시 업종별 결제 금액이 가장 많은 지역을 일별(12월)로 새로운 DataFrame에 저장하시오. 12345678910111213141516171819202122232425import numpy as npimport pandas as pddef make_data(x) : if type(x)==str : x=x.strip(' ').replace(',','') if x=='-' : retu..