dev-hunmin

[Day 20] Self-supervised Pre-training Models 1. 강의 복습 내용 더보기 Self-supervised Pre-training Models 1. GPT-1 - Transformer의 Encoder, Decoder 구조에서 Encoder를 뺀 구조 (Masked Multi-Head Self-Attention) - 이전 단어들로 다음 단어가 무엇인지 맞추는 과정에서 Pre-train 하였다. - 문장 시작부터 순차적으로 계산하므로 unidirectional (일방향) 이다. - 문장 생성에 강점을 가진다. (Decoder) 2. BERT - Transformer의 Encoder, Decoder 구조에서 Decoder를 뺀 구조 (Encoder, Multi-Head Self-..

[Day 19] Transformer 1. 강의 복습 내용 더보기 Transformer 1. Transformer - 기존의 RNN 기반 seq2seq의 구조의 인코더-디코더를 따르면서도 RNN을 모두 제외하고 Attention만으로 구현한 모델 - 그럼에도 불구하고, 성능도 RNN보다 우수하다. - 왜냐하면 기존의 RNN은 순차적인 처리를 해야만 했지만, Transformer는 Attention만을 사용하면서 Long-term dependency 를 해결하면서 동시에 병렬처리에 적합한 모델이기 때문이다. 2. Self Attention - Query, Key, Value가 동일한 벡터의 출처에서의 연산이 이루어질 때 - 보통 인코더에서 이루어지고, 디코더에서는 Masked Decoder에서 이루어진다...

[Day 18] NLP (자연어 처리) - 3 1. 강의 복습 내용 더보기 NLP (자연어 처리) - 3 1. Sequence-to-Sequence (seq2seq) - 입력 시퀀스로부터 다른 도메인의 시퀀스를 출력 (Many To Many) - 번역기에서 대표적으로 사용되는 모델 - 인코더와 디코더의 내부는 사실 두개의 RNN 아키텍쳐 - 입력 시퀀스를 받는 RNN 셀을 '인코더' - 출력 시퀀스를 출력하는 RNN 셀을 '디코더' - 인코더는 모든 시퀀스를 입력 받은 후 마지막 시점의 은닉 상태를 디코더로 넘겨준다. (Thought Vector) 2. seq2seq Model with Attention - RNN에 기반한 seq2seq모델의 한계 - 하나의 고정된 크기의 Thought Vector(=C..

[Day 17] NLP (자연어 처리) - 2 1. 강의 복습 내용 더보기 NLP (자연어 처리) - 2 1. RNN (Recurrent Neural Network) - 시퀀스 모델 - 입력과 출력을 시퀀스 단위로 처리하는 모델 - 시퀀스의 길이에 상관없이 input과 output을 처리할 수 있다. - 은닉층의 노드에서 활성화 함수를 통해 나온 결과값들을 출력층 방향으로 보내면서, 다시 은닉층 노드의 다음 계산의 입력으로 보내는 특징을 가짐 - 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드를 셀(Cell) 이라고 한다 - 은닉층의 셀은 각각의 시점(time step)에서 바로 이전 시점에서의 은닉층의 셀에서 나온 값을 자신의 입력으로 활용 - RNN 수식과 차원 계산 * 각각의 가중치..

[Day 16] NLP (자연어 처리) - 1 1. 강의 복습 내용 더보기 NLP (자연어 처리) - 1 1. Bag-of-Words (BOW) - 빈도수 기반의 단어 표현 방법 - 단어들의 순서는 전혀 고려하지 않고, 단어들의 출현 빈도(frequency)에만 집중 - BOW를 만드는 방법 1) 각 단어에 고유한 정수 인덱스 부여 2) 각 인덱스의 위치에 단어 토큰의 등장 횟수를 기록한 벡터 생성 2. NaiveBayes Classifier - 텍스트 분류를 위해 전통적으로 사용되는 분류기 (=나이브 베이즈 분류기) - 베이즈 정리와 BOW를 이용하여 텍스트 분류를 수행 - 입력 Text에서 단, 하나의 단어라도 훈련 Text에 없었다면 확률 전체가 0이 되어버린다. - 이를 방지하기 위해서 각 단어에..

[Day 15] Generative Models 1. 강의 복습 내용 더보기 Generative Models 1. Generative Model - 학습 데이터의 분포를 학습하는 것 - 학습 데이터의 분포를 어느 정도 안 상태에서 생성 -> Explicit - 학습 데이터의 분포를 잘 모르지만 그럼에도 생성 -> Implicit 2. Explicit density 학습 데이터의 분포를 어느 정도 파악 -> 확률 계산을 할 수 있다. 1) Tractable density - 학습 데이터의 분포를 직접적으로 구하는 방법 - Auto-Regressive (AR) Model -> 이전의 하나의 정보가 이전 정보들에 dependent - AR-1 : 이전 1개를 고려 - AR-N : 이전 N개를 고려 a. NAD..

[Day 14] RNN 1. 강의 복습 내용 1) Recurrent Neural Networks (RNN) 더보기 Recurrent Neural Networks (RNN) 1. Sequential Model - 입력의 차원을 알 수 없는 데이터(Sequential Data), 몇개의 입력들이 들어오던 상관없이 모델은 동작해야 한다. - 이전 데이터들이 들어왔을 때, 다음을 예측해보자 1) Autoregressive model 2) Markov model (first-order autoregressive model) 이 두 모델들의 단점은, 사실 과거의 많은 정보를 고려해야하는데 이 고려를 할 수가 없다는 한계가 있다. 3) Latent autoregressiv model 2. Recurrent Neura..

[Day 13] CNN 1. 강의 복습 내용 더보기 CNN 1. Convolution - RGB Image Convolution - input 의 채널과 filter의 채널은 같아야하고 이때 1개의 feature를 얻을 수 있다. - 따라서 input의 채널 수와 output의 채널 수를 알면 몇개의 filter가 필요한지 알 수 있다. - 이를 토대로 Filter들의 Parameter 개수도 도출해낼 수 있다. 2. Convolution Neural Networks - Convolution & pooling layers : feature extraction - Fully Connected Layer : 최종적으로 원하는 결과값을 만들어줌 (최근 들어서, 점점 없어지거나 최소화시키는 추세 -> Param..