dev-hunmin

[Day 23] 군집 탐색 & 추천시스템 1 1. 강의 복습 내용 1.1) 군집 탐색 더보기 군집 탐색 1. 군집 1.1) 군집의 정의 군집이란 다음의 조건들을 만족하는 정점들의 집합 (1) 집합에 속하는 정점 사이에는 많은 간선이 존재 (2) 집합에 속하는 정점과 그렇지 않은 정점 사이에는 적은 수의 간선이 존재 1.2) 군집 탐색 문제 그래프를 여러 군집으로 '잘' 나누는 문제를 군집 탐색(Community Detection) 문제라고 한다. 보통은 각 정점이 한 개의 군집에 속하도록 군집을 나눈다. 비지도 기계학습 문제인 클러스터링(Clustering)과 상당히 유사함 2. 군집 구조의 통계적 유의성과 군집성 2.1) 비교대상: 배치 모형 성공적인 군집 탐색을 정의하기 위해 먼저 배치 모형(Conf..

[Day 22] 페이지랭크 & 전파 모델 1. 강의 복습 내용 1.1) 페이지랭크 더보기 페이지랭크 1. 페이지랭크 1.1) 웹과 그래프 웹은 웹페이지와 하이퍼링크로 구성된 거대한 방향성이 있는 그래프로 표현 가능 웹페이지 = 정점(Vertex, Node) 하이퍼링크 = 해당 웹페이지에서 나가는 간선(Edge) 웹페이지는 추가적으로 Keyword 정보를 담고 있다. 1.2) 구글 이전의 검색 엔진 - 첫번째 시도 웹을 거대한 디렉토리로 정리 및 표현 그러나, 웹페이지가 많아질수록 디렉토리도 깊어지고 양을 감당할 수 없게 됨 또한 카테고리 구분이 모호한 경우가 많아 저장과 검색의 어려움 - 두번째 시도 사용자가 입력한 키워드에 대해, 해당 키워드를 여러번 포함한 웹페이지를 반환 그러나, 악의적인 웹페이지에..

[Day 21] 그래프 이론 기초 & 그래프 패턴 1. 강의 복습 내용 더보기 그래프 이론 기초 & 그래프 패턴 1. 그래프 Overview 1) 그래프 (Graph) - 그래프(Graph)는 네트워크(Network)라고도 불림 - 그래프(Graph)는 정점 집합과 간선 집합으로 이루어진 수학적 구조 - 하나의 간선은 두 개의 정점을 연결 - 모든 정점 쌍이 반드시 간선으로 직접 연결되는 것은 아님 - 정점(Vertex) = 노드(Node) - 간선 = 엣지(Edge) = 링크(Link) - 그래프는 복잡계를 표현하고 분석하기에 용이한 일종의 언어 *) 위와 같이 복잡계는 구성 요소들 간의 상호작용으로 이루어진다. - 상호작용을 표현하기 위한 수단으로 그래프가 용이, 널리 사용된다. - 따라서 복잡계를 ..

[Day 20] Self-supervised Pre-training Models 1. 강의 복습 내용 더보기 Self-supervised Pre-training Models 1. GPT-1 - Transformer의 Encoder, Decoder 구조에서 Encoder를 뺀 구조 (Masked Multi-Head Self-Attention) - 이전 단어들로 다음 단어가 무엇인지 맞추는 과정에서 Pre-train 하였다. - 문장 시작부터 순차적으로 계산하므로 unidirectional (일방향) 이다. - 문장 생성에 강점을 가진다. (Decoder) 2. BERT - Transformer의 Encoder, Decoder 구조에서 Decoder를 뺀 구조 (Encoder, Multi-Head Self-..

[Day 19] Transformer 1. 강의 복습 내용 더보기 Transformer 1. Transformer - 기존의 RNN 기반 seq2seq의 구조의 인코더-디코더를 따르면서도 RNN을 모두 제외하고 Attention만으로 구현한 모델 - 그럼에도 불구하고, 성능도 RNN보다 우수하다. - 왜냐하면 기존의 RNN은 순차적인 처리를 해야만 했지만, Transformer는 Attention만을 사용하면서 Long-term dependency 를 해결하면서 동시에 병렬처리에 적합한 모델이기 때문이다. 2. Self Attention - Query, Key, Value가 동일한 벡터의 출처에서의 연산이 이루어질 때 - 보통 인코더에서 이루어지고, 디코더에서는 Masked Decoder에서 이루어진다...

[Day 18] NLP (자연어 처리) - 3 1. 강의 복습 내용 더보기 NLP (자연어 처리) - 3 1. Sequence-to-Sequence (seq2seq) - 입력 시퀀스로부터 다른 도메인의 시퀀스를 출력 (Many To Many) - 번역기에서 대표적으로 사용되는 모델 - 인코더와 디코더의 내부는 사실 두개의 RNN 아키텍쳐 - 입력 시퀀스를 받는 RNN 셀을 '인코더' - 출력 시퀀스를 출력하는 RNN 셀을 '디코더' - 인코더는 모든 시퀀스를 입력 받은 후 마지막 시점의 은닉 상태를 디코더로 넘겨준다. (Thought Vector) 2. seq2seq Model with Attention - RNN에 기반한 seq2seq모델의 한계 - 하나의 고정된 크기의 Thought Vector(=C..

[Day 17] NLP (자연어 처리) - 2 1. 강의 복습 내용 더보기 NLP (자연어 처리) - 2 1. RNN (Recurrent Neural Network) - 시퀀스 모델 - 입력과 출력을 시퀀스 단위로 처리하는 모델 - 시퀀스의 길이에 상관없이 input과 output을 처리할 수 있다. - 은닉층의 노드에서 활성화 함수를 통해 나온 결과값들을 출력층 방향으로 보내면서, 다시 은닉층 노드의 다음 계산의 입력으로 보내는 특징을 가짐 - 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드를 셀(Cell) 이라고 한다 - 은닉층의 셀은 각각의 시점(time step)에서 바로 이전 시점에서의 은닉층의 셀에서 나온 값을 자신의 입력으로 활용 - RNN 수식과 차원 계산 * 각각의 가중치..

[Day 16] NLP (자연어 처리) - 1 1. 강의 복습 내용 더보기 NLP (자연어 처리) - 1 1. Bag-of-Words (BOW) - 빈도수 기반의 단어 표현 방법 - 단어들의 순서는 전혀 고려하지 않고, 단어들의 출현 빈도(frequency)에만 집중 - BOW를 만드는 방법 1) 각 단어에 고유한 정수 인덱스 부여 2) 각 인덱스의 위치에 단어 토큰의 등장 횟수를 기록한 벡터 생성 2. NaiveBayes Classifier - 텍스트 분류를 위해 전통적으로 사용되는 분류기 (=나이브 베이즈 분류기) - 베이즈 정리와 BOW를 이용하여 텍스트 분류를 수행 - 입력 Text에서 단, 하나의 단어라도 훈련 Text에 없었다면 확률 전체가 0이 되어버린다. - 이를 방지하기 위해서 각 단어에..