[Day 11] 딥러닝 기초

[Day 11] 딥러닝 기초

 

1. 강의 복습 내용

1) 베이즈 통계학

---

베이즈 통계학

 

1. 조건부 확률

---

2. 베이즈 정리

- 조건부 확률을 이용하여 정보를 갱신하는 방법을 알려준다

- 새로운 데이터가 들어왔을 때 앞서 계산한 사후확률을 사전확률로 사용하여 갱신된 사후확률을 계산 할 수 있다.

 

---

3. 조건부 확률의 시각화

---

4. 조건부 확률과 인과관계

 

- 조건부 확률은 유용한 통계적 해석을 제공하지만, 인과관계를 추론할 때 함부로 사용해서는 안된다.

(= 데이터가 많아져도 조건부 확률만 가지고 인과관계를 추론하는 것은 불가능)

 

- 인과관계는 데이터 분포의 변화에 강건한 예측모형을 만들 때 필요 

(단, 인과관계만으로는 높은 예측 정확도를 담보하기는 어렵다)

 

*) 중첩요인 제거

- 인과관계를 알아내기 위해서는 중첩요인(confounding factor)의 효과를 제거하고 원인에 해당하는 변수만의 인과관계를 계산해야 한다.

---

 

2) 딥러닝 Overview

---

딥러닝 Overview

 

1. Key Components of Deep Learning

 

 

- The data that the model can learn from

- The model how to transform the data

- The loss function that quantifies the badness of the model

- The algorithm to adjust the parameters to minimize the loss

---

2. Data

- Data depend on the type of the problem to solve

1) Classification

2) Semantic Segmentation

3) Detection

4) Pose Estimation

5) Visual QnA

---

3. Model

---

4. Loss

- 단순히 Loss function을 줄이는 것이 목적이 아님

- Model이 학습하지 않은 데이터에서 잘 동작하는 것이 목적

1) Regression Task -> MSE

2) Classification Task -> CE

3) Probabilistic Task -> MLE (=MSE)

---

5. Optimization Algorithm

---

 

3) PyTorch & Dataset 다루기

---

PyTorch

 

1. PyTorch 란?

Numpy + AutoGrad + Function

- Numpy 구조를 가지는 Tensor 객체로 array 표현

- 자동미분을 지원하여 DL 연산을 지원

- 다양한 형태의 DL을 지원하는 함수와 모델을 지원

 

2. PyTorch 문법

- tensor view -> reshape

- tensor size -> shape

 

3. Google Colab <-> VSCode에서 원격 사용

 - 생략

 

4. 실습 + NotMNIST Dataset 적용시켜보기

---

 

4) 뉴럴 네트워크 (MLP)

---

뉴럴 네트워크 (MLP)

 

 

- Linear Neural Networks (선형회귀)

- w와 b를 찾는 문제 (1차원)

- backpropagation -> loss function (parameter : w,b로 미분) -> Gradient Descent

---

- N차원

---

- Multi-Layer Perceptron (MLP)

- 선형결합은 아무리 많은 층으로 이루어져있어도 결국 단층으로 표현된다.

- 네트워크가 표현할 수 있는 표현력을 극대화하기 위해서는 '활성함수'가 필요하다.

 

---

- 활성함수

---

- Loss Function

---

 

2. 피어 세션

---

1. 강의 수학 Part 전체적인 리뷰 진행

2. 강의 내용 관련 토의

- 베이즈 정리에서 Evidence가 0이 될 때

- 조건부 확률과 인과관계 -> 실제 학습에선 조건부 확률 기반, 인과관계 기반을 어떻게 사용할까?

- 조건부 확률 기반 모델은 결국 오버피팅을 야기하는가?

 

---

 

 

3. Conclusion

---

오늘은 MATH, MLP(이론, Pytorch), 실습 등 방대하고 다양한 강의가 쏟아져 나왔다.

게다가 Colab - VSCode SSH 셋팅 이슈도 겹쳐 피어 세션에서는 모두 강의를 들은 수학파트정도만 토의를 나눌 수 있어서 아쉬웠다.

 

내일은 오늘 내용과 더불어 심층있는 토의를 기대하면서, 오늘 배운 MLP 모델을 가지고 다양한 실습을 해 볼것이다.

---