dev-hunmin

부스트캠프 AI Tech P-Stage 총 정리 기간 : 2021.03 ~ 2021.06 1. P-Stage 1 (이미지 분류) - 사람의 마스크 착용 여부, 나이, 성별의 18개 Class를 분류하는 모델을 만들기 - 최종 순위 : 17위 - Solution : https://drive.google.com/file/d/1kYXhF0O_GWxP2bcyYkQ5IbquHaAKO5CA/view?usp=sharing wrap_up.docx drive.google.com 2. P-Stage 2 (정형 데이터) - 온라인 상점 구매 예측 - 고객 로그 데이터를 이용하여, 다음 달의 고객들의 구매 총액을 예측하기 - 최종 순위 : 1위 - Solution : https://docs.google.com/presenta..

[Day 38] 모델 경량화 - 4 1. 강의 복습 내용 더보기 모델 경량화 - 4 앞서, Day 37에서는 모델 경량화 기법 중, 가지 치기(Pruning)에 대해서 알아보았다. Day 38에서는 모델 경량화 기법 중에서 양자화(Quantization), 지식 증류(Knowledge Disitillation)에 대해서 알아볼 것이다. 1. 양자화 (Qunatization) 신경망 모델에서 사용하는 파라미터는 모두 완전정밀도 타입(FP32)을 사용하고 있다. 이렇게 큰 비트너비를 가진 파라미터는 연산을 함에 있어서 부담으로 작용할 수 밖에 없다. 아무리 병렬연산을 하더라도 말이다. 신경망 모델에서의 모든 파라미터는 추정되어 나온 근사값이기 때문에 32Bit로 표현하는것은 비효율적이라고 생각할 수 있다. ..

[Day 37] 모델 경량화 - 3 1. 강의 복습 내용 더보기 모델 경량화 - 3 1. Acceleration 1.1) 가속 (Acceleration)이란? 1.2) 머신러닝 모델에서의 가속이란? - 머신러닝 모델 관점에서의 Acceleration 향상 요소 Manycore designs (코어) low-precision arthmetic (연산) novel dataflow architectures (병목 현상 제거) in-memory computing capability (메모리 처리) 즉, 계산량이 많은 곳 -> 병목 현상 -> 처리 -> Acceleration (가속) 효과 1.3) 하드웨어 관점 : 하드웨어의 성능이란 대부분의 경우 가속(OR 속도)을 초점에 많이 둔다. - CPU는 직렬연산, ..

[Day 36] 모델 경량화 - 2 1. 강의 복습 내용 더보기 모델 경량화 - 2 1. Parameter Search : 모델 최적의 Weight를 찾는 방법 - Parameter Search의 cost는 비교적 적다. - Model의 의존도가 비교적 낮음 - Adam, SGD 등이 이것에 해당 2. Hyperparameter Search : 얻는 과정의 Cost가 크다. (모델을 다시 학습시키고 결과를 얻는 루틴을 다시 돌아야함) : Hyperparameter에 Model의 의존성이 큼 (Hyperparameter의 변동에 따라 Output이 크게 변화) : 따라서 기존의 Search 방법과는 다른 연구들이 많이 진행중 - 좀 더 적은 비용으로 유의미한 (좀 더 많은 탐색) 결과를 얻기 위한 다양한 ..

[Day 35] 모델 경량화 - 1 1. 강의 복습 내용 더보기 모델 경량화 - 1 1. 머신러닝 모델 경량화 - 머신러닝 모델은 여러 데이터들이 공유하는 어떤 패턴을 표현하기 위한 함수 - 가장 표현력이 좋다고 알려져 광범위하게 쓰이는 함수가 Deep Neural Network (DNN) - 다양한 데이터를 아우르는 특징들을 많이 표현하고 싶을 수록 더욱 크고 복잡한 모델이 필요 - 크고 복잡한 모델이 필요하게 되는 것은 자연스러운 흐름 - 하지만, 사람 사회로 이 기술들이 스며들기 위해서는 대부분 크기는 점차 작아지고, 성능은 향상되는 방향으로 기술이 발전하는 모습을 보인다. - 결국, 머신러닝도 이같은 흐름을 따를 것이고 머신러닝 모델 경량화 기술이 요구될 것이다. *) 경량화? 소형화? On-De..

[Day 34] Computer Vision (CV) - 5 1. 강의 복습 내용 1.1) Multi-Modal Learning 더보기 Multi-Modal Learning 1. Multi-Modal Learning : 한 타입의 데이터가 아니라 다른 특성을 가지는 데이터 타입들을 같이 활용하는 학습 하지만 Multi-Modal Learning은 극복해야 할 문제점들이 존재한다. 1) 위 그림처럼 각각의 자료의 표현 방법들이 다르다. 2) 데이터의 타입에 따라 정보가 표현하는 범위들이 imbalance 하다. (Text의 새 : Image의 새 = 1 : N) 3) 학습 시, 다양한 타입의 데이터들을 충분히 고려하지 않고 모델이 학습하기 쉬운 특정 타입의 데이터들만(편중) 학습하고 자칫 다른 타입의 데이..

[Day 33] Computer Vision (CV) - 4 1. 강의 복습 내용 1.1) Instance/Panoptic Segmentation 더보기 Instance/Panoptic Segmentation 1. Instance Segmentation과 Panoptic Segmentation 차이 : Instance Segmentation이 구분하는 셀 수 있는 물체를 things라고 하고, Semantic Segmentation을 통해 다룰 수 있는 무정형이며 셀 수 없는 영역(배경)을 stuff라고 한다. 즉, Panoptic Segmentation은 Semantic Segmentation 과 Instance Segmentation을 합친 것으로 볼 수 있다. (stuff+things) 2. Ins..

[Day 32] Computer Vision (CV) - 3 1. 강의 복습 내용 1.1) Object detection 더보기 Object detection 1. Object detection : Object detection(객체 검출)이란, 입력 영상이 주어질 때 영상 내에 존재하는 모든 카테고리에 대해서 Classification(분류)와 Localization(지역화)를 수행하는 Task 여기서 Localization(지역화)란, bounding box를 찾는 Regression(회귀)문제이고, Classification(분류)는 bounding box내에 물체가 무엇인지 분류하는 문제이다. *) Bounding Box를 평가하는 방법 : 보통 IoU가 특정 값(Threshold)를 넘으면 정답..