Course/[Kaggle] Data Science

[DL] Convolution and ReLU

1. Convolutional Base 합성곱 신경망(CNN)은 이미지에서 특징을 추출하는 convolutional base와 분류 작업을 하는 head로 구성되어 있다. 2. Feature Extraction convolutional base는 convolution, ReLU, maximum pooling의 세 개의 작업으로 구성되어 있다. 이 세가지 단계는 각각의 작업을 수행한다. convolution : 이미지에서 특정 변수를 정제한다 ReLU : 정제된 이미지에서 변수를 검사한다 maximum pooling : 변수를 향상시키기 위해 이미지를 응축시킨다. 3. Filter with Convolution convolutional layer는 필터링 단계를 수행한다. Keras 모델은 다음과 같이 코..

[DL] The Convolutional Classifier

1. What is Computer Vision ? 컴퓨터 비전(Computer Vision)은 기계의 시각에 해당하는 부분을 연구하는 컴퓨터 과학의 최신 연구 분야중 하나이다. 공학적인 관점에서, 컴퓨터 비전은 인간의 시각이 할 수 있는 몇가지 일을 수행하는 자율적인 시스템을 만드는 것을 목표로 한다. 그리고 과학 관점에서는 컴퓨터 비전은 이미지에서 정보를 추출하는 인공 시스템 관련 이론에 관여한다. Neural Network는 인간이 시각을 통해 얻는 정보를 충분히 비슷하게 이해할 수 있다. 이러한 작업에 가장 적합한 Neural Netork는 합성곱 신경망(Convolutional Neural Network; CNN)이다. 합성곱 신경망은 시각적 영상을 분석하는 데 사용되는 다층의 feed-forw..

[DL] Binary Classification

1. Binary Classification 분류문제에서도 Neural Network를 사용하여 문제를 해결할 수 있다. 이진 분류(Binary Classification)은 두 개의 결과값을 분류하여 예측하는 문제로 0과 1로 라벨링을 하여 학습한다. 3. Accuracy and Cross-Entropy 회귀문제에서는 MAE or MSE를 진행하여 손실함수(Loss Function)를 정의했다면, 분류 문제에서는 Cross Entropy Function을 손실함수로 이용한다. 분류 문제는 타겟 범주에 대한 확률로 정의되므로 Cross Entropy Function을 통해 확률 간의 거리를 계산하게 된다. 4. Making Probabilities with the Sigmoid Function 실제 데이..

[DL] Dropout and Batch Normalization

1. Dropout Dense layer에 대해서도 여러가지 종류가 존재하는데 첫번째는 Dropout layer이다. Dropout layer는 과적합(Overfitting)을 방지해주는 효과를 가지고 있다. 기존에 Overfitting을 방지하기 위해 Error함수에 Penalty 함수를 추가하여 Regularization을 수행했다면, Dropout layer는 Neural Network의 Connection을 직접적으로 조작하는 방식이다. Dropout layer는 각 층의 input unit을 무작위적으로 생략(dropout)하면서 반복적으로 학습을 수행한다. 이를 통해 mini batch가 Overfitting되는 기회를 방지하며 좀 더 빠르게 모델을 학습시킬 수 있다. You could als..