📖 Study5 Domain Adaptation에서의 MMD, Hilbert Space 두 종류의 카메라로 찍은 사진들을 생각해봅시다. 하나는 고가의 DSLR 카메라로, 다른 하나는 일반적인 저렴한 스마트폰 카메라로 찍은 사진들입니다. 서로 다른 Source Domain으로 부터 만들어진 사진들은 색감, 해상도, 노이즈 등에서 차이가 있을 수 있습니다. 이 두 세트의 사진들을 하나의 앨범으로 만들고자 할 때, 앨범 내의 사진들이 일관된 스타일과 품질을 가지도록 조정하는 것이 데이터 관리할 때 바람직할 겁니다. 이때 두 Source에서 나온 데이터의 차이점을 줄이는 것을 Domain Adaptation이라고 부릅니다. 위와 같은 상황에서 Domain Adaptation 문제를 해결하기 위해 MMD를 활용하여 두 데이터셋의 차이를 최소화하도록 적용할 수 있습니다. 가령, 머신러닝 모델을 학습시.. 2023. 9. 8. Fully-Connected Layer 컨볼루션 레이어나 풀링 레이어와 달리, FC 레이어의 각 뉴런은 이런 레이어의 모든 뉴런과 연결되어 있습니다. 전자의 두 레이어는 일반적으로 입력 이미지에서 공간적 Feature를 추출하는 데 사용됩니다. 이렇게 추출된 특징들은 FC 레이어로 전달되어, 고차원의 특징을 학습하고 집계하는 데 사용됩니다. 주로 FC레이어가 마지막에 있는 이유는 보통 분류 문제에서 Class의 확률을 출력하는 데 사용되기 때문입니다. 이는 Softmax 함수와 함께 사용되어 각 클래스에 대한 확률 분포를 제공해줍니다. fc 레이어는 모델의 학습 가능한 매개변수의 대부분을 차지하기 때문에 복잡한 패턴과 관계를 학습할 수 있는 것입니다. 다양한 네트워크 구조를 보면 항상 FC 레이어는 여러 개씩 붙어있는 것을 볼 수 있습니다. .. 2023. 8. 28. DeepLearning Basics - 3 : Optimizer Optimizer Gradient Descent (GD) Gradient Descent는 가장 기본적인 최적화 방법 중 하나로, 매개변수 공간에서 Loss Function의 Gradient를 따라서 최소값을 찾아가는 최적화 방법입니다. 장점 : 구현이 간단하고, Hyper-Parameter 수가 적습니다. 단점 : 매개변수 공간이 복잡한 경우, 수렴이 느리거나 지역 최소값(Local minimum)이나 안정점( Saddle Point)에 빠지거나 Learning Rate에 민감해지고, Converge Speed가 느려지는 문제가 발생할 수 있습니다. Gradient Descent는 매개변수 공간이 복잡하지 않은 경우, 빠르고 안정적인 최적화를 할 수 있다. 따라서 매개변수 공간이 복잡한 경우에는 다른 최.. 2023. 2. 28. Deep Learning Basics - 2 : Loss-Function 장단점 및 한계점 Loss Function 딥러닝 모델에서는 Loss Function을 이용하여 모델의 성능을 평가하고 최적화할 수 있습니다. 다양한 시나리오에서 주어진 문제에 적합한 Loss Function을 잘 선택해야 합니다. Mean Squared Error (MSE) MSE는 실제 값과 예측 값의 차이를 제곱한 값의 평균을 이용한 Loss Function입니다. 장점 : 구현이 간단하고, Gradient Descent를 이용한 최적화가 잘 동작합니다. 단점 : Outlier에 민감하게 반응합니다. 상황 : Regression 문제에서 자주 사용됩니다. 수식: $MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y_i})^2$ Mean Absolute Error (MAE) MAE는 실제 .. 2023. 2. 28. 이전 1 2 다음