Deep Learning18 CNN 특징 세세한 부분 1. Stride 적용 (해상도 줄이기) - Stride는 입력 영상의 크기가 큰 경우, 연산량을 줄이기 위한 목적으로 입력단과 가까운 쪽에서만 적용을 한다. ((Stride==1) + pooling) vs stride 3,4,5, ... - stride==1이면 경계가 아닌 모든 입력 영상에 대해 convolution 연산을 수행하고, pooling을 하면서 값을 선택적으로 고를 수가 있지만, stride를 크게 하면 그런 선택의 기회가 사라진다. 그래서 통상적으로는 stride 1을 하면서 pooling을 통해 적절한 sub-sampling 과정을 거치는 것이 결과가 좋다. - 그러나 AlexNet에서는 연산량을 줄이기 위해 stride를 크게 했다. (그래픽카드가 그때는 구졋다.. 심지어 2개를 썼.. 2021. 9. 22. 1x1 convolution https://blog.naver.com/laonple/220692793375 [Part Ⅴ. Best CNN Architecture] 5. GoogLeNet [2] - 라온피플 머신러닝 아카데미 - Part I. Machine Learning Part V. Best CNN Architecture Part VII. Semantic Segmentat... blog.naver.com - 차원을 줄이는 역할. - kernel이 1x1 즉, 한 픽셀이라는 것임. - 여러개의 feature-map으로부터 비슷한 성질을 갖는 것을 묶어낼 수 있다. - feature-map의 숫자를 줄일 수 있다. - 연산량을 줄일 수 있다. - 망을 더 깊게 구성할 수 있게 된다. 이는, fully connected layer 와.. 2021. 9. 22. QnA 1. Cross Entropy가 MSE보다 좋은 이유 - MSE같은 경우는, sigmoid 함수와 같은 활성함수와 같이 사용하면, Gradient Descent 과정에서 편미분을 할 경우 sigmoid의 특성으로 인해 미분값이 거의 0에 가까워 update가 조금씩밖에 되지 않아 학습속도가 느린 문제가 발생. - Cross Entropy의 경우는 이런 문제가 발생하지 않음. 학습속도 저하원인 Cross Entropy 2. 4x4, 5x5 보다 3x3을 쓰면 non linearity가 더 추가된다고 한다. 왜? - 그리고, 3x3 두개를 쌓으면 5x5 역할을 한다고 한다. 왜? : output 이미지 크기가 그렇게 됨. - 아.. 커널을 거친다음에 activation function을 적용하는데, 이렇게되.. 2021. 9. 22. Keywords 1. Cost Function 2. Activation Function 3. Batch Normalization 4. Drop Out 5. Vanishing Gradient 6. Initialization 7. Optimizer 2021. 9. 19. Hyper Parameters https://blog.naver.com/NBlogTop.naver?isHttpsRedirect=true&blogId=laonple&Redirect=Dlog&Qs=/laonple/220571820368 [Part Ⅲ. Neural Networks 최적화] 8. Hyperparameters Optimization [1] - 라온피플 머신러닝 아카데미 - Part I. Machine Learning Part V. Best CNN Architecture Part VII. Semantic Segmentat... blog.naver.com https://blog.naver.com/NBlogTop.naver?isHttpsRedirect=true&blogId=laonple&Redirect=Dlog&Qs=/laonpl.. 2021. 9. 18. [퍼옴] CNN의 parameter 개수와 tensor사이즈 계산하기 https://seongkyun.github.io/study/2019/01/25/num_of_parameters/ CNN의 parameter 개수와 tensor 사이즈 계산하기 · Seongkyun Han's blog CNN의 parameter 개수와 tensor 사이즈 계산하기 25 Jan 2019 | CNN parameter tensor size CNN의 parameter 개수와 tensor 사이즈 계산하기 이번 글에서는 네트워크의 텐서 사이즈와 파라미터의 갯수를 계산하는 공식 seongkyun.github.io AlexNet으로 아주 잘 설명해주심 2021. 9. 3. 이전 1 2 3 다음
