AI13 Backpropagation 개요 Backpropagation이란 딥러닝 모델을 학습시킬 때 사용하는 대표적인 부분 중 하나입다. 직역하면 역전파라는 뜻을 가집니다. Backpropation은 간단하게 풀어쓰면 실제 정답과 모델이 예측한 값의 오차를 출력에서 입력으로 전파하면서 모델의 weight를 업데이트하는 것을 말합니다. Backpropagation을 알기 전에 Chain Rule이란 것을 먼저 알아야 합니다. Chain Rule Chain Rule이란 미분의 연쇄법칙이라고 불리는 법칙입니다. Chain Rule에 대한 정의는 다음과 같습니다. 어떤 함수 $f$와 $g$가 모두 미분가능하고 $F = f\circ g$가 $F(x) = f(g(x))$로 정의된 합성함수라면, $F$는 $x$에서 미분 가능하고, $F'$는 다음과 같.. 2021. 11. 3. [Metric] Recall과 Precision 딥러닝뿐만 아니라 머신러닝을 배우다 보면 모델의 성능을 평가하는 지표가 자주 나옵니다. 이 글에서는 모델을 평가하는 지표 중에서 가장 대표적이라고 할 수 있는 지표들에 대해서 살펴봅니다. Confusion Matrix 모델에 대한 평가는 일반적으로 실제 정답과 모델이 내놓은 정답간의 관계를 통해서 구할 수 있습니다. 정답이 True, False로 나누어져 있고, 모델이 True, False로 답을 내놓을 때 이에 대한 관계를 2x2 matrix로 표현하면 아래와 같은 표로 표현할 수 있습니다. matrix의 간 칵에 있는 것을 살펴보면 다음과 같이 볼 수 있습니다. True Positive(TP): 실제 True이고 모델이 True라고 분류한 경우 ( 정답 ) False Positive(FP): 실제 T.. 2021. 10. 3. [Metric] BLEU (Bilingual Evaluation Understudy) BLUE BLEU(Bilingual Evaluation Understudy) score란 성과지표로 데이터의 X가 순서정보를 가진 단어들(문장)로 이루어져 있고, y 또한 단어들의 시리즈(문장)로 이루어진 경우에 사용되며, 번역을 하는 모델에 주로 사용됩니다. 3가지 요소를 살펴보겠습니다. n-gram을 통한 순서쌍들이 얼마나 겹치는지 측정(precision) 문장길이에 대한 과적합 보정 (Brevity Penalty) 같은 단어가 연속적으로 나올때 과적합 되는 것을 보정(Clipping) $$\text{BP} = \begin{cases} 1 &\text{if } c > r\\ e^{(1-r/c)}& \text{if } c \le r \end{cases}\\BLEU = \text{BP}\cdot\exp\.. 2021. 10. 2. 2021 NAVER CLOVA AI RUSH 후기 상당히 늦은 후기이다. AI RUSH는 올해 5월 중순쯤에 시작해서 7월 초에 끝난 대회이다. CLOVA AI RUSH는 NAVER 서비스 데이터를 분석해서 AI 모델을 개발하는 챌린지이다. 본 대회에서는 1라운드, 2라운드 총 2개의 라운드로 나뉘어서 진행이 되었다. 1라운드가 시작되기 전에 코딩테스트를 통해서 150명의 참가자를 선발하고, 2라운드가 시작되기 전에 1라운드 참가자 중에서 70명을 선발하여 각 라운드가 흘러갔다. NAVER AI RUSH를 진행하는 동안에는 NAVER NSML을 통해서 학습 환경에 크게 고민하지 않고 모델 개발에만 집중할 수 있었다. 특히 항상 학습 환경 때문에 프로젝트를 진행할 때 불편함을 많이 느꼈는데 본 챌린지를 진행하면서 이런 부분을 잊고 모델을 개발할 수 있어서.. 2021. 9. 26. 이전 1 2 다음
