[Paper review] B-CNN: Branch Convolutional Neural Network for Hierarchical Classification 논문리뷰

🔍Hierarchical classification?

Convolutional Neural Network(CNN)은 image classifiers에서 우수한 성능을 보인다.

하지만 일반적인 CNN은 예측하려는 class들이 equally하고 exclusive하다는 가정아래에서, 많은 class중 하나라고 예측을 내리는 모델이다.

하지만 보통의 image classifier은 계층적인(hierarchical)한 관련을 가지는 경우가 많다.

 

예를 들어, 고양이와 강아지를 구분하는 것과 강아지와 비행기를 구분하는 경우를 생각해보자.

고양이와 강아지는 동물이라는 하나의 범주에 묶이지만, 강아지와 비행기는...? 아예 다르다.

그럼 image들의 계층적인 관계를 알고리즘에 적용시키면 어떨까?

이러한 아이디어에서 나온 알고리즘이 바로 B-CNN이다.

 

 

<원 논문 링크!>

https://arxiv.org/abs/1709.09890

B-CNN: Branch Convolutional Neural Network for Hierarchical Classification

<논문에 쓰인 알고리즘 코드>

https://github.com/zhuxinqimac/B-CNN

GitHub - zhuxinqimac/B-CNN: Sample code of B-CNN paper (https://arxiv.org/abs/1709.09890) written in Python3+.

 

이 알고리즘의 메인 아이디어는 2가지 이다.

우선 B-CNN(Branch Convolutional Neural Network)이라는 알고리즘과, BT-strategy(Branch Traning strategy)라는 전략을 학습에 적용시킨 것!

하나씩 알아보잣 ... !

 

💫 Branch Convolutional Neural Network(B-NN)

B-CNN의 모습

우선 B-CNN을 학습시키기 위해서는 hierarchical label을 알고 있어야 한다.

예를 들어 우리는 hierarchcal level을 3이라고 둔다고 가정해보자.

개라고 하면 label은 [생물, 애완동물, 개] 이런식의 label이 될 것이다.

의자라고 하믄 label은 [무생물, 가구, 의자] 이런식의 label.

 

여기서 뭐가를 알 수 있는데 바로 B-CNN은 output이 hierarchical level만큼 나올 것이다! 라는 것이다.

그려러면 예측을 위한 layers도 level 갯수만큼 필요하다. 왜냐면 각각 따로 예측해야하닌깐 ㅇㅇ

위 그림에서도 layers가 3개가 쓰인 것을 알 수 있다.

각 layer에는 ConvNet을 사용했다고 한다.

 

그렇다면 model을 fit시키기위해 필요한 loss function도 level갯수만큼 나올 것이다.

여기서 loss function은 cross-entropy loss를 사용했다고 한다.

loss function

위식에서 주목해야 할 것은 바로~ Ak이다.

이건 각 level에 해당하는 loss function의 loss weight인데, 이를 통해 hierarchical한 관계를 모델 업데이트에 적용시킬 수 있다.

이 논문에서 이 개념을 BT-strategy라고 칭하였다.

 

 

💫 Branch Training Strategy(BT-strategy)

BT-strategy는 loss weight를 다양하게 변화시키면서 B-CNN model을 학습시킨다.

loss weight가 큰 level은 그 학습에서 크게 작용된다는 것을 의미한다.

이것을 이 논문에서는 'focus'라고 말하였다.

예를들어 loss weight를 [0.2, 0.3, 0.5]로 주었다면 마지막 level에 focus가 가있다는 것을 의미한다.

 

그리고 이 focus는 학습을 거듭할 수록 높은 level(ex: 생물)에서 낮은 level(ex: 개)로 옮겨간다.

이 과정에서 모델은 높은 level의 특징을 잘 배운 후 낮은 level의 parameter tunining에 써먹을 수 있다.

 

 

🔬 Experiments

처음으로 알아본 것은 각 level의 layer의 정확도!

확실히 높은 level(=coarse 1)의 정확도가 낮은 level(=fine)보다 높다.

사실 직관적으로 생각해봐도 당연한 결과다.

고양이랑 강아지를 구분하는 것보다, 강아지랑 의자를 구분하는게 더 쉬울테니 ㅋㅋ

두번째는 3가지 데이터셋에 알고리즘을 적용하여 일반적인 CNN과 B-CNN의 성능을 비교하였다.

B-CNN이 더 좋은 성능을 가졌다. (그러닌깐 논문을 쓸 수 있었겠지)

 

✅ Conclusion

B-CNN은 hierarchical label을 가이드처럼 사용해서 퍼포먼스를 높였다.

일반 CNN과 비교해도 더 좋은 성능을 가지고 있다는 것을 알 수 있다.

 

다만 이 알고리즘의 아쉬운 점은

1, hierarchical label을 미리 알고 있어야한다는 점

2, 가장 좋은 성능을 가진 알고리즘이 아닌, 기본적인 CNN과 비교했다는 점

3, training epochs를 60으로 제한해서 제일 정확한 상태가 아니라는 점(물론 이점이 가지고 오는 이점도 있지만)

 

간단한 아이디어로 더 좋은 성능을 가진 알고리즘을 만들어낸 것이 신기했다!