NT-Xent loss에 대한 1차 결과

[papari1123]

[이슈사항]

• no_relation을 다른 라벨로 보거나 ,그 반대의 경우가 많이 발생한다.

아이디어

• BERT의 CLS 토큰 임베딩에 NT-Xent loss를 적용해서, 서로 다른 라벨은 임베딩 스페이스 에서 최대한 멀리 떨어트리는 contrastive learning을 사용하자.
• NT-Xent loss는 다음과 같다.
  

실험방법

• 3가지 방법을 사용해서 실험 결과를 비교한다. 모델은 roberta-base를 사용한다.
  • 기존 방식 (focal loss만 사용)
  • focal loss + NT-Xent loss -> NT-Xent에 따른 개선 효과 확인
  • focal loss + NT-Xent lossx100 -> NT-Xent 영향에 집중

샘플링 방법

• NT-Xent를 효과적으로 적용하기 위해 batch(size 32)에 동일한 라벨을 가지는 4개의 샘플을 무조건 넣어주었다. (라벨을 batch마다 0~29 순회)
• 코드가 pythonic하진 않다. 제대로 사용할 거면 리팩토링을 해야할 듯.
• long-tail label에 대해서 oversampling 될 수 있다. 그러나 제안된 샘플링 방법의 oversampling 정도는 크게 무리없고 오히려 좋을 듯?
• 셔플이 가능하면 더 좋을 듯.

class ContrastiveSampler(Sampler[int]):
    r"""Samples elements sequentially, always in the same order.

    Args:
        data_source (Dataset): dataset to sample from
    """

    def __init__(self, data_source: Sized, batch_size: int) -> None:
        print(batch_size)
        reserved_num = 4
        self.data_source = data_source
        self.indices = list(range(len(self.data_source)))
        df = pd.DataFrame() 
        df['label'] = self.data_source.labels
        label_arr = df['label'].unique()  # unique 라벨 리스트.
        label_num = len(label_arr) # 라벨 개수
        indices_dict = {label: df[df['label'] == label].index for label in label_arr}
        label_pos = {label: 0 for label in label_arr} # 각 라벨들의 index 위치
        self.new_indices = []
        label_index = 0 # similar label 순회를 위한 index
        sample_index = 0 # 샘플 순회를 위한 index
        loop = True
        while loop:
          batch = []
          label = label_arr[label_index]
          # same class sample
          for rev_idx in range(reserved_num):
            pos = (label_pos[label] + rev_idx) % len(indices_dict[label])
            batch.append(indices_dict[label][pos])
          label_pos[label] = (label_pos[label] + reserved_num) % len(indices_dict[label])
          label_index = (label_index + 1) % label_num
              
          # batch 남은 샘플 채우기
          while len(batch) < batch_size:
            batch.append(sample_index)
            if sample_index >= len(self.indices) - 1:
              sample_index = 0
              loop = False
            sample_index = (sample_index + 1) % len(self.indices)
         
          self.new_indices.extend(batch)
          
    def __iter__(self) -> Iterator[int]:
        return iter(self.new_indices)

    def __len__(self) -> int:
        return len(self.new_indices)

실험결과

실험 결과는 임베딩 벡터의 T-SNE와 accuarcy, micro F1, AUPRC를 같이 확인한다.

T-SNE

• 기존 방법

  • 의외로 클러스터링이 잘되었다.
  • 그러나 no_relation(연두색 샘플)이 좀 넓게 분포되었다.
    

• focal loss + NT-Xent loss

  • 기존 방법보다 no_relation은 잘 뭉쳐졌다.
  • 그러나 나머지 라벨에 대해서 눈에 띄는 성과는 안 보인다.
    

• focal loss + NT-Xent lossx100

  • no_relation이 더 잘 뭉쳐졌다.
  • 가운데를 기준으로 라벨들이 특정 방향으로 퍼져있는 느낌
  • 그러나, 몇몇 라벨은 focal loss + NT-Xent loss 보다 더 많이 (다른라벨과) 겹쳐있는 듯
    하다.
    

accuarcy, micro F1, AUPRC

• NT-Xent는 AUPRC에서는 좋은 결과를 주지 못했다 -> 정확히는 focal loss의 효과가 감소해서 좋은 결과를 주지 못했다. 상대적으로 focal loss가 차지하는 비중이 작아질수록 long-tail 라벨을 더 못맞추게 되어 AUPRC가 낮아지는 것 같다.
• 그러나 두 loss에 적절한 가중치를 준다면(focal+NT-Xent) no_relation에 대한 클러스터링이 잘되면서 accuracy도 확보할 수 있을 것 같다.
  

상위 12개 정확도

• focal+NT-Xent(왼쪽)과 focal(오른쪽)의 정확도 상위 12개 라벨 비교인데, focal+NT-Xent가 최상위 정확도를 보인 라벨들에 대해서는 성능이 더 좋은 것을 볼 수 있다. 반면 하위의 정확도를 보인 라벨들은 상대적으로 더 낮은 성능을 보인다. ->focal loss가 hard-negative sample 예측에 강함을 알 수 있다.
• 또한 no_relation의 경우 focal+NT-Xent가 0.60, focal이 0.56의 정확도를 보였다. -> (1) no_relation과 같이 다수의 샘플을 가지고 있거나, (2) date of birth와 같이 예측이 쉬워서 또는 여러 이유로 인해 클러스터링이 상대적으로 잘되는 라벨들은, 다른 라벨들과의 거리를 충분히 더 벌려놓음으로써 NT-Xent가 효과를 보인다.
  

결론

• NT-Xent만 사용한다면, 클러스터링 뿐 아니라 분류 능력에 있어서도 좋은 결과를 얻을 수 없다. -> 반대로 생각하면 focal loss로 분류에 집중할 수 있다.
• NT-Xent는 클러스터링 용도로만 사용하되, focal loss로 초기 학습을 보조하는 식으로 사용하면 될 것 같다. 학습이 충분히 된 경우 NT-Xent loss를 제외하고 분류기만 다시 학습시킨다.

기타

• 클러스터링이 잘되었는지 정량적 평가를 위해서는 실루엣 계수를 사용할 수 있다.
• 실루엣 계수
  • 군집 내 비유사성('within' dissimilarities)은 작고, 군집 간 비유사성('between' dissimilarities)은 커야 생성된 클러스터의 품질이 좋다.
  • 참조링크