ROUGE score

ROUGE score

ROUGE

Recall-Oriented Understudy for Gisting Evaluation

텍스트 요약 모델의 성능 평가 지표. 텍스트 자동 요약, 기계 번역 등 자연어 생성 모델의 성능을 평가하기 위한 지표이며, 모델이 생성한 요약본 혹은 번역본을 사람이 미리 만들어 놓은 참조본과 대조해 성능 점수를 계산

if

• 시스템 요약(모델 생성 요약) : the cat was found under the bed
• 참조요약(Gold standard, 대게 사람이 직접 만든 요약) : the cat was under the bed

모델이 생성한 시스템 요약과 사람이 만들어 놓은 참조 요약 간 겹치는 단어 총 6개
하지만 이 6이라는 숫자는 성능 지표(Metric)로 바로 사용하기에 적합하지 않은 수
→ 정량적 지표로 사용할 수 있는 값을 얻기 위해 Recall과 Precision을 계산해야 함

ROUGE에서의 Precision과 Recall의 의미

1) Recall

참조 요약본을 구성하는 단어 중 몇 개의 단어가 시스템 요약본의 단어들과 겹치는지 보는 점수

unigram을 하나의 단어로 사용한다고 하면

$$
\frac{number\ of \ overlapped\ words}{Total\ words\ in\ reference\ summary}
$$

앞의 살펴본 예제에서의 Recall 점수는

$$
Recall=\frac{6}{6}=1.0
$$

→ 참조 요약본 내 모든 unigram이 모델이 생성한 시스템 요약본에 등장했다는 것을 의미
모델이 자신이 알고 있는 모든 단어를 생성해 요약본을 만들게 되면, 어떻게든 참조 요약본을 구성하는 단어들을 요약본에 포함할 수 있게 될 것이기 때문에 무조건 좋은 점수라고 할 수 없음

이러한 문제를 해결하기 위해 Precision을 계산할 필요가 있음

2) Precision

모델이 생성한 시스템 요약본 중 참조 요약본과 겹치는 단어들이 얼마나 많이 존재하는지

$$
\frac{Number\ of\ overlapped\ words}{Total\ words\ in\ system\ summary}
$$

위 예제에 대해 계산하면

$$
Precision=\frac{6}{7}=0.86
$$

보다 정확한 모델의 성능 평가를 위해서는 Precision과 Recall을 모두 계산한 후, F-Measure를 측정하는 것이 바람직

$$
H=\frac{2ab}{a+b}
$$

ROUNE-N : ROUGE-1 과 ROUGE-2

1) ROUGE-1

시스템 요약본과 참조 요약본 간 겹치는 unigram의 수를 보는 지표

2) ROUGE-2

시스템 요약본과 참조 요약본 간 겹치는 biogram의 수를 보는 지표

• 시스템 요약 : the cat was found under the bed
• 참조 요약 : the cat was under the bed
• 시스템 요약(biograms)
  the cat, cat was, was found, found under, under the, the bed
• 참조 요약(biograms)
  the cat, cat was, was under, under the, the bed

$$
ROUGE2_{recall}=\frac{4}{5}=0.8
$$

$$
ROUGE2_{precision}=\frac{4}{6}=0.67
$$

기타 ROUGE 지표들

1) ROUGE-L

LCS 기법을 이용해 최장 길이로 매칭되는 문자열을 측정. LCS의 장점은 ROUGE-2와 같이 단어들의 연속적 매칭을 요구하지 않고, 어떻게는 문자열 내에서 발생하는 매칭을 측정하기 때문에 보다 유연한 성능 비교가 가능

• Reference : police killed the gunman
• System-1 : police kill the gunman
• System-2 : the gunman kill police
• ROUGE-N : System-1 = System-2 ( ‘police’, ‘ the gunman’)
• ROUGE-L
  • System-1 = 3/4 (’police the gunman’)
  • System-2 = 2/4 (’the gunman’)

2) ROUGE-S

특정 Window size가 주어졌을 때, Window size 내에 위치하는 단어쌍들을 묶어 해당 단어쌍들이 얼마나 중복되게 나타나는 지를 측정 Skip-gram Co-ocurrence기법이라 부르기도 함

skip-gram 방식과 같이, 최대 2칸(bigram) 내에 위치하는 단어 쌍의 recall을 계산합니다. skip-gram의 특성상 이어지지 않아도 되므로 상대적으로 거리에 영향을 덜 받습니다.

• 정답문장 : "류현진의 포심 패스트 볼은 빠르지 않지만 매우 정교하다."
• 생성문장 : "류현진의 투심 패스트 볼은 느리지만 매우 정확하다."

$$
N_{정답문장}=7 \ N_{((류현진,패스트),(류현진,볼),(패스트,볼),(볼,매우))}=4 \ ROUGE-S=\frac{4}{7}
$$

3) ROUGE-W

Weighted Longest Common Subsequence

ROUGE-W는 ROUGE-L의 방법에 더하여 연속적인 매칭(consecutive matches)에 가중치를 주는 방법

$$
X=[\underline{A}\ \underline{B}\ \underline{C}\ \underline{D}\ E\ F\ G] \ Y_1=[\underline{A}\ \underline{B}\ \underline{C}\ \underline{D}\ H\ I\ K] \ Y_2=[\underline{A}\ H\ \underline{B}\ K\ \underline{C}\ I\ \underline{D}]
$$

ROUGE-L의 관점에서는 Y_1과 Y_2의 결과가 같지만,

ROUGE-W의 관점에서는 consecutive matches로 이루어진 예시인 Y_1이 더 우수한 결과

4) ROUGE-SU

Extension of ROUGE-S

ROUGE-S는 동시에 출현하는 word pair가 하나도 겹치지 않을 시 0이 됨

하지만 아래 예시의 경우 어순을 바꿨을 뿐, 같은 의미에 문장임에도 ROUGE-S가 0이 되어버림

• 정답문장 : 류현진이 공을 던졌다.
• 생성문장 : 던졌다 공을 류현진이

ROUGE-SU는 Unigram을 함께 계산하여 이를 보정해 줍니다.

• 정답문장 : ((류현진,공), (류현진,던졌다), (공,던졌다), 류현진, 공, 던졌다)
• 생성문장 : ((던졌다,공), (던졌다,류현진), (공,류현진), 류현진, 공, 던졌다)