Natural Language Understanding On Dialoglue 1
평가 지표
Average
Banking77 (Acc)
CLINC150 (Acc)
DSTC8 (F-1)
HWU64 (Acc)
MultiWOZ (Joint Goal Acc)
Restaurant8k (F-1)
TOP (EM)
평가 결과
이 벤치마크에서 각 모델의 성능 결과
비교 표
| 모델 이름 | Average | Banking77 (Acc) | CLINC150 (Acc) | DSTC8 (F-1) | HWU64 (Acc) | MultiWOZ (Joint Goal Acc) | Restaurant8k (F-1) | TOP (EM) |
|---|---|---|---|---|---|---|---|---|
| 모델 1 | 68.22 | 83.99 | 84.52 | 48.4 | 92.75 | 6.87 | 86.17 | 78.84 |
| 모델 2 | 73.8 | 85.06 | 85.69 | 44.36 | 93.06 | 48.89 | 87.58 | 72.01 |
| 모델 3 | 39.16 | 88.99 | 95.64 | 0.0 | 89.5 | 0.0 | 0.0 | 0.0 |
| 모델 4 | 74.6 | 84.84 | 93.53 | 46.63 | 86.71 | 49.59 | 87.33 | 73.56 |
| 모델 5 | 73.49 | 78.47 | 88.98 | 56.88 | 82.51 | 49.46 | 85.31 | 72.84 |