[감정 분석] SENTIWORDNET 3.0: An Enhanced Lexical Resource for Sentiment Analysis and Opinion Mining (번역)

www.lrec-conf.org/proceedings/lrec2010/pdf/769_Paper.pdf

 

 

Abstract 

이번 연구에서는 정확하게 감정 분류(sentiment classification)와 의견 발굴(opinion mining) 응용을 지원하기 위해 고안된, 어휘 소스인 SENTIWORDNET 3.0을 제시하겠습니다. SENTIWORDNET 3.0은 연구 목적으로 공적으로 이용 가능한 언휘 소스인, SENTIWORDNET 1.0의 향상된 버전입니다. SENTIWORDNET 1.0은 현재까지 300개 이상의 연구 그룹에서 라이센스 등록 하였고, 전 세계의 다양한 연구 프로젝트에서 사용되었습니다. SENTIWORDNET 1.0과 3.0 둘 다,  모든 WORDNET synset(유의어 집단)에 긍정, 부정, 중립의 정도에 따라 자동으로 주석을 단 결과입니다. SENTIWORDNET 1.0 과 3.0은 (a) WORDNET 버전이 다릅니다. (각각 WORDNET 2.0과 3.0에 주석을 달았습니다.), 또 (b) WORDNET에 자동으로 주석을 다는 알고리즘이 다릅니다. 지금은 점수를 다듬기 위해 랜덤 워크 단계를 포함합니다.  (추가적으로, 이전의 준-지도 (semi-supervised ) 학습 단계도 포함합니다. ) 이 논문에서, 우리는 SENTIWORDNET 3.0 이 version 1.0 과 관련하여 구현에 대해서 특히 (b) 의 측면의 향상에 집중했다는 것을 논의하고자 합니다. 또한 긍정, 부정, 중립에 대해 수동으로 주석을 단 WORDNET 3.0의 일부분에 대해 SENTIWORDNET 3.0의 평가 결과를 보고하겠습니다. ; 이 결과는 SENTIWORDNET 1.0 에 대비하여 대략 20%의 정확도 향상을 보여줍니다. 

 

1. Introduction 

이번 연구에서, 우리는 감정 분류(sentiment classification)와 의견 발굴(opinion mining) 응용 (Pang and Lee, 2008)을 위해 고안된 향상된 언어 소스인 SENTIWORDNET 3.0 을 제시합니다. SENTIWORDNET 3.0은 연구 목적으로 공개적으로 이용 가능한 어휘 소스인, SENTIWORDNET 1.0 ( Esuli and Sebastiani, 2006)의 향상된 버전입니다. 지금까지 300개 이상의 연구 그룹에서 라이센스 등록하였고, 전세계의 다양한 연구 프로젝트에 사용되었습니다. 

 

SENTIWORDNET 은 WORDNET의 유의어 집단 (synset)에 대해 "긍정", "부정", "중립"의 표현에 따라 자동으로 주석이 달린 결과입니다. 각각 유의어 집단(synset) s은 얼마나 긍정적으고, 부정적이고, 객관적(즉 , 중립적) 인지 를 표시하는 Pos(s), Neg(s), Obj(s) 의 세가지 수치적 점수와 결합됩니다. 같은 용어의 다른 감정은 아마도 다른 의견-관련된 속성을 가질 것입니다. 예를들자면, SENTIWORDNET 1.0에서, "may be computed or estimated" 라는 뜻의 형용사 estimable에 대응하는  synset [estimable(J,3)] 은 Obj 점수를 1.0으로 가질 것입니다. (그리고 Pos와 Neg 점수는 각각 0 일것입니다. ) 하지만, "deserving of respect or high regard"라는 뜻의 형용사 estimable은 Pos 점수가 0.75, Neg 점수는 0, Obj 점수는 0.25가 될것입니다. 

 

참고: WordNet 

- 1985년 프린스턴 대학에서 시작된 영어 의미 어휘 목록 구축 프로젝트. 

- wordnetweb.princeton.edu/perl/webwn

 

 

각 세가지 점수의 범위는 [0.0, 1.0] 구간 내에 있습니다. 그리고 각 영단어에 대한 점수의 합계는 1.0 입니다. 이것은 유의어 집단 (synset)이 모든 세가지 범주에 대해 0이 아닌 점수 값을 가진다는 것을 의미합니다. 즉, 해당 용어는 세개의 의견과 관련된 속성을 일정 정도 가지고 있음을 나타냅니다. 

 

이 논문은 다음과 같이 구성되어 있습니다. Section 2. 는 간략하게, 최초의 버전 부터 현재 버전 까지 SENTIWORDNET의 역사를 설명하면서, 다음 섹션의 맥락(context) 을 제공하겠습니다.  Section 3. 은 SENTIWORDNET 3.0 을 만들기위해 사용한 알고리즘을 상세히 실험해보겠습니다. 그리고 Section 4 는 정확도 문제를 다루겠습니다. 

 

SENTIWORDNET 3.0은 http://sentiwordnet.isti.cnr.it/ 에서 비-수익적 연구 목적으로 무료로 이용가능합니다. 

 

>> 로그인 화면이 뜨는데, 회원가입하는 곳도 없고;;
www.kaggle.com/nltkdata/sentiwordnet 에서도 다운로드 받을수 있다. 

>> Official github : github.com/aesuli/SentiWordNet

aesuli/SentiWordNet

 

2. SentiWordNet에 대한 간략한 히스토리 

SENTIWORDNET 의 4가지 버전이 현재까지 공개적으로 논의되었습니다. : 

1. SENTIWORDNET 1.0 (Esuli 와 Sebastiani, 2006)에 의해 제시되었으며, 연구 목적으로 공개적으로 이용가능하도록 만들어졌습니다. 
   
   
2. SENTIWORDNET 1.1 (Esuli 와 Sebastiani, 2007b)에 의해 기술적 보고서에서만 논의되었고, 출판 단계로는 이어지지 않았습니다. 
   
   
3. SENTIWORDNET 2.0 (Esuli, 2008)에 의해 두번째 저자의 박사 학위논문에서 논의되었습니다. 
   
   
4. SENTIWORDNET 3.0 여기서 첫번째로 제시합니다.

버전 1.1 과 2.0이 널리 알려진 공식적 출판물에서 논의되지 않았기 때문에, 우리는 여기서 version 1.0 과 3.0 사이의 차이점만 논의하는데 집중하고자 합니다. 주요한 차이점은 다음과 같습니다. 

 

1. 버전 1.0 ( 1.1과 2.0과 유사함 ) 은 오래된 WORDNET 2.0 에 대한 주석으로 구성되었습니다. 반면 버전 3.0은 새로운 WORDNET 3.0에 대한 주석으로 구성되었습니다.  
   
   
2. SENTIWORDNET 1.0 (과 1.1) 에서 자동으로 주석단 것은 약한-감독 (weak-supervision)인 semi-supervised (준-지도) 학습 알고리즘을 통해 수행되었습니다. 반면, SENTIWORDNET (2.0과 ) 에 대해서 이 준-지도 학습 알고리즘의 결과는 오직 주석 다는 프로세스의 중간 단계일 뿐입니다. 왜냐하면, 수렴을 위해 실행되는 반복적인 랜덤-워크 프로세스에 입력받기 때문입니다. SENTIWORDNET (2.0 과) 3.0은 수렴이 발생한 이후의 랜덤-워크 프로세스의 결과물입니다. 
   
   
3. 버전 1.0 (과 1.1)은 synset의 주석들을 Pos, Neg, Obj 카테고리로 분류하는, 준-지도학습 텍스트 분류 프로세스가 실행될 때, WORDNET 유의어 집단 (synset)의 주석(glosses) 들을 synset 자체의 의미론적 표현으로 사용합니다. 버전 2.0에서는 이것이 프로세스의 첫번째 단계입니다; 두번째 단계인 위에서 언급한 랜덤-워크 프로세스에서는 raw glosses (원 그대로의 주석)을 사용하지 않고, EXTENDED-WORDNET에서 자동으로 감지된 버전을 사용합니다. (Harabagiu et al., 1999). SENTIWORDNET 3.0 에서는 준-지도 학슴 과정 (첫번째 단계) 와 랜덤 워크 프로세스 (두번째 단계 ) 둘다 Princeton WordNet Gloss Corpus로 부터 애매한 주석들을 수동으로 단 것 데이터를 사용합니다. 그리고 우리는 EXTENDED-WORDNET 보다 더 정확한 것으로 가정합니다. 

 

3. SENTIWORDNET 3.0 생성하기 

여기에서, 어떻게 SENTIWORDNET 3.0 이 생성되는지에 따라, 자동으로 주석이 달리는 프로세스를 상세히 요약하겠습니다. 이 프로세스는  (1) 약한-지도학습, 즉 준-지도 학습 스텝, 과 (2) 랜덤-워크 스텝 의 두가지 스텝으로 구성됩니다. 

 

3.1 준-지도학습 스텝 

준-지도학습 스텝은 SENTIWORDNET 1.0을 만들 때 사용한 프로세스와 동일합니다; (Esuli 와 Sebastiani, 2006) 는 이 과정에 대해서 더 상세히 설명해놓았습니다. 이 스텝은 (1) 시드 셋 확장 (seed set expansion), (2) 분류기 학습 (classifier training), (3) 유의어 집단 분류 (synset classification) , 그리고 (4) 분류기 조합 (classifier combination) 의 4가지의 하위 스텝을 포함합니다. 

 

1. 스텝 (1) 에서는, Pos 및 Neg 속성을 보전하거나 반전시키기 위해 취할 수 있는 것 보다 많은 WORDNET의 이진 관계를 가로지르면서, 두개의 작은 "seed" 셋이 자동으로 확장됩니다.  (즉, 주어진 극성(긍/부정)에 연결된 유의어 집단을 동일한 극성 (eg. "also-see" 관계 ) 또는 반대 극성 (eg. "direct antonymy" 관계)의 집단과 연결합니다. ) 
   (??? 무슨뜻이지) 
   그리고 유의어 집단을 추가하면서, 같은 시드셋 (극이- 보존된 관계) 또는 다른 시드셋 (극이-반전된 관계) 에 도달하게 됩니다. 이 확장은 특정 "반경"에서 수행될 수 있습니다; 즉, radius k를 사용하는 것은 시드 셋에 원래 시드 셋의 멤버들로 부터 거리가 k 내에 있는 모든 유의어 집단 (synsets)을 추가하는 것을 의미합니다. 
   
   using radius k means adding to the seed sets all tye synsets that are within distance k from the members of the original seed sets in the graph collectively resulting from the binary relationship considered 
   
   
   * 두개의 시드 셋 : 하나는 모든 유의어 집단이 7개의 "전형적으로 긍정적인" 용어들로 구성되어있고, 다른 하나는 유의어 집단이 7개의 "전형적으로 부정적인" 용어들로 구성되있는 셋을 의미함 (Turney and Littman, 2003)
    
2. 스텝 (2) 에서는 , Obj 속성을 가진다고 가정되는 또다른 유의어 집단 (synset)과 함께, 이전 단계에서 생성된 두개의 유의어 집단이 3종 분류기 훈련을 위한 트레이닝 셋으로 사용됩니다.  (즉, 유의어 집단 (synset)을 Pos, Neg, Obj로 분류하기 위해 필요한 데이터 셋입니다.) 유의어 집단의 주석 (glosses)은 유의어 집단 (synset)그자체 대신에 학습 모듈로 사용이 됩니다. 즉, 결과 분류기가 (유의어 집단(synset) 이라기 보다) 실제로 주석에 대한 분류기라는 것을 의미합니다. SENTIWORDNET 1.0 은 그 안에서 나타난 단어들의 집합 (빈도-가중치)에 의해 표시된 주석들에 따라 "bag of words" 모델을 사용했습니다. SENTIWORDNET 3.0 에서는 대신, Princeton WordNet Gloss Corpus에서 사용할 수 있는 수동으로 구분된 주석들을 사용하며, 이 주석들은 실제로 WORDNET의 유의어 집단 (synset) 의 시퀀스들입니다.  우리의 주석 (gloss) 분류기는 그래서 "bag of synset" 모델이라 불리는 것에 기반하였습니다. 
   
   
3. 스텝 (3) 에서는, WORDNET 유의어 집단 sysnets이 ( 단계 (2)의 시드 셋도 포함하여) 단계 (2) 에서 생성된 분류기를 통해 Pos, Neg, Obj에 속하도록 분류되었습니다. 
   
   
4. 단계 (2) 는 반경 파라미터의 다른 값들과 다른 지도 학습 기술을 사용하여 수행될 수 있습니다. (Esuli 와 Sebastiani, 2006)에서 상세히 설명되는 이유들에 따라, 단일 3차 분류기 보다는, 3차 분류기 위원회가 생성된다면, 각 위원회의 구성원들이 두 매개변수에 대한 다른 조합의 선택으로 발생하게 되어, 주석의 정확도는 더욱 높아질 것입니다. (radius 와 learning technology). 우리는 우리의 분류기 위원회를 4가지 다른 반경 (k ∈ {0,2,4,6})과 학습 기술 (Roccio 와 SVM) 에 대한 두가지 다른 선택에 대한 결과로 초래되는 8개의 멤버들로 구성하였습니다. 단계 (4)에서주어진 Synset에 대해 마지막 Pos ( 각각 . Neg, Obj 도) 값은 위원회의 8개 분류기에 따른 Pos 값의 평균 값에 따라 생성됩니다. (각각 Neg, Obj 도) 

 

3.2 랜덤 - 워크 스텝 

랜덤-워크 스텝은 WORDNET 3.0 를 그래프 형태로 보고, Pos(s)과 Neg(s) (그리고 그에 따라 Obj(s) 값도)이 반복되는 "랜덤 워크" 프로세스를 실행하는 것으로 구성됩니다. 이전 단계에서 결정되는 것부터 시작해서, 각 반복마다 가능성들이 변화합니다. 랜덤워크 단계는 반복되는 프로세스가 수렴이 되면 종료됩니다. 

 

랜덤워크 스텝에서 사용된 그래프는 definiens-definiendum 이진 관계에 의한 WORDNET에서 암암리에 결정된 것입니다. 다른 말로, 만약 오직 synset s1 ( 정의항 (definiens))가 synset s2 (피정의항 (definiendum) )의 주석에 나타난다면, synset s1 과 synset s2 사이에 직접적인 연결의 존재를 가정합니다. 여기에서 기본적인 직관은 다음과 같습니다. 만약 대부분의 용어들이 주어진 용어를 긍정이다 (또는 부정이다) 라고 정의하는데에 사용되었다면, 그 용어는 역시 긍정 (또는 부정)으로 정의될 확률이 높다는 것입니다. 다른 말로, 긍정성 과 부정성은 각각 정의에 사용된 용어에서 정의되는 용어에 이르기까지 "그래프를 통과하는 흐름"으로 보여집니다.  

 

그러나, "보통의" WORDNET 에서 , 피정의항 (definiendum)은 synset인 반면, 정의항 (definies)은 비-애매하지 않은(확실한?) 용어입니다. 왜냐하면 비-애매하지 않은 (확실한?) 용어들의 시퀀스들이 주석들이기 때문입니다. 랜덤 워크 단계를 수행하기 위해, 우리는 주석들이 WORDNET 자체에 대해 애매하지 않게 만들 필요가 있습니다. 즉, 우리는 그것들이 WORDNET synset의 시퀀스가 되기를 필요로 합니다. SENTIWORDNET 2.0 에서 랜덤워크를 수행하는 동안에는, 우리는자동으로 EXTENDED-WORDNET (Harabagiu et al., 1999)에서 제공된 애매한 주석들을 사용해왔습니다.  하지만, SENTIWORDNET 3.0 에서는 우리는 위엣 ㅓ언급한 Princeton WordNet Gloss Corpus 로부터 이용가능한 애매한 주석들을 수동으로 사용했습니다. 

 

랜덤워크에 대한 수학적인 지식들은  (Esuli 와 Sebastiani, 2007a)에 완전히 설명되어 있습니다. 흥미로운 독자들은 상세한 설명을 위해 읽어보길 추천합니다. 이번 논문에서는 우리가 여기서 사용하고자 하는 랜덤워크 모델을 "(역 흐름 모델) inverse flow model" 이라고 언급하겠습니다. 

 

두가지 다른 랜덤-워크 프로세스들은 각각, SENTIWORDNET의 긍정과 부정의 차원에서 실행되며, WORDNET synset의 두가지 다른 순위을 만들어 냅니다. 하지만, 랜덤 워크 과정에 의해 도출되는 실제 수치적 값은 최종적으로 Pos와 Neg 점수로 사용되는 것에 적합(unfit) 되지 않습니다. 왜냐하면, 그들은 너무나 작기 때문입니다. ( 긍정에 대해서 상위에 랭크된 synset이 Pose 점수가 8.3 * 10^-6 을 얻게될 것입니다); 결과적으로, 심지어 상위에 랭크된 긍정적인 synsets 들도 압도적으로는 중립이지만 오직 느낌적으로는 긍정적인 것으로 밝혀질 것입니다. 그래서, 우리가 관찰했듯이, 반-지도학습 스텝으로 부터 초래되는 긍정적인 점수와 부정적인 점수 둘다 멱법칙 분포(power law distribution) 를 따르게 됩니다. (즉, 매우 적은 synsets이 매우 높은 Pos 점수를 가지는 반면 (각각 Neg 도 마찬가지로) , 매우 많은 synsets이 대부분 중립일 것입니다. ) 

 

power-law graph

en.wikipedia.org/wiki/Power_law

 

우리는 그래서, 이 점수들을 다음과 같은 함수 형태로 적합할 것입니다. 

그래서 실제 값의 분포들에 최적으로 적합하는 a1과 b1 (각각 a2 와 b2도 마찬가지로) 값을 결정할 것입니다. 마지막 SENTIWORDNET 3.0의 Pos(s) 값은 (Neg 도 마찬가지로) 랜덤 워크 프로세스에 의해 생산된 긍정성 점수에 대해 아래의 결과함수를 적용하여 결정될 것입니다. (Neg도 마찬가지로 

?? 논문에 Fpos(x) = a2x&b2 가 아니라 F_neg(x) = a2x^b2 아닌가??? 

 

그리고 나서 3기지의 값이 합해서 1이 되기 위해 Obj(S) 값이 할당됩니다. Pos(s) + Neg(s) > 1 이 되는 경우에는, 두 값을 합하여 1이 되도록 정규화를 하고, Obj(s) = 0 으로 셋팅합니다. (오직 16개의 synset에 대해서만 발생했답니다. ) 

한 예로, Table 1 은 SENTIWORDNET 3.0에서 10개의 상위에 랭크된 긍정적 synset과 10개의 하위에 랭크된 부정적 synset입니다. 

 

wordnet 사이트에 의하면 단어#품사#숫자 를 의미하는 것 같음. 

 

4. SENTIWORDNET 3.0 평가하기 

SENTIWORDNET 3.0 의 정확도를 평가하기 위해, 우리는 (Esuli, 2008)에서 논의된 방식을 따를 것이다. 이것은 SENTIWORDNET으로 부터 같은 synset의 자동 주석에 대해 규모가 작고, 수동으로 주석을단 WORDNET의 하위 집합을 포함한다. 

 

4.1 Micro-WN(Op)-3.0 

(Esuli, 2008)에서 SENTIWORDNET 1.0, 1.1, 2.0은 Micro-WN(Op)에 의해 평가되었다. (Cerini et al., 2007), 조심스럽게 균형을 맞춘 1,105개의 WORDNET synsets의 셋트가 긍정, 부정, 중립의 정도에 따라 수동으로 주석이 달렸다. 

 

Micro-WN(Op)는1,105개의 5개의 인간 annotators(주석다는 사람)의 그룹에 의해 수동으로 주석이 달린 synsets으로 구성이 된다.  (이후에는 J1, ... J5 로 부르겠다); 각 synset s 는 Pos(s), Neg(s), Obj(s)의 3가지 점수로 할당이 되며, 각 세가지 점수의 합은 1이 된다. Synset 1-110 (Micro-Wn(Op)(1)이라고 뭉뚱그려 언급된) 는 세 범주의 의미에 대해 공통의 이해를 발전시키기 위해서, 모든 annotators들이 함께 작업해서 태깅을 달았다. ; 그리고, J1 , J2 그리고 J3는 각각 독립적으로 111-606 의 모든 synsets을 독립적으로 달았으며, (Micro-WN(Op)(2)) , J4와 J5는 각각 607-1105애 대한 모든 synsets에 대해 태그를 달았다. (Micro-WN(Op)(3)). 우리의 평가는 Micro-WN(Op)(2) 와 Micro-WN(Op)(3)으로 구성된 synsets의 집합에 대해 수행되었다.  Micro-WN(Op)가 전반적으로 그리고 각각 하위 집합에 대해 WORDNET의 스피치의 일부 분포를 대표할만하다는 점은 주목할만하다. : 즉, eg. 만약 WORDNET synset의 x% 가 명사라면, 또한 Micro-WN(Op) synset의 x% 도 명사라는 것이다. 게다가, 이 속성은 Micro-WN(Op)의 한 부분 Micro-WN(Op)(x)에도 적용됩니다. 

 

SENTIWORD 3.0의 평가를 위해, Micro-WN(Op) 가 WORDNET 2.0의 하위 집합에 대한 주석이라는 것을 언급할 필요가 있습니다. 그리고 WORDNET 3.0의 주석들로 구성된 SENTIWORDNET 3.0의 평가를 위해 직접적으로 사용될 수 없습니다. 어떤 WORDNET 3.0 synset 이 Micro-WN(Op)의 synset에 상응하는지 결정하는 것은 확실하게 결정될 수 없습니다. 그리고 심지어 그릇된 질문으로 고려될지도 모릅니다. 사실, Micro-WN(Op)의 몇몇 synsets들은 더 이상 최소한 같은 형태로는 WORDNET 3.0에 존재하지 않습니다. 예를들어 synset [good(A, 22)] 는 더이상 존재하지 않는 반면에, synset {gloomy(A,2) , drap(A,3) , dreary(A,1), dingy(A,3) , sorry(A,6) , dismal(A,1)} 은 이제 이 단어들 모두 포함할 뿐만아니라 (비록 다른 감각 숫자들을 가졌을 지라도) blue(A,3), dark(A,9) , disconsolate(A,2) 와 grim(A,6) 도 포함합니다. 

 

??? 무슨말인지 모르겠다. 데이터 보고 이해해야될듯 ; 

 

결과적으로, 우리는 자동적으로 매핑하는 방법을 개발하기로 결정했으며, WORDNET 2.0의 주어진synset s 을 그 아날로그인 WORDNET 3.0에서 확인했습니다. 그리고나서 Micro-WN(Op)에 있는 모든 WORDNET 2.0 의 synsets들을 고려했으며, 그들의 WORDNET 3.0 아날로그도 확인했고, 같은 Pos(s), Neg(s), Obj(s) 를 오리지널 Micro-WN(Op) synset에 할당했습니다. 그리고 결과적으로 1,105개의 주석이 달린 WORDNET 3.0 synset 들을 WENTIWORDNET 3.0을 평가하는 금본위제 (gold standard)로 사용했습니다. 

우리의 synset 매핑 방법은 다음의 순서로 적용한 세가지 매핑 전략의 조합에 근거하였습니다.

 

1. WORDNET 감정 매핑 : 첫번째로, http://wordnetcode.princeton. edu/3.0/WNsnsmap-3.0.tar.gz 에서 이용가능한 WORDNET 2.0 과 3.0 사이의 감정 매핑을 이용하였습니다. 이 매핑은 자동으로 휴리스틱 수를 사용하여 유도되며, 불행히도 명사와 동사에만 제한적입니다. 각 매핑은 이와 관련된 신뢰도 값을 가지고 있으며, 값은 0 (낮은 신뢰도) 부터 100 (높은 신뢰도) 사이입니다. 다수의 매핑된 것들은 이와 관련되어 100 신뢰도 점수를 가지고 있습니다. 매핑과 관련하여 문서에서 추천 되었듯 우리는 다른 것들을 무시하고, 오직 가장 높은 값 (100점을 가진) 매핑만 사용합니다. 이 문서를 매핑하기위해 사용된 휴리스틱은 감정 키값들의 비교와, synset 용어의 유사성과, 관련된 트리 위치 (hypernyms(?) 과 비교)를 포함합니다. 매핑을 사용함으로써, 우리는 269개의 Micro-WN(Op) synset을 WORDNET 3.0에 매핑하였습니다.
   
   
2. Synset 용어 매칭 : 만약 Micro-WN(Op) synset si (이전 단계의 두가지 방법에 의해 매핑되지 않은) 정확히 WORDNET 3.0의 synset sj와 같은 용어를 포함하고 있다면, 그리고 이런 용어의 세트가 오직 WORDNET 2.0 과 3.0 둘 다 나타난다면, 우리는 si와 sj가 같은 개념을 나타낸다고 고려했습니다. 
   
   
3. 주석 유사성 : 이전의 두 방법에 의해 매핑되지 않은 각 Micro-WN(Op) synset si를 위해 , 우리는 이 주석과 WORDNET 3.0 synset의 주석 사이의 유사성을 계산했습니다. 여기서 주석 gi는 여기에 포함된 모든 문자 삼각형의 집합으로 표시됩니다. 유사성은 다이스 계수를 통해 계산됩니다. 

      등식 1에서 높은 Dice(g1, g2) 값은 강한 유사성 정도를 의미합니다. Micro-WN(Op) synset si를 고려했을 때, 

      가장 유사한 WORDNET 3.0 주석이 결정되었고, 그에 상응하는 synset이 매칭된 si로 선택되었습니다. 

 

프린스턴 연구 그룹은 Step1에서 감정 매핑을 만들기 위해 원래 주석 유사도를 사용하지 않았습니다. 왜냐하면, 매핑과 함께, 배포되는 문서에 보고된 바와 같이 , " 주석들은 (...) 종종 상당히 수정됩니다 " 우리는 수동으로 결과의 샘플을 조사함으로써, 주석 유사도 매핑이 우리의 경우에 다소 효율적이었다는 것을 발견했습니다. 

Micro-WN(Op)-3.0 이라고 불리는, 이 매핑 프로세스의 마지막 결과는 http:// sentiwordnet.isti.cnr.it/ 에서 공개적으로 이용가능합니다. 현재 매핑된 것보다 더 나은 Micro-WN(Op) synset에 대한 매핑이 있는지 확인하는 것은 이론적으로 동일한 POS를 가진 WORDNET 3.0 synsets을 찾아야하기 때문에, 자동 매핑 프로세스의 결과에 대한 정확도를 완전히 점검하지 않았다는 점에 유의해야합니다. 그래서, Micro-WN(Op)-3.0에서 얻어진 평과 결과는 직접적으로 원래 Micro-WN(Op)에서 얻어진 것과 비교할 수 없습니다. 

 

4.2 평가 척도 (Evaluation measure) 

SENTIWORDNET의 품질을 평가하기 위해, Micro-WN(Op)-3.0의 synsets의 긍정도 (부정도 또한,) 를 얼마나 잘 순위를 매기는지 테스트 해보았습니다. 우리의 금본위제로서 Micro-WN(Op)-3.0 synset을 그들의 Pos(s) 값에 따라 ( Neg(s) 또한) 분류함으로써 얻어진, Micro-WN(Op)-3.0의 긍정도 순위 (부정도 또한,) 를 사용하였습니다. 비슷하게, SENTIWORDNET 3.0에 의해 할당된 Pos(s)와 Neg(s) 값으로 부터 같은 synsets의 긍정도 ( 부정도 또한) 순위를 만들어냈습니다. 그리고 위의 금본위제와 비교하였습니다. 

 

우리는 p-normalized Kendall τ distance (τp 로 알려진 - e.g., (Fagin et al., 2004)) 를 사용함으로써 금본위제 순위와 예측된 순위 사이의 랭킹을 비교하였습니다. 동점을 인정할 수 있는 랭킹 평가를 위한 표준 함수인 τp distance는 다음과 같이 정의됩니다. : 

여기서 nd는 조화를 이루지 못하는 쌍 의 갯수 입니다. 즉, 금본위제에서 한쪽으로 테스트된 순위에서 다른 쪽으로 정렬된 물체의 쌍입니다. ; nu는 금본위제에서 순서대로 정렬되고(즉, 동점이 아님), 테스트 순위에서 동점이 되는 쌍의 갯수 입니다. ; p 는 각 쌍에 기인하는 벌칙입니다. p = 1/2 (즉, 순위 알고리즘이 랜덤 추정을 통해 쌍을 올바르게 정렬할 확률과 같음) ; 그리고 Z는 정규화 팩터이며 ( 금본위제에서 정렬된 쌍의 갯수와 동일) 이 팩터의 목적은 τp의 범위를 [0,1] 간격과 일치시키는 것입니다. 금본위제에서 동점인 쌍이 평가에 고려되지 않았다는 점을 주목하세요. 더 낮은 τp 값이 더 좋습니다 ; 금 본위제에서 예측이 완전히 일치하기 위해, τp는 0과 같습니다. ; 예측치가 정확히 금본위제의 역수라면, τp는 1과 같습니다.

 

4.3 결과

Table 2: SENTIWORDNET 1.0 과 3.0으로 부터 유도된 긍정도 부정도 순위에 대한 τp 값, Micro-WN(Op) 와 Micro-WN(Op)-3.0 으로 측정됌.

Table 2는 각각 Micro-WN(Op)와 Micro-WN(Op)-3.0으로 측정된, SENTIWORDNET 1.0 과 SENTIWORDNET 3.0으로부터 유됴된 강정도, 부정도 순위에 대한 τp 값을 나타냅니다. SENTIWORDNET 1.0 에대한 값은 (Esuli 와 Sebastiani, 2007b) 로부터 추출되었습니다. 이미 Section 4.1 에서 지적했듯이, 우리는 독자들에게 SENTIWORDNET 1.0과 3.0의 결과가 부분적으로 의존적이라는 것을 독자들에게 경고합니다. 왜냐하면, Micro-WN(Op)-3.0 ( SENTIWORDNET 3.0 의 결과에 기반한) 이 자동 매핑 프로세스로 부터 유도되는 주석 오류를 포함할 수 있기 때문입니다. 

 

위의 경고를 고려하기 위해, 우리는 SENTIWORDNET 3.0이 상당히 SENTIWORDNET 1.0보다 더 정확하다는 것을 관찰했습니다. 긍정도 순위 는 상대적으로 19.48% 향상하였고, 부정도 순위는 21.96% 향상하였습니다. 

 

Table 3: SENTIWORDNET 3.0의 반-지도학습 스텝의 결과 (a)로 부터 유도된 긍정도 및 부정도 순위에 대한 τp 값과 (b) SENTIWORDNET 3.0 , Micro-WN(Op)-3.0 으로 측정됨. 

SENTIWORDNET 3.0-semi와 SENTIWORDNET 3.0으로 유도된 랭킹 사이의 정확도 차이를 측정했습니다. (Table 3에서 볼수있습니다.) 여기서 "SENTIWORDNET 3.0-semi"는 (Section 3.1에 묘사했듯) SENTIWORDNET 3.0의 생성을 유도하는 반-지도학습 스텝의 결과를 의미합니다. 우리가 이차이를 측정하려는 이유는 Section 3.2의 랜덤-워크 스텝이 실제로 유용한지 확인해보기 위함입니다. SENTIWORDNET 3.0-semi에 대비하여 SENTIWORDNET 3.0는 긍정 순위에 17.11%, 그리고 부정도 순위에는 19.23% 정도 향상되었습니다. ; 이것은 명백하게 랜덤-워크 프로세스가 실제로 유용하다는 것을 보여줍니다. 

 

Princeton Wordnet Gloss Corpus에서 애매한 주석들이 미치는 영향을 수동으로 측정하는 것도 분명 흥미로울 것입니다. 다. SENTIWORDNET을 생성할 때, (반-지도 학습 단계 또는 랜덤-워크 단계, 또는 둘 다에서 ) 이들을 사용하여 얻은 성능과 EXTENDEDWORDNET에서 자동으로 분리된 것을 사용하여 얻은 성능을 비교하였습니다.  불행하게도, 이것은 가능하지 않습니다. 왜냐하면 이전의 주속들이 WORDNET-3.0 에서만 오직 이용가능하지만, EXTENDEDWORDNET은 WORDNET-2.0에서만 이용가능하기 때문입니다. 

 

 

 

 

참고 Reference 

bab2min.tistory.com/573