Analysing semantic resources for coreference resolution

Abstract

Resolução de Correferência é uma tarefa que consiste em identificar menções em um discurso que se referem a uma mesma entidade. A tarefa tem o potencial de aprimorar outras tarefas de Processamento de Linguagem Natural como análise de sentimentos, extração de informação, sistemas de pergunta-resposta, entre outras. Algumas relações de correferência podem ser identificadas utilizando-se regras lexicais e sintáticas, enquanto para outras é necessário conhecimento semântico. No entanto, poucos trabalhos de resolução de correferência focaram em melhorias que possam ser realizadas com conhecimento semântico. O objetivo deste trabalho é aprimorar a tarefa de resolução de correferência utilizando semântica. Para isso, foram revisados os recursos semânticos disponíveis para o Português, dos quais foram selecionados para os experimentos o ContoPT, o Concept- Net e um modelo de word embeddings. Os experimentos foram realizados no CORP, uma ferramenta de correferência para o Português que já utiliza o OntoPT como recurso semântico. A avaliação foi composta pelas métricas MUC, B3 e CEAFe, utilizando-se os corpora Corref-PT e Summ-it++. Ao comparar com o OntoPT, obtivemos melhores resultados em termos de Medida-F utilizando o ContoPT e o ConceptNet.Nos experimentos com a regra de similaridade semântica que utiliza o modelo de word embeddings não foi posível atingirmos os resultados obtidos com as bases semânticas estruturadas. Textos com mais relações semânticas foram selecionados para análise de erros, na qual observamos algumas dificuldades envolvendo a detecção de relacionamentos semânticos. Para tratar essas dificuldades foram propostas melhorias. Como contribuição este trabalho traz, além da análise das bases, uma nova versão do CORP integrada com três novos recursos semânticos. A nova versão obteve uma maior Medida-F utilizando semântica em relação à versão anterior que utiliza o OntoPT.

Coreference Resolution is the task that consists of identifying mentions in a discourse that refer to the same entity. The task has the potential to improve other Natural Language Processing tasks such as sentiment analysis, information extraction, question answering, and others. Some coreferent relationships can be identified using lexical and syntactical rules, while others require semantic knowledge. However, few works focus on the possible improvements of using semantic knowledge. This work’s objective is to improve the coreference resolution task by using semantic knowledge. For that, we reviewed the semantic resources available for the Portuguese language, and selected ContoPT, Concept-Net and a word embedding model for our experiments. Experiments were performed using CORP, a coreference tool for the Portuguese language which already uses OntoPT as a semantic resource. The evaluation was composed of metrics MUC, B3 and CEAFe, using Corref-PT and Summ-it++ as corpora. Compared to OntoPT, we obtained better results in terms of F-Measure using ContoPT and ConceptNet. The experiments using the semantic similarity rule based in word embeddings was not able to surpass the results obtained with the structured semantic bases. Texts with more semantic relationships were selected for error analysis, and we were able to observe some difficulties involved in the detection of semantic relationships. To overcome these difficulties improvements are proposed. Besides the analysis of available semantic basis, this work brings as contribution a new CORP version, integrated with three new semantic resources, which obtained a higher F-Measure using semantics than the version that uses OntoPT.