Title:
The measure of text similarity as a tool for assessment of intertextuality in large collections of documents
Начальная страница/First page:
Краткое описание:
Предложена методика обнаружения интертекстуальных отношений через нахождение неявных ссылок с помощью лингвистических и статистических методов. Интертекстуальность – это наличие в тексте элементов и идей из других текстов. Продемонстрирована возможность выявления временнóй межъязыковой миграции терминов и идей с целью прогноза и определения идеологических траекторий. Предложена новая мера подобия текстов, апробированная на коллекции научных документов и развиваемая путем максимизации корреляции явных и неявных ссылок. Описана методика кластеризации документов в соответствии с мерой подобия текстов. Продемонстрирована возможность применения предложенной меры для анализа экстремистских текстов из Интернета.
Short description:
The method for detection of intertextual relations by finding implicit links using linguistic and statistical methods is suggested. Intertextuality is a presence in one text of elements and ideas from other texts. The possibility of identifying of crosslanguage migration of terms and ideas for prognosis and determination of ideological trajectories is demonstrated. A new text similarity measure is suggested. The measure was tested using collection of scientific documents. The measure was improved by maximizing correlation between explicit and implicit links. A method for documents clustering according to the measure of text similarity is suggested. The possible application of the proposed measure for analysis of extremist texts from the Internet is suggested.
