Математический подход к установлению авторства и времени создания текста на основе исследования его энтропии

Проведено исследование зависимости энтропии и частотных характеристик текста от времени его создания и авторства. Приведен краткий обзор существующих методик атрибуции и предложен новый подход, на основе анализа комплексной величины текста - энтропии, которая является одной из основных характеристик теории информации. Для исследования использовались художественные тексты, написанные в прозе на русском языке. Подробно рассмотрено понятие энтропии как комплексной характеристики текста. Приводятся примеры влияний различных произведений на частотный анализ текста. Показано, что энтропия как интегральная характеристика частотного анализа может быть использована для атрибуции текста, в частности для установления его авторства и времени создания. Для авторов разных веков взяты группы произведений и рассмотрены зависимости между авторством, энтропией, значением частотного анализа, годом и, соответственно, веком написания произведения. Показано, что для текстов отдельного автора энтропия имеет нормальное распределение. С помощью метода наименьших квадратов выведена линейная зависимость года создания произведения от энтропии текста во временном диапазоне XVII-XX в., произведен расчет точности полученной формулы. На основе частотного анализа подробно рассмотрены произведения XVII, XVIII, XIX и XX вв. Полученные в результате исследований значения объясняются различными факторами, влияющими на развитие литературного русского языка, некоторые из этих факторов приведены в работе. На основе исследования энтропии текстов, показано, что во многих случаях авторы имеют непересекающиеся или слабо пересекающиеся друг с другом диапазоны значений энтропии. Данный факт позволяет делать сравнительный анализ и судить о принадлежности конкретного произведения, конкретному автору, так в работе был рассмотрен вопрос с авторством произведения "Тихий Дон". Так как энтропия является объективной характеристикой текста, не зависящей от субъективных оценок и анализ текста на ее основе не является трудоемким, то можно говорить о новом математическом подходе к атрибуции текста в рамках информационных технологий.