Для чего нужны нейросетевой классификаторы в технике

Автоматическая классификация текстовых документов с использованием нейросетевых алгоритмов и семантического анализа

В статье рассмотрены нейросетевые алгоритмы, применяемые в задачах классификации текстов, а так же изложены методы и модели семантического анализа текстов применительно к задаче улучшения качества рубрицирования.

Андреев А.М., Березкин Д.В., Морозов В.В., Симаков К.В.

Введение

Классификация текстовых документов для электронных библиотек рассматривается как один из возможных вариантов решения проблемы использования информационных ресурсов. Коротко она характеризуется следующим образом. К настоящему моменту различными хранилищами знаний (в том числе и библиотеками) накоплены огромные информационные массивы. Проблема заключается в сложности ориентирования в этих массивах, адекватной их размерам. Отсутствие возможности получить наиболее актуальную и полную информацию по конкретной теме делает бесполезной большую часть накопленных ресурсов. Поскольку исследование конкретной задачи требует все больших трудозатрат на непосредственный поиск и анализ информации по теме, многие решения принимаются на основе неполного представления о проблеме.

Использование рубрикаторов-классификаторов позволяет сократить трудозатраты на поиск нужной информации, представленной электронными текстами. Применение семантического анализа, позволяет повысить релевантность такого поиска, в то время как использование искусственных нейронных сетей упрощает процедуру построения классификатора.

1. Формализация задачи

Классификацию текстов на естественном языке (ТЕЯ) называют рубрицированием, поэтому в дальнейшем изложении эти термины принимаются идентичными. Рубрикаторы подразделяются на три основных класса: плоские, иерархические и сетевые. Плоские рубрикаторы состоят из двух уровней, на первом уровне размещается корневая, а на втором – дочерние к корневой рубрики. Как показано в [12], иерархические и сетевые рубрикаторы могут быть представлены в виде композиции нескольких плоских рубрикаторов, поэтому в статье рассматриваются только плоские рубрикаторы.

1.1. Задача классификации

Задача классификации определяется следующим образом. Имеется множеств объектов T , не обязательно конечное, а так же множество C= i=1..Nc , состоящее из Nc классов объектов. Каждый класс ci представлен некоторым описанием Fi , имеющим некоторую внутреннюю структуру. Процедура классификации f объектов t T заключается в выполнении преобразований над ними, после которых либо делается вывод о соответствии t одной из структур Fi , что означает отнесение t к классу ci , либо вывод о невозможности классификации t. Применительно к ТЕЯ, элементами множества T являются электронные версии текстовых документов. Общая модель плоского текстового рубрикатора (ПТР) может быть представлена трех основной алгебраической системой следующего вида (1).

где T – множество текстов, подлежащих рубрицированию, C — множество классов-рубрик, F – множество описаний, Rc – отношение на C x F, f – операция рубрицирования вида T C. Отношение Rc имеет свойство: , то есть классу соответствует единственное описание. Обратное требование необязательно. Отображение f не имеет никаких ограничений, так что возможны ситуации, когда, то есть некоторый текст может быть отнесен к нескольким классам одновременно. Кроме сформулированной задачи классификации определяется задача обучения рубрикатора, под которой подразумевается частичное или полное формирование C, F, Rc и f на основе некоторых априорных данных.

1.2. Основные виды классификаторов

Согласно выражению (1) ПТР могут быть разде­лены в зависимости от способа представления опи­саний классов (внутренняя структура элементов множества F), а так же от организации процедуры классификации f. В настоящее время практическое применение получили следующие группы.

1. Статистические классификаторы, на основе вероятностных методов. Наиболее известным в данной группе является семейство Байесовых. Общей чертой для таких ПТР является процедура f, в основе которой лежит формула Байеса для условной вероятности. Анализируемый текст t представляется в виде последовательности терминов . Каждая рубрика ci характеризуется безусловной вероятно­стью ее выбора P(ci) в процессе классификации некоторого документа (совокупность таких событий для всех рубрик образуют систему гипотез, так что ), а так же условной вероятностью P(w|ci) встретить термин w в документе t при условии выбора рубрики ci. Эти величины образуют элементы Fi множества F описаний рубрик и используются при расчете вероятностей P(t|ci) того, что текст будет классифицирован при условии выбора рубрики ci. При расчете P(t|ci) учитывается представление t в виде последовательности терминов wk. Подстановка этих величин в формулу Байеса дает вероятность того, что будет выбрана рубрика ci, при условии, что документ t пройдет успешную классификацию. Процедура f сводится к подсчету P(ci|t) для всех рубрик ci и выбора той, для которой эта величина максимальна. Обучение рубрикатора сводится к составлению словаря и определению для каждой рубрики величин P(ci) и P(w|ci), где w.

2. Классификаторы, использующие методы на основе искусственных нейронных сетей. Данный вид классификаторов хорошо зарекомендовал себя в задачах распознавания изображений, в данной работе исследованы возможности их использования в обработке ТЕЯ. Описания классов F, как правило, представляют собой многомерные вектора действительных чисел, заложенные в синаптических весах искусственных нейронов, а процедура классификации f характеризуется способом преобразования анализируемого текста t к аналогичному вектору, видом функции активации нейронов, а так же топологией сети. Процесс обучение классификатора в данном случае совпадает с процедурой обучения сети и зависит от выбранной топологии. В данной работе рассматриваются ПТР, построенные на основе популярных сетей ART и SOM.

3. Классификаторы, основанные на функциях подобия. Характерной чертой данного метода является универсальность описаний F, которые с одной стороны используются для представления содержания рубрик, а с другой стороны – содержания анализируемых текстов. Процедура классификации f использует меру подобия вида E: F x F[0;1], позволяющую количественно оценивать тематическую близость описаний Ft F и Fi F , где описание Ft представляет содержание анализируемого текста, а Fi – содержание некоторой рубрики. Действия процедуры классификации f сводятся к преобразованию анализируемого текста t в представление Ft F, оценке подобия описания Ft с описаниями рубрик Fi (вычисление E(Ft,Fi)), и заключение по результатам сопоставления о принадлежности текста одой или нескольким рубрикам. Последнее заключение выполняется либо на основе сравнения с пороговой величиной Emin, так что текст относится ко всем рубрикам ci, для которых E(Ft,Fi)>Emin, либо из всех E(Ft,Fi) выбирается максимальная величина, которая и указывает на результирующую рубрику. Наиболее характерными для таких классификаторов является использование лексических векторов модели терм-документ (см. в [3]) в описаниях F, которые так же применяются и в нейронных классификаторах. В качестве меры подобия обычно берется косинус угла между векторами, вычисляемый через скалярное произведение согласно (2).

В более сложных моделях текста, использующих синтаксическое и семантическое представление, мера подобия может быть значительно сложнее. В данной работе затрагиваются оба способа описания, учитывающие как синтаксическую, так и семантическую составляющую.

1.3. Полнота и точность классификации

Существует несколько характеристик оценки качества работы текстового классификатора, их описание приведено в [12]. Наибольшее распространение получили точность (V) и полнота (U), применяемые так же при оценке качества естественно-языкового поиска [3] , например, в поисковых машинах сети Интернет. Для количественной оценки полноты и точности рубрикатора используются следующие измерения: a – число правильно рубрицированных документов, b – число неправильно рубрицированных документов, c – число неправильно отвергнутых документов. Под правильной и неправильной рубрикацией понимается случай, когда классификатор приписывает анализируемый документ некоторой рубрике, что расценивается некоторым экспертом соответственно, как верное и неверное решение. Под неправильным отвержением документа понимается случай, когда классификатор не приписывает документ рубрике, что, по мнению эксперта, неверно. На рис. 1 дана иллюстрация этих случаев.

Рис.1. Соотношение оценки эксперта и рубрикатора.

С учетом этого, оценка V и U имеет вид (3).

Согласно (3), точность оценивает долю правильно классифицированных документов во всех документах отнесенных к некоторой рубрике. Полнота оценивает долю правильно классифицированных документов во всех документах, которые НУЖНО было отнести к некоторой рубрике.

2. Нейросетевые классификаторы

Нейронные сети могут применяться при решении многих задач обработки информации, в частности в задачах распознавания образов. Как известно, искусственный (математический) нейрон выполняет следующие преобразования входного вектора X=: , где wi – весовой вектор нейрона (веса синаптических связей), S – результат взвешенного суммирования, I – нелинейная функция активации нейрона. В терминах классификатора (1) X – соответствует внутренним описаниям , а функции S и I – компоненты процедуры классификации f. Функциональность нейрона проста, поэтому для решения конкретных задач нейроны объединяются в сети. Обучение классификатора, при условии, что выбрана топология сети и выбрана функция активации I, сводится к подбору весовых коэффициентов каждого нейрона. В данной работе рассматривается применение двух топологий: сети ART и сети Кохонена.

2.1. Способы представления текста

Нейронные сети приспособлены обрабатывать только информацию, представленную числовыми векторами, поэтому для их применения в обработке ТЕЯ, тексты необходимо представлять в векторном виде. В данной работе использовались два способа представления: полиграммная модель и модель терм – документ.В модели терм – документ [3] текст описывается лексическим вектором <> i=1..Nw, где – важность (информативный вес) термина wi в документе, Nw – полное количество терминов в документальной базе (словаре). Вес термина, отсутствующего в документе, принимается равным 0. Для удобства веса нормируются, так что [0,1]. В данной работе использовались дискретные значения, так что присутствующий термин в тексте имеет вес 1, а отсутствующий – вес 0. Достоинствами данной модели являются:

● возможный учет морфологии, когда все формы одного слова соответствуют одному термину;

● возможный учет синонимии, так что слова — синонимы, объявляются одним термином словаря;

● возможность учета устойчивых словосочетаний, так что в качестве термина может выступать не отдельное слово, а несколько связанных слов, образующих единое понятие.

В качестве недостатков выделим следующее:

● при отсутствии простейшей дополнительной обработки, такой как морфологический анализ, существенно снижается качество классификатора, поскольку разные формы одного слова считаются разными терминами, вместе с тем морфологический анализ – весьма нетривиальная задача, требующая для ее решения привлечения лингвистов;

● размерность векторов <> зависит от общего количества терминов в обучающей выборке текстов, что в реальных задачах приводит к необходимости разрабатывать альтернативные структуры данных, отличные от векторов;

● словарь терминов может не охватывать всех документов, подлежащих классификации, так что анализируемые документы могут содержать значимые термины, не вошедшие в обучающую выборку, что отрицательно сказывается на адекватности модели.

В полиграммной модели со степенью n и основанием M текст представляется вектором , i=1..Mn, где fi – частота встречаемости i-ой n-граммы в тексте. n-грамма является последовательностью подряд идущих n – символов вида a1…an-1an, причем символы ai принадлежат алфавиту, размер которого совпадает с M. Непосредственно номер n-граммы определяется как , где r(ai ) [1,M] – порядковый номер символа ai в алфавите. Предполагается, что частота появления n-граммы в тексте несет важную информацию о свойствах документа. В данной работе рассмотрена модель со степенью n=3 (триграммная модель) и основанием M=33, при этом применяется русский алфавит с естественной нумерацией символов r(«А») = 1, r(«Б») = 2, . r(«Я») = 32. Все остальные символы считаются пробелами с нулевыми номерами. Несколько подряд идущих пробелов считаются одним. С учетом этого размерность вектора для произвольного текста жестко фиксирована и составляет 333 = 35937 элемента. Достоинствами полиграммной модели являются:

● отсутствие необходимости дополнительной лингвистической обработки;

● фиксированная размерность векторов и простота получения векторного описания текста;

К недостаткам отнесем следующее:

● отражение векторами содержания текста не всегда адекватно (такой моделью плохо отражается содержание небольших текстов; модель больше подходит для определения языка текста, чем для классификации по тематике),

● в соответствии с предыдущим пунктом возникает необходимость более тщательного подбора обучающей выборки текстов.

2.2. Классификатор Гроссберга (ART)

Сеть ART [11] состоит из двух слоев нейронов (рис 2). Первый (входной) слой – сравнивающий, второй слой – распознающий. В общем случае между слоями существуют прямые связи с весами wij от i – ого нейрона входного слоя к j – ому нейрону распознающего слоя, обратные связи с весами vij – от i-ого нейрона распознающего слоя к j – ому нейрону входного слоя. Так же существуют латеральные тормозящие связи между нейронами распознающего слоя (пунктир на рис. 2). Каждый нейрон распознающего слоя отвечает за один класс объектов. Веса wij используются на первом шаге классификации для выявления наиболее подходящего нейрона – класса, веса обратных связей vij хранят типичные образы (прототипы) соответствующих классов и используются для непосредственного сопоставления с входным вектором.

Рис. 2. Топология сети ART.

Согласно назначению приведенных компонентов такой сети роцедура классификации представляет собой следующую последовательность операций:

1. вектор X подается на вход сети, для каждого нейрона распознающего слоя определяется взвешенная сумма его входов.

2. за счет латеральных тормозящих связей распознающего слоя на его выходах устанавливается единственный сигнал с наибольшим значением, остальные выходы становятся близкими к 0.

3. входной вектор сравнивается с прототипом класса Vi, соответствующего i-ому нейрону, победившему на предыдущем шаге. Если результат сравнения превышает порог p, делается вывод о том, что входной вектор принадлежит классу ci, в противном случае выход данного нейрона обнуляется (принудительная блокировка) и повторяется процедура на шаге 2, в которой за счет обнуления самого активного нейрона происходит выбор нового.

4. Шаги 2-3 повторяются до тех пор, пока не будет получен класс cout, либо пока не будут принудительно заблокированы все нейроны распознающего слоя.

Поскольку многие компоненты сети на рис. 2 необходимы для аппаратной реализации сети, в программе классификатора многие из них могут быть опущены, а именно: убираются связи латерального торможения, вместо двух матриц Wij и Vij используется одна – Wij, которая отвечает и за выбор предпочтительного нейрона-класса, и за хранение прототипов классов. В этом случае вычисление функции сопоставления S совмещает в себе шаги 2 и 3 и рассчитывается непосредственно для X и весовых векторов Wi, побеждает тот нейронi , для которого max (Si). Для обучения сети, кроме Si используется еще одна мера Si’ близости векторов (5)

где , , , b — положительная константа. Алгоритм обучения [1] состоит из следующих шагов.

2. Найти активный нейрон с прототипом Wi, наиболее близким к X, используя меру близости Si.

3. Если для найденного нейрона или еще нет ни одного класса, то создать новый класс Wi и идти на шаг 1.

4. Если для найденного нейрона , то деактивировать найденный нейрон. Если все нейроны неактивны, то создать новый класс Wi = X, идти на шаг 1. Иначе идти на шаг 2 и попробовать другой еще активный нейрон.

5. Если для найденного нейрона Si’ и Si превышают пороги, указанные на шаге 4 и 5, то модифицировать его веса , передвинув ближе к входному вектору.

На количество образующихся классов оказывают влияние константы и .С ростом и уменьшением их количество увеличивается. Коэффициент обучения 0 < < 1 определяет скорость обучения. В начале обучения его значения должно быть большим и монотонно уменьшаться со временем.

Классификация документов сводится к предъявлению обученной нейронной сети вектора авизируемого текста X и поиска из всех нейронов распознающего слоя того, для которого Siнаибольшая. При использовании в качестве входных векторов представление текста в виде лексических векторов модели терм-документ,входной слой содержит столько нейронов, сколько терминов в словаре обучающей выборки документов (Nw), весовые вектора Wi нейронов распознающего слоя содержат значимость wji j -ого термина для i-ого класса. Моделирование проводилось для базы данных, состоящих из документов двух типов: сводки УВД и банковские документы (271 документ, 40315 терминов). Использовались следующие значения констант: = 0, = 0.01 = 0.7. В процессе эксперимента варьирование начальных значений и приводило к образованию от 2 до 22 двух кластеров. В лучшем случае классификация произвела абсолютно правильное разбиение документов на две группы: один класс соответствует сводкам УВД, другой – банковским документам.

При использовании триграммной модели представления текста число входных нейронов соответствует M3, при этом весовые вектора Wi определяют значимость wji j-ой триграммы для i-ого класса. При моделировании использовались следующие значения констант: принимала значения от 0 до 1000, = 0.01, линейно убывала от 0.75 до 0.1. Подача на вход сети 16 документов (8 сводок УВД и 8 банковских документов) в случайной последовательности при различных значениях на первом этапе обучения приводила к образованию от 1 до 4 классов.

Основным выводом по результатам моделирования является зависимости величин полноты и точности классификации (3) от пороговых параметров и , так что снижение и увеличение снижает избирательность сети, что приводит к снижению точности и повышению полноты классификации

2.3. Сеть Кохонена (SOM)

Назначение сети Кохонена [5] – разделение векторов входных сигналов на группы, поэтому возможность представления текстов в виде векторов действительных чисел позволят применять данную сеть для их классификации. Как показано на рис. 3 сеть состоит из одного слоя, имеющего форму прямоугольной решетки для 4-х связных нейронов и форму соты для 6-ти связных.

Рис 3. Топология SOM.

Анализируемые вектора Xподаются на входы всех нейронов. По результатам обучения геометрически близкие нейроны оказываются чувствительными к похожим входным сигналам, что может быть использовано в задаче классификации следующим образом. Для каждого класса определяется центральный нейрон и доверительная область вокруг него. Критерием границы доверительной области является расстояние между векторами соседних нейронов и расстояние до центрального нейрона области. При подаче на вход обученной сети вектора текста активизируются некоторые нейроны (возможно из разных областей), текст относится к тому классу, в доверительной области которого активизировалось наибольшее число нейронов и как можно ближе к ее центру.Алгоритм обучения сети заключается в следующем. Все вектора должны лежать на гиперсфере единичного радиуса. Задается мера соседства нейронов, позволяющая определять зоны топологического соседства в различные моменты времени. На рис. 3 показано изменение этой величины Dj(t) для некоторого j – ого нейрона. Кроме того, задается размер решетки и размерность входного вектора, а так же определяется мера подобия векторов S (наиболее подходящей является косинус угла, вычисляемый по формуле вида (2)). Далее выполняются следующие шаги для каждого вектора обучающей выборки.

1. Начальная инициализация плоскости может быть произведена, например произвольным распределением весовых векторов на гиперсфере единичного радиуса.

2. Сети предъявляется входной вектор текста Xи вычисляется мера подобия S(X,Wj) для каждого j – ого нейрона сети. Нейрон, для которого Sj максимальна, считается текущим центром и для него определяется зона соседства Dj(t)

3. Для всех нейронов, попадающих в зону Dj(t) (см. рис. 3) производится коррекция весов по правилу , где — шаг обучения, уменьшающийся с течением времени. Величина Dj(t) уменьшается со временем, так что изначально она охватывает всю сеть, а в конце обучения зона сужается до одного-двух нейронов, когда также достаточно мало. По аналогии с классификатором Гроссберга возможно использование как представление терм-документ, так и триграммное представление. Оба способа дали удовлетворительные результаты в эксперименте с двумя обучающими выборками (те же что и в классификаторе Гроссберга). Как показали эксперименты, на обучение сети оказывает влияние:

1. Количество нейронов и их размещение. Количество нейронов следует выбирать не меньше количества групп, которые требуется получить. Расположение нейронов на двумерной плоскости зависит от решаемой задачи. Как правило, выбирается либо квадратная матрица нейронов, либо прямоугольная с отношением сторон, близким к единице.

2. Начальное состояние. В данном случае применена инициализация случайными значениями. Это не всегда приводит к желаемым результатам. Один из возможных вариантов улучшения этого – вычисление характеристических векторов репрезентативной выборки текстов, определяющих границу двумерной плоскости проекции. После этого, весовые вектора нейронов равномерно распределяются в полученном диапазоне.

3. Значение коэффициента обучения. Вне зависимости от начального распределения весовых векторов нейронов при значении коэффициента скорости обучения в районе 0.5-1 образуется множество отдельных классов, хотя в целом тенденция нейронов объединяться в однотипную группу сохраняется. В данном случае можно говорить о повышенной чувствительности сети к различным входным воздействиям. При уменьшении этого коэффициента чувствительность сети падает. Так что такие показатели как полнота и точность классификации (3) определяются величиной и скоростью ее уменьшения в процессе обучения, чем быстрее убывает , тем больше точность и меньше полнота классификации.

4. Характер изменения топологической зоны соседства Dj(t). Определяет область нейронов, которые подлежат обучению. Чем быстрее будет сокращаться эта область, тем больше классов будет образовано, тем больше точность и меньше полнота.

5. Тип подаваемых на вход данных. Для лексических векторов фактически проводится обработка по имеющимся в документе термам, что дает достаточно хорошие результаты. В этом случае можно выделять документы по специфике словарного набора. Однако без применения морфологического анализа, данный метод не применим, так как резко увеличивается вычислительная сложность. Для триграммного представления текстов результаты классификации хуже, что связано с низкой адекватностью модели.

6. Последовательность подачи на вход векторов документов из разных групп.Поскольку со временем изменяется коэффициент скорости обучения , результаты подачи на вход различных векторов текстов оказываются различными. При большом начальном значении , происходит интенсивная модификация всех нейронов вокруг победителя. При этом со временем уменьшается и, если успеет уменьшиться значительно по сравнению с начальным значением до момента поступления на вход документов из следующей группы, получится довольно распределенная область, в которой встречаются документы из первой группы и сконцентрированные документы из второй группы. При случайной подаче документов из разных групп, области близости образуются равномерно. Однако возможно склеивание документов из разных групп. Причина в том, что вектор второго документа может оказаться где-нибудь поблизости от первого. В данном случае после приближения первым документов весовых векторов соседних от него нейронов, второй документ может скорректировать нейроны под себя.

3. Семантический анализ

Применение семантического анализа обусловлено стремлением улучшить качество классификации. Авторы убеждены, что, оперируя с формальным смыслом ТЕЯ, можно добиться большей полноты и точности классификации, за счет повышения адекватности описаний F из (1). Выполнение семантического анализа осуществляет Система Понимания Текстов (СПТ). Рассмотрим принципы построения СПТ и методы, закладываемые в основу ее работы.

3.1.Определение семантического анализа

Термины семантический анализ и машинное понимание текста принимаются эквивалентными. За основу в данной работе взяты текстологические методы извлечения знаний, применяемые в инженерии знаний при разработке и ручном наполнении баз знаний экспертных систем [2,13] . При таком подходе процедуры «понимания» и «извлечения знаний» являются идентичными, а результат их выполнения формализуется в виде некоторой семантической структуры. По аналогии машинное понимание рассматривается в виде процесса формирования семантического образа для анализируемого ТЕЯ, выполняемого СПТ (рис. 4).

Рис.4. Функционирование СПТ.

В СПТ выделено лингвосемантическое и программное обеспечение. Первое используется для описания модели предметной области и представлено лингвистическим и семантическим словарями [6] , в терминах которых СПТ формирует образ текста [7] . Программное обеспечение реализует методы анализа, о которых пойдет речь далее. Работу СПТ можно разделить на два этапа: лингвистическая обработка и семантическая интерпретация, выполняемые соответственно лингвистическим и семантическим модулями СПТ.

Лингвистический модуль (рис. 5) объединяет этапы непосредственной ЕЯ обработки. На этих этапах происходит первичная формализация предложений входного текста. Каждый этап использует словари лингвистического обеспечения. На этапе графематического анализа выделяются текстовые единицы, такие как слова, предложения и абзацы.

Рис.5. Схема лингвистического модуля СПТ.

Кроме того, на этом этапе выполняется исключения незначимых слов и более сложных конструкций, таких как вводные предложения. На этапе морфологического анализа определяются грамматические значения слов, такие как часть речи, род, число и т.д. На этапе синтаксического анализа определяется синтаксическая структура предложения, описываемая формулой V – языка, о котором будет сказано далее. Работа семантического модуля приведена на рис. 6.

Рис.6. Схема семантического модуля СПТ.

Семантический модуль выполняет смысловую обработку текста, входные данные представлены V – формулами, полученными лингвистическим модулем. Данный вид обработки называется интерпретацией, поскольку согласно заложенной в словарях семантического обеспечения моделью предметной области выполняется определение формального смысла отдельных формул V – языка. Эта процедура выполняется на этапе семантического анализа. На этапе межфразового семантического анализа производится объединение семантических представлений отдельных предложений в единую семантическую сеть, описывающую смысл всего текста.

3.2. Формальный V — язык

В процессе семантического анализа на некоторых промежуточных стадиях получаются и используются формулы V – языка. Его основное назначение – описание морфологического и синтаксического строя предложения, описываемого V – формулой. Следует отметить, что так или иначе в лингвистических процессорах (ЛП), являющихся частным случаем СПТ, применяются те или иные способы описания результатов морфологического и синтаксического анализа. Как правило, эти результаты описываются разными конструкциями, обусловленными в первую очередь удобствами того языка программирования, на котором выполнена разработка ЛП. Авторами не были обнаружены удовлетворительные для поставленных задач средства выполнения такого описания, в результате чего и был разработан типизированный формальный V – язык, по аналогии с категориальной грамматикой, описанной в [9]

Кроме основного назначения, благодаря вводимым в V – формулах переменным, язык позволяет описывать шаблоны синтаксических конструкций различной степени определенности и детализации. Эти возможности используются модулями СПТ для представления результатов работы морфологического и синтаксического анализатора и описания модели предметной области. Гибкость языка, так же делает возможным его независимое применение в системах, связанных с синтезом ЕЯ текстов и машинным переводом.

Ключевым звеном V – языка являются типы, приписываемые всем его объектам, синтаксис их записи следующий:

Каждой категории примитивов ставится в соответствие грамматическая категория естественного языка: часть речи, род, число и т.д. Каждой константе некоторой категории ставится в соответствие значение соответствующей грамматической категории: единственное/множественное число, мужской/женский/средний род и т.д. Значение примитивной переменной определяется некоторым подмножеством возможных значений данной категории. В итоге тип описывает полный набор грамматических значений слова. Пример записи полностью определенного типа: a1(b11, d1), где [a1]=имя сущ., [b1]=им. падеж, [c1]=ед. число, [d1]=муж. род.

Типизированные объекты V – языка: константы Сiaj(…), переменные Xiaj(…) , операционные константы Viaj(…) (aj(…) – условная запись типа, приписанного объекту) используются для конструирования V – формул, которые и описывают синтаксические связи между словами предложения. Синтаксис записи формул описывается следующим образом:

Константа соответствует начальной форме слова анализируемого предложения, ее тип описывает реальные грамматические значения слова. Переменная в отличие от константы соответствует некоторому множеству подразумеваемых в контексте предложения слов. Операционные константы соответствуют принятым в естественном языке правилам согласования слов в таких синтаксических конструкциях, как словосочетания, обороты и предложения. Пример полностью определенной формулы для предложения «густой туман быстро рассеялся»: V5(V2(C1,C2),V9(C3,C4)). Такая формула не содержит переменных,в таком качестве она описывает конкретное предложение текста. Частично определенная формула содержит переменные и описывает некоторое семейство предложений, так формула V5(V2(C1,C2),V9(C3,X)) соответствует семейству предложений «густой туман быстро X», где X может быть любым глаголом, согласуемым с существительным “туман” в числе и роде.

3.3. Модель предметной области

Модель предметной области (МПО) определяется словарями семантического обеспечения СПТ. Назначение МПО – определить “смысл” слов анализируемых предложений, сформировав тем самым понятия. Таким образом, машинное понимание заключается в том, чтобы оценить слова анализируемых предложений в терминах заложенной МПО, и тем самым, придать им некоторый смысл. Основными компонентами МПО являются: модели семантических характеристик (СХ) и семантических отношений.

СХ используются для смыслового разделения лексического материала предметной области [8]. Следует различать непосредственно семантические характеристики и их значения, во втором случае используется сокращение ЗСХ. Наличие семантической характеристики указывает точку смыслового дробления лексики, тогда как ее значения определяют непосредственно области, получаемые в результате такого дробления. Модель СХ определяется как двухосновная алгебраическая система без операций с двумя отношениями , где D – множество семантических характеристик, B – множество значений семантических характеристик, R1 – отношение на D x B, R2 – отношение на B x D. Cвойства отношений R1и R2 позволяют дать модели следующую графическую интерпретацию (рис. 7).

Рис.7. Графическая интерпретация модели СХ.

Значения СХ (овалы на рис. 7) объединяются в наборы, которые затем приписываются словам анализируемых предложений в процессе семантического анализа, в результате чего формируются «осмысленные» понятия. Важной чертой модели M1 является отношение семантической совместимости ЗСХ, вытекающее из заложенных в модель свойств.

Это отношение позволяет для любой пары ЗСХ отметить наличие элементарной смысловой совместимости или ее отсутствие. Совместимые значения не противоречат друг другу на рис. 7 это , . Несовместимые значения имеют противоречивый смысл, например: , , . Наборы ЗСХ объединяют только совместимые значения. В качестве иллюстрации предположим, что слову «туман» был приписан набор ЗСХ «конкретное, объект» в одном контексте и ЗСХ «конкретное, процесс» — в другом. Оба набора не могут быть объединены, так как одна и та же «сущность» не может одновременно сочетать в себе свойства «объекта» и «процесса». СПТ сделает вывод о наличии двух разных понятий, поскольку слова имеют несовместимый противоречащий друг другу смысл. Следует отметить, что приведенные рассуждения относятся к модели на рис. 7, тогда как для некоторой другой модели одновременная сочетаемость свойств «объекта» и «процесса» может быть вполне нормальной.

Поскольку семантический анализатор оперирует не со словами и предложениями, а с V – формулами и их элементами (см. рис. 6), формируемые понятия имеют следующий вид , где — константа V – языка, выделенная во входной формуле, совместимых ЗСХ модели M1. Такое представление соответствует гипотезе «о репрезентации понятий признаками» (см. [2]). Понятия являются промежуточным результатом работы СПТ. В выходных структурах межфразового семантического анализатора (рис. 6), участвуют не понятия, а концепты, которые имеют следующий вид , где — переменная V – языка, t — набор семантически совместимых ЗСХ модели M1. Такое представление соответствует гипотезе «о множественной репрезентации понятий» (см. [2]).

Кроме M1 предметная область описывается вторым компонентом – моделью семантических отношений, которая используется механизмом семантического анализа для извлечения и формирования понятий из входных V – формул.

Модель семантических отношений определяется как четырех основная алгебраическая система вида . Где L – множество семантических отношений, определенных в предметной области, N – конечное подмножество натуральных чисел, T – множество наборов семантически сочетаемых ЗСХ, F – множество частично определенных формул V – языка. R4 – отношение на декартовом произведении L x N, R5 – отношение на декартовом произведении R4 x T, R6 – отношение на декартовом произведении L x F. Отношения R4, R5 и R6 имеют следующую интерпретацию. Каждая пара (l,n) R4 определяет n-ого возможного участника отношения l, где n используется для уникальной идентификации участников внутри отношения l. Каждая пара ((l,n),t) R5 определяет набор ЗСХ, характерный для n-ого участника отношения l. При этом сам участник не определен, известны только характерные для него ЗСХ, заключенные в наборе t. Каждая пара (l,f) R6 определяет характерную для отношения l синтаксическую конструкцию ЕЯ, описываемую частично определенной V – формулой f. Каждой переменной формулы f соответствует некоторый n-ый участник отношения l. Таким образом, имея на входе семантического анализатора полностью определенную V – формулу fi, и подобрав подходящую пару (l,f) R6 модели M2 можно, путем сопоставления fi и f выделить константы из входной формулы и, приписав этим константам наборы ЗСХ соответствующих участников отношения l, сформировать понятия вида .

В качестве примера работы семантического анализатора рассмотрим отношение ДЛИТЕЛЬНОСТЬ некоторой модели M2. Данное отношение может быть описано следующим образом: ДЛИТЕЛЬНОСТЬ L – семантическое отношение, (ДЛИТЕЛЬНОСТЬ,1) R4,(ДЛИТЕЛЬНОСТЬ,2)R4– идентификация первого и второго участников ((ДЛИТЕЛЬНОСТЬ,1),) R5 – набор ЗСХ первого участника, ((ДЛИТЕЛЬНОСТЬ,2),) R5– набор ЗСХ второго участника, (ДЛИТЕЛЬНОСТЬ,V5(X1;V4(C;X2))) R6 – формула V – языка, описывающая синтаксическую конструкцию, принятую в ЕЯ для отражения данного отношения, где значение константы C есть глагол «длиться». Приведенная формула описывает семейство предложений вида «X1 длится X2». Если СПТ выделит в тексте предложение: «заседание длилось один час». То по результатам сопоставления V – формулы V5(C1;V4(C2;V3(C3,C4))), соответствующей данному предложению, с шаблоном V5(X1;V4(C1;X2)), будет выявлено, что X1=C1 и X2=V3(C3,C4). Это в свою очередь на основе приведенных данных об отношении ДЛИТЕЛЬНОСТЬ позволит выделить понятие o1=(C,) и o2=(V3(C3,C4),), это означает, что слово «заседание» воспринято СПТ, как некоторый процесс, а словосочетание «один час» — как некоторая абстрактная сущность.

3.4. Семантическое представление текста

Семантическое представление текста формируется из семантических представлений отдельных предложений [7], элементами которых являются понятия, извлеченные из анализируемого текста, и выявленные между ними семантические отношения модели M2. Семантическое представление отдельных предложений описывается алгебраической системой, подобной графу, у которого вершинами являются понятия, а любое ребро помечено семантическим отношениям и соединяет те вершины-понятия, которые находятся друг с другом в данном отношении. Идентификаторы участников записываются в виде меток при каждой вершине. Такая структура именуется в данной работе семантической сетью (см. [10]) отдельных предложений, формируемых на выходе семантического анализатора (рис. 6). На рис. 8 приведена графическая интерпретация двух семантических сетей для предложений: «Туман сгустился над центром озера. У берегов он наоборот рассеялся»

Рис. 8. Семантический образ предложений.

Конечная смысловая структура текста представляется четырех основной алгебраической системой вида (6), называемой семантической сетью естественного текста. Где Ot – множество концептов выделенных в тексте, At – множество ребер, связывающих концепты из Ot,Lt L – множество семантических отношений, выявленных в тексте, и используемых в качестве меток ребер из At. Ht – множество классов, связывающих концепты из Ot по классовой семантической совместимости их наборов ЗСХ, которая отличается от обычной семантической совместимости, рассмотренной ранее, тем что элементарная совместимость требуется не для всех пар ЗСХ сопоставляемых концептов, а только для некоторой, оговоренной группы, характерной для целого класса концептов. R1t – отношение инцидентности на Ot x At x N, где N – подмножество идентификаторов участников отношений модели M2. R2t – отношение инцидентности на At x Lt, RH – отношение классовой принадлежности на Ot x Ht. Такая довольно громоздкая структура получается после нестрогого отождествления понятий из семантических образов отдельных предложений, в процессе которого образуются концепты. Рис. 9 иллюстрирует процесс «склеивания» семантических сетей предложений, представленных на рис. 8, в единую сеть.

Рис. 9. Процесс «склеивания» семантических сетей предложений.

В данном примере отождествлению подлежат понятие O1, соответствующее существительному «туман», и понятие O4,соответствующее местоимению «он».

Особенностью результирующей сети на рис. 9 является то, что O1 становится не понятием, а концептом, поскольку после нестрогого отождествления оно имеет структуру , где — переменная, множество возможных значений которой образуется словами , t — результирующий набор ЗСХ, полученный при объединении наборов ЗСХ отождествленных понятий O1 и O4.

3.5. Классификация на основе синтаксиса

Идея использовать более сложную модель текста при решении задач текстовой обработки, по сравнению с моделью терм-документ и полиграммной моделью, не нова. В [4] наряду с частотной информацией предложено учитывать результаты синтаксического анализа в числовых весах слов обрабатываемых текстов. Согласно этому предложению, вес слова есть функция от частоты его встречаемости, набора грамматических значений и синтаксической роли в предложении. Так при равной частоте встречаемости больший вес получают имена существительные в роли подлежащего, затем – в роли прямого и косвенного дополнения и т.д.

Эта идея может быть существенно расширена за счет использования V – языка. В нем отсутствуют традиционные понятия подлежащего, дополнения и т.п., тем не менее, существует более строгий способ указания синтаксической роли слов, который основан на операционных константах языка. Функция модификации частотного веса слова имеет вид , где V – множество операционных констант языка,N1 – подмножество натуральных чисел, D – множество весовых коэффициентов. Значение функции d = (Vi,nj) следует трактовать следующим образом: роль nj – ого аргумента Vi – ой операционной константы оценивается весом d. Функция задается таблично при определении V – языка. В качестве примера рассмотрим следующий вариант функции (таб. 1). Согласно таб. 1 для формулы V2(C1,C2) объектная константа C2 получит вес 2, а объектная константа C1 – вес 1. Рассмотрим гипотетический пример фрагмента утвердительного предложения: «плотный туман рассеивался быстро». Здесь выделяются следующие константы C1, C2,C3, C4. (типы констант не указаны). Согласно принятым в V – языке обозначениям семантические значения этих констант следующие: [C1]=«плотный», [C2]=«туман», [C3]=«рассеивался», [C4]=«быстро»

Табл 1. Фрагмент табличного задания функции .

Применение нейросетевых алгоритмов в системах охраны периметра Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

Аннотация научной статьи по электротехнике, электронной технике, информационным технологиям, автор научной работы — Зенов Андрей Юрьевич, Мясникова Нина Владимировна

Рассмотрены принципы построения систем охраны периметра и обработки сигналов с выдачей сигнала тревоги в случае вторжения нарушителя . В системах, построенных с применением нейросетевых алгоритмов, становится возможным определять не только факт нарушения периметральной границы объекта , но и классифицировать нарушителя при минимальном уровне ложных срабатываний.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по электротехнике, электронной технике, информационным технологиям , автор научной работы — Зенов Андрей Юрьевич, Мясникова Нина Владимировна

Комплексный подход к обнаружению, классификации и распознаванию нарушителя на охраняемой территории
Концепция организации обработки информации в системах диагностики и распознавания
Формирование диагностических признаков для охранных систем
Методы анализа сигнала в режиме реального времени на основе экстремальной фильтрации
Использование нейронных сетей для выделения составляющих в режиме реального времени
i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Применение нейросетевых алгоритмов в системах охраны периметра»

А. Ю. Зенов, Н. В. Мясникова

ПРИМЕНЕНИЕ НЕЙРОСЕТЕВЫХ АЛГОРИТМОВ В СИСТЕМАХ ОХРАНЫ ПЕРИМЕТРА

Аннотация. Рассмотрены принципы построения систем охраны периметра и обработки сигналов с выдачей сигнала тревоги в случае вторжения нарушителя. В системах, построенных с применением нейросетевых алгоритмов, становится возможным определять не только факт нарушения периметральной границы объекта, но и классифицировать нарушителя при минимальном уровне ложных срабатываний.

Ключевые слова: охрана периметра, объект, нейронная сеть, обнаружение, классификация, нарушитель.

Abstract. The article considers the principles of construction of systems of perimeter protection and signal processing that trigger an alarm in case of intrusion of the offender. In the systems, built by using neural network algorithms, it is possible to determine the fact of violations of the border perimeter of an object, as well as to classify the offender at the minimum level of false positives.

Key words: protection of the object perimeter, neural network, detection, classification, violator.

В настоящее время из-за роста масштабов криминально-террористических угроз правительством Российской Федерации принимаются меры по усилению охраны территорий важных и особо важных объектов, в том числе и государственной границы. Эти меры, в конечном счете, направлены на ужесточение требований, предъявляемых к системам охраны периметра, которые призваны обеспечить безопасность охраняемого объекта. Системы охранной сигнализации предназначены для обнаружения вторжения нарушителей. Они, как правило, стационарно располагаются по периметру охраняемого объекта и обеспечивают «раннюю» выработку сигнала тревоги, необходимую для своевременной и эффективной реакции сил охраны на вторжение [1].

Практически все современные охранные системы, вне зависимости от физического принципа действия, основываются на одном общем подходе. Блок обработки сигнала определяет текущий уровень сигнала, генерируемого датчиком, и отслеживает изменения этого уровня. Если сигнал окажется выше или ниже установленных порогов, то процессор генерирует сигнал тревоги, который, вероятно, вызван появлением нарушителя на охраняемом периметре.

В реальных условиях работа системы охраны периметра сопровождается влиянием помех, вызванных природно-климатическими или индустриальными факторами. Наличие шумов и помех приводит к флуктуациям «базового» уровня сигнала и маскирует полезный сигнал, создаваемый реальным нарушителем, это увеличивает количество ошибок первого и второго рода.

Если говорить о методах уменьшения влияния помеховых факторов, то все они сводятся к трем: качественный монтаж, регулярные технические осмотры и применение алгоритмических методов (фильтрация сигналов).

Нейронные сети — это адаптивные системы для обработки и анализа данных, которые представляют собой математическую структуру, имитирующую некоторые аспекты работы человеческого мозга и демонстрирующие такие его возможности, как способность к неформальному обучению, способность к обобщению и кластеризации неклассифицированной информации, способность самостоятельно строить прогнозы на основе уже предъявленных временных рядов. Возможность обучения является одним из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными и выходными данными, а также выполнять обобщения. Это означает, что в случае успешного обучения сеть сможет создать верный результат на основании данных, которые или отсутствовали в обучающей выборке, или были неполными, зашумленными и частично искаженными. Главным их отличием от других методов является то, что нейросети в принципе не нуждаются в заранее известной модели, а строят ее сами только на основе предъявляемой информации. Именно поэтому нейронные сети и генетические алгоритмы вошли в практику всюду, где нужно решать задачи прогнозирования, классификации, управления, иными словами, в области человеческой деятельности, где есть плохо алгоритмизуемые задачи, для решения которых необходимы либо постоянная работа группы квалифицированных экспертов, либо адаптивные системы автоматизации, каковыми и являются нейронные сети.

1. Типовая структура блока обработки сигналов с использованием нейросетевого анализатора

Рассмотрим алгоритм обнаружения нарушителя, который включает в себя регистрацию данных и их обработку с выработкой сигнала тревоги в случае проникновения нарушителя на охраняемую территорию.

Сигнал с датчика поступает в блок обработки сигналов (БОС). Обработка исходного сигнала в общем случае состоит из нескольких этапов. Типовая схема блока обработки сигналов с применением нейросетевого анализатора приведена на рис. 1. Схема, как правило, включает адаптивный к сигналу фильтр, блок цифровой обработки (DSP — digital signal processor), а нейросетевой анализатор — это блок принятия решения (вторжение и его тип).

Рис. 1. Схема блока обработки сигналов

2. Универсальная модель для сейсмических сигналов и вибрационных процессов. Выбор метода обработки

Сейсмические сигналы и вибрационные процессы могут быть описаны универсальной моделью: процесс представляет собой комбинацию узкопо-

лосных составляющих аддитивно смешанных с широкополосным шумом. Параметры составляющих полностью характеризуют процесс. При изменении сигнала меняются амплитуды (мощности) и частоты составляющих, а также их количество.

Для выделения узкополосных составляющих возможными алгоритмами обработки сигнала на первом этапе могут быть: метод разложения на эмпирические моды (Empirical mode decomposition, или EMD) или более простой метод экстремальной фильтрации, дающий близкие результаты [2]. Метод разложения на эмпирические моды включает выделение экстремумов сигнала, построение огибающих, вычисление среднего, извлечения деталей, применение процедуры к остаткам. Метод экстремальной фильтрации включает выделение экстремумов сигнала, разделение на знакопеременные составляющие экстремальным фильтром, вычисление параметров этих составляющих (например, средней частоты и дисперсии в скользящем окне), применение процедуры к остаткам, образующимся при удалении очередной знакопеременной составляющей.

Сами составляющие и (или) их параметры позволяют судить о процессе, получить оценки спектральных характеристик, выделить свободные и вынужденные колебания, сформировать диагностические признаки, существенно упростить параметрический анализ и уменьшить его трудоемкость, применяя его не непосредственно к сигналу, а к выделенным составляющим.

С учетом временных ограничений для выделения информативных составляющих и принятия решения предпочтение отдано более быстродействующему методу экстремальной фильтрации. Упрощение алгоритма и снижение трудоемкости достигается за счет отсутствия в алгоритме сплайн-интерполяции при выделении огибающих сигнала и упрощенного вычисления текущего значения частоты по расстоянию между экстремумами.

3. Фильтрация и формирование диагностических признаков

Рассмотрим метод экстремальной фильтрации более подробно.

Знакопеременную составляющую можно выделить путем центрирования относительно скользящего среднего. Наиболее простым является метод, в котором используются лишь экстремальные значения хэг-, где i = 1, 2, . m. Сглаживание производится оператором вида

xci = 0,25 x3i_1 + 0,5 хэг- + 0,25 хэг-+1, (1)

который соответствует пропусканию данных через цифровой фильтр нижних частот.

Первая, высокочастотная, составляющая определяется из соотношения

xpi = Хэi _ xci . (2)

Составляющая может быть выделена непосредственно из экстремумов следующим образом:

Xpi = -0,25хэг_1 + 0,5хэi _ 0,25хэг+1. (3)

Далее преобразования вида (1), (3) повторяются над составляющей xpi.

Затем происходит вычисление параметров для всех составляющих р

(амплитуды Л., частоты f

i = 1, .p), которые позволяют

сформировать первичные диагностические признаки.

Рассмотрим предложенный подход к экспресс-анализу вибросигналов в системах охранной сигнализации. Основные принципы экспресс-анализа изложены в работах [3, 4].

На рис. 2 показан сигнал на выходе вибродатчика, а на рис. 3 — выделенные знакопеременные составляющие, представленные своими экстремумами для одного из анализируемых участков.

1 III 11 1 1 i il jliJ LinJiü i

цтч fw’wm LLi nfP

ÉIÜI .llJldiiiH JlÉli

Рис. 2. Сигнал с датчика

100 200 300 400 500 600 700 800 900 1000 t,c

Рис. 3. Знакопеременные составляющие одного из участков анализа

При переходе от сейсмошума к сигналу, генерируемому при вторжении в зону ответственности, существенно меняется частота составляющих и их амплитуды (и, соответственно, мощности). Это иллюстрирует рис. 4, где на верхнем графике показан сигнал, а на втором и третьем — частоты и амплитуды АI выделенных составляющих в скользящем окне, привязанном к началу интервала анализа. Здесь г = \. р, а р — количество выделенных составляющих. Видно, что при обнаружении наблюдается уменьшение частоты (высокочастотные шумы маскируются более мощным сигналом) и увеличение амплитуды.

Рис. 4. Сигнал х и параметры составляющих:/¡, А, г = 1. р

При приближении объекта к датчику увеличивается соотношение сигнал/шум, и частотные свойства регистрируемого сигнала будут определяться возмущением — амплитуда выделяемых составляющих увеличивается, а частота, наоборот, уменьшается. Следовательно, можно установить разделяющую границу частот шум-сигнал.

Вероятно, возможна и обратная ситуация, когда шуму будет соответствовать низкочастотная область. В этом случае сигналу будут соответствовать более высокочастотные сигналы с большими амплитудами.

Известно, что амплитуда является косвенным признаком в задаче обнаружения, так как она сильно зависит от расстояния до объекта. Поэтому предложено сформировать диагностический признак для разделения сигнал/шум в виде отношения Аг / /г . Этот диагностический признак более контрастно разделяет классы.

Известно, что экстремумы сигнала несут информацию о самой высокочастотной узкополосной составляющей. Если удалить (отфильтровать) из сигнала эту составляющую, то получим сглаженную кривую, экстремумы

которой несут информацию о следующей узкополосной составляющей. Процедуру можно выполнять до тех пор, пока не будет получена последовательность со знакопеременными экстремумами — самая низкочастотная узкополосная составляющая. Таким образом, возможно осуществление алгоритма адаптивной фильтрации.

4. Обнаружение и классификация с помощью нейронной сети

Для отделения сигналов, создаваемых нарушителем от шумов и помех, на третьей и заключительной части обработки в БОС выполняется анализ данных, основанный на принципе нейронной сети. Применение нейронной сети обеспечивает высокую надежность обнаружения при низком уровне ложных срабатываний.

Среди всего множества нейросетевых архитектур можно выделить базовую архитектуру — многослойные сети (рис. 5).

Слой 1 Слой 2 Слой к

Рис. 5. Многослойная нейронная сеть

В данной архитектуре нейроны расположены в несколько слоев. Нейроны первого слоя получают входные сигналы, преобразуют их и через точки ветвления передают нейронам второго слоя. Далее срабатывает второй слой и т.д. до к-го слоя, который выдает выходные сигналы. Если не оговорено противное, то каждый выходной сигнал г-го слоя подается на вход всех нейронов (г + 1)-го (полносвязные сети). Как правило, число нейронов в каждом слое может быть любым и никак заранее не связано с количеством нейронов в других слоях. Особое распространение получили трехслойные сети, в которых каждый слой имеет свое наименование: первый — входной, второй — скрытый, третий — выходной.

Для работы нейронной сети требуется ее предварительно обучить. Алгоритм обучения нейронной сети заключается в том, что выход последнего слоя нейронов сравнивается с образцом обучения, и из разницы между желаемым и действительным делается вывод о том, каковы должны быть связи нейронов последнего слоя с предыдущим. Затем подобная операция производится с нейронами предпоследнего слоя. В итоге по нейросети от выхода к входу составляется таблица изменения весов связей. Нейронная сеть, в общем виде, обладает двумя отличительными свойствами: способностью к обучению на некотором множестве примеров и стабильно распознавать (прогнозировать) новые ситуации с высокой степенью точности, причем в условиях сильных внешних помех, таких как появление противоречивых или неполных

значений. Обучение системы сводится к работе алгоритма подбора весовых коэффициентов, который действует без непосредственного участия оператора.

Обучение предполагает регистрацию исходных сигналов от датчиков, установленных на периметре. Уникальные образы или параметры различных событий проходят процедуру идентификации с помощью многопараметрического анализа, учитывающего пересечение пороговых уровней, временные и частотные свойства сигналов, частоты гармоник и т.п. Эти образы сигналов могут быть позже использованы для разработки алгоритмов классификации тревожных и нетревожных сигналов в реальном времени с помощью нейронных сетей. Обучение охранной системы выполняется как часть общей настройки системы — путем добавления в базу данных образов сигналов, которые являются результатом воздействия шумовых факторов и характерных откликов конкретной ограды.

Авторы имеют опыт использования многослойных сетей.

Преимущество радиально-базисной сети в том, что ее структура формируется автоматически. Наиболее подходящей нейросетью применительно к системам охраны периметра является радиально-базисная сеть с нулевой ошибкой. В отличие от большинства других многослойных сетей, радиальнобазисная не имеет патологий сходимости, архитектура проста и построена на прямых связях.

5. Применение нейросетевых алгоритмов на массивах экспериментальных данных

Итак, на рис. 6 представлено обучение с помощью радиально-базисной сети с нулевой ошибкой. Первый график — желаемый выход сети (обнаружение); второй график — амплитуда сигнала в системе вибрационной защиты; третий график — зафиксированный факт нарушения периметра охраняемого объекта. Данная сеть обучалась на сигнале «перекус сетчатого полотна». Тестирование на другом виде воздействия («перелаз через ограждение») показало правильное срабатывание обнаружителя.

Для систем сейсмических наблюдений использовались многослойные сети (пвм>$): первая сеть, на вход которой подавались предыдущие и текущие значения диагностического признака Аг- / и текущей частоты fi, выполня-

ла обнаружение, а вторая анализировала результат срабатывания первой сети на предыдущих интервалах. Для обнаружения транспортных средств анализ проводится скользящим окном длительностью 3 с, а сигнал тревоги формируется через каждую секунду.

На основе метода может быть построен и классификатор «человек -группа людей». При обнаружении техники идет разделение сигналов на два класса — «сигнал — фон». При движении человека или группы людей идет постоянное чередование фона и сигнала, причем при проходе одного человека и проходе группы людей это чередование разное: при проходе одного человека ритм более четкий, а при проходе группы — чередование носит более хаотичный характер.

Еще один «умный» обнаружитель может быть построен на основе нечеткой логики. Преимущество такого обнаружителя в том, что принцип работы сети отражает бесспорный факт — разделяемые классы являются пересе-

кающимися («слабый» сигнал мало отличается от фона, медленно движущаяся машина и быстро идущая группа людей имеют сходные спектры и т.д.). Если, например, нужно обнаруживать только транспорт и не реагировать на пешеходов-нарушителей, то можно соответствующим образом обучить сеть Сугено. Для обучения использовались данные — комбинация фона, проходов и проездов. Желаемый выход формировался следующим образом: выход сети «0», если на входе наблюдается фон или регистрируется проход группы людей (человека); выход сети «1» при проезде машины.

0 0.5 1 1.5 2 2.5 3 3.5 4

Рис. 6. Срабатывание радиально-базисной сети с нулевой ошибкой

Для создания, обучения и тестирования сети использовался редактор АпГ^е^ среды МаАаЬ. Структура сети: четыре входа, один выход, количество функций принадлежности — 5 на каждый вход, тип функции принадлежности psigmf. На вход сети подаются параметры высокочастотной составляющей — средняя, минимальная, максимальная частоты и нормированный по среднеквадратичному отклонению размах амплитуд на 3-секундном интервале наблюдения.

Для данных «проезд автомобиля, бег группы, проезд автомобиля» на рис. 7 показано обнаружение транспорта. При этом выход сети — «-1».

В системах охранной сигнализации нейронная сеть представляет собой вычислительную систему, алгоритм решения задач в которой представлен

в виде сети пороговых элементов с динамически перестраиваемыми коэффициентами и алгоритмами настройки, независимыми от размерности сети пороговых элементов и их входного пространства. Внедрение нейросетевых структур в алгоритмы БОС позволяет приблизиться к разработке охранных систем с искусственным интеллектом, повысить помехозащищенность системы охраны периметров в целом. Повышается как средняя наработка на ложную тревогу, так и вероятность обнаружения с последующей классификацией типа нарушителя. Охранная система с искусственным интеллектом выполняет задачу обнаружения и распознавания автоматически, учитывая при анализе все характеристики исходного сигнала. Процесс обработки происходит значительно быстрее и дает более достоверный результат. Использование интеллектуальных систем охраны периметра не требует вмешательства оператора для анализа тревожных сигналов и определения признаков реального вторжения или ложной тревоги. Они способны выдать информацию типа да/нет, а также определить тип события — перелаз через ограду, перекус сетчатого полотна заграждения, порыв ветра и т.п. В системах сейсмических наблюдений выполняются распознавание вторжения в зону ответственности, а также определяется тип нарушителя. В результате система сама принимает решение — является данный сигнал свидетельством реальной тревоги или помехи.

автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему: Нейросетевой классификатор облачности по данным MODIS высокого разрешения

Автореферат диссертации по теме «Нейросетевой классификатор облачности по данным MODIS высокого разрешения»

На правах рукописи

Скороходов Алексей Викторович

НЕЙРОСЕТЕВОЙ КЛАССИФИКАТОР ОБЛАЧНОСТИ ПО ДАННЫМ МОБ18 ВЫСОКОГО РАЗРЕШЕНИЯ

Специальность 05.13.18 — математическое моделирование, численные методы и комплексы программ

диссертации на соискание ученой степени кандидата технических наук

Работа выполнена в Институте оптики атмосферы им. В.Е. Зуева Сибирского отделения Российской академии наук и в Томском государственном университете систем управления и радиоэлектроники (ТУСУР)

Научный руководитель: доктор физико-математических наук

Астафуров Владимир Глебович

Официальные оппоненты: . Тимченко Сергей Викторович,

доктор физико-математических наук, заведующий кафедрой прикладной математики и информатики ТУСУРа

Аксенов Сергей Владимирович,

кандидат технических наук, доцент кафедры оптимизации систем управления Национального исследовательского Томского политехнического университета

Ведущая организация: Институт водных и экологических

проблем Сибирского отделения Российской академии наук, г. Барнаул

Защита состоится 7 марта 2013 года в 15 ч 15 мин на заседании диссертационного совета Д 212.268.02 Томского государственного университета систем управления и радиоэлектроники по адресу: 634050, г. Томск, проспект Ленина, 40, ауд. 203.

С диссертацией можно ознакомиться в библиотеке Томского государственного университета систем управления и радиоэлектроники по адресу: 634050, г. Томск, ул. Вершинина, 74.

Автореферат разослан «2,0 » 2013 г.

диссертационного совета _ Мещеряков Р.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

В настоящее время данные дистанционного зондирования Земли из космоса используются для решения широкого круга научных и практических задач, связанных с метеорологией, климатологией, экологией, лесным и сельским хозяйствами. Для прогноза погоды, моделирования климата и обеспечения безопасности полетов воздушных судов требуются сведения о типах облачности согласно принятому в метеорологии стандарту. Сеть наземных метеостанций не позволяет проводить глобальный мониторинг поля облачности, что объясняет результаты использования дистанционного зондирования Земли из космоса в качестве единственного источника наиболее полной информации.

Несмотря на большое число работ по автоматической классификации облаков на основе спутниковой информации (R.L. Bankert, D. Lafont, Y. Lee, J. Li, Z. Li, Y. Liu, S.W. Miller, R.H. Wade, А.Б. Успенский), появившихся в последнее десятилетие, на сети наземных метеостанций по-прежнему используют визуальные наблюдения для определения типа облачности. Согласно действующему метеорологическому стандарту облачность различных ярусов классифицируется сетью метеостанций по 27 разновидностям, включающим ее основные типы, подтипы и их сочетания. В то же время результаты классификации облачности на основе данных систем космического базирования не обладают достаточной полнотой и достоверностью.

В 1990 г. вышла работа J. Lee, в которой впервые для классификации облачности использовалась искусственная нейронная сеть. Также для решения задачи автоматической классификации облачности в период начала 90-х — конца 2000-х годов применялись алгоритмы кластерного анализа, пороговые и статистические классификаторы (работы R.L. Bankert, P.M. Tag, M.J. Uddstrom и R.H. Wade). В настоящее время наилучшие результаты (по достоверности и полноте) приведены в работах R.L. Bankert и R.H. Wade, в которых использовались нейросетевые классификаторы и алгоритмы кластеризации. При этом удалось выделить 10 типов облачности с вероятностью правильной классификации 0.85 на основе данных систем Imager (GOES) и AVHRR (NOAA) с пространственным разрешением 1000 м.

Начиная с 2000-х годов основные усилия в области автоматической классификации облачности по спутниковым данным направлены на повышение ее эффективности и адаптацию существующих методов к данным современных спутниковых систем, таких как FY-2C, GOES, MODIS и ряда других. Несмотря на это, в настоящее время не существует известных программных средств, позволяющих выполнять классификацию

всех типов облачности согласно действующему метеорологическому стандарту. Поэтому задача автоматической классификации облачности на основе данных дистанционного зондирования Земли из космоса по-прежнему является актуальной.

Целью работы является развитие алгоритмов и программных средств для повышения эффективности процедуры классификации однослойной облачности и облаков вертикального развития с помощью нейросетевых технологий на основе информации о текстуре спутниковых снимков, полученных по данным MODIS с высоким разрешением.

Для достижения намеченной цели были решены следующие задачи:

1. Анализ существующих методов и программных средств для решения задачи автоматической классификации облачности по типам на основе данных дистанционного зондирования Земли из космоса;

2. Определение типов облачности и их подтипов, имеющих уникальные текстуры изображений по данным MODIS в видимой области спектра с пространственным разрешением 250 и 500 м;

3. Формирование системы эффективных текстурных признаков для описания уникальных текстур изображений различных типов облачности;

4. Построение статистических моделей текстур изображений для различных типов облачности;

5. Разработка программной системы для автоматической классификации однослойной облачности и облаков вертикального развития на основе технологии нейронных сетей;

6. Оценка качества классификации облачности на основе тестовой выборки.

При выполнении диссертационной работы использовались методы обработки изображений и данных дистанционного зондирования Земли из космоса, математическая статистика, численные методы, теория оптимизации и нейросетевые технологии. При реализации программной системы применялись методы компьютерной графики и принципы объектно-ориентированного программирования.

1. На основе методики сопоставления архивных данных метеостанций со спутниковой съемкой с разрешением 250 и 500 м и результатов численных экспериментов построена классификационная модель изображений различных типов облачности на базе сформированных наборов эффективных текстурных признаков.

2. Впервые построена статистическая модель текстурных признаков изображений различных типов облачности на основе фрагментов

спутниковых снимков, полученных по данным видимого диапазона спектра с пространственным разрешением 250 м.

3. Предложен и реализован модифицированный численный метод адаптивной подстройки коэффициента скорости обучения нейронной сети, основанный на динамическом изменении его параметров и позволяющий сократить время настройки трехслойного персептрона при использовании методов наискорейшего спуска и сопряженных градиентов.

4. Разработанная программная система на основе нейросетевых технологий, алгоритма адаптивной подстройки коэффициента скорости обучения и наборов эффективных текстурных признаков позволяет решать задачу классификации 14 типов однослойной облачности и облаков вертикального развития на спутниковых снимках с разрешением 250 м, что превышает известные аналоги.

Практическая значимость работы определяется возможностью использования разработанной программной системы, которая может применяться для оперативной классификации облачности по спутниковым данным при решении широкого круга задач, связанных с метеорологией и климатологией. Открытая архитектура программной системы и результаты проведенных в работе численных экспериментов делают возможным ее дальнейшее развитие за счет увеличения числа функциональных возможностей и ее адаптацию для решения тематических задач, связанных с применением данных дистанционного зондирования Земли.

Результаты диссертационной работы и разработанное программное обеспечение использовались:

1) В геофизической обсерватории Института климатических и экологических систем СО РАН как часть автоматизированной метеорологической информационно-измерительной системы.

2) При выполнении проекта РФФИ № 12-05-31007 «Восстановление оптических и микрофизических характеристик поглощающего аэрозоля и облаков методами солнечно-небесной фотометрии».

3) В лабораторном практикуме по курсу «Оптика атмосферы» и при выполнении НИР по теме «Радиационные процессы в атмосфере Земли» на кафедре «Теоретическая физика и волновые процессы» Волгоградского государственного университета.

Положения, выносимые на защиту

1. Использование данных спектрорадиометра MODIS с разрешением 250 м позволяет выделить 14 типов облачности и их подтипов с уникальной текстурой изображения, что подтверждается результатами вычислительного эксперимента.

2. Сформированный набор информативных текстурных признаков на основе подхода Gray-Level Co-occurrence Matrix является достаточным для

классификации 14 разновидностей облачности и построения статистической модели текстуры их изображений.

3. Модифицированный численный метод адаптивной подстройки коэффициента скорости настройки нейронной сети при использовании метода сопряженных градиентов позволяет сократить время обучения на 35%.

4. Разработанная проблемно-ориентированная программная система позволяет выполнять процедуру классификации 14 типов однослойной облачности и облаков вертикального развития с вероятностью правильной классификации равной 0.9.

Результаты диссертационной работы докладывались и обсуждались на двенадцати конференциях и симпозиумах: Всероссийская научно-техническая конференция студентов, аспирантов и молодых ученых «Научная сессия ТУСУР» (Томск, 2009); ХЬУП Международная научная студенческая конференция «Студент и научно-технический прогресс» (Новосибирск, 2009); XVI Международный симпозиум «Оптика атмосферы и океана. Физика атмосферы» (Томск, 2009); Седьмая Всероссийская открытая конференция «Современные проблемы дистанционного зондирования Земли из космоса» (Москва, 2009); ХЬУШ Международная научная студенческая конференция «Студент и научно-технический прогресс» (Новосибирск, 2010); Международная школа молодых ученых «Физика окружающей среды» (Томск, 2010); VII Всероссийский симпозиум «Контроль окружающей среды и климата» (Томск, 2010); Восьмая Всероссийская открытая конференция «Современные проблемы дистанционного зондирования Земли из космоса» (Москва, 2010); X Всероссийская научная конференция молодых ученых «Наука. Технологии. Инновации» (Новосибирск, 2010); IX Сибирское совещание по климато-экологическому мониторингу (Томск, 2011); Девятая Всероссийская открытая конференция «Современные проблемы дистанционного зондирования Земли из космоса» (Москва, 2011).

По результатам исследований, представленных в диссертации, опубликовано 17 научных работ, в том числе 5 статей в журналах из перечня ВАК.

Разработанный в рамках диссертационной работы программный продукт используется в геофизической обсерватории Института мониторинга климатических и экологических систем СО РАН в составе автоматизированной метеорологической информационно-

измерительно» системы для определения структуры облачного поля в сравнении с данными наземных наблюдений.

Результаты диссертационной работы использовались в Волгоградском государственном университете при выполнении лабораторного практикума по курсу «Оптика атмосферы» и НИР по теме «Радиационные процессы в атмосфере Земли» по Государственному контракту № 02.740.11.5198 от 12 марта 2010 г.

На программный продукт выдано свидетельство №18481 от 6 августа 2012 г. о регистрации электронного ресурса Объединенным фондом электронных ресурсов «Наука и образование» (ОФЭРНиО) при Федеральном государственном учреждении науки «Институт научной и педагогической информации» Российской академии образования (ФГНУ ИНИПИ РАО).

Материалы диссертации являются обобщением работ автора, выполненных в период с 2009-го по 2012 год, и отражают его личный вклад в решаемую задачу. Основные научные результаты получены автором самостоятельно. Постановка цели и задач, обсуждение планов исследований и полученных результатов выполнены автором совместно с научным руководителем. Разработка модифицированного метода адаптивной подстройки коэффициента скорости обучения нейронной сети, разработка и реализация алгоритма автоматической классификации облаков, построение статистических моделей изображений для различных типов облачности, а также проведение численных расчетов выполнялись автором самостоятельно. В обсуждении результатов исследований по выбору изображений облачности с уникальной текстурой принимала участие Рассказчикова Т.М.

Объем и структура работы

Диссертация состоит из введения, четырех основных разделов, заключения, списка литературы и пяти приложений. Содержание диссертационной работы изложено на 180 страницах, включая 26 таблиц и 58 рисунков. Список литературы содержит 117 наименований.

Во введении обоснована актуальность диссертационной работы, сформулированы ее цель и решаемые задачи, изложены основные полученные результаты, выносимые на защиту, и их практическая значимость.

Проведенный в первом разделе аналитический обзор отечественных и зарубежных работ по автоматической классификации облачности на основе спутниковых данных позволил выявить основные проблемы в данной

области и установить возможные пути их решения, которые развиваются в работе. В разделе приведена современная классификация облачности по типам, используемая на метеостанциях.

Во втором разделе изложена методика поиска характерных изображений различных типов облачности, основанная на сопоставлении архивных данных сети наземных метеостанций со спутниковой съемкой MODIS. При этом данные о типе наблюдаемой облачности извлекались с сервера «Погода России», а соответствующие данные MODIS — с сервера Goddard Space Flight Center. В результате сформированы два набора характерных изображений для 25 из 27 возможных разновидностей облаков по данным первого канала MODIS с разрешением 250 и 500 м.

На основе сформированных наборов, с применением экспертной оценки определены типы облачности, их подтипы и сочетания, которые имеют уникальную текстуру изображения на снимках с различным пространственным разрешением: при разрешении 250 м выделено 14 типов облачности с различной текстурой, а при 500 м — 8 типов. На основании этого принято решение об использовании снимков облачности с разрешением 250 м для решения задачи ее классификации по следующим 14 разновидностям: кучевые (Си), кучево-дождевые лысые (Cb calv.), кучево-дождевые волосатые (Cb cap.), слоисто-кучевые кучевообразные (Sc cuf.), слоисто-кучевые волнистообразные (Sc und.), слоистые (St), сочетание кучевых и слоисто-кучевых облаков, наблюдаемых одновременно (Си & Sc), высокослоистые (As), слоисто-дождевые (Ns), высококучевые кучевообразные (Ac cuf.), высококучевые волнистообразные (Ac und.), перистые (Ci), перисто-слоистые (Cs) и перисто-кучевые (Сс).

Описание особенностей изображений различных типов облачности основано на текстурном подходе, который- позволяет характеризовать облака как единую целостную структуру в отличие от спектральных методов. При этом для описания текстуры изображений облачности использовался статистический подход Gray-Level Co-occurrence Matrix (GLCM), в основе которого лежит формирование матриц пространственной смежности яркости пикселей. На основе таких матриц вычисляются статистические характеристики изображения второго порядка, называемые текстурными признаками, которых на данный момент известно несколько десятков. При этом необходимо определить эффективность каждого текстурного признака для оценки текстуры изображений облачности. Предлагается методика определения информативности текстурных признаков, основанная на анализе коэффициентов их взаимной корреляции и степени однородности, согласно которой:

1. На исследуемом фрагменте изображения выбирается участок облачности заданного размера (например, 100 х 100 пикселей);

2. Фрагмент обрабатывается с помощью скользящего окна (например, 20 х 20 пикселей) со смещением в один пиксель по горизонтали и вертикали. Для каждого положения окна рассчитывается набор текстурных

признаков Г, г = 1,15, который включает энергию (а) , энтропию Г2(а),

максимальную вероятность Т>(а), однородность Т6(а), корреляцию

Г7(«), контраст Т„(а), дисперсию ГДа), инверсию Тю(а) , суммарное

среднее Ти(а), суммарную дисперсию Тп(а), суммарную энтропию

Ти(а), дифференциальную дисперсию Тн(а) и дифференциальную

энтропию Тг>(а), вычисляемых по матрицам смежности для угловых

направлений а = (0°, 45°, 90°, 135°) , а также вариацию ТА и первый

начальный момент Г5, вычисляемых на основе значений яркости пикселей

3. Для каждого текстурного признака вычисляются: степень однородности

где о,.[7)] — среднеквадратическое отклонение текстурного признака для выбранного фрагмента изображения, а /я, [7]] — его среднее значение;

оценки коэффициентов корреляции различных пар текстурных признаков Т., Ту, 1Ф >

где х,к,к = \,Ы — набор значений /-го текстурного признака для

выбранного фрагмента, N — число рассчитанных значений текстурных

признаков для данного фрагмента, а т,[7)] =—- выборочное

среднее значение для / -го текстурного признака;

4. Формируется набор информативных признаков для текущего фрагмента изображения. Признак 7] считается информативным, если он

большее число раз значимо некоррелирован с признаками Т при г ^ у и однороден на исследуемом фрагменте изображения.

Для проверки гипотезы Н0: = 0 о равенстве нулю коэффициента корреляции ¿-го и_/-го текстурных признаков использовалась статистика

определяется формулой (1). При ^г» порога для заданного уровня значимости а„, принимается гипотеза Н0 о некоррелированности двух текстурных признаков, в противном случае эта гипотеза отклоняется.

На основе этой методики для 14 типов облачности и размера скользящего окна 20 х 20 пикселей при а0=0.01 была сформирована система из 26 текстурных признаков: максимальная вероятность, контраст, дисперсия, суммарная дисперсия, дифференциальная дисперсия и дифференциальная энтропия, вычисляемые для четырех угловых направлений, а также первый начальный момент и вариация.

С помощью сформированной системы определены ключевые текстурные признаки или их сочетания для различных типов облаков. Для этого были рассчитаны средние значения текстурных признаков по эталонным фрагментам изображений с разрешением 250 м для каждого из 14 типов облачности и проведен их сравнительный анализ. Например, максимальные значения признака дифференциальная энтропия Т15(а) характерны для кучевой облачности, что видно из рис. 1. Вторые и третьи по величине значения этого признака имеют кучево-дождевые лысые и слоисто-кучевые кучевообразные облака соответственно.

Си’ СЬ calv. СЬ cap. Scc-jf. Scunä. St Си & Sc Ci Cs Сс As .Vs Ас und Ас

Рис. I. Средние значения признака дифференциальная энтропия

В работе построена статистическая модель текстуры изображений различных типов облачности. Для этого с помощью программного пакета ЭТАИЗИСА определены законы распределений и оценки их параметров, которыми описываются гистограммы выборочных значений эффективных текстурных признаков различных типов облаков. Соответствующие выборочным данным закон распределения и его параметры определялись с помощью критериев согласия , Колмогорова-Смирнова и Лиллиефорса. В ходе исследований установлено, что флуктуации текстурных признаков для различных типов облачности можно описать гамма-, нормальным, логнормальным или экспоненциальным распределениями (рис. 2).

Рис. 2. Результаты аппроксимации гистограмм значений текстурных признаков «дисперсия» для кучевых облаков экспоненциальным распределением (а) и «максимальная вероятность» для слоисто-кучевых кучевообразных облаков гамма-распределением (б)

В третьем разделе приведено описание алгоритма классификации облачности, основанного на применении технологии нейронных сетей. Для классификации изображений облаков использовался трехслойный персептрон. Сеть содержит два скрытых и один выходной слой. Первый скрытый слой согласно следствию из теоремы Колмогорова-Арнольда состоит из Р = 2(2+1 = 53 нейронов, где (2 = 26 — размерность входного вектора признаков X. Количество нейронов выходного слоя Ь = \Л равно числу классифицируемых типов облачности. Число нейронов во втором скрытом слое 5 = 34 было выбрано на основе анализа качества результатов классификации.

Используется следующая процедура настройки нейросетевого классификатора облачности:

1. На вход сети подаются масштабированные значения текстурных

признаков Г,(0о),Т,(45°),Т;(90о). Т;5(90о), 7;5(1350), вычисленные для эталонных фрагментов различных типов облачности;

2. Последовательно вычисляются отклики нейронов первого, второго и выходного слоя. Для активации нейронов использовалась функция гиперболического тангенса;

3. Рассчитывается функция ошибки, которая для последовательного режима обучения имеет вид

где \У — матрица весовых коэффициентов нейронов, у = \_у1,уг. у1У ~ текущий отклик сети на входной сигнал, с! = [с/,, . ]г — вектор ожидаемых выходных сигналов сети;

4. После предъявления каждого образца происходит коррекция весовых коэффициентов нейронов всех слоев, начиная с выходного, по формуле

метода ее минимизации.

5. Обучение заканчивается, если в течение эпохи для каждого образца на соответствующем его типу облачности н> -ом выходе сети величина отклика у„ будет находиться в интервале (0.9; 1.0), а на других выходах значения у. е(-1; -0.9), ¡у^м. При этом эпохой считается предъявление на вход нейронной сети всей обучающей выборки.

Нами предложен модифицированный численный метод адаптивной подстройки коэффициента обучения сети, для которого величина коэффициента обучения определяется выражением

тр., р. = . «ри * клт — о),

где к с > 1 — коэффициент допустимого прироста погрешности, 0 < д, < 1 -коэффициент уменьшения Т]<1) , ри >1 — коэффициент увеличения г/(1),

— суммарная погрешность обучения.

Для метода адаптивной подстройки величина /с задается эмпирически. На основе критерия сходимости алгоритма обратного распространения ошибки нами была получена формула для задания динамического изменения в зависимости от значений целевой функции ошибки Е(\\)

где V — объем обучающей выборки.

Из формулы (2) следует, что значения коэффициентов р,, и зависят от величины погрешности f(W). Применение модифицированного способа адаптивной подстройки коэффициента tj(l) позволило сократить время обучения сети методом наискорейшего спуска более чем в 6 раз, а сопряженных градиентов — на 35% по сравнению с базовыми методами.

В работе проведен сравнительный анализ методов наискорейшего спуска и сопряженных градиентов для определения наиболее эффективного для минимизации целевой функции ошибки Е(\\) . По результатам сравнения среднего времени обучения сети и числа необходимого для этого эпох был выбран метод сопряженных градиентов с использованием модифицированного способа адаптивной подстройкой коэффициента ?;(/) как наиболее эффективный алгоритм поиска минимума Е

В четвертом разделе приведено описание разработанной программной системы, предназначенной для классификации однослойной облачности и облаков вертикального развития на основе спутниковых данных. Основные функциональные возможности разработанной системы:

— определение наборов информативных текстурных признаков изображений;

— выполнение процедуры обучения многослойного персептрона по наборам фрагментов изображений с различным типом текстур;

— выполнение процедуры классификация облачности по типам на основе информации о текстуре спутниковых снимков;

— выполнение постобработки результатов классификации.

Программная система реализована в среде Microsoft Visual Studio 2008

на языке С++ на основе объектно-ориентированного подхода, с использованием библиотеки Microsoft Foundation Classes (MFC), которая облегчает разработку графических приложений за счет большого набора встроенных классов. При этом разработан собственный

узкоспециализированный класс CRaster для обработки графических файлов в формате BMP на основе макросов, шаблонов и API-функций.

Структура классов разработанной программной системы показана на рис. 3. В программе реализована архитектура приложения «Документ-Облик», согласно которой каждый объект-документ сопровождается одним или несколькими объектами-обликами. При этом классом-документом является CHandlerClass, а классом-обликом — CViewClass. Процедуры исследования текстурных признаков изображения на информативность OnEditTextureAnalys, обучения нейронной сети OnEditNeuroTeaching и классификации облачности по типам OnEditNeuroClassification реализованы в классе CHandlerClass.

OOeNo:seCi3ss CCor’.o-.^C^SS CLsvCcfi’cuiClasi

Тгаг$?оппр1«.в:0: BOOL Trarsfcrm»;xtfi): 5001 Transf3Tn=;->.e!0: 2C0L

Зе:=ГЛгТсРтг;’!: IFBiTfAAPlNFC OeiEf.’CcbrTefclePtfO: ROBOJAO SetSM.v’/s-Л): LONG ЗеЕМгФу*>: LC^G 3«ffiM2ataPtr;i: BYTE’ SetrixsiPfi): BYTE’ LcacBt.iPiT-a;«: i: BOOL SavsSM-‘-^aje. : 300-DraABitra. ) ChanjeCc^rii CreateCcpySasrerO: Б001 CreaieCcroaiiSfsRaslan;; BOOL QLartBrghWbsii): BYTE» Ссс::-ггзг:eMairr.it. BYTE»

i OrCrea:si;.int ] OfSavei)

GetwiirrentSl.tPi’f i’ C^as’.e: ve Te^f > ч e ‘ Сг:алзеВМ=1

з e С »a e c*i a Се4 «e : ¡ransts^nsM!’

SisTC^Oii: esw3 e

• • ocuc:e Rardcrrrze; i: ¡rt » D с me EC*.

e -e BO» ьепа: 26i i

¡hrescrrcco: u:nT ¡ransfcfriLcaoii

Crtciunsot’t Cr-o iL-опгоиг: i

C^Est-syCortourn r ** ea h*g CrEctNeu-o^ assrtca’jomi CrEi ;Te/-u’eAra!Y$; i 0rts:j4/sca«j

i Dc-DraExc’range;;; j CSave’A-eiS^’50:a!s3

DsS 33 5> charge;)

OniriDao>)- 500L! GoOa:aExctwgeO OnO Щ

P’eCre9;eVv;nd3A».: 5 COL

OrSelC-j’scn l’ BOOL

CViev.er «вза;-‘»адегтэувт» CM$irFr2T$ «вхл-очает» СС’гИс-гагя

Рис. 3. UML-диаграмма классов программной системы

Для обучения классификатора использовалась выборка, содержащая по 200 образцов изображений текстур для каждого из 14 типов облачности. С помощью процедуры кросс-валидации на основе обучающей выборки была подтверждена хорошая обобщающая способность реализованного алгоритма классификации.

Результат классификации облачности на фрагменте снимка территории Томской области размером 280 х 214 км показан на рис.4. Метками на рис. 4а обозначены местоположения метеостанций: 1 — Колпашево, 2 — Бакчар, 3 — Первомайское и 4 — Томск. В момент спутниковой съемки в Бакчаре, Первомайском и Томске наблюдались кучево-дождевые волосатые облака, а в Колпашеве кучево-дождевые лысые. Данные метеостанций, на которых фиксировалась однослойная облачность или облака вертикального развития, совпали с результатами классификации, что видно из рис. 46. Белым цветом на рис. 46 отмечены непроклассифицированные участки (Nc).

Рис. 4. Результат классификации облачности по типам (б) на основе снимка (а) территории Томской области от 30.04.2010 (05:55 Ш»С)

В разделе представлены результаты оценки качества классификации облачности разработанным нейросетевым классификатором путем их сопоставления с данными сети наземных метеостанций. При этом тестовые участки выбирались из различных регионов планеты, чтобы учесть разные условия съемки. Для этих регионов были отобраны снимки, сделанные за период 2005-2012 гг. в дневное время, когда зенитный угол солнца не превышает 65°, на метеостанциях фиксировалась однослойная облачность или облака вертикального развития, при отсутствии снежного покрова. Общее количество фрагментов изображений в тестовой выборке составило N. =727 , а число правильно проклассифицированных образцов — NR =652 .

Достоверность результатов классификации тестовых образцов для

каждого типа облачности можно оценить с помощью выражения

которое является оценкой вероятности правильной классификации. Здесь ¿V» — количество совпадений результатов классификации с данными метеостанции, а Л^’1 — число тестовых образцов для ¡-го типа облачности. По результатам оценки была составлена таблица 1, в которой приведены значения Е., ошибочные «мнения» классификатора о типе наблюдаемой облачности и вероятности ошибок. При этом оценка усредненной вероятности правильной классификации по всем типам облачности равна Ел= 0.9.

Таблица 1. Результаты оценки достоверности результатов классификации

Тип облачности E, Вероятность ошибки классификации (Результат ошибочной классификации)

Си 0.96 0.04 (Cb calv.)

Cb calv. 0.95 0.05 (Си)

Cb cap. 0.93 0.07 (Sc cuf.)

Sc cuf. 0.88 0.08 (Cb cap.), 0.04 (Cb calv.)

Sc und. 0.93 0.05, (Cb cap.), 0.02 (Sc cuf)

Си & Sc 0.95 0.05 (Sc cuf.)

Cs 0.90 0.07 (Ci), 0.015 (As), 0.015 (Nc)

Ac und. 0.84 0.08 (Cc), 0.08 (Nc)

Ac cuf. 0.88 0.08 (Cc), 0.04 (As)

В разделе описаны область применения программной системы и внедрения полученных результатов.

В заключении диссертационной работы сформулированы ее основные результаты:

1. В настоящее время наиболее полные и достоверные результаты по классификации облачности на основе спутниковых данных получены с помощью использования технологии нейронных сетей и информации о текстуре спутниковых снимков с разрешением 1000 м, в результате чего выделяются 10 типов облачности с вероятностью 0.85.

2. Использование данных спектрорадиометра MODIS с пространственным разрешением 250 м позволяет выделить 14 типов однослойной облачности и облаков вертикального развития с уникальной текстурой изображения: кучевые, кучево-дождевые лысые, кучево-дождевые волосатые, слоисто-кучевые кучевообразные, слоисто-кучевые волнистообразные, слоистые, сочетание кучевых и слоисто-кучевых облаков, наблюдаемых одновременно, высокослоистые, слоисто-дождевые, высококучевые кучевообразные, высококучевые волнистообразные, перистые, перисто-слоистые и перисто-кучевые.

3. На основе разработанной нами методики сформирована система информативных текстурных признаков для описания 14 типов изображений облачности с уникальной текстурой, которая включает в себя максимальную вероятность, контраст, дисперсию, суммарную дисперсию, дифференциальную дисперсию и дифференциальную энтропию, рассчитанные для четырех угловых направлений 0°, 45°, 90°, 135°, а также первый начальный момент и вариацию.

4. Построена статистическая модель текстуры изображений различных типов облачности на основе фрагментов спутниковых снимков, полученных по данным видимого диапазона спектра MODIS с пространственным разрешением 250 м. В ходе исследований установлено, что флуктуации текстурных признаков для различных типов облаков можно описать гамма-, нормальным, логнормальным или экспоненциальным распределениями. Найдены оценки параметров этих распределений.

5. Разработан алгоритм классификации однослойной облачности и облаков вертикального развития по типам на основе трехслойного персептрона. В результате численных экспериментов показано, что наиболее эффективным алгоритмом поиска минимума целевой функции ошибки по времени обучения трехслойного персептрона является метод сопряженных градиентов. Предложенный нами модифицированный численный метод адаптивной подстройки коэффициента обучения сети позволяет сократить время ее настройки на 35% при использовании метода сопряженных градиентов.

6. Разработанная прикладная программная система позволяет выделять 14 типов однослойной облачности и облаков вертикального развития согласно действующему метеорологическому стандарту, что превышает ранее достигнутые показатели. Полученная оценка вероятности правильной классификации тестовой выборки, состоящей из 727 фрагментов снимков различных типов облачности, равна 0.9 и превосходит полученные другими авторами соответствующие характеристики при решении данной задачи с учетом числа выделяемых типов облачности.

СПИСОК ОПУБЛИКОВАННЫХ РАБОТ ПО ТЕМЕ ДИССЕРТАЦИИ

В журналах, рекомендованных ВАК России

1. Астафуров В.Г. Классификация облаков по спутниковым снимкам на основе технологии нейронных сетей / В.Г. Астафуров, A.B. Скороходов // Современные проблемы дистанционного зондирования Земли из космоса. — 2011. — Т. 8. — №1. -С. 65-73.

2. Астафуров В.Г. Сегментация спутниковых снимков облачности по текстурным признакам на основе нейросетевых технологий / В.Г. Астафуров, A.B. Скороходов // Исследование Земли из космоса. — 2011. — №6. — С. 10-20.

3. Скороходов A.B. Сравнительный анализ градиентных методов минимизации в задаче обучения многослойного персептрона / A.B. Скороходов. A.B. Тунгусова // Доклады Томского государственного университета систем управления и радиоэлектроники. — 2011. — №2.-4.3. — С. 98-102.

4. Астафуров В.Г. Интерпретация данных дистанционного зондирования облаков из космоса в видимой области спектра / В.Г. Астафуров, Т.М. Рассказчикова, A.B. Скороходов // Физика. — 2012. — Т. 55. -№3. — С. 77-83.

5. Астафуров В.Г. Нейросетевой классификатор облачности по спутниковым данным // В.Г. Астафуров, A.B. Скороходов // Информационные технологии. -2012. -№7. -С. 32-37.

Публикации в других изданиях

6. Скороходов A.B. Обработка спутниковых снимков спектрорадиометра MODIS / A.B. Скороходов // Материалы докладов Всероссийской научно-технической конференции студентов аспирантов и молодых ученых «Научная сессия ТУ СУР-2009» — Томск, 12-15 мая 2009.-Ч. 1. — Томск: В-Спектр, 2009. — С. 222-225.

7. Скороходов A.B. Комплекс программ для распознавания типов облачности и подстилающей поверхности на спутниковых снимках / A.B. Скороходов // Материалы XLVII Международной научной студенческой конференции «Студент и научно-технический прогресс»: Информационные технологии — Новосибирск, 11 -15 апреля 2009. — Новосибирск: Изд-во Новосибирского государственного университета, 2009. — С. 29.

8. Астафуров В.Г. Сегментация спутниковых снимков спектрорадиометра MODIS с применением нейросетевых технологий / В.Г. Астафуров, A.B. Скороходов // Материалы XVI Международного симпозиума «Оптика атмосферы и океана. Физика атмосферы» — Томск, 12-15 октября 2009. — Томск: Изд-во ИОА СО РАН, 2009. — С. 448-451.

9. Астафуров В.Г. Сегментация спутниковых изображений с применением технологии нейронных сетей / В.Г. Астафуров, A.B. Скороходов // Тезисы докладов Седьмой Всероссийской открытой конференции «Современные проблемы дистанционного зондирования Земли из космоса»: Методы и алгоритмы обработки спутниковых данных — Москва, 16-20 ноября 2009. — М.: Изд-во ИКИ РАН, 2009. -С. 14.

10. Скороходов A.B. Использование информативных текстурных признаков для сегментации спутниковых снимков с применением нейросетевых технологий /

A.B. Скороходов // Материалы XLVIII Международной научной студенческой конференции «Студент и научно-технический прогресс»: Информационные технологии — Новосибирск, 10-14 апреля 2010. — Новосибирск: Изд-во Новосибирского государственного университета, 2010. — С. 252.

11. Скороходов A.B. Методика исследования текстурных признаков на информативность с целью улучшения результатов сегментации спутниковых снимков / A.B. Скороходов // Материалы VIII Международной школы молодых ученых «Физика окружающей среды» — Томск, 22 — 27 июня 2010. — Томск: TMJI-Пресс, 2010.-С. 168-172.

12. Астафуров В.Г. Эффективные текстурные признаки различных типов облачности и подстилающей поверхности по данным спектрорадиометра MODIS /

B.Г. Астафуров, A.B. Скороходов // Материалы VII Всероссийского симпозиума «Контроль окружающей среды и климата «КОСК-2010» — Томск, 5-7 июля 2010. -Томск: Аграф-Пресс, 2010. — С. 292-294.

13. Астафуров В.Г. Классификация облаков по спутниковым снимкам на основе технологии нейронных сетей / В.Г. Астафуров, A.B. Скороходов // Тезисы докладов Восьмой Всероссийской открытой конференции «Современные проблемы дистанционного зондирования Земли из космоса»: Методы и алгоритмы обработки спутниковых данных — Москва, 15 — 19 ноября 2010. -М.: Изд-во ИКИ РАН, 2010. —

14. Скороходов A.B. Распознавание типа воздушного судна по спектру его звукового сигнала с применением нейросетевых технологий / A.B. Скороходов // Материалы X Всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации» — Новосибирск, 3-5 декабря 2010. — Ч. 1. — Новосибирск: Изд-во Новосибирского государственного технического университета, 2010. -С. 37-38.

15. Астафуров В.Г. Классификация облаков по типам на основе текстурных признаков с помощью нейросетевых технологий / В.Г. Астафуров, A.B. Скороходов // Материалы IX Сибирского совещания по климато-экологическому мониторингу — Томск, 3-6 октября 2011. — Томск: Аграф-Пресс, 2011.-С. 274-276.

16. Скороходов A.B. Идентификация градирен электростанций по спутниковым снимкам / A.B. Скороходов // Материалы IX Сибирского совещания по климато-экологическому мониторингу — Томск, 3-6 октября 2011. — Томск: Аграф-Пресс, 2011. — С. 282-285.

17. Астафуров В.Г. Набор эталонных изображений и текстурных признаков для различных типов облачности по данным MODIS / В.Г. Астафуров, Т.М. Рассказчикова, A.B. Скороходов // Тезисы докладов Девятой Всероссийской открытой конференции «Современные проблемы дистанционного зондирования Земли из космоса»: Методы и алгоритмы обработки спутниковых данных — Москва, 14-18 ноября 2011. — М.: Изд-во ИКИ РАН, 2011. С. 12.

Печ. л. 1. Тираж 100 экз. Заказ № IО

Тираж отпечатан в типографии ИОА СО РАН. 634055, г. Томск, пл. Академика Зуева, 1. Тел. (382-2) 491-093.

Похожие работы

• Оперативная оценка экономического ущерба от лесных пожаров по данным TERRA/MODIS
• Алгоритмы и программные средства атмосферной коррекции спутниковых ИК-измерений на основе RTM-метода
• Инвариантный анализ двумерных сигналов
• Моностатический оптико-электронный измеритель высоты нижней границы облачности
• Методика нейроуправления иерархической системой в условиях конфликта и неопределенности

• Системный анализ, управление и обработка информации (по отраслям)
• Теория систем, теория автоматического регулирования и управления, системный анализ
• Элементы и устройства вычислительной техники и систем управления
• Автоматизация и управление технологическими процессами и производствами (по отраслям)
• Автоматизация технологических процессов и производств (в том числе по отраслям)
• Управление в биологических и медицинских системах (включая применения вычислительной техники)
• Управление в социальных и экономических системах
• Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
• Системы автоматизации проектирования (по отраслям)
• Телекоммуникационные системы и компьютерные сети
• Системы обработки информации и управления
• Вычислительные машины и системы
• Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (по отраслям наук)
• Теоретические основы информатики
• Математическое моделирование, численные методы и комплексы программ
• Методы и системы защиты информации, информационная безопасность

Нейросетевой классификатор текстовой информации

Рассматриваются теоретические основы машинной классификации текстовой информации. В последнее время отмечается рост интереса к данной тематике. В статье выделены основные этапы и главные сложности решения задач данного направления, представлены данные, полученные в результате работы простого алгоритма классификации текстовой информации. Обсуждены предварительная фильтрация текстов, формирование векторов признаков, структура и принципы обучения нейронной сети. Для оценки результатов используется F-мера. Проведено сравнение результатов трех коллекций текстов для различных параметров предварительного фильтра, числа нейронов в скрытом слое и времени обучения сети. Предложенная модель классификатора позволяет решить задачу классификации с точностью более 80 %, при этом решающий вклад в точность классификации вносит качество обучающих данных. Сделаны выводы о качестве полученных результатов и представлены варианты дальнейших исследований по данной теме.

Авторы: Е. Н. Каруна, П. В. Соколов

Направление: Информатика, вычислительная техника и управление

Ключевые слова: Классификация, машинное обучение, тематический анализ, нейронная сеть, стемминг