Формальный нейрон Мак-Каллока - Питтса

 


         Модель отражает единственный атрибут биологического нейрона -его способность генерировать импульсы “все, или нечего” в ответ на достаточно сильное воздействие. Нейрон Мак-Каллока - Питтса функционирует в дискретном времени. Он имеет Формальный нейрон Мак-Каллока - Питтса входов -синапсов и единственный выход. Значение выходного сигнала Формальный нейрон Мак-Каллока - Питтсасоответствует генерации спайка (состояние возбуждения). В состоянии покоя выходной сигнал Формальный нейрон Мак-Каллока - Питтса. В момент времени Формальный нейрон Мак-Каллока - Питтса выходной сигнал формируется в зависимости от сигналов Формальный нейрон Мак-Каллока - Питтса, поступивших на синапсы в момент времени Формальный нейрон Мак-Каллока - Питтса. Последние также могут принимать значения ноль или единица. Если  синаптический сигнал равен нулю, то говорят, что синапс находится в состоянии покоя. Единичное значение соответствует состоянию возбуждения синапса. Сигнал на синапс поступает либо от выхода другого нейроны, либо от сенсора -специального входа для внешних сигналов. Первоначально правила формирования выходного сигнала были введены авторами модели в виде ряда аксиом. Приведем две из них.

1. Для возбуждения нейрона в момент времени Формальный нейрон Мак-Каллока - Питтса необходимо в момент времени Формальный нейрон Мак-Каллока - Питтса возбудить определенное, фиксированное число синапсов, которое не зависит ни от предыдущей истории, ни от состояния нейрона.

2. Нейрон имеет особые входы -тормозящие синапсы. Возбуждение любого из них в момент времени Формальный нейрон Мак-Каллока - Питтса исключает возбуждение нейрона в момент времени Формальный нейрон Мак-Каллока - Питтса.

         Первая аксиома отражает пороговые свойства нейрона, а вторая - подчеркивает особую роль торможения (на сетях “без запретов” нельзя реализовать произвольный алгоритм).

         Впоследствии модель изменилась. Синаптические сигналы Формальный нейрон Мак-Каллока - Питтса( не обязательно бинарные) стали взвешивать и формировать суммарный входной сигнал Формальный нейрон Мак-Каллока - Питтса. Здесь Формальный нейрон Мак-Каллока - Питтса -числа, которые называют синаптическими весами. Синапс называют возбудительным, если Формальный нейрон Мак-Каллока - Питтса, и тормозным, если Формальный нейрон Мак-Каллока - Питтса. Договорились, что в момент времени Формальный нейрон Мак-Каллока - Питтса нейрон находится в возбужденном состоянии Формальный нейрон Мак-Каллока - Питтса, если суммарный входной сигнал в момент времени Формальный нейрон Мак-Каллока - Питтса превысил некоторое пороговое значение Формальный нейрон Мак-Каллока - Питтса, т.е. Формальный нейрон Мак-Каллока - Питтса. Пусть Формальный нейрон Мак-Каллока - Питтса -функция Хевисайта. Она принимает нулевое значение при Формальный нейрон Мак-Каллока - Питтса и единичное при Формальный нейрон Мак-Каллока - Питтса. Тогда можно записать:

                       Формальный нейрон Мак-Каллока - Питтса.                                (12)

Описанный объект есть то, что в настоящее время называют формальным нейроном Мак-Каллока - Питтса.

         Функция Формальный нейрон Мак-Каллока - Питтса в (12) получила название функции активации. Часто рассматривают нейроны с другими функциями активации. Нулевое значение выходного сигнала означает, что в соответствующий момент времени нейрон не действует на другие нейроны (он как бы искючен из сети). Представляется разумным, что в любой момент времени Формальный нейрон Мак-Каллока - Питтса выходное значение не равно нулю и зависит от величины Формальный нейрон Мак-Каллока - Питтса. В связи с этим, часто берут в качестве функции активации знак числа. Формула для выходного сигнала приобретает вид:

                        Формальный нейрон Мак-Каллока - Питтса.                               (13)

Здесь Формальный нейрон Мак-Каллока - Питтса при Формальный нейрон Мак-Каллока - Питтса и Формальный нейрон Мак-Каллока - Питтса при Формальный нейрон Мак-Каллока - Питтса. Отметим, что в данном случае поделить нейроны на возбудительные и тормозные в принципе невозможно (напомним, что для биологических нейронов такая классификация производится).

         Еще один подход к выбору функции активации связан с биологическим фактом, что на более сильное воздействие нейрон отвечает пачкой спайков. Число спайков (или частоту их следования) можно принять за характеристику выходного сигнала. В связи с этим рассматривают нейрон, у которого выходной сигнал задается формулой:

               Формальный нейрон Мак-Каллока - Питтса.                                           (14)

Здесь Формальный нейрон Мак-Каллока - Питтса -монотонно растущая функция, имеющая предел Формальный нейрон Мак-Каллока - Питтса при Формальный нейрон Мак-Каллока - Питтса. Дополнительно предполагают, что Формальный нейрон Мак-Каллока - Питтса при Формальный нейрон Мак-Каллока - Питтса, либо Формальный нейрон Мак-Каллока - Питтса при Формальный нейрон Мак-Каллока - Питтса (сигмоидная функция). Широко используется так называемая логистическая функция: Формальный нейрон Мак-Каллока - Питтса. Другой вариант: Формальный нейрон Мак-Каллока - Питтса при Формальный нейрон Мак-Каллока - Питтса, например, Формальный нейрон Мак-Каллока - Питтса.

         Иногда в качестве функции Формальный нейрон Мак-Каллока - Питтса выбирают линейный трехзвенный сплайн (ломаную, состоящую из трех частей): Формальный нейрон Мак-Каллока - Питтса при Формальный нейрон Мак-Каллока - Питтса, Формальный нейрон Мак-Каллока - Питтса, где Формальный нейрон Мак-Каллока - Питтса и Формальный нейрон Мак-Каллока - Питтса, Формальный нейрон Мак-Каллока - Питтса для Формальный нейрон Мак-Каллока - Питтса. Тогда на восходящем участке функции активации нейрон работает как линейный  сумматор  входных сигналов.

         Рассмотрим нейрон Мак-Каллока - Питтса, выходной сигнал которого задается формулой (12). Вектор Формальный нейрон Мак-Каллока - Питтса, состоящий из входных сигналов (не обязательно бинарных), назовем входным, а вектор Формальный нейрон Мак-Каллока - Питтса-синаптическим. Обычным образом введем скалярное произведение: Формальный нейрон Мак-Каллока - Питтса. Гиперплоскость Формальный нейрон Мак-Каллока - Питтса разбивает пространство Формальный нейрон Мак-Каллока - Питтса на два полупространства Формальный нейрон Мак-Каллока - Питтса и Формальный нейрон Мак-Каллока - Питтса. В первом из них Формальный нейрон Мак-Каллока - Питтса, а во втором Формальный нейрон Мак-Каллока - Питтса. Если входной вектор Формальный нейрон Мак-Каллока - Питтса, то выходной сигнал нейрона Формальный нейрон Мак-Каллока - Питтса, если же Формальный нейрон Мак-Каллока - Питтса, то Формальный нейрон Мак-Каллока - Питтса. Тем самым, нейрон относит каждый из входных векторов к одному из двух классов.

         Для того, чтобы нейрон мог осуществлять “правильную” в каком -то смысле классификацию, должны быть соответствующим образом выбраны вектор синаптических весов Формальный нейрон Мак-Каллока - Питтса и пороговое значение Формальный нейрон Мак-Каллока - Питтса. Процедура выбора этих параметров называется обучением нейрона. Различают обучение с “учителем” и “без учителя”.

         Задача обучения с учителем ставится следующим образом. Задаются два набора входных векторов Формальный нейрон Мак-Каллока - Питтса и Формальный нейрон Мак-Каллока - Питтса. Они называются эталонными векторами или паттернами, а также образами. Требуется определить вектор Формальный нейрон Мак-Каллока - Питтса синаптических весов и порог Формальный нейрон Мак-Каллока - Питтса так, чтобы выходной сигнал нейрона в ответ  на входные векторыФормальный нейрон Мак-Каллока - Питтса был равен единице, а на векторы Формальный нейрон Мак-Каллока - Питтса -нулю. Тем самым, обучение с учителем предполагает, что для каждого эталонного входного вектора заведомо известен  ответ нейрона. Эталон и желаемый ответ называются обучающей парой.

         Несмотря на многочисленные прикладные достижения обучение с учителем критикуется за свою биологическую неправдоподобность, поскольку совершенно не понятно откуда могут появиться желаемые ответы. При обучении без учителя заранее неизвестно разбиение эталонов на подмножества. До обучения невозможно предсказать в какой класс попадет каждый конкретный эталонный вектор. В процессе обучения выделяются статистические свойства обучающей последовательности и вырабатываются правила классификации. Естественно идея, на которой основаны правила, априорно заложена в процесс обучения. Например, эталонные векторы усредняются по координатам. Если эталонный вектор находится от усредненного “не слишком далеко”, то он относится к первому классу, а иначе -ко второму. Постановка задачи об обучении без учителя выглядит несколько расплывчатой. Однако в ряде случаев она успешно решена.

         Различают также внешнее и адаптивное обучение. В первом случае синаптические веса вычисляются неким внешним устройством, а затем импортируются в синапсы. При адаптивном обучении веса подстраиваются в процессе функционирования сети, которой предъявляется обучающая последовательность эталонов. Многие авторы считают механизм адаптации неотъемлемым атрибутом нейронов. Внешнее обучение позволяет понять, во -первых, возможна ли вообще интересующая нас классификация для данной обучающей последовательности. Во -вторых, позволяет, не задумываясь о возможных механизмах адаптации, разумно выбрать синаптические веса для изучения вопроса о функционировании нейронов, объединенных в сеть.

         После завершения процесса обучения нейрон осуществляет классификацию векторов эталонной последовательности, т.е. “запоминает” для каждого вектора класс, к которому тот относится. Кроме этого, произвольный входной вектор нейрон относит к определенному классу, т.е. “обобщает” классификацию (принцип сортировки) эталонной последовательности на произвольный образ.

         Рассмотрим вопрос о разрешимости задачи обучения с учителем в частном случае, когда второе множество состоит из единственного представителя Формальный нейрон Мак-Каллока - Питтса. Геометрически это означает, что строится гиперплоскость, которая отделяет векторы Формальный нейрон Мак-Каллока - Питтса от нуля, т.е. решается задача об отделимости. Отметим, что для бинарных векторов, координаты которых равны либо нулю, либо единице, задача об отделимости всегда разрешима. В качестве нормального вектора можно взять, например вектор Формальный нейрон Мак-Каллока - Питтсаи положить для порогового значения Формальный нейрон Мак-Каллока - Питтса. Нижеследующие построения на используют предположения о бинарности векторов.

Легко понять, что задача об отделимости разрешима в том и только том случае, когда выпуклая оболочка векторов Формальный нейрон Мак-Каллока - Питтса не содержит нуля (отделена от нуля). Напомним, что выпуклой оболочкой векторов Формальный нейрон Мак-Каллока - Питтса называется множество Формальный нейрон Мак-Каллока - Питтса, состоящее из векторов: Формальный нейрон Мак-Каллока - Питтса, где Формальный нейрон Мак-Каллока - Питтса и Формальный нейрон Мак-Каллока - Питтса. Пусть множество Формальный нейрон Мак-Каллока - Питтса отделено от нуля и Формальный нейрон Мак-Каллока - Питтса -его ближайшая к нулю точка, т.е. Формальный нейрон Мак-Каллока - Питтса по всем Формальный нейрон Мак-Каллока - Питтса. Здесь, как обычно, Формальный нейрон Мак-Каллока - Питтса. Положим Формальный нейрон Мак-Каллока - Питтса и выберем произвольно Формальный нейрон Мак-Каллока - Питтса. Вектор Формальный нейрон Мак-Каллока - Питтса -искомый синаптический вектор, а Формальный нейрон Мак-Каллока - Питтса -пороговое значение для нейрона, реагирующего на входные векторы Формальный нейрон Мак-Каллока - Питтса выходным сигналом Формальный нейрон Мак-Каллока - Питтса, а на вектор Формальный нейрон Мак-Каллока - Питтса -сигналом Формальный нейрон Мак-Каллока - Питтса.

         Задача о нахождении вектора,  на котором реализуется минимальное расстояние от нуля до выпуклой оболочки сама по себе весьма сложна. Если число векторов Формальный нейрон Мак-Каллока - Питтса не превышает размерность пространства и сами они линейно независимы, то отделяющую гиперплоскость можно построить другим способом. Достаточно провести через векторы Формальный нейрон Мак-Каллока - Питтса какую-нибудь не содержащую ноль гиперплоскость, а затем сдвинуть ее по направлению нормали ближе к нулю. В качестве вектора синаптических весов следует взять нормальный к

гиперплоскости вектор, направленный в полупространство, не содержащее ноль.         Нормальный вектор к гиперплоскости, содержащей векторы Формальный нейрон Мак-Каллока - Питтса строится конструктивно. Выбор вектора будет однозначным (с точность до множителя), если предполагать, что он принадлежит подпространству, порожденному векторами Формальный нейрон Мак-Каллока - Питтса.

При построении будем использовать алгоритм Шмидта. Он позволяет по последовательности линейно независимых векторов Формальный нейрон Мак-Каллока - Питтса построить последовательность Формальный нейрон Мак-Каллока - Питтса ортогональных между собой векторов, обладающих следующим свойством.  Вектор Формальный нейрон Мак-Каллока - Питтса принадлежит подпространству, порожденному векторами Формальный нейрон Мак-Каллока - Питтса и ортогонален всем векторам, расположенным в подпространстве, порожденном векторами Формальный нейрон Мак-Каллока - Питтса. Последовательность Формальный нейрон Мак-Каллока - Питтса строится рекуррентно. Положим Формальный нейрон Мак-Каллока - Питтса. Вектор Формальный нейрон Мак-Каллока - Питтса представим в виде: Формальный нейрон Мак-Каллока - Питтса. Из условия Формальный нейрон Мак-Каллока - Питтса получим: Формальный нейрон Мак-Каллока - Питтса. Далее полагаем Формальный нейрон Мак-Каллока - Питтса. Вектор Формальный нейрон Мак-Каллока - Питтса ортогонален любому вектору из подпространства, порожденного векторами Формальный нейрон Мак-Каллока - Питтса, которому принадлежат векторы Формальный нейрон Мак-Каллока - Питтса. Следовательно Формальный нейрон Мак-Каллока - Питтса и Формальный нейрон Мак-Каллока - Питтса. Учитывая ортогональность векторов Формальный нейрон Мак-Каллока - Питтса, получаем: Формальный нейрон Мак-Каллока - Питтса, Формальный нейрон Мак-Каллока - Питтса. На Формальный нейрон Мак-Каллока - Питтса- ом шаге алгоритма полагаем

    Формальный нейрон Мак-Каллока - Питтса.                                                         (15)

 Из условия Формальный нейрон Мак-Каллока - Питтса Формальный нейрон Мак-Каллока - Питтса в силу ортогональности векторов Формальный нейрон Мак-Каллока - Питтса Формальный нейрон Мак-Каллока - Питтса находим Формальный нейрон Мак-Каллока - Питтса. Отметим важное обстоятельство, что 

   Формальный нейрон Мак-Каллока - Питтса.                                                                  (16)

Действительно, из (15) следует:

            Формальный нейрон Мак-Каллока - Питтса

         Пусть векторы Формальный нейрон Мак-Каллока - Питтса, где Формальный нейрон Мак-Каллока - Питтсалинейно независимы. Построим проходящую через них гиперплоскость Формальный нейрон Мак-Каллока - Питтса, т.е. такую гиперплоскость, для которой Формальный нейрон Мак-Каллока - Питтса при всех Формальный нейрон Мак-Каллока - Питтса. Используя алгоритм Шмидта, ортогонализируем последовательность векторов Формальный нейрон Мак-Каллока - Питтса (легко видеть, что они линейно независимы). Пусть последний элемент последовательности суть Формальный нейрон Мак-Каллока - Питтса. Это и есть искомый нормальный вектор. Действительно, по построению Формальный нейрон Мак-Каллока - Питтса для Формальный нейрон Мак-Каллока - Питтса. Таким образом, Формальный нейрон Мак-Каллока - Питтса для всех Формальный нейрон Мак-Каллока - Питтса. В силу (16) получаем Формальный нейрон Мак-Каллока - Питтса. Используя это равенство, уравнение гиперплоскости можно переписать в виде: Формальный нейрон Мак-Каллока - Питтса.

         Зафиксируем произвольно Формальный нейрон Мак-Каллока - Питтса. Гиперплоскость Формальный нейрон Мак-Каллока - Питтсаотделяет векторы Формальный нейрон Мак-Каллока - Питтса от нуля. Действительно, Формальный нейрон Мак-Каллока - Питтса.

         Рассмотрим задачу о разделении гиперплоскостью множеств векторов Формальный нейрон Мак-Каллока - Питтса и Формальный нейрон Мак-Каллока - Питтса, для Формальный нейрон Мак-Каллока - Питтса. Она разрешима в том и только том случае, когда выпуклые оболочки Формальный нейрон Мак-Каллока - Питтса и Формальный нейрон Мак-Каллока - Питтса соответственно векторов Формальный нейрон Мак-Каллока - Питтса и Формальный нейрон Мак-Каллока - Питтса не пересекаются. Пусть Формальный нейрон Мак-Каллока - Питтса и Формальный нейрон Мак-Каллока - Питтса- векторы, на которых реализуется минимальное расстояние между точками выпуклых оболочек Формальный нейрон Мак-Каллока - Питтса и Формальный нейрон Мак-Каллока - Питтса. Тогда разделение множеств осуществляет любая гиперплоскость, которая ортогональна отрезку, соединяющего векторы Формальный нейрон Мак-Каллока - Питтсаи Формальный нейрон Мак-Каллока - Питтса и проходит через его внутреннюю точку.

         Нахождение векторов Формальный нейрон Мак-Каллока - Питтсаи Формальный нейрон Мак-Каллока - Питтса- сложная задача. Разделяющую гиперплоскость можно легко построить, если число Формальный нейрон Мак-Каллока - Питтса и векторы Формальный нейрон Мак-Каллока - Питтса, Формальный нейрон Мак-Каллока - Питтса линейно независимы (можно вычитать любой фиксированный вектор Формальный нейрон Мак-Каллока - Питтса, или Формальный нейрон Мак-Каллока - Питтса). Рассмотрим последовательность   векторов Формальный нейрон Мак-Каллока - Питтса, Формальный нейрон Мак-Каллока - Питтса, Формальный нейрон Мак-Каллока - Питтса. Они линейно независимы. Используя алгоритм Шмидта, по данной последовательности построим ортогональную  последовательность. Пусть Формальный нейрон Мак-Каллока - Питтса- последний вектор, полученный в процессе ортогонализации. По построению Формальный нейрон Мак-Каллока - Питтса для  Формальный нейрон Мак-Каллока - Питтса, Формальный нейрон Мак-Каллока - Питтса для  Формальный нейрон Мак-Каллока - Питтса. Из равенства (16) следует, что Формальный нейрон Мак-Каллока - Питтса. Тем самым, Формальный нейрон Мак-Каллока - Питтса Формальный нейрон Мак-Каллока - Питтса, Формальный нейрон Мак-Каллока - Питтса Формальный нейрон Мак-Каллока - Питтса. Кроме того, Формальный нейрон Мак-Каллока - Питтс<table width=Предыдущие материалы:

Следующие материалы: