Однослойный персептрон - простейшая модель ассоциативной памяти

 


         Однослойным персептроном назовем множество нейронов Мак-Каллока  - Питтса, которые имеют общие входы. Пусть Однослойный персептрон - простейшая модель ассоциативной памяти - входные сигналы, а Однослойный персептрон - простейшая модель ассоциативной памяти - выходной сигнал Однослойный персептрон - простейшая модель ассоциативной памяти -ого нейрона, Однослойный персептрон - простейшая модель ассоциативной памяти, где Однослойный персептрон - простейшая модель ассоциативной памяти - число нейронов. Тогда

                  Однослойный персептрон - простейшая модель ассоциативной памяти.

Здесь Однослойный персептрон - простейшая модель ассоциативной памяти - общий вектор входных сигналов, Однослойный персептрон - простейшая модель ассоциативной памяти - синаптический вектор Однослойный персептрон - простейшая модель ассоциативной памяти - ого нейрона, Однослойный персептрон - простейшая модель ассоциативной памяти- его пороговое значение. Выходные сигналы принимают либо нулевое, либо единичное значения (бинарны). Предположения о бинарности вектора Однослойный персептрон - простейшая модель ассоциативной памятиделать не будем. Персептрон формирует вектор выходных сигналов Однослойный персептрон - простейшая модель ассоциативной памяти. Обозначим через Однослойный персептрон - простейшая модель ассоциативной памяти - матрицу, в строках которой находятся синаптические векторы Однослойный персептрон - простейшая модель ассоциативной памяти. Ее назовем синаптической. Введем также вектор Однослойный персептрон - простейшая модель ассоциативной памяти, который назовем пороговым. Тогда выходной вектор персептрона суть

                    Однослойный персептрон - простейшая модель ассоциативной памяти,

где функция Однослойный персептрон - простейшая модель ассоциативной памяти вычисляется покоординатно. Множество бинарных векторов (координаты равны либо нулю, либо единице) обозначим через Однослойный персептрон - простейшая модель ассоциативной памяти. Пусть Однослойный персептрон - простейшая модель ассоциативной памяти - некоторый набор входных векторов, а Однослойный персептрон - простейшая модель ассоциативной памяти - множество выходных векторов. Поставим задачу об обучении персептрона. Требуется выбрать синаптическую матрицу Однослойный персептрон - простейшая модель ассоциативной памяти и пороговый вектор Однослойный персептрон - простейшая модель ассоциативной памяти так, чтобы для входных векторов Однослойный персептрон - простейшая модель ассоциативной памяти Однослойный персептрон - простейшая модель ассоциативной памяти персептрон формировал выходные векторы Однослойный персептрон - простейшая модель ассоциативной памяти, т.е.

                      Однослойный персептрон - простейшая модель ассоциативной памяти.

         Если обучение удалось произвести, то персептрон выполняет функции ассоциативной памяти. По входному вектору Однослойный персептрон - простейшая модель ассоциативной памяти генерирует связанный с ним выходной вектор Однослойный персептрон - простейшая модель ассоциативной памяти. При этом если входной вектор Однослойный персептрон - простейшая модель ассоциативной памяти слегка искажен, выходным вектором все равно будет вектор Однослойный персептрон - простейшая модель ассоциативной памяти (функция Однослойный персептрон - простейшая модель ассоциативной памяти непрерывна). Часто пары векторов Однослойный персептрон - простейшая модель ассоциативной памяти называют ассоциативными парами.

         Пусть Однослойный персептрон - простейшая модель ассоциативной памяти и векторы Однослойный персептрон - простейшая модель ассоциативной памяти линейно независимы. Тогда задача об обучении однослойного персептрона разрешимы. В силу того, что нейроны слоя не связаны между собой, достаточно решить задачу обучения для произвольного Однослойный персептрон - простейшая модель ассоциативной памяти-ого нейрона (персептрон из одного нейрона). Его ассоциативные пары имеют вид: Однослойный персептрон - простейшая модель ассоциативной памяти Однослойный персептрон - простейшая модель ассоциативной памяти, где Однослойный персептрон - простейшая модель ассоциативной памяти - координата с номером Однослойный персептрон - простейшая модель ассоциативной памяти вектора Однослойный персептрон - простейшая модель ассоциативной памяти, которая принимает либо нулевое, либо единичное значения. Таким образом, нейрон осуществляет классификацию входных векторов: одним “ приписывает” нулевое, а другим - единичное значения признака. Выше показано, что в рамках сделанных предположений о векторах  Однослойный персептрон - простейшая модель ассоциативной памяти Однослойный персептрон - простейшая модель ассоциативной памяти задача классификации разрешима. Описан алгоритм выбора синаптического вектора Однослойный персептрон - простейшая модель ассоциативной памяти и порогового значения Однослойный персептрон - простейшая модель ассоциативной памяти, для которых Однослойный персептрон - простейшая модель ассоциативной памяти.

         Задача об обучении персептрона часто оказывается неразрешимой даже в простых случаях. Рассмотрим персептрон, состоящий из одного нейрона, который имеет два синаптических входа, т.е. входной вектор суть Однослойный персептрон - простейшая модель ассоциативной памяти. Поставим задачу найти синаптический вектор и пороговое значение такими, чтобы для входных векторов Однослойный персептрон - простейшая модель ассоциативной памяти и Однослойный персептрон - простейшая модель ассоциативной памятивыходной сигнал был равен единице, а для векторов Однослойный персептрон - простейшая модель ассоциативной памяти и Однослойный персептрон - простейшая модель ассоциативной памяти - нулю? Данный нейрон должен реализовать логическую операцию “исключающее или”. Выпуклые оболочки векторов Однослойный персептрон - простейшая модель ассоциативной памяти  и Однослойный персептрон - простейшая модель ассоциативной памяти очевидно пересекаются в точке Однослойный персептрон - простейшая модель ассоциативной памяти. Следовательно, поставленная задача в принципе не разрешима.

         Нерешенная простейшая задача сильно уменьшает энтузиазм. Однако, оказывается, что она разрешима на двухслойном персептроне. Рассмотрим конструкцию из трех нейронов. Первые два из них имеют общие входы и образуют первый слой. Выходные сигналы этих нейронов являются входными сигналами для третьего нейрона. Пусть Однослойный персептрон - простейшая модель ассоциативной памяти и Однослойный персептрон - простейшая модель ассоциативной памяти входной и выходной векторы первого слоя, а Однослойный персептрон - простейшая модель ассоциативной памяти  - выходной сигнал третьего нейрона. Положим для нейронов Однослойный персептрон - простейшая модель ассоциативной памяти, Однослойный персептрон - простейшая модель ассоциативной памяти, Однослойный персептрон - простейшая модель ассоциативной памяти.Простым перебором доказывается, что описанный персептрон реализует операцию “исключающее или”.

         Рассмотренный пример - решение задачи классификации на множестве бинарных векторов. Оказывается, что теоретически двухслойный персептрон решает задачу классификации бинарных векторов в общем случае. Однако, это утверждение имеет лишь теоретическое значение, поскольку доказывается оно, когда число нейронов в первом слое равно Однослойный персептрон - простейшая модель ассоциативной памяти, где Однослойный персептрон - простейшая модель ассоциативной памяти - размерность входного вектора.

Предыдущие материалы: Следующие материалы: