Презентация Искусственные нейронные сети онлайн

Содержание слайда: Искусственные нейронные сети Многослойный перцептрон

Содержание слайда: Структура сети

Содержание слайда: Обозначения Индексы i, j и k относятся к различным нейронам сети. Когда сигнал проходит по сети слева направо, считается, что нейрон j находится на один слой правее нейрона i, а нейрон k - еще на один слой правее нейрона j, если последний принадлежит скрытому слою. Итерация (такт времени) n соответствует n-му обучающему образу (примеру), поданному на вход сети. Символ Е(n) означает текущую сумму квадратов ошибок (или энергию ошибки) на итерации n. Среднее значение Е(n) по всем значениям n (т.е. по всему обучающему множеству) называется средней энергией ошибки Еav Символ ej(n) описывает сигнал ошибки на выходе нейрона j на итерации n. Символ dj(n) означает желаемый отклик нейрона j и используется для вычисления ej(n). Символ yj(n) описывает функциональный сигнал, генерируемый на выходе нейрона J на итерации n. Символ wji(n) используется для обозначения синаптическоrо веса, связывающего выход нейрона i со входом нейрона j на итерации n. Коррекция, применяемая к этому весу на шаге n, обозначается Δwji(n)

Содержание слайда: Индуцированное локальное поле (т.е. взвешенная сумма всех синаптических входов плюс порог) нейрона j на итерации n обозначается символом vj(n). Это значение передается в функцию активации, связанную с нейроном j. Функция активации, соответствующая нейрону j и описывающая нелинейную взаимосвязь входного и выходного сигналов этого нейрона, обозначается φj(·). Порог, применяемый к нейрону j, обозначается символом bj. Eгo влияние представлено синапсом с весом wj0 = bj , соединенным с фиксированным входным сигналом, равным +1. i-й элемент входного вектора обозначается xi(n) k-й элемент выходного вектора (образа) обозначается ok(n) Параметр скорости (интенсивности) обучения обозначается символом η. Символ ml обозначает размерность (количество узлов) слоя l многослойного перцептрона; l = 1, 2,..., L, где L - "глубина" сети. Таким образом, символ m0 означает размерность входного слоя; m1 - первого cкpытoгo слоя; mL - выходнoгo слоя. Для описания размерности выходного слоя будет также использоваться символ М.

Содержание слайда: Локальные признаки (local feature) извлекаются в первом скрытом слое, Т.е. Heкоторые скрытые нейроны первого слоя можно использовать для разделения входного пространства на отдельные области, а остальные нейроны слоя обучать локальным признакам, характеризующим эти области. Глобальные признаки (global feature) извлекаются во втором скрытом слое. В частности, нейрон второго скрытого слоя "обобщает" выходные сигналы нейронов первого скрытого слоя, относящихся к конкретной области входного пространства. Таким образом он обучается глобальным признакам этой области, а в остальных областях eгo выходной сигнал равен нулю.

Содержание слайда: Алгоритм обратного распространения ошибки Обучение методом обратного распространения ошибки предполагает два прохода по всем слоям сети: прямого и обратного. При прямом проходе (forward pass) образ (входной вектор) подается на сенсорные узлы сети, после чего распространятся по сети от слоя к слою. В результате генерируется набор выходных сигналов, который и является фактической реакцией сети на данный входной образ. Во время прямого прохода все синаптические веса сети фиксированы. Во время обратного прохода (backward pass) все синаптические веса настраиваются в соответствии с правилом Koppeкции ошибок, а именно: фактический выход сети вычитается из желаемого (целевого) отклика, в результате чего формируется сигнал ошибки (error signal). Этот сигнал впоследствии распространяется по сети в направлении, обратном направлению синаптических связей.

Содержание слайда: Алгоритм 1. Инициализация (initialization). Предполагая отсутствие априорной информации, генерируем синаптические веса и пороговые значения с помощью датчика paвномерно распределенных чисел со средним значением О. Дисперсия выбирается таким образом, чтобы стандартное отклонение индуцированного локального поля нейронов приходилось на линейную часть сигмоидальной функции активации (и не достигало области насыщения). 2. Предъявление примеров обучения (presentation oftraining examples). В сеть подаются образы из обучающего множества (эпохи). Для каждого образа последовательно выполняются прямой и обратный проходы, описанные Далее в пп. 3 и 4. 3. Прямой проход (forward computation). Пусть пример обучения представлен парой (х(n), d(n)), где х(n) - входной вектор, предъявляемый входному слою сенсорных узлов; d(n) - желаемый отклик, предоставляемый выходному слою нейронов для формирования сигнала ошибки. Вычисляем индуцированные локальные поля и функциональные сигналы сети, проходя по ней послойно в прямом направлении. Индуцированное локальное поле нейрона j слоя l вычисляется по формуле

Содержание слайда: где yil-1(n) - выходной (функциональный) сигнал нейрона i, расположенного в предыдущем слое l-1, на итерации n; wjil(n) - синaптический вес связи нейрона j слоя l с нейроном i слоя l-1. Для i=0 y0l-1(n) = +1, а wj0l (n) = bjl(n) - поpoг, применяемый к нейрону j слоя l. Если используется сигмоидальная функция, то выходной сигнал нейрона j слоя l выражается следующим образом:

Содержание слайда: Если нейрон j находится в первом скрытом слое (т.е. l = 1), то где xj(n) - j-й элемент входного вектора х(n). Если нейрон j находится в выходном слое (т.е. l = L, где L - глубина сети), то Вычисляем сигнал ошибки

Содержание слайда: где dj(n) - j-й элемент вектора желаемого отклика d(n). 4. Обратный проход (backward computation). Вычисляем локальные градиенты узлов сети по следующей формуле: где штрих в функции φj’(·) обозначает дифференцирование по аргументу. Изменение синаптических весов слоя l сети выполняется в соответствии с обобщенным дельта-правилом

Содержание слайда: где η - параметр скорости обучения; α - постоянная момента. 5. Итерации (iteration). Последовательно выполняем прямой и обратный проходы (согласно пп. 3, 4), предъявляя сети все при меры обучения из эпохи, пока не будет достигнут критерий останова. Примечание. Порядок представления примеров обучения может случайным образам меняться от эпохи к эпохе. Параметры момента и скорости обучения настраиваются (и обычно уменьшаются) по мере роста количества итераций. Объяснение этого факта будет приведено ниже.

Содержание слайда: Функция активации Логистическая функция, выраженная сигмоидальной формой гдe vj(n) - индуцированное локальное поле нейрона j.

Содержание слайда: Многослойный перцептрон Сети свертки

Содержание слайда: Сети свертки (convolutional networks) Сеть свертки представляет собой многoслойный персептрон, специально созданный для распознавания двумерных поверхностей с высокой степенью инвариантности к преобразованиям, масштабированию, искажениям и прочим видам деформации. Обучение решению этой сложной задачи осуществляется с учителем. LeNet-5 Неокогнитрон

Содержание слайда: Особенности Извлечение признаков. Каждый нейрон получает входной сигнал от локального рецептивного поля (receptive field) в предыдущем слое, извлекая таким образом его локальные признаки. Как только признак извлечен, eгo точное местоположение не имеет значения, поскольку приблизительно установлено eгo расположение относительно других признаков. Отображение признаков. Каждый вычислительный слой сети состоит из множества карт признаков (feature mар), каждая из которых имеет форму плоскости, на которой все нейроны должны совместно использовать одно и то же множество синаптических весов. Эта форма структурных ограничений имеет следующие преимущества.

Содержание слайда: Инвариантность к смещению (shift invariance), реализованную посредством карт признаков с использованием свертки (convo1ution) с ядром небольшого размера, выполняющим функцию "сплющивания". Подвыборка (subsampling). За каждым слоем свертки следует вычислительный слой, осуществляющий локальное усреднение (local averaging) и подвыборку. Посредством этогo достигается уменьшение разрешения для карт признаков. Эта операция приводит к уменьшению чувствительности выходного сигнала оператора отображения признаков, к смещению и прочим формам деформации.

Содержание слайда: Следует подчеркнуть, что все веса во всех слоях сверточной сети обучаются на примерах. Более того, сеть сама учится извлекать признаки автоматически.

Содержание слайда: Неокогнитрон

Содержание слайда: Работа слоев

Содержание слайда: Входной слой Первый слой сети (U0) представляет собой слой фоторецепторных нейронов, которые непосредственно реагируют на входящие образы. Ограничения на входной образ Фиксированный размер Минимально-возможная толщина Бинарность

Содержание слайда: Слой извлечения контраста Слой извлекающих контраст ячеек (UG) состоит из двух плоскостей: первая плоскость содержит ячейки с концентрическими рецептивными полями с on-центром (возбуждаются при освещении центра рецептивного поля ячейки), другая плоскость состоит из ячеек с концентрическими рецептивными полями с off-центром (возбуждаются при его затемнении).

Содержание слайда: где: -индекс связи; - выход ячейки U0, связанной связью ; [x] = max(x; 0); - сила фиксированной связи с ячейкой; - номер плоскости: с on-центром (=2), с off-центром (=1); AG - радиус рецептивного поля нейрона

Содержание слайда: Основные слои Каждый S- и C-слой нейронов разделен на подгруппы, называемые плоскостями в соответствии с признаками образа которые они выделяют, а каждая плоскость нейронов организована в 2-мерный массив ячеек. S-ячейки слоя US1 соответствуют простым ячейкам в первичной зрительной зоне коры головного мозга и выделяют характерные признаки символа (4-9 на символ). Ячейки последующих S-слоев, кроме US4, выделяют детали признаков, выделенных слоем US1.

Содержание слайда: В результате обучения S-нейрон активизируется только тогда, когда в его рецептивном поле оказывается именно тот признак образа, на который обучали данный нейрон. Каждый C-нейрон получает в качестве входа сигналы, поступающие от группы S-нейронов, которые выделяют одинаковый признак образа, но с небольшими смещениями в положении рецептивного поля. Таким образом, C-нейрон распознает выделяемый элемент образа, даже если он немного сдвинут в своем положении, что обеспечивает инвариантность к сдвигам.

Содержание слайда: Уровень UC4 является уровнем распознавания, реакция которого показывает конечный результат распознавания образов сетью в виде имени класса.

Содержание слайда: Связи между ячейками

Содержание слайда: Выходы ячеек S-ячейки где: - номер плоскости текущего слоя - номер плоскости предыдущего слоя

Содержание слайда: l - номер текущего слоя n - позиция центра рецептивного поля ячейки v - индекс связи; (≥0) - сила переменной возбуждающей связи, идущей от C-ячейки предыдущей стадии. ASl - радиус рецептивного поля ячейки, т.е., размер пространственного сдвига входящего образа относительно центра рецептивного поля; bl(k) (≥0) - сила переменной тормозящей связи, идущей от V-ячейки; cSl(v) - сила постоянной возбуждающей связи с V-ячейкой. (<1) - порог чувствительности S-ячейки.

Содержание слайда: Ответ S-ячейки уровня USl пространственно размыт в последующих C-ячейках уровня UCl. где: - сила постоянных возбуждающих связей, сходящихся от группы S-ячеек, которые распространяются в пределах радиуса ACl.

Содержание слайда: Обучение сети Сначала выбирается простой узел, веса синапсов которого должны быть увеличены, он рассматривается как представитель всех узлов в плоскости, вызывая увеличение их связей на том же самом образе. Это делается каждый раз, когда представляется новый обучающий образ и для каждой плоскости. В слое US1, обучаемом с помощью контролируемого обучения, ячейки-представители выбираются «учителем». Ячейка, центр рецептивного поля которой совпадает с местоположением признака, становится представителем. В слоях US2 и US3 представители выбираются из тех S-ячеек, которые дают максимальный выход. Слой US4 обучается таким же образом, как и слои US2 и US3, за исключением того, что здесь также запоминается имя соответствующего класса.

Содержание слайда: Для представителя S-ячейки усиливаются только входные соединения, че­рез которые приходят не равные нулю сигналы. Все другие S-ячейки в S-плоскости, от которых выбран представитель, имеют такое же усиление своих входных соединений, как и их представитель.

Содержание слайда: Пусть ячейка была выбрана в качестве начальной, следовательно, изменяющиеся связи с этой ячейкой, как и со всеми S-ячейками в этой плоскости, увеличиваются следующим образом: где ql - положительная константа (=100), определяющая скорость обучения.

Содержание слайда: Пример

Содержание слайда: LeNet-5