Презентация Нейронные вычислительные сети онлайн

Содержание слайда: Нейронные вычислительные сети

Содержание слайда: Теория нейронных сетей: предмет

Содержание слайда:

Содержание слайда: Биологический прототип: нейронные структуры мозга

Содержание слайда: Нейроны мозга

Содержание слайда: Биологический нейрон

Содержание слайда: Типы нейронов

Содержание слайда: Нейроны зрительной коры мозга

Содержание слайда: Типы синапсов

Содержание слайда: Нейроны в состоянии возбуждения

Содержание слайда: Биологический нейрон Передача импульса

Содержание слайда: Биологические нейронные сети 1872-1895 гг. Понятие нейрона и нейронной сети; Первые предположения о принципе работы;

Содержание слайда:

Содержание слайда: Нейронная сеть Совокупность соединенных между собой нейронов; Сеть осуществляет преобразование входного сигнала с рецепторов в выходной, являющейся реакцией организма на внешнюю среду

Содержание слайда: Нейровычислительная архитектура Для повышения производительности ЭВМ необходимо перейти от принципов фон-Неймана к параллельной обработке информации. Тем не менее, параллельные компьютеры пока не получили распространения по нескольким причинам Одним из вариантов реализации классов архитектур вычислительных систем является нейрокомпьютер. Нейрокомпьютер - это вычислительная система с MIMD архитектурой, которая представляет собой совокупность очень простых однотипных процессорных элементов (нейронов), объединенных множественными связями. Основные преимущества нейрокомпьютеров связаны с массовым параллелизмом обработки, который обуславливает высокое быстродействие при низких требованиях к параметрам элементарных узлов. Устойчивые и надёжные нейросистемы могут создаваться из низконадёжных элементов, имеющих большой разброс параметров Любой нейрокомпьютер по своему строению представляет нейронную сеть (нейросеть). Нейронная сеть - это сеть с конечным числом слоёв, состоящих из однотипных элементов - аналогов нейронов с различными типами связи между слоями. Элементарным строительным элементом нейронной сети (НС) является нейрон, который осуществляет взвешенное суммирование поступающих на его вход сигналов. Результат такого суммирования образует промежуточный выходной сигнал, который преобразуется активационной функцией в выходной сигнал нейрона.

Содержание слайда: Нейронные сети Предпосылка: Известно, что биологические системы (люди, животные) прекрасно справляются со сложными задачами распознавания образов; Основная идея: Применить знания о работе мозга (людей, животных) для решения задач распознавания образов;

Содержание слайда: Искусственные нейронные сети

Содержание слайда: Примеры сетей

Содержание слайда: Применение нейронных сетей

Содержание слайда: Области применения Распознавание образов Оценка кредитного риска Прогнозирование финансовых потоков и объемов продаж Маркетинговые исследования Медицинская диагностика Автоматизированные системы управления “Добыча данных”

Содержание слайда: Пример применения: прогнозирование цен на нефть

Содержание слайда: Пример применения: результаты прогнозирования

Содержание слайда: Решаемые задачи Задачи, успешно решаемые НС на данном этапе их развития: формирование моделей и различных нелинейных и трудно описываемых математически систем, прогнозирование развития этих систем во времени: системы управления и регулирования с предсказанием; управление роботами, другими сложными устройствами разнообразные конечные автоматы: системы массового обслуживания и коммутации, телекоммуникационные системы; распознавание зрительных, слуховых образов; ассоциативный поиск информации и создание ассоциативных моделей; синтез речи; формирование естественного языка; принятие решений и диагностика в областях, где отсутствуют четкие математические модели: в медицине, криминалистике, финансовой сфере;

Содержание слайда:

Содержание слайда: Преимущества нейронных сетей Предлагают стандартные способы решения многих нестандартных задач. Явное описание модели заменяется созданием «образовательной среды». Приводят к успеху там, где отказывают традиционные методы и трудно создать явный алгоритм: анализ данных со сложной нелинейной структурой зависимостей; задачи распознавания и классификации; нелинейное понижение размерности.

Содержание слайда: Преимущества нейронных сетей Кроме этого, применение НС обеспечивает следующие полезные свойства: 1. Способность к обобщению. Под термином обобщение понимается способность НС устанавливать концентрацию вредных веществ на основе данных, не встречающихся в процессе обучения. 2. Нелинейность. НС, построенная из соединений нелинейных нейронов, является нелинейной. Нелинейность является чрезвычайно важным свойством, поскольку входной сигнал, подаваемый в НС, в случае определения количественного состава вещества, представляет собой спектр поглощения ИК излучения веществом и является нелинейным. 3. Отображение входной информации в выходную. Наиболее часто используется для обучения НС парадигма обучения с учителем. Настройка синаптических весов сети происходит на основе набора учебных примеров. Каждый пример состоит из параметров входного сигнала и соответствующего ему желаемого отклика. Из этого множества случайным образом выбирается пример, а НС модифицирует синаптические веса для минимизации расхождений желаемого выходного сигнала и формируемого сетью согласно выбранному статистическому критерию. Обучение проводится до тех пор, пока изменения синаптических весов не станут незначительными. 4. Адаптивность. Нейронные сети обладают способностью адаптировать свои синаптические веса к изменениям входных сигналов. В частности, нейронные сети, обученные действовать с определенными сигналами, могут быть легко переучены для работы в условиях незначительных колебаний параметров. 5. Эксплуатация обученной нейронной сети не требует дополнительной подготовки пользователей и их высокой квалификации. Кроме этого, нейросетевой метод моделирования не требует априорного задания вида исследуемой зависимости.

Содержание слайда: Структура и свойства искусственного нейрона Нейрон состоит из элементов трех типов: умножителей (синапсов), сумматора и нелинейного преобразователя. Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи, (вес синапса). Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента - выхода сумматора. Эта функция называется функцией активации или передаточной функцией нейрона.

Содержание слайда: Основные понятия

Содержание слайда:

Содержание слайда:

Содержание слайда: Модель кибернетического нейрона

Содержание слайда: Формальный нейрон МакКаллока и Питтса

Содержание слайда: Структура и свойства искусственного нейрона Нейрон реализует скалярную функцию векторного аргумента Математическая модель нейрона: y = f(s) где wi, - вес синапса, i = 1...n; b - значение смещения; s - результат суммирования; xi - компонент входного вектора (входной сигнал), i = 1...n; у - выходной сигнал нейрона; n - число входов нейрона; f - нелинейное преобразование (функция активации).  В общем случае входной сигнал, весовые коэффициенты и смещение могут принимать действительные значения. Выход (у) определяется видом функции активации и может быть как действительным, так и целым. Синаптические связи с положительными весами называют возбуждающими, с отрицательными весами – тормозящими.    Описанный вычислительный элемент можно считать упрощенной математической моделью биологических нейронов

Содержание слайда: Персептрон Розенблата Модель алгоритма

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда: Синтез нейронных сетей В зависимости от функций, выполняемых нейронами в сети, можно выделить три типа нейронов:  • входные нейроны, на которые подается вектор, кодирующий входное воздействие или образ внешней среды; в них обычно не осуществляется вычислительных процедур, а информация передается с входа на выход путем изменения их активации;  • выходные нейроны, выходные значения которых представляют выходы нейронной сети; преобразования в них осуществляются по выражениям (1.1) и (1.2);  • промежуточные нейроны, составляющие основу нейронных сетей, преобразования в которых выполняются также по выражениям (1.1) и (1.2).  В большинстве нейронных моделей тип нейрона связан с его расположением в сети. Если нейрон имеет только выходные связи, то это входной нейрон, если наоборот - выходной нейрон. В процессе функционирования сети осуществляется преобразование входного вектора в выходной, некоторая переработка информации. Известные нейронные сети можно разделить по типам структур нейронов на гомогенные (однородные) и гетерогенные. Гомогенные сети состоят из нейронов одного типа с единой функцией активации, а в гетерогенную сеть входят нейроны с различными функциями активации.

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда: Обобщенная структура многослойной сигмоидальной НС

Содержание слайда:

Содержание слайда:

Содержание слайда: Выбор количества нейронов и слоев Количество нейронов и слоев связано: 1) со сложностью задачи; 2) с количеством данных для обучения; 3) с требуемым количеством входов и выходов сети; 4) с имеющимися ресурсами: памятью и быстродействием машины, на которой моделируется сеть; Если в сети слишком мало нейронов или слоев: 1) сеть не обучится и ошибка при работе сети останется большой; 2) на выходе сети не будут передаваться резкие колебания аппроксимируемой функции y(x). Если нейронов или слоев слишком много: 1) быстродействие будет низким, а памяти потребуется много на фон-неймановских ЭВМ; 2) сеть переобучится: выходной вектор будет передавать незначительные и несущественные детали в изучаемой зависимости y(x), например, шум или ошибочные данные; 3) зависимость выхода от входа окажется резко нелинейной: выходной вектор будет существенно и непредсказуемо меняться при малом изменении входного вектора x; 4) сеть будет неспособна к обобщению: в области, где нет или мало известных точек функции y(x) выходной вектор будет случаен и непредсказуем, не будет адекватен решамой задаче

Содержание слайда: Подготовка входных и выходных данных Данные, подаваемые на вход сети и снимаемые с выхода, должны быть правильно подготовлены. Один из распространенных способов - масштабирование: x = (x’ – m) c где x - исходный вектор, x’ - масштабированный. Вектор m - усредненное значение совокупности входных данных, с - масштабный коэффициент. Масштабирование желательно, чтобы привести данные в допустимый диапазон. Если этого не сделать, то возможно несколько проблем: 1) нейроны входного слоя или окажутся в постоянном насыщении (|m| велик, дисперсия входных данных мала) или будут все время заторможены (|m| мал, дисперсия мала); 2) весовые коэффициенты примут очень большие или очень малые значения при обучении (в зависимости от дисперсии), и, как следствие, растянется процесс обучения и снизится точность

Содержание слайда: Обучение сети Процесс функционирования НС зависит от величин синаптических связей, поэтому, задавшись определенной структурой НС, отвечающей какой-либо задаче, разработчик сети должен найти оптимальные значения всех переменных весовых коэффициентов (некоторые синаптические связи могут быть постоянными). Этот этап называется обучением НС. Способность сети решать поставленные перед ней проблемы во время эксплуатации зависит от того, насколько качественно он будет выполнен. На этапе обучения кроме параметра качества подбора весов важную роль играет время обучения. Как правило, эти два параметра связаны обратной зависимостью и их приходится выбирать на основе компромисса. Обучение НС может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы НС формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы.

Содержание слайда: Обучение сети Алгоритмы обучения делятся на два больших класса: детерминистские и стохастические. В первом из них подстройка весов представляет собой жесткую последовательность действий, во втором – она производится на основе действий, подчиняющихся некоторому случайному процессу. Рассмотрим алгоритм обучения с учителем. 1. Проинициализировать элементы весовой матрицы (обычно небольшими случайными значениями). 2. Подать на входы один из входных векторов, которые сеть должна научиться различать, и вычислить ее выход. 3. Если выход правильный, перейти на шаг 4. Иначе вычислить разницу между идеальным и полученным значениями выхода: Модифицировать веса в соответствии с определенной формулой 4. Цикл с шага 2, пока сеть не перестанет ошибаться. На втором шаге на разных итерациях поочередно в случайном порядке предъявляются все возможные входные вектора. К сожалению, нельзя заранее определить число итераций, которые потребуется выполнить, а в некоторых случаях и гарантировать полный успех.

Содержание слайда:

Содержание слайда:

Содержание слайда: Круглов В.В., Борисов В.В. «Искусственные нейронные сети. Теория и практика». – М.: Горячая линия – Телеком, 2001. Круглов В.В., Борисов В.В. «Искусственные нейронные сети. Теория и практика». – М.: Горячая линия – Телеком, 2001. Хайкин С. Нейронные сети: полный курс, 2-е изд.: Пер. с анг.  М.: ООО» И.Д. Вильямс», 2006 Осовский С. Нейронные сети для обработки информации. / Пер. с польского И.Д. Рудинского.  М.: Финансы и статистика, 2004. Головко В.А. Нейронные сети: обучение, организация и применение. Кн. 4: учебное пособие для вузов. – М.: ИПРЖР, 2001. – 256 с. В.В. Круглов, М.И. Дли, Р.Ю. Голунов. Нечеткая логика и искусственные нейронные сети. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений. – М. Финансы и статистика, 2004. Каллан Роберт. Основные концепции нейронных сетей.: Пер. с англ. –М.:Издательский дом «Вильямс», 2003.