Введение. 3

1. Нейронные сети: основные положения. 6

Модель нейрона и архитектура сети. 6

Создание, инициализация и моделирование сети. 10

Формирование архитектуры сети. 10

Инициализация сети. 11

Моделирование сети. 11

2. Обучение нейронных сетей. 14

Процедуры адаптации и обучения. 14

Явление переобучения. 16

Свойство обобщения. 17

Методы обучения. 18

Обучение однослойной сети. 18

Обучение многослойной сети. 19

Метод обратного распространения ошибки. 20

Характеристика методов обучения. 22

Способы адаптации и обучения. 23

Адаптация нейронных сетей. 23

Обучение нейронных сетей. 28

Алгоритмы обучения. 31

Градиентные алгоритмы обучения. 31

Алгоритм GD.. 31

Алгоритм GDM… 33

Алгоритм GDA.. 36

Алгоритм Rprop. 37

Алгоритмы метода сопряженных градиентов. 39

Алгоритм CGF. 39

Алгоритм ССР. 40

Алгоритм CGB.. 41

Алгоритм SCG.. 42

Квазиньютоновы алгоритмы.. 43

Алгоритм BFGS. 43

Алгоритм OSS. 44

Алгоритм LM… 45

3. Разные архитектуры сетей. 48

Персептрон. 48

Архитектура персептрона. 49

Моделирование персептрона. 50

Инициализация параметров. 51

Процедуры настройки параметров. 52

Процедура адаптации. 54

Линейные сети. 57

Архитектура линейной сети. 58

Процедура обучения. 61

Применение линейных сетей. 63

Радиальные базисные сети. 67

Модель нейрона и архитектура сети. 68

Итерационная процедура формирования сети. 69

Примеры радиальных базисных сетей. 69

Самоорганизующиеся нейронные сети. 71

Слой Кохонена. 72

Обучение сети слоя Кохонена. 74

Карта Кохонена. Создание сети. 75

Обучение сети карты Кохонена. 75

Одномерная карта Кохонена. 76

Двумерная карта Кохонена. 77

4. Применение нейронных сетей: задача распознавания образов. 79

Постановка задачи. 79

Нейронная сеть. 80

Архитектура сети. 80

Инициализация сети. 81

Обучение. 81

Эффективность функционирования системы.. 83

Литература. 86

 

Введение

В последние годы наблюдается повышенный интерес к нейронным сетям (НС), которые нашли применение в самых различных областях человеческой деятельности – бизнесе, медицине, технике. Нейронные сети используются при решении задач прогнозирования, классификации, управления. Такой впечатляющий успех определяется несколькими причинами:

• Нейронные сети – это исключительно мощный метод имитации процессов и явлений, позволяющий воспроизводить чрезвычайно сложные зависимости. Нейронные сети по свой природе являются нелинейными, в то время как на протяжении многих лет для построения моделей использовался линейный подход. Кроме того, во многих случаях нейронные сети позволяют преодолеть “проклятие размерности”, обусловленное тем, что моделирование нелинейных явлений в случае большого числа переменных требует огромного количества вычислительных ресурсов.
• Другая особенность нейронных