СЕТЕВАЯ ОЦЕНКА В ДВУМЕРНОЙ ЗАДАЧЕ (ОТОБРАЖЕНИЕ ХЕНОНА)

Г, = • (6)

Как хтак и у, зависят от предыдущих значений и у,^, и это делает систему динамической. Из-за квадратичного члена в первом уравнении система является нелинейной. Если мы возьмем произвольные начальные значения и сгенерируем по этим уравнениям ряд значений для х( и у,, то окажется, что их значения беспорядочно и внешне случайно располагаются, соответственно, в интервалах от -0.4 до 0.4 и от -1.4 до 1.4. Так же, как и в рассмотренном ранее случае логистического отображения рис. 3.4, эти значения не сходятся к какому-либо положению равновесия и не совершают периодических колебаний. Таким образом, мы имеем дело с системой, обладающей странным аттрактором. Понятно, что с помощью традиционных статистических методов нам вряд ли удастся выявить структуру модели, поскольку и х, и у ведут себя беспорядочно (см. [214, с. 152]).

Целью эксперимента должен быть прогноз значения х( по и у,_г Сначала давайте сделаем вид, что мы вообще ничего не знаем о существовании какой-то модели, описывающей ряд х,, а знаем только (со слов «эксперта»), что здесь играет роль предыдущее значение а также, еще некоторый показатель у(_г Естественно начать с линейной регрессии. Чтобы в дальнейшем было удобнее сравнивать регрессию и сеть, промасштабируем значения х и у так, чтобы они лежали на отрезке [0,1]. Полученный в результате ряд для х{ показан на рис. 3.11.

1 г

О

г

Рис. 3.11. Странный аттрактор отображенияХенона

Чтобы получить исходный материал для последующих экспериментов с нейронными сетями, мы сначала выполнили линейную регрессию на первых 153 членах временного ряда.

Для проверки регрессионной модели мы сформировали прогноз для последних 153 записей в нашей базе данных. Квадратный корень из среднеквадратичной ошибки прогноза регрессионной модели был равен 0.2112. После этого мы обучили 2-2-1 МВРЫ-сеть на первых 153 совокупностях двух входных и целевой переменных, а вторые 153 записи использовали как подтверждающее множество. Коэффициент обучения, по-прежнему, брался равным 0.9. Обучение прекращалось, если в течение 100 эпох подряд среднеквадратичная ошибка оставалась очень низкой. После этого прогноз был сделан также для 153 образцов.

На рис. 3.12 показаны диаграммы распределения значений х (фазовый портрет) по отношению к значениям у на предыдущем шаге для истинного отображения Хенона, линейной регрессии и МВРЫ- сети. Квадратный корень среднеквадратичной ошибки нейронной

сети на образцах, не входивших в обучающее множество, составил 0.0281, что существенно ниже, чем соответствующая ошибка регрессии 0.2112. Представляется, что, в отличие от регрессии, сеть доволь-но хорошо уловила сложную структуру фазового портрета. Это отчетливо видно на рис. 3.12. Хорошие показатели сети станут еще виднее, если мы вычислим истинное и прогнозируемое сетью относительные изменения (Я) величины у за один шаг. На рис. 3.13 изображено совместное распределение этих двух величин.

1

0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1

о

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9

У,-1

¦ Реальное значение X О Регрессия ? Нейронная сеть

00 оюооосоо о О <0°

г

,»8

'Чь

н пп пп°

осооо оо оо®?<йО'

0>

о В

<г>

«"оооо

¦

С

?

ву « ? ¦ ¦

Рис. 3.12.

Рис. 3.13. Реальные и прогнозируемые сдвиги по отображению Хенона

Близкое прилегание к прямой, идущей под углом 45°, — очень хороший результат. Для крайних низких и высоких значений сохраняется расхождение, но за счет более длительного обучения и более тщательного выбора архитектуры и параметров сети можно добиться более точной аппроксимации сигмоидальной формы незашум- ленного процесса (обратите внимание, что «крайних» положительных значений больше). Веса обученной сети показаны на рис. 3.14.

Выход

Рис. ЗЛА. Веса сети с алгоритмом спуска после обучения на отображении Хенона

Левый нижний входной узел соответствует х, а правый нижний — у. Отдельно указаны веса двух скрытых и выходного элемента.

Последний эксперимент с сетью, который мы опишем в этой главе, относится к ряду Хенона с шумом. Мы видоизменили модель следующим образом:

у( =0.15х(_1 +0.5є(.

Случайная составляющая в, бралась равномерно распределенной на интервале от -0.1 до 0.1. Таким образом, изменение цены у{ наполовину определяется величиной 0.3х(_,, отражающей связь с предыдущим моментом, а наполовину — случайной величиной. Исходя из произвольно взятых начальных значений и у(_1, мы вычислили 306 последовательных значений. Все значения переменных были перемасштабированы так, чтобы они лежали в интервале от 0 до 1. Первые 153 набора использовались для оценки по регрессионной

модели и для обучения нейронной сети, а другие 153 остались для тестирования. Наша задача, по-прежнему, состояла в прогнозировании ряда х, по значениям и у1 _у

В табл. 3.3 представлены результаты, касающиеся регрессии. Коэффициент при очень близок к нулю при 95-процентном доверительном уровне, в то время как сдвиг и коэффициент при х1_1

существенно отличны от нуля. Уточненный Я2 равен 0.39. Затем с помощью этой модели был сделан прогноз на 153 шага, при этом квадратный корень из среднеквадратичной ошибки оказался равным 0.1796.

0.18 0.16 0.14 0.12 0.1 0.08 0.06

3

о х

е-

й \о X

V.

• . 1

0.3 0.4 0.5 0.6 0.7

§ 0.04 ?

0.02

і а

0.8

0

0.9

Прогноз по регрессионной модели

Рис. 3.15. Ошибка регрессионной модели

Коэффи- Стандартная г-статистика Р-значение Нижний Верхний

циенты 5 ошибка 95% уровень 95% уровень

Сдвиг 0.961963 0.078818 12.20484 2.59Е-24 0.806226 1.1177

-0.63959 0.074895 - 8.53976 1.3Е-14 -0.78757 - 0.4916

Ум -0.00654 0.085095 -0.07616 0.939394 -0.17628 0.163198

Таблица 3.3. Регрессия для отображения Хенона с шумом

Применяя к тому же набору данных нейронно-сетевую модель, мы обучали 2-2-1 МВРЫ-сеть, имеющую те же параметры, что и в случае задачи Хенона без шума. Проделав обучение из 100 эпох на первой половине данных, мы сделали прогноз относительно другой половины. Чтобы сравнить результаты для сети и регрессии, мы так-

Упрощение модели Хенона 73

же изобразили на диаграмме (рис. 3.16) совместное распределение прогноза сети и квадратичной ошибки прогноза. 0.2

0.8

0.2 0.3 0.4 0.5 0.6 0.7

Прогноз по нейронно-сетевой модели

Рис. 3.16. Квадратичная ошибка прогноза многослойной сетью со спуском

В отличие от регрессионной модели, прогноз сети почти не имеет искажений. Соответственно, и ЯМБЕ сетевого прогноза (0.0225) значительно меньше, чем у регрессии (0.1796). Можно сделать вывод, что даже в присутствии шума сеть способна распознавать структуру процесса и выдавать надежный прогноз.