Введение

  В данном реферате  рассматривается одно из самых популярных практических приложений нейросетей - предсказание рыночных временных рядов. В этой области предсказания наиболее тесно связаны с доходностью, и могут рассматриваться как один из видов бизнеса.

     Нейросетевой  подход к анализу и прогнозированию  финансовых временных рядов, использованный в статье, основывается на парадигме  теории сложных систем и ее применимости к анализу финансовых

Исследуемые в статье проблемы, непосредственно  касающиеся деятельности профессионалов финансовых рынков, тесно связаны  с задачами менеджмента организаций, как оперативными, так и стратегическими, поскольку принятие решений корпоративными менеджерами зависит от понимания  ими перспектив изменения хозяйственной (в частности, финансовой) среды.

     В данном реферате коснемся таких вопросов как: что обеспечивает доходность бизнеса, основанного на предсказания; методика предсказания временных рядов; специфика  финансовых временных рядов; как  подбирать признаковое пространство; какой функционал ошибки лучше; норма  прибыли нейросетевой игры на реальных данных.

     1 Предсказание как вид бизнеса

     1.1 Кому нужно предсказывать рынок?

     Предсказание  финансовых временных рядов - необходимый  элемент любой инвестиционной деятельности. Сама идея инвестиций - вложения денег сейчас с целью получения дохода в будущем - основывается на идее прогнозирования будущего. Соответственно, предсказание финансовых временных рядов лежит в основе деятельности всей индустрии инвестиций - всех бирж и небиржевых систем торговли ценными бумагами.

     Приведем  несколько цифр, иллюстрирующих масштаб  этой индустрии предсказаний (Шарп, 1997). Дневной оборот рынка акций  только в США превышает $10 млрд. Депозитарий DTC (Depositary Trust Company) в США, где зарегестрировано ценных бумаг на сумму $11 трлн (из общего объема $18 трлн), регистрирует в день сделок примерно на $250 млрд. Еще более  активно идет торговля на мировом  валютном рынке FOREX. Его дневной оборот превышает $1000 млрд. Это примерно 1/50 всего совокупного  капитала человечества.

     Известно, что 99% всех сделок - спекулятивные, т.е. направлены не на обслуживание реального  товарооборота, а заключены с  целью извлечения прибыли по схеме "купил дешевле - продал дороже". Все они основаны на предсказаниях  изменения курса участниками  сделки. Причем, что немаловажно, предсказания участников каждой сделки противоположны друг другу. Так что объем спекулятивных  операций характеризует степень  различий в предсказаниях участников рынка, т.е реально - степень непредсказуемости  финансовых временных рядов.

     1.2 Можно ли предсказывать рынок?

     Это важнейшее свойство рыночных временных  рядов легло в основу теории "эффективного" рынка, изложенной в диссертации Луи де Башелье (L.Bachelier) в 1900 г. Согласно этой доктрине, инвестор может надеяться лишь на среднюю доходность рынка, оцениваемую с помощью индексов, таких как Dow Jones или S&P500 для Нью-Йоркской биржи. Всякий же спекулятивный доход носит случайный характер и подобен азартной игре на деньги. В основе непредсказуемости рыночных кривых лежит та же причина, по которой деньги редко валяются на земле в людных местах: слишком много желающих их поднять.

     Теория  эффективного рынка не разделяется, вполне естественно, самими участниками  рынка (которые как раз и заняты поиском “упавших” денег). Большинство  из них уверено, что рыночные временные  ряды, несмотря на кажущуюся стохастичность, полны скрытых закономерностей, т.е в принципе хотя бы частично предсказуемы. Такие скрытые эмпирические закономерности пытался выявить в 30-х годах  в серии своих статей основатель технического анализа Эллиот.

     В 80-х годах неожиданную поддержку  эта точка зрения нашла в незадолго  до этого появившейся теории динамического  хаоса. Эта теория построена на противопоставлении хаотичности и стохастичности (случайности). Хаотические ряды только выглядят случайными, но, как детерминированный динамический процесс, вполне допускают краткосрочное  прогнозирование. Область возможных  предсказаний ограничена по времени  горизонтом прогнозирования, но этого может оказаться достаточно для получения реального дохода от предсказаний (Chorafas, 1994). И тот, кто обладает лучшими математическими методами извлечения закономерностей из зашумленных хаотических рядов, может надеяться на большую норму прибыли - за счет своих менее оснащенных собратьев.

     1.3 Технический анализ и нейронные сети

     В последнее десятилетие наблюдается  устойчивый рост популярности технического анализа - набора эмпирических правил, основанных на различного рода индикаторах  поведения рынка. Технический анализ сосредотачивается на индивидуальном поведении данного финансового инструмента, вне его связи с остальными ценными бумагами.

     Такой подход психологически обоснован сосредоточенностью брокеров именно на том инструменте, с которым они в данный момент работают. Поведение рыночного сообщества имеет много аналогий с поведением толпы, характеризующимся особыми законами массовой психологии. Влияние толпы упрощает мышление, нивелирует индивидуальные особенности и рождает формы коллективного, стадного поведения, более примитивного, чем индивидуальное. В частности, стадные инстинкты повышают роль лидера, вожака. Ценовая кривая как раз и является таким лидером, фокусируя на себе коллективное сознание рынка. Такая психологическая трактовка поведения рыночной цены обосновывает применение теории динамического хаоса.  Частичная предсказуемость рынка обусловлена относительно примитивным коллективным поведением игроков, которые образуют единую хаотическую динамическую систему с относительно небольшим числом внутренних степеней свободы.

     Согласно  этой доктрине, для предсказания рыночных кривых необходимо освободиться от власти толпы, стать выше и умнее ее. Для  этого предлагается выработать систему игры, апробированную на прошлом поведении временного ряда и четко следовать этой системе, не поддаваясь влиянию эмоций и циркулирующих вокруг данного рынка слухов. Иными словами, предсказания должны быть основаны на алгоритме, т.е. их можно и даже должно перепоручить компьютеру. За человеком остается лишь создание этого алгоритма, для чего в его распоряжении имеются многочисленные программные продукты, облегчающие разработку и дальнейшее сопровождение компьютерных стратегий на базе инструментария технического анализа.

     Следуя  этой логике, почему бы не использовать компьютер и на этапе разработки стратегии, причем не в качестве ассистента, рассчитывающего известные рыночные индикаторы и тестирующего заданные стратегии, а для извлечения оптимальных индикаторов и нахождения оптимальных стратегий по найденным индикаторам. Такой подход - с привлечением технологии нейронных сетей - завоевывает с начала 90-х годов все больше приверженцев, т.к. обладает рядом неоспоримых достоинств.

     Во-первых, нейросетевой анализ, в отличие от технического, не предполагает никаких ограничений на характер входной информации. Это могут быть как индикаторы данного временного ряда, так и сведения о поведении других рыночных инструментов. Недаром нейросети активно используют именно институциональные инвесторы (например, крупные пенсионные фонды), работающие с большими портфелями, для которых особенно важны корреляции между различными рынками.

     Во-вторых, в отличие от теханализа, основанного на общих рекомендациях, нейросети способны находить оптимальные для данного инструмента индикаторы и строить по ним оптимальную опять же для данного ряда стратегию предсказания. Более того, эти стратегии могут быть адаптивны, меняясь вместе с рынком, что особенно важно для молодых активно развивающихся рынков, в частности, российского.

     Нейросетевое  моделирование в чистом виде базируется лишь на данных, не привлекая никаких  априорных соображений. В этом его  сила и одновременно - его ахиллесова пята. Имеющихся данных может не хватить для обучения, размерность  потенциальных входов может оказаться  слишком велика.

     2 Методика предсказания временных рядов

     Для начала покажем общую схему нейросетевого предсказания временных рядов (Рисунок 1).

Рисунок 1. Общая схема нейросетевого предсказания временных рядов

     2.1 Метод погружения. Теорема Такенса

     Начнем  с этапа погружения. Как мы сейчас убедимся, несмотря на то, что предсказания, казалось бы, являются экстраполяцией данных, нейросети, на самом деле, решают задачу интерполяции, что существенно повышает надежность решения. Предсказание временного ряда сводится к типовой задаче нейроанализа - аппроксимации функции многих переменных по заданному набору примеров - с помощью процедуры погружения ряда в многомерное пространство. Например, -мерное лаговое пространство ряда состоит из значений ряда в последовательные моменты времени: .

     Для динамических систем доказана следующая  теорема Такенса. Если временной ряд порождается динамической системой, т.е. значения есть произвольная функция состояния такой системы, существует такая глубина погружения (примерно равная эффективному числу степеней свободы данной динамической системы), которая обеспечивает однозначное предсказание следующего значения временного ряда (Sauer, 1991). Таким образом, выбрав достаточно большое можно гарантировать однозначную зависимость будущего значения ряда от его предыдущих значений: , т.е. предсказание временного ряда сводится к задаче интерполяции функции многих переменных. Нейросеть далее можно использовать для восстановления этой неизвестной функции по набору примеров, заданных историей данного временного ряда.

     Напротив, для случайного ряда знание прошлого ничего не дает для предсказания будущего. Поэтому, согласно теории эффективного рынка, разброс предсказываемых  значений ряда на следующем шаге при  погружении в лаговое пространство не изменится.

     Отличие хаотической динамики от стохастической (случайной), проявляющееся в процессе погружения, иллюстрирует Рисунок 2.

Рисунок 2.Процесс погружения

2.2 Эмпирические свидетельства предсказуемости финансовых рядов

     Метод погружения позволяет количественно  измерить предсказуемость реальных финансовых инструментов, т.е. проверить  или опровергнуть гипотезу эффективности  рынка. Согласно последней, разброс  точек по всем координатам лагового пространства одинаков (если они - одинаково  распределенные независимые случайные  величины). Напротив, хаотическая динамика, обеспечивающая определенную предсказуемость, должна приводить к тому, что наблюдения будут группироваться вблизи некоторой  гиперповерхности , т.е. экспериментальная выборка формирует некоторое множество размерности меньшей, чем размерность всего лагового пространства.

     Для измерения размерности можно  воспользоваться следующим интуитивно понятным свойством: если множество  имеет размерность  , то при разбиении его на все более мелкие покрытия кубиками со стороной , число таких кубиков растет как . На этом факте основывается определение размерности множеств методом box-counting. Размерность множества точек определяется по скорости возрастания числа ячеек (boxes), содержащих все точки множества. Для ускорения алгоритма размеры берут кратными 2, т.е. масштаб разрешения измеряется в битах.

     В качестве примера типичного рыночного  временного ряда возьмем такой известный  финансовый инструмент, как индекс котировок акций 500 крупнейших компаний США, S&P500, отражающий среднюю динамику цен на Нью-Йоркской бирже. Рисунок 3 показывает динамику индекса на протяжении 679 месяцев. Размерность (информационная) приращений этого ряда, подсчитанная методом box-counting, показана на следующем рисунке (Рисунок 4).

     Как следует из последнего рисунка, в 15-мерном пространстве погружения экспериментальные  точки формируют множество размерности  примерно 4. Это значительно меньше, чем 15, что мы получили бы исходя из гипотезы эффективного рынка, считающей  ряд приращений независимыми случайными величинами.

     Таким образом, эмпирические данные убедительно  свидетельствуют о наличии некоторой  предсказуемой составляющей в финансовых временных рядах, хотя здесь и  нельзя говорить о полностью детерминированной  хаотической динамике. Значит попытки  применения нейросетевого анализа  для предсказания рынков имеют под  собой веские основания.

     Заметим, однако, что теоретическая предсказуемость  вовсе не гарантирует достижимость практически значимого уровня предсказаний. Количественную оценку предсказуемости  конкретных рядов дает измерение кросс-энтропии, также возможное с помощью методики box-counting. Для примера приведем измерения предсказуемости приращений индекса S&P500 в зависимости от глубины погружения. Кросс-энтропия , график которой приведен ниже (Рисунок 5), измеряет дополнительную информацию о следующем значении ряда, обеспеченную знанием прошлых значений этого ряда.

Рисунок 5. Кросс-энтропия, измеряющая дополнительную информацию о следующем значении ряда, обеспеченную знанием

2.3 Формирование входного пространства признаков

Как иллюстрирует Рисунок 5, увеличение ширины окна погружения ряда приводит в конце концов к понижению предсказуемости - когда повышение размерности входов уже не компенсируется увеличением их информативности. В этом случае, когда размерность лагового пространства слишком велика для данного количества примеров, приходится применять специальные методики формирования пространства признаков с меньшей размерностью. Способы выбора признаков и/или увеличения числа доступных примеров, специфичные для финансовых временных рядов будут описаны ниже.

2.4 Выбор функционала ошибки

     Для обучения нейросети недостаточно сформировать обучающие наборы входов-выходов. Необходимо также определить ошибку предсказаний сети. Среднеквадратичная ошибка, используемая по умолчанию в большинстве нейросетевых приложений, не имеет большого "финансового  смысла" для рыночных рядов. Поэтому  в отдельном разделе мы рассмотрим специфичные для финансовых временных  рядов функции ошибки и покажем  их связь с возможной нормой прибыли.

     Например, для выбора рыночной позиции надежное определение знака изменения  курса более важно, чем понижение  среднеквадратичного отклонения. Хотя эти показатели и связаны между  собой, сети, оптимизированные по одному из них будут давать худшие предсказания другого. Выбор адекватной функции ошибки должен опираться на некую идеальную стратегию и диктоваться, например, максимизацией прибыли (или минимизацией возможных убытков).

2.5 Обучение нейросетей

     Основная  специфика предсказания временных  рядов лежит в области предобработки  данных. Процедура обучения отдельных нейросетей стандартна. Как всегда, имеющиеся примеры разбиваются на три выборки: обучающая, валидационная и тестовая. Первая используется для обучения, вторая - для выбора оптимальной архитектуры сети и/или для выбора момента остановки обучения. Наконец, третья, которая вообще не использовалась в обучении, служит для контроля качества прогноза обученной нейросети.

     Однако, для сильно зашумленных финансовых рядов существенный выигрыш в  надежности предсказаний способно дать использование комитетов сетей.

     3 Формирование пространства признаков

     Ключевым  для повышения качества предсказаний является эффективное кодирование  входной информации. Это особенно важно для труднопредсказуемых  финансовых временных рядов. Имеются, однако, и специфичные именно для  финансовых временных рядов способы предобработки данных.

3.1 Способы погружения временного ряда

     Начнем  с того, что в качестве входов и выходов нейросети не следует выбирать сами значения котировок, которые мы обозначим . Действительно значимыми для предсказаний являются изменения котировок. Поскольку эти изменения, как правило, гораздо меньше по амплитуде, чем сами котировки, между последовательными значениями курсов имеется большая корреляция - наиболее вероятное значение курса в следующий момент равно его предыдущему значению:  . Между тем, как это уже неоднократно подчеркивалось, для повышения качества обучения следует стремиться к статистической независимости входов, то есть к отсутствию подобных корреляций.

     Поэтому в качестве входных переменных логично  выбирать наиболее статистически независимые  величины, например, изменения котировок  или логарифм относительного приращения . Последний выбор хорош для длительных временных рядов, когда уже заметно влияние инфляции. В этом случае простые разности в разных частях ряда будут иметь различную амплитуду, т.к. фактически измеряются в различных единицах. Напротив, отношения последовательных котировок не зависят от единиц измерения, и будут одного масштаба несмотря на инфляционное изменение единиц измерения. В итоге, большая стационарность ряда позволит использовать для обучения большую историю и обеспечит лучшее обучение.

     Отрицательной чертой погружения в лаговое пространство является ограниченный "кругозор" сети. Технический анализ же, напротив, не фиксирует окно в прошлом, и пользуется подчас весьма далекими значениями ряда. Например, утверждается, что максимальные и минимальные значения ряда даже в относительно далеком прошлом оказывают достаточно сильное воздействие на психологию игроков, и, следовательно, должны быть значимы для предсказания. Недостаточно широкое окно погружения в лаговое пространство не способно предоставить такую информацию, что, естественно, снижает эффективность предсказания. С другой стороны, расширение окна до таких значений, когда захватываются далекие экстремальные значения ряда, повышает размерность сети, что в свою очередь приводит к понижению точности нейросетевого предсказания - уже из-за разрастания размера сети.

     Выходом из этой, казалось бы, тупиковой ситуации являются альтернативные способы кодирования  прошлого поведения ряда. Интуитивно понятно, что чем дальше в прошлое  уходит история ряда, тем меньше деталей его поведения влияет на результат предсказаний. Это обосновано психологией субъективного восприятия прошлого участниками торгов, которые, собственно, и формируют будущее. Следовательно, надо найти такое  представление динамики ряда, которое  имело бы избирательную точность: чем дальше в прошлое - тем меньше деталей, при сохранении общего вида кривой. Весьма перспективным инструментом здесь может оказаться т.н. вейвлетное разложение (wavelet decomposition). Оно эквивалентно по информативности лаговому погружению, но легче допускает такое сжатие информации, которое описывает прошлое с избирательной точностью.

3.2 Понижение размерности входов: признаки

     Подобного рода сжатие информации является примером извлечения из непомерно большого числа  входных переменных наиболее значимых для предсказания признаков. Способы систематического извлечения признаков уже были описаны в прошлых главах. Их можно (и нужно) с успехом применять и к предсказанию временных рядов.

     Важно только, чтобы способ представления  входной информации по возможности  облегчал процесс извлечения признаков. Вейвлетное представление являет собой  пример удачного, с точки зрения извлечения признаков, кодирования. Например, на следующем рисунке (Рисунок 6) изображен отрезок из 50 значений ряда вместе с его реконструкцией по 10 специальным образом отобранным вейвлет-коэффициентов. Несмотря на то, что  для этого потребовалось в пять раз меньше даных, непосредственное прошлое ряда восстановлено точно, а более далекое - лишь в общих чертах, хотя максимумы и минимумы отражены верно. Следовательно, можно с приемлемой точностью описывать 50-мерное окно всего лишь 10-мерным входным вектором.

Рисунок 6.

3.3 Метод искусственных примеров (hints)

     Одним из самых "больных мест" в финансовых предсказаниях является дефицит  примеров для обучения нейросети. Финансовые рынки, вообще говоря, не стационарны (особенно российские). Появляются новые финансовые инструменты, для которых еще  не накоплена история, изменяется характер торговли на прежних рынках. В этих условиях длина доступных для  обучения нейросети временных рядов  весьма ограничена.

     Однако, можно повысить число примеров, используя  для этого те или иные априорные  соображения об инвариантах динамики временного ряда. Это еще одно физико-математическое понятие, способное значительно улучшить качество финансовых предсказаний. Речь идет о генерации искусственных примеров, получаемых из уже имеющихся применением к ним различного рода преобразований.

     Поясним основную мысль на примере. Психологически оправдано следующее предположение: игроки обращают внимание, в основном, на форму кривой цен, а не на конкретные значения по осям. Поэтому если немного  растянуть по оси котировок весь временной ряд, то полученный в результате такого преобразования ряд также  можно использовать для обучения наряду с исходным. Мы, таким образом, удвоили число примеров за счет использования  априорной информации, вытекающей из психологических особенностей восприятия временных рядов участниками  рынка. Более того, мы не просто увеличили  число примеров, но и ограничили класс функций, среди которых  ищется решение, что также повышает качество предсказаний (если, конечно, использованный инвариант соответствует  действительности).

     Приведенные ниже результаты вычисления предсказуемости  индекса S&P500 методом box-counting (см. Рисунок 7, Рисунок 8) иллюстрируют роль искусственных примеров. Пространство признаков в данном случае формировалось методом ортогонализации, описанным в главе о способах предобработки данных. В качестве входных переменных использовались 30 главных компонент в 100-мерном лаговом пространстве. Из этих главных компонент были выбраны 7 признаков - наиболее значимые ортогональные линейные комбинации. Как видно из этих рисунков, лишь применение искусственных примеров оказалось способным в данном случае обеспечить заметную предсказуемость.

     Использование ортогонального пространства признаков привело к некоторому повышению предсказуемости по сравнению с обычным способом погружения: с 0.12 бит (Рисунок 5) до 0.17 бит (Рисунок 8). Чуть позже, когда пойдет речь о влиянии предсказуемости на прибыль, мы покажем, что за счет этого норма прибыли может увеличиться почти в полтора раза.

     Другой, менее тривиальный, пример удачного использования такого рода подсказок (hints) для нейросети в каком направлении искать решение - использование скрытой симметрии в валютной торговле. Смысл этой симметрии в том, что валютные котировки могут рассмматриваться с двух "точек зрения", например как ряд DM/$ или как ряд $/DM. Возрастание одного из них соответствует уменьшению другого. Это свойство можно использовать для удвоения числа примеров: каждому примеру вида можно добавить его симметричный аналог . Эксперименты по нейросетевому предсказанию показали, что для основных валютных рынков учет симметрии поднимает норму прибыли примерно в два раза, конкретно - с 5% годовых до 10% годовых, с учетом реальных транзакционных издержек  (Abu-Mostafa, 1995).

4 Измерение качества предсказаний

     Хотя  предсказание финансовых рядов и  сводится к задаче аппроксимации  многомерной функции, оно имеет  свои особенности как при формировании входов, так и при выборе выходов  нейросети. Первый аспект, касающийся входов, мы уже обсудили. Теперь коснемся особенностей выбора выходных переменных. Но прежде ответим на главный вопрос: как измерить качество финансовых предсказаний. Это поможет определить наилучшую  стратегию обучения нейросети.

4.1 Связь предсказуемости с нормой прибыли

     Особенностью  предсказния финансовых временных  рядов является стремление к получению  максимальной прибыли, а не минимизации  среднеквадратичного отклонения, как  это принято в случае аппроксимации  функций.

     В простейшем случае ежедневной торговли прибыль зависит от верно угаданого  знака изменения котировки. Поэтому нейросеть нужно ориентировать именно на точность угадывания знака, а не самого значения. Найдем как связана норма прибыли с точностью определения знака в простейшей постановке ежедневного вхождения в рынок (Рисунок 9).

Рисунок 9. Связь нормы прибыли с точностью определения знака

     Обозначим на момент : полный капитал игрока , относительное изменение котировки , а в качестве выхода сети возьмем степень ее уверенности в знаке этого изменения . Такая сеть с выходной нелинейностью вида обучается предсказывать знак изменения и выдает прогноз знака с амплитудой пропорциональной его вероятности. Тогда возрастание капитала на шаге запишется в виде: