Рынок и специфика Business Intelligence, BI

1. Рынок и специфика Business Intelligence, BI

Мировой рынок BI остается одним  из наиболее быстро растущих среди  софтверных рынков: прогноз темпов его роста на 2012 год составляет 8,2%. В целом же на рынке продолжается консолидация: мега-вендоры не только аккумулируют все большую его долю, но и активно поглощают инновационные технологии и стартапы, тем самым обеспечивая развитие собственных аналитических линеек.

По итогам 2008 года, по оценкам  Gartner, существенных «прорывов» на BI- рынке не произошло, в квадранте лидеров не появилось новых компаний. [2]

Согласно последнему магическому квадрату, лидерами сегмента BI платформ в 2011 году стали Oracle, MicroStrategy, Microsoft, QlikTech, Information Builders, IBM, SAS и SAP. Челленджерами, то есть претендентами на лидерское звание, названы Tableau и Tibco Software (система Spotfire). К нишевым игрокам в 2011 году Gartner отнесла LogiXML, Actuate Software, Panorama Software, Salient Management Company, Board International, Arcplan, Targit, Alteryx, Pentaho, Jaspersoft. Примечательно, что в 2011 году Gartner впервые включила в магический квадрат российскую платформу Prognoz Platform, также поместив ее в ряд нишевых предложений, что, безусловно, является мировым признанием для отечественного программного продукта.[2]

Рис. 1.1  Магический квадрат 2009-2012

Российский рынок BI-систем в чем-то следует контурам развития мирового рынка бизнес-анализа, а в чем-то его развитие пока движется по своему уникальному пути. Одной из главных тенденций, которая проявила себя на российском рынке BI в последнее время вслед за мировым, стал рост интереса к новому поколению интеллектуальных BI-систем.

В 2011 году на российский рынок BI пришло не только множество новых  технологий, но менялась и сама парадигма  внедрения систем бизнес-анализа: заказчики «взрослели», меняли свои требования к аналитическим решениям, а сами системы становились одновременно сложнее и проще, задавая технологическому полю некоторую дуальность. Сложные системы типа систем предикативного анализа все чаще задействовались в крупных компаниях, оперирующих большими объемами данных и зачастую работающих с массовым рынком, тогда как простые системы для конечных пользователей типа data discovery покорили средние компании.

Системные интеграторы также  отмечают возрастающий интерес российских пользователей к западным BI-платформам. «Российские пользователи BI стремятся  использовать мировые best-practice, поэтому, как правило, выбирают именно зарубежные BI-бренды.

Однако говорить о том, что российские решения не востребованы российскими заказчиками не верно. Достаточно сказать, что в тройке лидирующих BI платформ по числу внедрения  в России первое место занимают именно решения отечественных разработчиков  – Prognoz Platform и Deductor. [2]

Рис. 1.2  Доля BI – платформ в России 2012

Так, согласно данным TAdviser, по числу внедрений лидирует на данный момент платформа Prognoz Platform (217 проектов) от Прогноз, на втором месте Deductor от BaseGroup Labs (138 проектов), на третьем месте – QlikView от QlikTech (86 проектов).

2. Аналитический комплекс «ПРОГНОЗ»

Компания «Прогноз» – ведущий российский разработчик BI-решений и заказного программного обеспечения. В числе ее заказчиков – крупнейшие международные организации: Международный валютный фонд, Всемирный банк, Всемирная организация здравоохранения, – глобальные корпорации 3М, Coca-Cola, Boeing, COSCO, а также российские государственные структуры, предприятия и банки, включая Администрацию Президента РФ, Банк России, Минэкономразвития России, Газпром, Внешэкономбанк.[3]

PROGNOZ Platform (Аналитический комплекс «ПРОГНОЗ») – интегрированная платформа для создания информационно-аналитических систем и систем поддержки принятия решений. Комплекс объединяет современные технологии хранилищ данных, оперативного анализа данных (OLAP), средства имитационного и эконометрического моделирования, а также возможности WEB-доступа и COM-интерфейса.

Функционал и производительность PROGNOZ Platform соответствует технологическим и функциональным критериям, предъявляемым ведущими мировыми экспертами в сфере бизнес-аналитики, что позволяет компании занимать лидирующие места среди ключевых BI-вендоров планеты.

PROGNOZ Platform предоставляет гибкие инструменты, ориентированные на конечного пользователя, доступные в традиционных пользовательских приложениях (настольное приложение, web), на мобильных устройствах, а также в «облачной» архитектуре.

В новой версии PROGNOZ Platform, релиз которой готовится в апреле этого года, существенно расширен инструментарий моделирования и прогнозирования за счет модуля анализа временных рядов, реализован web-интерфейс, расширена библиотека математических и статистических методов. Реализован полнофункциональный механизм интерактивной работы с инструментами бизнес-аналитики в приложениях MS Office (Word и Excel).

PROGNOZ Platform имеет один из лучших визуальных интерфейсов среди существующих инструментов бизнес-аналитики. Все инструменты платформы используют единую модель метаданных, средства обеспечения информационной безопасности и администрирования.

Линейка пользовательских инструментов PROGNOZ Platform отображена на рисунке 1: [4]

Рис. 2.1 Инструменты PROGNOZ Platform

Сферы применения

PROGNOZ Platform является программной платформой для создания типовых технологических и отраслевых решений компании «Прогноз».

Типовые технологические  решения компании – это комплексные  программные платформы, интегрирующие  в себе компоненты PROGNOZ Platform. В состав технологических решений входят такие элементы, как информационно-аналитический портал, система управления статистическими данными, система консолидации данных и другие.

Типовые отраслевые решения  – прикладные продукты компании, базирующиеся на технологических компонентах  PROGNOZ Platform, учитывающие конкретную отраслевую специфику. Среди отраслевых BI-приложений «Прогноза» – решения для крупных промышленных компаний, портов, железнодорожных, энергетических компаний, национальных и коммерческих банков, а также для органов государственной власти, в том числе для кадастровых, статистических, таможенных служб.

Основные задачи:

• Проектирование и создание хранилищ данных;
• Интеграция данных и приложений;
• Оперативный анализ и визуализация данных;
• Открытая среда разработки аналитических приложений;
• Имитационное и эконометрическое моделирование;
• Организация WEB-доступа и интеграция в корпоративные порталы и сети;
• Централизованное администрирование и обеспечение информационной безопасности.

Структура PROGNOZ Platform имеет следующий вид [4]:

Рис. 2.2 Структура PROGNOZ Platform

Комплекс позволяет создавать  системы любых типов:

• Транзакционные, аналитические, а также смешанного типа;
• Тиражируемые системы (данные и метаданные тиражируются в территориально удаленные объекты);
• Системы, работающие с большими объемами данных (500 миллионов записей и больше);
• Системы разной степени централизации:
• Настольные (desktop) системы, использующие как встроенную в MS Window СУБД (MSDE), так и полностью без использования СУБД (клиентские кубы);
• Двухзвенные системы в классической архитектуре клиент-сервер;
• Трехзвенные системы клиент-сервер СУБД-сервер БД.

Также АК ПРОГНОЗ позволяет  реализовать ведение различных  регламентов и решение задач  документооборота.

Комплекс представляет собой  интегрированный набор программных  конструкторов и инструментов и  позволяет решать следующие задачи:

Конструирование многомерных хранилищ данных

Рис. 2.3 Задача Конструирование  многомерных хранилищ данных

Основные функции:

• Создание хранилищ данных «сверху вниз» и «снизу вверх» (от логической к физической модели и наоборот);
• Извлечение, трансформация и загрузка данных (ETL);
• Интеграция внешних реляционных баз данных и многомерных хранилищ данных;
• Поддержка многомерных и реляционных объектов;
• Управление нормативно-справочной информацией;
• Управление метаданными.

Интеграция данных

Основные функции:

• ODBC или OLE DB-совместимые СУБД (Oracle, Microsoft SQL Server, Informix и др.);
• Файлы различных форматов (XML, EDIFACT, DBF, TXT, электронные таблицы MS Excel и др.);
• Многомерные хранилища данных других поставщиков (при помощи поддерживаемой спецификации OLE DB for OLAP).

Управление нормативно - справочной информацией

Основные функции:

• Проектирование структуры нормативно-справочной информации «сверху вниз» и «снизу вверх» (от логической к физической модели и наоборот);
• Ведение иерархических и параметризованных справочников, в том числе зависящих от времени;
• Поддержка неограниченного количества атрибутов в справочнике, различных типов данных и связей между справочниками.

Визуализация  данных

Основные функции:

• Отображение данных в виде таблиц, графиков и диаграмм, электронных карт с возможностью управления детализацией данных (drill-down и roll-up);
• Создание отчетов произвольной структуры;
• Создание аналитических записок.

Рис. 2.4 Задача Визуализация данных

Экспресс-анализ данных

Основные функции:

• Одновременный OLAP-анализ данных из нескольких многомерных кубов;
• Оперативный статистический анализ данных;
• Экспорт данных во внешние файлы для последующего OLAP-анализа без подключения к базе данных.

Рис. 2.5 Задача Экспресс-анализ данных

Моделирование и  прогнозирование

Основные функции:

• Поддержка широкого класса методов моделирования, в том числе эконометрических, балансовых, оптимизационных, нейросетевых;
• Создание динамических моделей бизнес-процессов;
• Выполнение вариантных сценарных («Что будет, если…?») и целевых («Что необходимо для…?») прогнозных расчетов;
• Интеграция с многомерными хранилищами данных и инструментами оперативного анализа;
• Возможность расширения набора методов и моделей за счет подключения внешних библиотек.

Быстрая разработка приложений

Основные функции:

• Объектно-ориентированный язык программирования;
• Возможность расширения репозитория новыми специализированными типами и объектами метаданных;
• Программный интерфейс ко всем компонентам и функциям АК ПРОГНОЗ для быстрой разработки аналитических приложений.

Открытый интерфейс  для интеграции программного обеспечения

Основные функции:

• Доступ к компонентам и функциям комплекса из внешних приложений;
• Возможность интеграции программных продуктов и решений компании с программным обеспечением других поставщиков.

Организация WEB-доступа

Основные функции:

• Интеграция с корпоративными порталами;
• Организация доступа к данным и инструментам анализа через Internet/Intranet.

Администрирование и безопасность

Основные функции:

• Единая система безопасности для всех компонентов АК ПРОГНОЗ;
• Единая система аудита действий пользователей и протоколирования регламентных операций с данными;
• Встроенный планировщик задач.

АК ПРОГНОЗ построен на принципах открытой архитектуры  и использует COM-технологии для доступа ко всем объектам комплекса. Это допускает их использование во внешних приложениях, включая веб-приложения. В качестве источников данных может использоваться база данных клиента. Возможно и создание БД и ХД «с нуля». Комплекс поддерживает работу с национальными шрифтами (Unicode). Также АК ПРОГНОЗ допускает интеграцию с другими программными средствами и комплексами.

Преимущества

АК ПРОГНОЗ является полнофункциональной  программной платформой, обеспечивающей процесс разработки и функционирования информационно-аналитических систем и систем поддержки принятия решений  «от А до Я». В то время как аналогичные продукты многих компаний корректнее рассматривать как специализированные инструменты, обеспечивающие решение определенного круга задач, но не предназначенные для реализации полнофункциональных информационно-аналитических систем [3];

АК ПРОГНОЗ содержит в  себе программные средства, обеспечивающие все функционально-технологические  возможности, необходимые для создания и использования информационно-аналитических  приложений;

Инструментальные средства АК ПРОГНОЗ могут настраиваться  с учетом индивидуальных потребностей заказчика, применительно к конкретной решаемой задаче.

3. Deductor

BaseGroup Labs создана 22 ноября 1995 года в Рязани и первоначально занималась созданием заказного программного обеспечения. Начиная с 1999 года, компания сконцентрировала все свои ресурсы на разработке программных систем, предназначенных для анализа данных. Было выполнено множество проектов в этой области с российскими и зарубежными компаниями, пока со временем все эти разработки не трансформировались в аналитическую платформу Deductor [1].

Deductor – флагманский продукт BaseGroup Labs, концентрирующей опыт компании и вобравший в себя архитектурные идеи и современный математический аппарат.

Deductor является аналитической платформой, т.е. основой для создания законченных прикладных решений. Реализованные в Deductor технологии позволяют на базе единой архитектуры пройти все этапы построения аналитической системы: от создания хранилища данных до автоматического подбора моделей и визуализации полученных результатов.

Deductor предоставляет аналитикам инструментальные средства, необходимые для решения самых разнообразных аналитических задач: корпоративная отчетность, прогнозирование, сегментация, поиск закономерностей – эти и другие задачи, где применяются такие методики анализа, как OLAP, Knowledge Discovery in Databases и Data Mining. Deductor является идеальной платформой для создания систем поддержки принятия решений. [1]

Решаемые задачи

Реализованные в Deductor технологии могут использоваться как в комплексе, так и по отдельности для решения широкого спектра бизнес-проблем:

• Системы корпоративной отчетности. Готовое хранилище данных и гибкие механизмы предобработки, очистки, загрузки, визуализации позволяют быстро создавать законченные системы отчетности в сжатые сроки.
• Обработка нерегламентированных запросов. Конечный пользователь может с легкостью получить ответ на вопросы типа "Сколько было продаж товара по группам в Московскую область за прошлый год с разбивкой по месяцам?" и просмотреть результаты наиболее удобным для него способом.
• Анализ тенденций и закономерностей, планирование, ранжирование. Простота использования и интуитивно понятная модель данных позволяет вам проводить анализ по принципу "что-если", соотносить ваши гипотезы со сведениями, хранящимися в базе данных, находить аномальные значения, оценивать последствия принятия бизнес-решений.
• Прогнозирование. Построив модель на исторических примерах, вы можете использовать ее для прогнозирования ситуации в будущем. По мере изменения ситуации нет необходимости перестраивать все, необходимо всего лишь дообучить модель.
• Управление рисками. Реализованные в системе алгоритмы дают возможность достаточно точно определиться с тем, какие характеристики объектов и как влияют на риски, благодаря чему можно прогнозировать наступление рискового события и заблаговременно принимать необходимые меры к снижению размера возможных неблагоприятных последствий.
• Анализ данных маркетинговых и социологических исследований. Анализируя сведения о потребителях, можно определить, кто является вашим клиентом и почему. Как изменяются их пристрастия в зависимости от возраста, образования, социального положения, материального состояния и множества других показателей. Понимание этого будет способствовать правильному позиционированию ваших продуктов и стимулированию продаж.
• Диагностика. Механизмы анализа, имеющиеся в системе Deductor, с успехом применяются в медицинской диагностике и диагностике сложного оборудования. Например, можно построить модель на основе сведений об отказах. При ее помощи быстро локализовать проблемы и находить причины сбоев.
• Обнаружение объектов на основе нечетких критериев. Часто встречается ситуация, когда необходимо обнаружить объект, основываясь не на таких четких критериях, как стоимость, технические характеристики продукта, а на размытых формулировках, например, найти продукты, похожие на ваши с точки зрения потребителя.

Это только небольшой список решаемых задач. Фактически речь идет о любых задачах, где требуется  консолидировать данные, отобразить их различными способами, построить  модели и применить полученные модели к новым данным.

Состав системы

 Deductor состоит из пяти частей [1]:

Studio – аналитическое ядро платформы Deductor. Deductor Studio содержит полный набор механизмов импорта, обработки, визуализации и экспорта данных для быстрого и эффективного анализа информации.

Вся работа по анализу данных в Deductor Studio базируется на выполнении следующих действий:

• Импорт данных
• Обработка данных
• Визуализация
• Экспорт данных.

Все механизмы унифицированы  и выполняются при помощи мастеров [1].

Рис. 3.1 Мастер обработки

Отправной точкой для анализа  всегда является процедура импорта  данных. Полученный набор данных может  быть обработан любым из доступных  способов. Результатом обработки  также является набор данных, который  в свою очередь опять может  быть обработан. Результаты обработки  можно просмотреть множеством способов и экспортировать. Последовательность действий, которые необходимо провести для анализа данных является сценарием, который можно автоматически  выполнять на любых данных [1].

Рис. 3.2 Deductor Studio

Типовой сценарий обработки, например, для задачи прогнозирования  выглядит следующим образом [1]:

Рис. 3.3 Типовой сценарий обработки

Для того, чтобы начать анализ, необходимо получить табличные данные из стороннего источника. Природа источника данных значения не имеет. Deductor Studio поддерживает множество источников данных: хранилище данных Deductor Warehouse, промышленные СУБД, текстовые файлы, офисные приложения, 1C:Предприятие, ADO и ODBC источники и прочее. Использование Deductor Warehouse и виртуального хранилища данных как источника данных обеспечивает дополнительную функциональность, благодаря реализации мощного семантического слоя.

Следующим шагом является, собственно, обработка данных. Под  обработкой подразумевается любое  действие, связанное с преобразованием  данных, например, построение моделей  или очистка. Механизмы обработки  можно комбинировать произвольным образом. Доступны следующие: нейронные сети, деревья решений, самоорганизующиеся карты, ассоциативные правила, линейная регрессия, очистка данных (редактирование аномалий, заполнение пропусков, спектральный анализ), трансформация данных (преобразование дат, скользящее окно, дискретизация) и множество других.

Можно визуализировать как  конечные результаты обработки, так  и любой объект в сценарии. Программа самостоятельно анализирует, каким образом можно отобразить информацию, пользователь должен только выбрать нужный вариант: OLAP кубы (кросс-таблица, кросс-диаграмма), плоская таблица, диаграмма, гистограмма, статистика, анализ по принципу 'что-если', граф нейросети, иерархическая система правил, карты и прочее.

Завершающим шагом в сценарии обработки чаще всего является экспорт  данных. Результаты можно на любом  шаге обработки экспортировать для  последующего использования в других программах, например, учетных системах. Поддерживается множество форматов: хранилище данных Deductor Warehouse, Microsoft Excel, Microsoft Word, HTML, XML, dBase, текстовой файл с разделителями и прочее.

Viewer – рабочее место конечного пользователя. Позволяет отделить процесс построения сценариев от использования уже готовых моделей. Все сложные операции по подготовке сценариев обработки выполняются аналитиками-экспертами при помощи Deductor Studio, а Deductor Viewer обеспечивает пользователям простой способ работы с готовыми результатами, скрывает от них все сложности построения моделей и не предъявляет высоких требований к квалификации сотрудников

Рис. 3.4 Deductor Viewer

Warehouse – многомерное хранилище данных, аккумулирующее всю необходимую для анализа предметной области информацию. Использование единого хранилища позволяет обеспечить непротиворечивость данных, их централизованное хранение и автоматически обеспечивает всю необходимую поддержку процесса анализа данных.

Deductor Warehouse может строиться на базе одной из трех СУБД: Oracle, MS SQL или Firebird. Выбор информации из хранилища производится при помощи Мастера импорта: пользователь просто выбирает, какие данные из имеющейся в хранилище его интересуют, а система самостоятельно формирует специфичный для каждой СУБД SQL запрос. Работа с любой из баз данных происходит совершенно прозрачно для пользователя.

Рис. 3.5 Построение на базе одной из трех СУБД: Oracle, MS SQL или Firebird.

Server – служба, обеспечивающая удаленную аналитическую обработку данных. Позволяет автоматически обрабатывать данные и переобучать модели на сервере, оптимизирует выполнение сценариев за счет кэширования проектов и использования многопоточной обработки.

Deductor Server предоставляет удобный механизм отделения процесса построения моделей от их использования. Модели строятся аналитиком в интерактивном режиме при помощи приложения Deductor Studio, сервер же может применять построенные модели без каких-либо модификаций.

Рис. 3.6 Построение сценариев

Deductor Server функционирует как Windows служба. Доступ к серверу обеспечивается удаленно при помощи специальной бесплатно распространяемой библиотеки Deductor Client.

 Client – клиент доступа к Deductor Server. Обеспечивает доступ к серверу из сторонних приложений и управление его работой.

Рис. 3.7 Deductor Client

Взаимодействие с сервером может быть организовано как в локальной сети, так и через Интернет. Обмен и управление происходят по протоколу TCP/IP.

В удаленном режиме можно  выбрать и загрузить проект, передать параметры, "прогнать" данные, "переобучить" модели и прочее. Все операции могут  протоколироваться для последующего анализа администратором при  возникновении проблем. В сервер включены механизмы, автоматически восстанавливающие соединение с базами данных при их обрыве и отключения "зависших" сессий, что особенно актуально при удаленной работе [1].

Deductor Server поддерживает функцию протоколирования, позволяющую фиксировать ход выполнения работ, возникающих в процессе ошибки, анализировать причины возникновения ошибок и производительность системы. Настройка способа протоколирования может задаваться как в файле конфигурации, так и производиться удаленно. Монитор Deductor Server позволяет просматривать, а при необходимости отключать активные или "зависшие" сессии. Кроме того, в Deductor Server встроен планировщик заданий.

Рис. 3.8 Планировщик заданий.

Реализованная в Deductor архитектура позволяет добиться максимальной гибкости при создании законченного решения. Благодаря данной архитектуре можно собрать в одном аналитическом приложении все необходимые инструменты анализа и реализовать автоматическое выполнение подготовленного сценария.

Технологическая платформа  включает средства, позволяющие максимально  сократить время разработки, быстро создавать и выводить на рынок  новые прикладные решения и в  короткие сроки адаптировать их в  соответствии с изменяющимися требованиями предприятий. Возможности платформы  обеспечивают не только высокую скорость первоначальной разработки продукта, но и его быструю адаптацию  в дальнейшем.

Создание законченного решения  занимает очень мало времени. Достаточно получить данные, определить сценарий обработки и задать место для  экспорта полученных результатов. Наличие  мощного набора механизмов обработки  и визуализации позволяет двигаться  по шагам, от наиболее простых способов анализа к более мощным. Таким образом, первые результаты пользователь получает практически сразу, но при этом можно легко наращивать мощность решения.