OLAP – технологии как одни из наиболее эффективных методик анализа больших объемов данных

1. OLAP – технологии как одни из наиболее эффективных методик анализа больших объемов данных.

OLAP-технологии являются одной из наиболее эффективных методик анализа больших объемов данных. На российском рынке OLAP-решений для "1С" представлены продукты, различные по функциональности и по бюджету. Как подобрать OLAP-решение, которое оптимально подойдет для реализации поставленных задач? На что стоит обратить внимание? Чего остерегаться?

Если рассмотреть продукты, лидирующие на западных рынках учетных систем, то либо в их составе, либо в качестве отдельных продуктов присутствуют OLAP-модули. Достаточно вспомнить Oracle OLAP, SAP OLAP Processor, OLAP-решения для Axapta, Hyperion BI.

C архитектурной точки зрения  наиболее распространенным подходом  является разделение данных между двумя базами: транзакционной (OLTP – online transaction processing) и аналитической (OLAP). При этом OLTP-база оптимизируется под быстрое внесение данных, а OLAP-база – под быстрое построение сложной отчетности. Фактически OLAP-база обычно строится по специальной архитектуре и содержит предварительно просчитанные агрегатные данные, что и обеспечивает высокую скорость выполнения запросов. Платой за эти удобства становится необходимость синхронизировать OLTP и OLAP. Т.к. подобный процесс, как правило, периодичен, то между появлением данных в оперативной базе и аналитическими данными имеется запаздывание. Вполне нормальной является практика, когда в OLAP присутствуют данные "на вчера".

Различные базы OLAP могут использовать для своего анализа одни и те же аналитические программы. Это связано с тем, что любая OLAP-база универсальным образом описывается как набор некоторых аналитик и таблиц фактов, представляемых в виде многомерных кубов, осями которых являются значения аналитик, а агрегируемыми значениями – числовые значения количеств, сумм и т.п. Аналитические программы для анализа называются "OLAP-клиентами". Примером такой программы является Microsoft Excel, который отображает куб OLAP-базы в виде сводной таблицы. Работа с такой таблицей для пользователя происходит обычным образом, однако все вычисления для отображения делает аналитический сервер.

BI для платформы "1С:Предприятие""1С" изначально задумывалась как  несложная настраиваемая учетная  система для мелкого бизнеса, что во многом определило архитектуру ее построения как системы, совмещающей в себе функции фиксации бизнес-операций и генерации отчетности. Со временем рост учетных баз и расширение круга задач привели к тому, что элементы OLAP-подхода были встроены в платформу "1С:Предприятия". С точки зрения хранения данных, таким элементом являются регистры оперативного учета, накапливающие итоги по оборотам и хранящие промежуточные точки остатков. С точки зрения визуализации - это схема компоновки данных, дающая пользователю возможность работать с выборкой данных как многомерной таблицей.

Подобный подход оказался достаточно успешным для небольших баз, однако для крупных предприятий обернулся довольно значительными проблемами. Одна из них заключается в том, что высокая вычислительная сложность внесения данных серьезно удлиняет транзакции и вызывает взаимоблокировки, мешающие нормальному использованию системы. Например, подобные проблемы проявляются при расчете себестоимости товара, учитываемого по партиям. Кроме того, "1С" не удалось найти методику, которая бы сочетала быстрый доступ и универсальное хранение для регистров бухгалтерии. В результате оказалась низкой скорость выполнения запросов для планов счетов с большим числом субконто. По той же причине осталась нереализованной ролевая безопасность (РЛС) для субконто.

Что же касается схемы компоновки, то она, как и все Desktop OLAP-системы, требует жесткого ограничения объема анализируемых данных, т.к. они полностью передаются с сервера на клиента и после этого анализируются в памяти клиентского компьютера. Любое изменение аналитик анализа, например, желание развернуть складские продажи по группам товаров, не включенных изначально в запрос, требуют повторного запроса всех данных. Понятно, что скорость такого анализа на объемных базах невелика.

Построение серверного OLAP для "1С", так же, как и для западных систем, для крупных баз "1С" может оказаться весьма полезным выделение отдельной OLAP-базы для решения аналитических задач. Это снимает нагрузку с транзакционной базы "1С" и качественно улучшает возможности анализа, позволяя избегать ситуаций вроде "у меня есть хороший отчет, но он так долго работает, что я стараюсь обходиться без него".

Наибольший интерес к построению серверного OLAP для "1С" испытывают клиенты, которым объемы баз не позволяют быстро и качественно вести анализ данных. В частности, в эту категорию попадают компании розничной торговли, разного рода торговые сети, компании, использующие большое количество аналитик на планах счетов.

При создания серверных OLAP-систем для "1С", как правило, используется следующий подход. На первом этапе данные из "1С" извлекаются в так называемое SQL-хранилище и преобразуются в удобный для анализа вид. Здесь, как правило, возникают основные проблемы, связанные с тем, что "1С" использует систему автоматических названий объектов и их полей в SQL-базе, а также логические связи объектов, непонятные "извне".

На втором этапе по хранилищу данных строятся OLAP-кубы и настраиваются модели Data Mining. При этом могут использоваться OLAP-сервера различных поставщиков ПО.

На третьем этапе настраиваются клиентские средства доступа к аналитическим базам, разрабатывается отчетность, обеспечивается включение аналитических моделей в бизнес-процессы организации.

Сравнение OLAP-продуктов для "1С"*

Deduktor (Base Group) С.М.А.Р.Т. ("М-Лоджикс") BIX BI для 1С (BIX) "Инталев: Корпоративная аналитика для 1С" ("Инталев") Срок проекта*, кто осуществляет настройку 2-4 чел./мес., силами консультантов 4 дня (обучение) + 3 недели (настройка силами клиента) 1 месяц 1-5 чел./дней, силами клиента Стоимость сервера, руб. 290 000 1 800 000 1 000 000** 1 000 000** Стоимость ПО для настройки, руб. 29 000 1 800 000 1 000 000** 1 000 000** Стоимость клиентского места, руб. 8 700 1 800 000 7200*** 7200*** Стоимость консалтинга, руб. от 400 000 до 1 200 000 200 000 500 000 55 000.

Для того чтобы, сравнить данные продукты, компаниям было необходимо оценить возможность построения OLAP-базы для решения следующих задач:

1. Анализ продаж товаров (50 млн  записей в таблице),

2. Анализ складских запасов с детализацией до дней,3. Анализ данных бухгалтерии (30 млн записей в таблице проводок регистра бухгалтерии, количество аналитик 40) с возможностью построения оборотных и шахматных ведомостей. При этом мы потребовали возможность анализа по атрибутам и ролевой безопасности.

Еще одно условие - с базой должны работать 50 человек. Microsoft SQL Server Standard Edition на 50 пользователей Microsoft Office 2007 Standard Russian OLP NL Источник: "Абис Софт", 2009Разработка OLAP-решений для "1С", как правило, ведется либо ИТ-отделами крупных предприятий, либо путем привлечения фирм, специализирующихся в области обработки данных.Deduktor (Base Group)

Аналитическая платформа, состоящая из ряда компонентов (клиент, сервер, "конфигуратор Studio") и ориентированная на решение бизнес-задач с помощью методов Data Mining. Базируется на собственных разработках и собственном аналитическом движке. Особенностью продукта является возможность многоступенчатых преобразований информации, которые описываются в режиме конструктора. Произвольный OLAP-анализ не является основным направлением, но тоже присутствует. В большей степени продукт ориентирован на использование математических методов для решения таких задач, как прогнозирование продаж, оптимизация запасов, анализ клиентской базы. Также предлагаются отраслевые решения.

Для интеграции с "1С" продукт использует COM-адаптер. Т.к. эта технология работает медленно, на больших базах ее предлагается использовать для переноса изменений, а начальную выгрузку дополнительно настроить методами SQL.Отметим также, что данный продукт использует собственное клиентское ПО для построения отчетов и аналитических вычислений.

С.М.А.Р.Т. ("М-Лоджикс")С.М.А.Р.Т. (система многомерного анализа реляционных таблиц) - это другая известная аналитическая разработка. Продукт построен на основе собственного серверного и клиентского ПО, также он может работать по трехуровневой модели через web-модуль. Существует возможность создания автономных кубов.

Кроме OLAP в состав продукта входят модули: "Эконометрика", "Правило сочетаний", "Карты продаж", "Деревья принятия решений", "Генетические алгоритмы" и т.д. Направления использования традиционны для Data Mining: анализ клиентской базы, расчеты идеальных складских остатков, выявление тенденции продаж и т.д.

Продукт позиционируется как система для крупного бизнеса и имеет опыт интеграции с SAP, Oracle и другими системами. Что касается использования "1С" как источника данных, то специальных инструментов не предлагается, но заявлен опыт подобных работ.BIX BI для "1С" (BIX)

Фирма BIX предлагает комплексное решение на платформе Microsoft SQL Sever. Т.к. MS SQL Sever, как правило, и используется в качестве сервера для баз "1С", то может оказаться, что серверный OLAP-продукт у организации уже есть. Правда, он должен быть версии не ниже Standard, т.к. в младшие версии не входят службы Analysis Service.Продукт позволяет строить кубы на документах и их табличных частях, со справочниками и перечислениями в качестве аналитик. Для справочников могут выгружаться их атрибуты. Для работы с OLAP-кубами можно использовать Excel или любой другой OLAP-клиент. Кроме построения кубов, предлагается использовать средства MS SQL Reporting Service для генерации отчетности.

"Инталев: Корпоративная аналитика  для 1С" ("Инталев") Продукт "Инталев: Корпоративная аналитика для 1С" использует Microsoft SQL Server в качестве сервера OLAP. В принципе, данный продукт можно было бы назвать "1C OLAP для "чайников"", т.к. все настройки проводятся в режиме "1С:Предприятия" визуально и без программирования, а все стадии формирования OLAP-базы полностью автоматизированы.

В то же время возможности продукта достаточно широки: формируются кубы по документам, справочникам, регистрам накопления и регистрам бухгалтерии. Несколько таблиц факта могут быть собраны в один куб с общими измерениями, что позволяет делать их совместный анализ. Для измерений можно указать атрибуты анализа, как примитивных типов, так и ссылочные (реализуется топология "снежинка"). Для типовых конфигураций можно использовать готовые аналитические модели.

В продукте настраиваются роли и ограничения безопасности. Доступ настраивается пообъектно. Разрешения ролей объединяются. Это позволяет настроить, к примеру, доступ к бухгалтерским данным по разрешениям на субконто, чего не позволяет "1С".

После выполнения настроек пользователь запускает выгрузку данных и получает готовую OLAP-базу, с которой сразу могут работать пользователи. Продукт позволяет настроить автоматическую выгрузку по расписанию.

При выгрузке данных продукт формирует хранилище с понятными именами объектов, что позволяет использовать его как средство быстрой выгрузки из "1С" для интеграции с другими системами. 
Рекомендации по выбору продукта

Создание OLAP-контура для быстрого анализа данных "1С" сегодня уже не представляет проблем. Поэтому выбирать OLAP-продукт имеет смысл, исходя из требуемой функциональности, возможностей собственной ИТ-команды и допустимого бюджета.

Продукты от Base Group и "М-Лоджикс" стоит выбирать в тех случаях, когда недостаточно только OLAP-анализа и организация хочет использовать еще и наработки данных компаний в области Data Mining. Также данные продукты имеют механизмы консолидации разнородных источников, поэтому если существует желание построить корпоративное хранилище, объединяющее информацию из баз "1С 8.1", "1С 7.7" или, к примеру, баз Oracle – мы рекомендуем рассматривать среди прочих и эти продукты.

При выборе между Deductor и С.М.А.Р.Т. имеет смысл обратить внимание на разность подходов к внедрению продукта. В первом случае оно осуществляется консультантами поставщика OLAP, во втором – собственными сотрудниками после обучения.

Достоинством решений на платформе Microsoft (Bix BI и "Инталев: Корпоративная аналитика для 1С") является более простая интеграция с другими продуктами данного поставщика, например, с SharePoint, позволяющая создавать DashBoard с KPI, рассчитываемыми с помощью OLAP. При этом решение от Bix требует больших затрат на настройку, т.к. оно ближе к индивидуальному проекту.

Следует учесть, что если организация уже использует Microsoft SQL Server и Excel, то продукты от Bix и "Инталев" позволяют ограничиться только покупкой дополнительных лицензий для этих продуктов, сэкономив на серверном ПО.

19. Анализ и обзор рынка  систем автоматизации финансово  – экономического анализа.

Анализ финансового состояния является неотъемлемой частью бухгалтерского учета и интерпретации финансовой отчетности. Модули финансового анализа в том или ином виде входят в любую корпоративную информационную систему (КИС) и во многие бухгалтерские системы, ориентированные на средние и крупные предприятия. В настоящем разделе рассматриваются основные программы, рассчитанные на анализ финансового состояния по внешним данным, получаемым пользователем на бумаге или в промежуточном формате как текстовый файл. Как показывает практика, именно такие системы наиболее часто используются при подготовке финансового заключения.

Однако существуют препятствия на пути внедрения этих систем.

Причин тому довольно много. Кроме того очевидного факта, что КИСы установлены лишь на немногих предприятиях, есть ряд дополнительных факторов, ограничивающих использование встроенных систем финансового анализа.

1. Анализ часто проводится специалистами, не имеющими доступа к внутренней бухгалтерии предприятия (например, экспертами в банке или сотрудниками консалтинговой компании).
2. Встроенные аналитические инструменты, наоборот, зачастую ориентированы только на внутреннего пользователя и при подготовке финансового заключения для инвесторов оказываются неудобными или вообще неприменимыми.
3. При передаче документов между компаниями электронная форма представления часто оказывается неприемлемой (нужны оригиналы подписей, печатей и т.п.).

Ниже дается обзор основных программ, ориентированных на внешний финансовый анализ организации. Выбранная группа — это программы, рассчитывающие наборы финансовых показателей на основе данных открытой отчетности (баланс, отчет о финансовых результатах, иногда — приложение к балансу и отчет о движении денежных средств) и предоставляющие средства для анализа таких показателей. К их числу относятся программы:

АНАЛИТИК, АФСП. АДН. 1САФС (ИНЭК)1;

Audit Expert (Про-Инвест-Консалтинг);

Альт-Финансы (Альт);

ОЛИМП:ФинЭксперт (Росэкспертиза);

Корпоративный финансовый анализ (T-Consult);

Мастер финансов (Консультационная группа «Воронов и Максимов»);

АБФИ-предприятие (Вестона);

Analyser-Финансы (ProAct);

МаркетингМикс.

Общими функциями, которыми обеспечивают все системы, являются:

• ввод данных за несколько кварталов или лет;
• загрузка данных из систем бухгалтерского учета;
• расчет наборов из 30—100 финансовых показателей;
• преобразование баланса и сведение его к упрощенному, агрегированному виду;
• применение различных методов анализа динамики финансовых показателей;
• использование графиков и диаграмм.

Рассмотрим коротко каждую из названных программ, отметим их положительные стороны и недостатки.

Аналитик, АФСП, АДП, 1С:АФС

Разработчик — фирма «ИНЭК». Демоверсии и информация о программах могут быть получены на сайте разработчика.

Модификации системы: АФСП — другой продукт ИНЭК, построенный так же, как и Аналитик, но содержащий только анализ финансового состояния; 1С:АФС — вариант программы АФСП, распространяемый фирмой «1С» и имеющий жесткую привязку к Ю.Бухгалтерии; АДП — производственно-финансовый анализ состояния предприятия.

Аналитик представляет собой смешанный программный продукт, рассчитанный как на анализ текущего финансового состояния, так и на инвестиционный анализ. Это старейшая программа финансового анализа. Она выпускается примерно с 1991 г., имеет несколько тысяч пользователей, рекомендована Управлением по банкротству и т.д. С точки зрения финансового анализа это наиболее сильная система, в первую очередь по методическому наполнению.

Отдельно надо упомянуть о программе «АФСП-Professional». Если обычная версия АФСП работает как усеченный вариант Аналитика, без инвестиционного анализа, то профессиональная версия использует для анализа не данные внешней отчетности, а данные внутренних счетов баланса. Соответственно и анализ там несколько другой. Применимость такой системы без встраивания внутрь бухгалтерии несколько сомнительна (слишком много данных надо вносить), но наличие такой версии довольно интересно. Еще один пример такой системы — программа «Экономический анализ» фирмы «Скип» (в обзор она не вошла, поскольку ориентирована на внутренний анализ).

Audit Expert

Разработчик — компания «Про-Инвест-Консалтинг». Демоверсия и информация о программе могут быть получены на сайте разработчика.

Модификации системы Audit Expert Professional — версия для работы с группой взаимосвязанных предприятий — ранжированием и консолидированным балансом.

Audit Expert — самая молодая из всех систем. Она появилась на рынке в конце 1997 г. Построена программа в традициях Про-Инвест-Консалтинг как инструмент, а не набор методик. Вся аналитическая часть не входит в центральную часть программы, а описывается на встроенном языке скриптов. Это позволило разработчикам быстро выпустить модификации для всех стран СНГ, а пользователю дает возможность строить довольно изощренные наборы аналитических показателей. Однако при этом процесс анализа сводится к чисто вычислительным действиям. Свойственные другим программам рейтинги кредитоспособности и другие подобные показатели, предполагающие определение места предприятия в некой иерархии, реализованы слабо. По существу, возможность посчитать любой рейтинг есть, но вот возможности интерпретации результатов ограничены.

К достоинствам программы относятся:

• широкие возможности настройки системы, которые практически не отстают от возможностей электронной таблицы-формулы, произвольное оформление и т.д.;
• удобный интерфейс — любой график или таблица выводятся одним-двумя щелчками мыши;
• возможность переоценки финансовых показателей. Введенный баланс может подвергаться переоценке перед расчетом показателей.

Существенным недостатком программы является отсутствие методик, хотя с 2001 г. продукт значительно продвинулся в этом направлении.

Альт-Финансы

Разработчик — компания «Альт». Демоверсия и информация о программе могут быть получены на сайте разработчика.

Программа реализована в форме шаблона для Excel. В состав шаблона входит лист с таблицами исходных данных и результатов и около десятка листов с графиками. Набор финансовых показателей вполне достаточен и сделан на хорошем уровне. Никаких специальных сервисных средств нет.

Безусловными достоинствами программы являются:

• использование преимуществ Excel. Естественно, программа, построенная на Excel, получает все возможности этой электронной таблицы. Структура данных при работе с балансом и финансовыми показателями достаточно проста, поэтому дописывать собственную аналитику несложно;
• полный перевод на английский язык. Альт-Финансы — единственная программа, которая может полностью переводить все свои таблицы на английский. Для сравнения, Аналитик переводит только две таблицы из нескольких десятков, а Audit Expert — только стандартные отчеты (около 60%), исходные же таблицы переводит только Альт-Финансы.

В то же время в программе отсутствует дефлятор, хотя, как известно, для анализа динамики показателей, если только они не выражены в относительных единицах, нужно исключить влияние инфляции. Это может быть приведение к стабильной валюте или использование других дефляторов.

ОЛИМП:ФинЭксперт

Разработчик программы — компания «Росэкспертиза». Сайта нет.

Кратко, по впечатлению просмотра демоверсии можно сказать следующее: это шаблон для Excel примерно такого же уровня, как и Альт-Инвест. Есть нечто, напоминающее финансовое заключение в Аналитике.

Корпоративный финансовый анализ

Разработчик — фирма «T-Consult». Демоверсии и информация о программе могут быть получены на сайте разработчика.

Программа пока слишком молодая и несовершенная, но некоторые идеи уже сейчас выглядят продуманно реализованными и привлекательными. Самая удачная — возможность отсеивать при анализе несущественные строки финансовых отчетов, задавая «порог чувствительности» в процентах от валюты баланса или других подобных величин. Из привлекательных возможностей — экспорт отчетов не только в текстовый формат и базы данных, но и в графические файлы (bmp и wmf).

Мастер финансов

Разработчик — Консультационная группа «Воронов и Максимов». Демоверсия и информация о программе могут быть получены на сайте разработчика.

Программа реализована в форме шаблона для Excel. В состав шаблона входит лист с таблицами исходных данных и результатов и около десятка листов с графиками. Являясь одной из ветвей развития программы Альт-Финансы, она имеет с ней много общего. Основные отличия — более аккуратный дизайн форм, намного больше опций, а значит — красивые, аккуратные отчеты, что немаловажно при общении с инвестором. Использование многих опций оборачивается определенными недостатками: в программе легко заблудиться.

Положительным моментом является приближенность интерфейса к стилю настоящих программ, поскольку любая реализация программы на Excel носит отпечаток неправильно выбранного инструмента. Электронная таблица — не самая удачная среда для разработки крупных приложений. Но авторам Мастера финансов удалось избавиться от многих потенциальных проблем и сделать свой шаблон похожим на настоящую программу.

Поэтому явных претензий к программе не возникает, хотя интерфейс Excel все же дает о себе знать, и работать в таком формате с результатами анализа не слишком удобно.

АБФИ-предприятие

Разработчик — компания «Вестона». Демоверсии и информация о программах могут быть получены на сайте разработчика. Модификациями системы являются:

• АБФИ-банк — финансовый анализ банков, реализован на той же платформе;
• АБФИ-страховая компания — то же самое для страховых компаний.

АБФИ (расшифровывается как «Анализ банковской финансовой информации») изначально была создана как система финансового анализа для банков. В основе системы лежит программная среда, обеспечивающая наборы процедур отображения данных и предоставляющая язык описания методик. И язык, и служебные процедуры развиты очень хорошо и все упомянутые модификации представляют собой программы, написанные в этой специализированной среде.

Достоинствами программы служат следующие моменты:

• реализация АБФИ-предприятия может быть названа самой основательной методической разработкой из всех программ ее класса. Используемые показатели имеют достаточно сложную структуру, но хорошо проработаны для различных отраслей и выглядят вполне логично. Это одна из сильных сторон системы;
• другой ее особенностью является та платформа, на которой написана методика анализа. Пользователь получает те же возможности создания собственных модулей, что и разработчики. В большей или меньшей степени это делают и другие программы, но в АБФИ внутренний язык сделан наиболее удачно.

Он мощнее, чем средства настройки Audit Expert или Аналитика и лучше приспособлен для анализа, чем Excel Visual Basic, доступный в Альт-Финансы или Мастере финансов.

В то же время универсальность платформы имеет и недостатки. Как правило, чем универсальнее система, тем дальше она уходит в своем интерфейсе от главного назначения. Поэтому работать с ней неудобно. И даже мощная методика, реализованная в АБФИ, оставляет менее яркое впечатление, чем более простая, но жестко «влитая» в интерфейс методика Аналитика.

Учитывая все сказанное, АБФИ-предприятие можно рекомендовать в тех случаях, когда принципиальное значение играет правильно поставленная методика анализа, например, при необходимости проводить ранжирование многих предприятий (внутри холдинга или при отборе предприятий для финансирования банком). Для этих ситуаций, особенно учитывая грамотное технологическое решение, АБФИ подходит очень хорошо. При простом анализе отдельного предприятия, и по подходам к работе, и по возможностям программа занимает позицию где-то между Аналитиком и Audit Expert.

Analyser-Финансы

Разработчик — консалтинговая группа «ProAct». Демоверсия и информация о программе могут быть получены на сайте разработчика.

В целом идея программы сводится к тому, чтобы максимально детализированно отобразить исходные данные и все возможные финансовые показатели. Эта цель, несомненно, достигнута.

К сожалению, при таком обилии данных для анализа хороших инструментов для работы с ними нет. Нельзя даже выделить и скопировать в буфер часть таблицы, не говоря уже о сложных графических функциях, настраиваемых отчетах и т.п. Поэтому серьезным аналитическим инструментом программу считать нельзя. Скорее это именно максимально полный набор отчетов с возможностью быстрого переключения между ними и удобным инструментарием настройки.

МаркетингМикс

МаркетингМикс — это универсальный инструмент для разработки маркетингового плана. В состав продукта входят несколько основных компонентов: набор шаблонов для подготовки основного документа и расчета его отдельных блоков, набор методических материалов и информация о других программных продуктах, присутствующих на рынке.

Комплект шаблонов, выполненных в формате MS Office 97/2000/ХР, позволяет разработать полный маркетинговый план и провести расчет таких важных его элементов, как:

• анализ конкурентных преимуществ компании;

• SWOT-анализ;
• анализ Рост / Доля рынка (матрица BCG);
• анализ рыночной привлекательности (матрица GE);
• маркетинговый бюджет.