Интеллектуальные технологии и представление знаний

Интеллектуальные технологии и представление знаний

Интеллектуальные  системы и их разновидности 

Введение в  интеллектуальные технологии

• Интеллектуальные технологии – один из последних этапов развития аналитических технологий. Аналитическими называют технологии , которые на основе каких-либо моделей, алгоритмов, математических теорем позволяют по известным данным оценить значения неизвестных характеристик и параметров. Простейший пример аналитической технологии - теорема Пифагора, которая позволяет по длинам сторон прямоугольного треугольника  определить длину его третьей стороны. Эта технология основана на известной формуле с²=а²+b²
• . Другим примером аналитической технологии являются способы, с помощью которых обрабатывает информацию человеческий мозг.
• Аналитические технологии нужны в первую очередь людям, принимающим важные решения - руководителям, аналитикам, экспертам, консультантам.
• Как правило, для реальных задач бизнеса и производства не существует четких алгоритмов решения. Раньше руководители и эксперты решали такие задачи только на основе личного опыта. С помощью современных аналитических технологий строятся системы, позволяющие существенно повысить эффективность решений
• Как правило, для реальных задач бизнеса и производства не существует четких алгоритмов решения. Раньше руководители и эксперты решали такие задачи только на основе личного опыта. С помощью современных аналитических технологий строятся системы, позволяющие существенно повысить эффективность решений

Традиционные  технологии

• Детерминированные технологии
• Наиболее ранние  традиционные технологии – это детерминированные технологии. Было создано огромное количество формул, теорем и алгоритмов для решения классических задач - определения объемов, решения систем линейных уравнений, поиска корней многочленов. Разработаны сложные и эффективные методы для решения задач оптимального управления, решения дифференциальных уравнений и т.д. Все эти методы действуют по одной и той же схеме. Для того, чтобы алгоритм был применим, необходимо, чтобы данная задача полностью описывалась определенной детерминированной моделью (некоторым набором известных функций и параметров). В таком случае алгоритм дает точный ответ. Например, для применимости теоремы Пифагора следует проверить, что треугольник - прямоугольный.

Вероятностные технологии

• Но на практике часто встречаются задачи, связанные с наблюдением случайных величин - например, задача прогнозирования курса акций. Для подобных задач не удается построить детерминированные модели, поэтому применяется принципиально иной, вероятностный подход. Параметры вероятностных моделей - это распределения случайных величин, их средние значения, дисперсии и т.д. Как правило, эти параметры изначально неизвестны, а для их оценки используются статистические методы, применяемые к выборкам наблюдаемых значений (историческим данным).
• Но такого рода методы также предполагают, что известна некоторая вероятностная модель задачи. Например, в задаче прогнозирования курса можно предположить, что завтрашний курс акций зависит только от курса за последние два дня (авторегрессионная модель). Если это верно, то наблюдения курса в течение нескольких месяцев позволяют достаточно точно оценить коэффициенты этой зависимости и прогнозировать курс в будущем

Введение в интеллектуальные системы

• В последние десятилетия идет активное развитие аналитических систем нового типа. В их основе - технологии искусственного интеллекта, имитирующие природные процессы, такие как деятельность нейронов мозга или процесс естественного отбора.
• Наиболее популярными и проверенными из этих технологий являются нейронные сети и генетические алгоритмы, а также получившие широкое распространение байесовские сети доверия.. Первые коммерческие реализации на их основе появились в 80-х годах и получили широкое распространение в развитых странах

Нейронные сети - в каком-то смысле являются имитациями мозга, поэтому с их помощью успешно решаются разнообразные "нечеткие" задачи - распознавание образов, речи, рукописного текста, выявление закономерностей, классификация, прогнозирование. В таких задачах, где традиционные технологии бессильны, нейронные сети часто выступают как единственная эффективная методика решения

Генетические алгоритмы - это специальная технология для  поиска оптимальных решений, которая успешно применяется в различных областях науки и бизнеса. В этих алгоритмах используется идея естественного отбора среди живых организмов в природе, поэтому они называются генетическими. Генетические алгоритмы часто применяются совместно с нейронными сетями, позволяя создавать предельно гибкие, быстрые и эффективные инструменты анализа данных

Интеллектуальные системы и их разновидности

Проф. Поспелов Д.А. дал следующее, как он отметил, "рабочее" определение данного понятия: "система называется интеллектуальной, если в ней реализованы следующие основные функции:

 накапливать знания об окружающем систему мире, классифицировать их и оценивать их с точки зрения  прагматической полезности и непротиворечивости, инициировать процессы получения новых знаний, осуществлять соотнесение новых знаний с ранее хранимыми; пополнять поступившие знания с помощью логического вывода, отражающего закономерности в окружающем систему мире или в накопленных ею ранее знаниях, получать обобщенные знания на основе более частных знаний и логически планировать свою деятельность; общаться с человеком на языке, максимально приближенном к естественному человеческому языку (ЕЯ), и получать информацию от каналов, аналогичных тем, которые использует человек при восприятии окружающего мира, уметь формировать для себя или по просьбе человека (пользователя) объяснение собственной деятельности, оказывать пользователю помощь за счет тех знаний, которые хранятся в памяти, и тех логических средств рассуждений, которые присущи системе".

Введенные функции можно назвать функциями представления и обработки знаний, рассуждения и общения. Естественно, что в зависимости от назначения и области применения те или другие функции могут быть реализованы в конкретной системе в различной степени. Очевидно, что наряду с компонентами, обязательными для любой системы, имеются такие, наличие которых определяется конкретными задачами. Следовательно, характер задач может существенно повлиять на выбор архитектуры системы

В базе знаний (БЗ) сосредоточены те знания, которыми располагает система, а также необходимые средства преобразования знаний. Из рисунка видно, что знания различных типов хранятся в различных базах. Так, в базе фактов (данных) хранятся конкретные данные, в базе правил - элементарные выражения, называемые в теории искусственного интеллекта (ИИ) продукциями.

База процедур содержит прикладные программы, с помощью которых выполняются все необходимые преобразования и вычисления над данными. База закономерностей включает различные сведения, относящиеся к особенностям той среды, в которой действует система.

База метазнаний (база знаний о себе) содержит списки того, что хранится в данный момент в остальных базах: сведения о том, как внутри системы представляются единицы информации различного типа, как взаимодействуют различные компоненты системы, как было получено решение задачи, т.е. она хранит описание самой системы и способов ее функционирования.

В базе целей представлены целевые структуры, позволяющие организовать процессы движения от исходных фактов, правил, процедур к достижению той цели, которая поступила в систему от пользователя либо была сформулирована самой системой в процессе ее деятельности в проблемной среде. Такие целевые структуры в теории ИИ получили название сценариев.

Управление всеми базами, входящими в базу знаний, и организацию  их взаимодействия осуществляет монитор БЗ. С его же помощью реализуются связи БЗ с внешней средой. Таким образом, БЗ осуществляет первую функцию ИС.

Часть системы, называемая решателем, обеспечивает выполнение второй функции. Он также состоит из ряда блоков, управляемых монитором решателя. Часть из них реализует логический вывод. Блок дедуктивного вывода реализует в решателе дедуктивные рассуждения, с помощью которых на основе фактов из базы фактов и правил из базы правил выводятся новые факты.

Этот же блок реализует  поиск путей решения задачи по сценариям при заданной конечной цели (так называемые эвристические процедуры поиска решений задач). Для реализации рассуждений недедуктивного характера (поиск по аналогии, по прецеденту и пр.) используются блоки индуктивного и правдоподобного выводов. Блок планирования используется в задачах планирования решений (совместно с блоком дедуктивного вывода). Назначение блока функциональных преобразований состоит в решении задач расчетно-логического и алгоритмического типа

Третья  функция (функция общения) реализуется как с помощью естественно-языкового интерфейса, так и с помощью рецепторов и эффекторов, которые осуществляют так называемое невербальное общение и используются в интеллектуальных роботах.

Основные разновидности ИС: 1) Интеллектуальные информационно-поисковые системы или системы взаимодействия с проблемно-ориентированными (фактографическими) базами данных на естественном (точнее, ограниченном как грамматически, так и лексически) языке, или, иными словами, языке деловой прозы. Для них характерно использование помимо базы знаний, реализующей семантическую модель представления знаний о проблемной области, лингвистического процессора

Экспертные системы (ЭС) –  бурно развивающийся класс ИС. Данные системы в первую очередь  стали развиваться в математически  слабоформализованных областях науки и техники, таких, как медицина, геология, биология и др. Для них характерна аккумуляция в системе знаний и правил рассуждений опытных специалистов в данной предметной области, а также наличие специальной системы объяснений;

Расчетно-логические системы, позволяющие решать управленческие и проектные задачи по их постановкам (описаниям) и исходным данным вне зависимости от сложности математических моделей этих задач. При этом конечному пользователю предоставляется возможность контролировать в режиме диалога все стадии вычислительного процесса. В более общем случае по описанию проблемы на языке предметной области должны обеспечиваться автоматическое построение математической модели и автоматический синтез рабочих программ при формулировке функциональных задач из данной предметной области. Эти свойства реализуются благодаря наличию базы знаний в виде функциональной семантической сети и компонентов дедуктивного вывода и планирования.

В последнее  время в специальный класс  выделяются гибридные экспертные системы. Указанные системы должны вобрать в себя лучшие черты как экспертных, так и расчетно-логических и информационно-поисковых систем. Разработки в области гибридных экспертных систем находятся на начальном этапе. В последующих лекциях дадим более подробное описание систем выделенных классов.

К выделенным классам интеллектуальных систем можно добавить также Интеллектуальные системы распознавания ( Образов, сцен, дефектов и пр.), основанных на использовании искусственных нейронных сетей или байесовских сетях доверия.

Интеллектуальные системы  оптимизации, реализующие технологии эволюционных и генетических алгоритмов каждый биологический вид целенаправленно развивается и изменяется для того, чтобы наилучшим образом приспособиться к окружающей среде. Можно сказать, что эволюция - это процесс оптимизации всех живых организмов. Основной механизм эволюции - это естественный отбор. Основанный на генетических процедурах наследственности.

Архитектура интеллектуальных СПР

Естественно-языковые интерфейсы в системах искусственного интеллекта

В базах знаний и данных ЕЯИ решает задачу перевода естественно-языковых запросов в выражения формального  языка запросов базы данных.

   В экспертных системах  в идеальном случае обеспечивается  естественноязыковая связь между пользователем и ЭС при описании или постановке задачи пользователем;при объяснении системой ее собственных реакций при решении проблем (компонента объяснений); при обучении системы пользователем (компонента автоматического приобретения знаний).

Структура диалогового  процесса, обрабатывающего ЕЯ - языки

В качестве примера системы  информационно-логического типа с  естественно-языковым интерфейсом  рассмотрим принцип действия и структуру  вопросно-ответной системы FAS-80, приведенной  на рис.

ИЛС содержит два ЕЯИ: компонента (В) - синтаксически-семантический анализатор, и компонента (Ф), служащая для генерации  ЕЯ- выражений из семантического сетевого представления знаний. Целевой язык компоненты В и исходный язык компоненты Ф определяются набором средств, который служит для семантического представления знаний в вопросно-ответной системе [Хельбиг Т. Семантическое представление знаний в вопросно-ответной системе FAS-80// Представление знаний и моделирование процессов понимания.- Новосибирск: СО АН СССР.- 1980.-с.97-122]

На предыдущем слайде представлен естественно-языковый интерфейс NLI-AIDOS. Здесь

SZS - Формальный семантический  промежуточный язык;

ARS - Язык поисковых выражений 

OLAP –технологии и хранилища данных. На первых этапах автоматизации требовалось и требуется навести порядок именно в процессах повседневной рутинной обработки (переработки) данных, на что и ориентированны традиционные СОД. Более того, системы СППР являются в определенном смысле вторичными, по отношению к ним. Здесь возможна аналогия с производством. Любая продукция, прежде чем попасть на склад и быть отгружена потребителю, должна быть сначала произведена. И прежде чем заниматься анализом данных, необходимо эти данные иметь (произвести). А именно, это и является одной из функций СОД.

Однако за последние два-три  года ситуация существенно изменилась. И это непосредственно связано с тем, что практически в любой организации сложилась хорошо всем знакомая парадоксальная ситуация: - информация вроде бы, где-то и есть, её даже слишком много, но она не структурирована, не согласована, разрознена, не всегда достоверна, её практически невозможно найти и получить.

Именно на разрешение этого противоречия - отсутствие информации при ее наличии и даже избытке и нацелена концепция Хранилищ Данных (Data Warehouse). Но Хранилища Данных, хотя и наиболее популярная, далеко не единственная концепция построения аналитических систем. Не менее известны и другие концепции: Information Warehouse, Data Mart, и др.

Концепция хранилищ данных.

Сегодня СОД, реализованные на самой различной основе, исправно работают и при этом исправно порождают и пополняют многочисленные многотомные электронные архивы. Основное назначение таких систем - оперативная обработка и они не могут себе позволить роскошь хранить данные более чем за несколько месяцев. После того как данные устаревают, они выгружаются и вычищаются из оперативной БД.

В любой организации функционирует  несколько различных несвязанных или слабо связанных СОД, выгруженные из них данные, как правило, имеют различную структуру, формат, стандарты представления дат и денежных величин. Для обозначения одних и тех же объектов, используются различные кодировки. Как правило, в них, в явном виде отсутствуют реквизиты, идентифицирующие временной срез, которому они соответствуют и источники их получения.

Данные, порожденные в результате функционирования корпоративных СОД - это только часть информации необходимой для принятия корректного бизнес решения. Организация живет и функционирует в реальном мире. Включение в аналитическую систему данных из различных электронных статистических сборников (как общедоступных, так и коммерческих), прогнозов развития регионов и областей экономики, законодательной базы, позволяет по новому взглянуть на многие закономерности, выявленные в процессе анализа внутренних данных.

Автором концепции Хранилищ Данных (Data Warehouse) является Б.Инмон, который определил Хранилища Данных как: “предметно ориентированные, интегрированные, неизменчивые, поддерживающие хронологию наборы данных, организованные для целей поддержки управления”, призванные выступать в роли “единого и единственного источника истины” обеспечивающего менеджеров и аналитиков достоверной информацией необходимой для оперативного анализа и принятия решений.

В основе концепции Хранилищ Данных лежат две основополагающие идеи:

• Интеграция ранее разъединенных детализированных данных, таких как 

• исторические архивы,
• данные из традиционных СОД,
• данные из внешних источников

• в едином Хранилище Данных, их согласование и возможно агрегация.

• Разделение наборов данных, используемых для оперативной обработки и наборов данных используемых для решения задач анализа.

Основные требования к данным в Хранилище Данных:

• Предметная ориентированность
• Интегрированность
• Неизменчивость
• Поддержка хронологии

Для правильного понимания  данной концепции необходимо понимание  следующих принципиальных моментов:

• Концепция Хранилищ Данных - это не концепция анализа данных, скорее это концепция подготовки данных для анализа.
• Концепция Хранилищ Данных не предопределяет архитектуру целевой аналитической системы. Она говорит о том, какие процессы должны выполняться в системе, но не о том, где конкретно и как эти процессы должны выполняться.
• Концепция Хранилищ Данных предполагает не просто единый логический взгляд на данные организации (как иногда это трактуется). Она предполагает реализацию единого интегрированного источника данных.

Без поддержки хронологии (наличия исторических данных) нельзя говорить о решении задач прогнозирования  и анализа тенденций. Но наиболее критичными и болезненными оказываются  вопросы, связанные с согласованием  данных. Основным требованием аналитика является даже не столько оперативность, сколько достоверность ответа. Но достоверность, в конечном счете, и определяется согласованностью.

OLAP –технологии

Термин OLAP (или FASMI - быстрый анализ распределенной многомерной информации) обозначает методы, которые дают возможность пользователям многомерных баз данных в реальном времени генерировать описательные и сравнительные сводки ("views") данных и получать ответы на различные другие аналитические запросы. Обратите внимание, что несмотря на свое название, этот метод не подразумевает интерактивную обработку данных (в режиме реального времени); он означает процесс анализа многомерных баз данных (которые, в частности, могут содержать и динамически обновляемую информацию) путем составления эффективных "многомерных" запросов к данным различных типов. Хотя методы добычи данных можно применять к любой, предварительно не обработанной и даже неструктурированной информации, их можно также использовать для анализа данных и отчетов, полученных средствами OLAP, с целью более углубленного исследования, как правило, в более высоких размерностях. В этом смысле методы добычи данных можно рассматривать как альтернативный аналитический подход (служащий иным целям, нежели OLAP) или как аналитическое расширение систем OLAP.

Средства OLAP могут быть встроены в корпоративные (масштаба предприятия) системы баз данных и позволяют аналитикам и менеджерам следить за ходом и результативностью своего бизнеса или рынка в целом (например, за различными сторонами производственного процесса или количеством и категориями совершенных сделок по разным регионам). Анализ, проводимый методами OLAP может быть как простым (например, таблицы частот, описательные статистики, простые таблицы), так и достаточно сложным (например, он может включать сезонные поправки, удаление выбросов и другие способы очистки данных).

В основе концепции OLAP лежит  принцип многомерного представления  данных. В 1993 году в статье [11] E. F. Codd рассмотрел недостатки реляционной модели, в первую очередь указав на невозможность «объединять, просматривать и анализировать данные с точки зрения множественности измерений, то есть самым понятным для корпоративных аналитиков способом».

Требования к  средствам оперативной аналитической  обработки. Кодд определил 12 правил, которым должен удовлетворять программный продукт класса OLAP :

• 1.Многомерное концептуальное представление данных (Multi-Dimensional Conceptual View): концептуальное представление модели данных в продукте OLAP должно быть многомерным по своей природе, то есть позволять аналитикам выполнять интуитивные операции "анализа вдоль и поперек" ("slice and dice"), вращения (rotate) и размещения (pivot) направлений консолидации.
• 2.Прозрачность (Transparency): Пользователь не должен знать о том, какие конкретные средства используются для хранения и обработки данных, как данные организованы и откуда берутся.
• 3.Доступность (Accessibility):

Аналитик должен иметь  возможность выполнять анализ в  рамках общей концептуальной схемы, но при этом данные могут оставаться под управлением оставшихся от старого наследства СУБД, будучи при этом привязанными к общей аналитической модели. Инструментарий OLAP должен накладывать свою логическую схему на физические массивы данных, выполняя все преобразования, требующиеся для обеспечения единого, согласованного и целостного взгляда пользователя на информацию.

• 4.Устойчивая производительность (Consistent Reporting Performance): с увеличением числа измерений и размеров базы данных аналитики не должны столкнуться с каким бы то ни было уменьшением производительности. Устойчивая производительность необходима для поддержания простоты использования и свободы от усложнений, которые требуются для доведения OLAP до конечного пользователя
• 5. Клиент - серверная архитектура (Client-Server Architecture):

большая часть данных, требующих  оперативной аналитической обработки, хранится в мэйнфреймовых системах, а извлекается с персональных компьютеров. Поэтому одним из требований является способность продуктов OLAP работать в среде клиент-сервер. Главной идеей  является способность серверного компонента инструмента OLAP быть достаточно интеллектуальным и уметь строить общую концептуальную схему на основе обобщения и консолидации различных логических и физических схем корпоративных баз данных для обеспечения эффекта прозрачности.

• 6.Равноправие измерений (Generic Dimensionality):

все измерения данных должны быть равноправны. Дополнительные характеристики могут быть предоставлены отдельным  измерениям, но поскольку все они симметричны, данная дополнительная функциональность может быть предоставлена любому измерению.

Базовая структура данных, формулы и форматы отчетов  не должны опираться на какое-то одно измерение.

• 7.Динамическая обработка разреженных матриц (Dynamic Sparse Matrix Handling):

инструмент OLAP должен обеспечивать оптимальную обработку разреженных  матриц. Скорость доступа должна сохраняться  вне зависимости от расположения ячеек данных и быть постоянной величиной  для  различных моделей.

• 8.Поддержка многопользовательского  режима (Multi-User Support):

зачастую несколько аналитиков имеют необходимость работать одновременно с одной аналитической моделью  или создавать различные модели на основе одних корпоративных данных. Инструмент OLAP должен предоставлять им конкурентный доступ, обеспечивать целостность и защиту данных.

• 9.Неограниченная поддержка кроссмерных операций (Unrestricted Cross-dimensional Operations): вычисления и манипуляция данными по любому числу измерений не должны запрещать или ограничивать любые отношения между ячейками данных. Преобразования, требующие произвольного определения, должны задаваться на функционально полном формульном языке.
• 10.Интуитивное манипулирование данными (Intuitive Data Manipulation): переориентация направлений консолидации, детализация данных в колонках и строках, агрегация и другие манипуляции, свойственные структуре иерархии направлений консолидации, должны выполняться в максимально удобном, естественном и комфортном пользовательском интерфейсе.
• 11.Гибкий механизм генерации отчетов (Flexible Reporting): Должны поддерживаться различные способы визуализации данных, то есть отчеты должны представляться в любой возможной ориентации
• 12.Неограниченное количество измерений и уровней агрегации (Unlimited Dimensions and Aggregation Levels): настоятельно рекомендуется допущение в каждом серьезном OLAP инструменте как минимум пятнадцати, а лучше двадцати, измерений в аналитической модели.

каждое из этих измерений  должно допускать практически неограниченное количество определенных пользователем  уровней агрегации по любому направлению  консолидации.

Классификация продуктов OLAP по способу представления данных . Все продукты OLAP делятся на три класса по типу исходной БД :

• Многомерный OLAP (MOLAP) ;
• Реляционный OLAP (ROLAP) ;
• Гибридные системы (Hybrid OLAP, HOLAP)

Структуры данных в хранилище

Схема звезды является практически реляционным воплощением многомерного представления данных — основы OLAP. Такая модель наиболее адекватна представлениям о предметной области, которыми оперирует пользователь ИСАД — аналитик или управленец. Пространственная модель описывает данные о предметной области как n-мерный метакуб или n-мерную таблицу. В ячейках метакуба находятся количественные показатели (меры). Каждая ячейка описывается рядом атрибутов, образующих оси координат (измерения).

Модель данных состоит  из двух типов таблиц: одной таблицы  фактов (fact table) - центр “звезды” - и нескольких таблиц измерений (dimension table) по числу измерений в модели данных - лучи “звезды”.

Таблица фактов обычно содержит одну или несколько колонок типа DECIMAL, дающих числовую характеристику какому-то аспекту деятельности компании (например, объем продаж для торговой компании или сумма платежей для банка), и несколько целочисленных колонок-ключей для доступа к таблицам измерений.

Таблицы измерений расшифровывают ключи, на которые ссылается таблица  фактов; например, таблица “products” измерения “товары” может содержать сведения о названии товара, его производителе, типе товара. За счет использования специальной структуры таблицы измерений реализуется иерархия измерений, в том числе ветвящаяся.

Структуры данных в хранилище. Пример организации типа «звезда»:

Интеллектуальный анализ данных (ИАД) обычно определяют как  метод поддержки принятия решений, основанный на анализе зависимостей между данными. Процессы ИАД подразделяются на три большие группы: поиск зависимостей (discovery), прогнозирование (predictive modelling) и анализ аномалий (forensic analysis). Поиск зависимостей состоит в просмотре базы данных с целью автоматического выявления зависимостей. Проблема здесь заключается в отборе действительно важных зависимостей из огромного числа существующих в БД. Прогнозирование предполагает, что пользователь может предъявить системе записи с незаполненными полями и запросить недостающие значения. Система сама анализирует содержимое базы и делает правдоподобное предсказание относительно этих значений.

Анализ аномалий - это процесс поиска подозрительных данных, сильно отклоняющихся от устойчивых зависимостей. ИАД не имеет собственного матаппарата. В системах ИАД применяется чрезвычайно широкий спектр математических, логических и статистических методов: от анализа деревьев решений (Business Objects) до нейронных сетей (NeoVista).

Интеллектуальный анализ данных

Одним из эффективных инструментов ИАД являются экспертные системы.

Правила в базе правил, вырабатываются экспертным путем на основе опыта  в решении задач высококвалифицированными специалистами и представляются в формализме продукционной системы –в виде правил – продукций