Информационные хранилища

Федеральное государственное  бюджетное образовательное учреждение

высшего профессионального  образования

 «Чувашский государственный  университет им. И.Н. Ульянова»

Экономический факультет

Кафедра информационных систем

 

 

КУРСОВАЯ РАБОТА

по дисциплине «Базы  данных»

на тему:

«Информационные хранилища»

 

 

 

 

 

 

 

 

Выполнила: студентка 2 курса

группы ЭК-51-10

Николаева М.С.

Научный руководитель:

доц., к.э.н., Митрофанов Е.П.

 

 

 

 

Чебоксары, 2011

СОДЕРЖАНИЕ

 

Введение……………………………………………………………….…………..3

Глава 1. Общие теоретические сведения об информационных хранилищах…5

1.1. Назначение информационного хранилища………………...…………….5

1.2. Свойства информационного хранилища……………………….………...6

1.3. Компоненты информационного хранилища……………………………..8

Глава 2. Проблемы, их решение и реализация информационных хранилищ..10

2.1. Проблемы разработки  и эксплуатации……………………………….....10

2.2. Подходы решения проблем……………………….……………………..14

2.3. Реализация информационных хранилищ…...…………………………..17

Глава 3. Проектирование базы данных рекламного агентства……………….19

3.1. Описание предметной области…………...……………………………..19

3.2. Проектирование базы данных методом нормальных форм…………...22

3.3. Проектирование базы данных методом «сущность–связь»…………...24

Глава 4. Реализация базы данных в среде СУБД MS Access…………………29

4.1. Создание таблиц………………………………………………………….29

4.2. Создание запросов и отчетов……………………………………………30

4.3. Создание форм, макросов и модуля…...……………………………..…32

Заключение………………………………………………………………………35

Список использованной литературы…………………………………………...36

Приложения...……………………………………………………………………38

 

Введение

Данная тема курсовой является актуальной, так как в  наше время необходимы программы, которые  будут полностью автоматизированы.

Информационные хранилища  позволяют собрать в едином месте  всю информацию, которая может понадобиться управляющему при принятии решения. Источниками данных для информационного хранилища служат в первую очередь данные из разрозненных транзакционных и учетных информационных систем, основанных на различных реляционных СУБД, которые обслуживают повседневную бизнес-деятельность. Источниками необходимой информации могут быть также газеты, радио, телевидение, интернет и любые другие. При этом предполагается, что данные предварительно должны быть приведены к единым стандартам, очищены от противоречий, структурированы и обобщены с требуемым уровнем детализации.

Информационные хранилища  служат исключительно для обработки  и анализа информации, поэтому  проектируются они таким образом, чтобы время выполнения запросов к ним было минимальным.

Изучением информационных хранилищ занимались многие исследователи.

Среди отечественных  ученных эту тему затрагивали  в своих работах: С. Я. Архипенкова, B.C. Белова, Д. В. Голубева, В. И. Грекула,                         Г. Н. Денищенко, Н. T. Коровкиной, О. Б. Максименко, Г. Н. Смирновой,   Ю. Ф. Тельнова, В. Чадаева, И. Шеметовой.

Большой вклад в развитии теории информационных хранилищ внесли зарубежные исследователи: Б. Девлин, У. Инмон, Р. Кимпбалл, М. Росс, Э. Спирли.

Объектом данной курсовой работы создание базы данных рекламного агентства для целей обоснованного принятия решений и построения управленческой и обязательной отчетности.

Предметом курсовой работы является автоматизация работы фирмы  и ведения бизнеса при помощи СУБД Microsoft Access.

Целью теоретической части курсовой работы является раскрытие предназначения информационных хранилищ.

  В ходе работы  в теоретической части мы ставим перед собой такие задачи:

• Изучение общих теоретических сведений об информационных хранилищах.
• Анализ свойств и компонентов информационного хранилища.
• Ознакомление с понятием интеграции данных.

Целью практической части  курсовой работы является освоение методов  проектирования баз данных в среде  СУБД Microsoft Access и реализация проекта.

Задачи практической части курсовой работы:

• Освоение основ работы с Microsoft Access.
• Проектирование базы данных различными методами.
• Реализация базы данных в Microsoft Access.

В этой работе используются такие методы как «сущность-связь» и метод нормальных форм.

 Для достижения наших целей мы использовали литературу следующих авторов:  А.Д. Хомоненко, Э.В. Фуфаева, Т.С. Карповой, В.И. Швецова и других.

 

Глава 1. Общие теоретические  сведения об информационных хранилищах

1.1. Назначение  информационного хранилища

Информационное хранилище (Data Warehousing) — это место хранения данных предприятия, предназначенное для упрощения принятия управленческих решений. Информационное хранилище включает в себя не только данные, но также инструменты, процедуры, обучение, персонал и другие ресурсы, облегчающие доступ к данным и делающие его более осмысленным для лиц, принимающих решения. Назначение информационного хранилища состоит в увеличении ценности информационных активов предприятия.

Роль информационного  хранилища заключается в том, чтобы хранить выдержки из рабочих данных и выдавать их пользователям в удобном формате. Это могут быть как выдержки из базы данных и файлов, так и отсканированные образы документов, записи, фотографии и другие данные. Информационные хранилища служат для хранения, комбинирования, агрегирования, преобразования и доставки данных пользователям с помощью средств анализа и принятия решений, таких как OLAP.

Информационное хранилище  считается новым этапом представления  данных в рамках современных бизнес-процессов. Концепция информационных хранилищ предложена в 1990 году Уильямом Инмоном. По Инмону информационное хранилище – есть предметно-ориентированный, интегрированный, неизменный, поддерживающий хронологию набор данных, предназначенный для поддержки принятия решений. В этом определении соединены две различные функции:

• сбор, организация, подготовка данных для анализа в виде постоянно наращиваемой базы данных;
• анализ, как элемент принятия решений.

Назначение информационного  хранилища заключается в следующем:

• интеграция данных в масштабе бизнес-процессов;
• функционально-стоимостной анализ эффективности бизнес-процессов;
• сложные аналитические запросы в разрезах: виды услуг, клиенты, регионы, технологии;
• анализ данных в динамике и в сравнении с показателями отрасли.

Основная цель информационного хранилища – сделать все значимые для управления бизнесом данные доступными в стандартизованной форме, пригодными для анализа и получения необходимых отчетов.

 

1.2. Свойства  информационного хранилища

Уильям Инмон дал  классическое определение информационного хранилища в 1990 г. Он охарактеризовал его как специальным образом администрируемую базу данных, содержимое которой имеет следующие свойства:

• Предметная ориентация
• Интегрированность данных
• Инвариантность во времени
• Неразрушаемость – cтабильность информации
• Минимизация избыточности информации

Предметная ориентация. В отличие от базы данных в традиционных OLTP-системах, где данные подобраны в соответствии с конкретными приложениями, информация в информационном хранилище ориентирована на задачи поддержки принятия решений. Для системы поддержки принятия решений требуются «исторические» данные – факты продаж за определенные интервалы времени. Хорошо спроектированные структуры данных информационного хранилища отражают развитие всех направлений бизнеса компании во времени.

Интегрированность данных. Данные в информационное хранилище поступают из различных источников, где они могут иметь разные имена, атрибуты, единицы измерения и способы кодировки. После загрузки в DW данные очищаются от индивидуальных признаков, т. е. как бы приводятся к общему знаменателю. С этого момента они представляются пользователю в виде единого информационного пространства.

Инвариантность во времени. В OLTP-системах истинность данных гарантирована только в момент чтения, поскольку уже в следующее мгновение они могут измениться в результате очередной транзакции. Важным отличием информационных хранилищ от OLTP-систем является то, что данные в них сохраняют свою истинность в любой момент процесса чтения.

В OLTP-системах информация часто модифицируется как результат выполнения каких-либо транзакций. Временная инвариантность данных в информационном хранилище достигается за счет введения полей с атрибутом «время» (день, неделя, месяц) в ключи таблиц. В результате записи в таблицах информационные хранилища никогда не изменяются, представляя собой снимки данных, сделанные в определенные отрезки времени.

Неразрушаемость – cтабильность  информации. В OLTP-системах записи могут регулярно добавляться, удаляться и редактироваться. В DW-системах, как следует из требования временной инвариантности, однажды загруженные данные теоретически никогда не меняются. По отношению к ним возможны только две операции: начальная загрузка и чтение (доступ). Это и определяет специфику проектирования структуры базы данных для информационных хранилищ. Если при создании OLTP-систем разработчики должны учитывать такие моменты, как откаты транзакций после сбоя сервера, борьба с взаимными блокировками процессов (deadlocks), сохранение целостности данных, то для DW данные проблемы не столь актуальны – перед разработчиками стоят другие задачи, связанные, например, с обеспечением высокой скорости доступа к данным.

Минимизация избыточности информации. Поскольку информация в информационное хранилище загружается из OLTP-систем, возникает вопрос, не ведет ли это к чрезмерной избыточности данных? Нет, утверждает Билл Инмон. На самом деле избыточность минимальна (около 1%).

 

1.3. Компоненты информационного хранилища

Источником данных для  информационного хранилища служит рабочая база данных. Следовательно, в информационном хранилище должны быть средства для извлечения и хранения данных.

К компонентам информационного  хранилища относятся:

• ПО промежуточного слоя
• СУБД и OLAP-серверы информационного хранилища
• Транзакционные базы данных и внешние источники информации
• Уровень доступа к данным
• Загрузка и предварительная обработка
• Информационное хранилище
• Метаданные
• Уровень информационного доступа
• Уровень управления (администрирования)

Рассмотрим каждый компонент  информационного хранилища в отдельности:

ПО промежуточного слоя обеспечивает сетевой доступ и доступ к базам данных. Сюда относятся сетевые и коммуникационные протоколы, драйверы, системы обмена сообщениями и пр.

СУБД и OLAP-серверы информационного хранилища. Потенциально информационное хранилище содержит миллиарды байтов данных во множестве различных форматов. Для хранения и обработки данных можно использовать разные СУБД и OLAP-продукты, их возможности и функции могут быть расширены путем разработки дополнительного программного обеспечения, обеспечивающего переформатирование, агрегирование, интеграцию и передачу данных от одного процессора информационного хранилища другому.

Транзакционные базы данных и внешние источники информации. Базы данных OLTP-систем исторически предназначались для эффективной обработки структур данных в относительно небольшом числе четко определенных транзакций. Из-за ограниченной целевой направленности «учетных» систем применяемые в них структуры данных плохо подходят для систем поддержки принятия решений.

Уровень доступа к  данным. Относящееся сюда ПО обеспечивает общение конечных пользователей с информационным хранилищем и загрузку требуемых данных из транзакционных систем. В настоящее время универсальным языком общения служит язык структурированных запросов (SQL).

Загрузка и предварительная  обработка. Этот уровень включает в себя набор средств для загрузки данных из OLTP-систем и внешних источников. Выполняется в сочетании с дополнительной обработкой: проверкой данных на чистоту, консолидацией, форматированием, фильтрацией и пр.

Информационное хранилище представляет собой ядро всей системы – один или несколько серверов базы данных.

Метаданные играют роль справочника, содержащего сведения об источниках первичных данных, алгоритмах обработки, которым исходные данные были подвергнуты, и т.д.

Уровень информационного  доступа обеспечивает непосредственное общение пользователя с данным информационным хранилищем посредством стандартных систем манипулирования, анализа и предоставления данных типа MS Excel, MS Access, Lotus 1-2-3 и др.

Уровень управления (администрирования) отслеживает выполнение процедур, необходимых для обновления информационного хранилища или поддержания его состояния. Здесь программируются процедуры подкачки данных, перестройки индексов, выполнения итоговых (суммирующих) расчетов, репликации данных, построения отчетов, формирования сообщений пользователям, контроля целостности и др.

 

Глава 2. Проблемы, их решение и реализация информационных хранилищ

2.1. Проблемы разработки и эксплуатации

До сих пор мы идеализировали информационные хранилища, в результате чего о них могло возникнуть впечатление  как о панацее для принятия управленческих решений. На деле же реализация описанных нами возможностей является весьма сложной задачей. В этой связи существует несколько важных проблем, которые предстоит решить.

Несогласованность данных. Если информационное хранилище предоставляет недостоверные данные, то ясно, что такое хранилище является бесполезным, если не вредным. Дело заключается не только в качестве данных, которые информационное хранилище извлекает из своих источников. Информация из источника данных может быть достоверной на момент извлечения, но при объединении между собой данных, не согласованных по времени или типу (домену), можно нечаянно внести ошибки.

Для решения этой проблемы должны создаваться метаданные, описывающие  временные характеристики и домены исходных данных. Эти метаданные должны быть легко доступными для пользователей  информационного хранилища, а пользователей необходимо научить уделять серьезное внимание этим вопросам.

Для решения этой проблемы должны создаваться метаданные, описывающие  временные характеристики и домены исходных данных. Эти метаданные должны быть легко доступными для пользователей  информационного хранилища, а пользователей необходимо научить уделять серьезное внимание этим вопросам.

Интеграция данных является серьезной проблемой, связанной с информационными хранилищами. Модели различных продуктов и категорий продуктов, как правило, различаются. СУБД оперируют таблицами, средства OLAP — кубами, программы обработки электронных таблиц — электронными таблицами, пакеты финансового планирования — планами и т.д. В результате пользовательские интерфейсы этих продуктов оказываются непохожими. Обучение пользователей работе с нескольким продуктами, принадлежащими к различным категориям, может потребовать существенных затрат, и зачастую у самих пользователей на это нет ни времени, ни желания.

Проблема интеграции данных включает в себя следующие  проблемы реализации информационного хранилища:

• Неоднородность программной среды
• Распределенный характер организации
• Повышенные требования к безопасности данных
• Необходимость наличия многоуровневых справочников метаданных
• Потребность в эффективном хранении и обработке очень больших объемов информации

Неоднородность программной  среды. Информационное хранилище практически никогда не создается на пустом месте. Почти всегда конечное решение будет разнородным, т.е. в нем будут использоваться автономно разработанные программные средства. Прежде всего это касается формирования интегрированного согласованного набора данных, которые могут поступать из разнородных баз данных, электронных архивов, публичных и коммерческих электронных каталогов, справочников, статистических сборников. При построении хранилища данных приходится решать задачу построения единой, согласованно функционирующей информационной системы на основе неоднородных программных средств и решений. При выборе средств реализации хранилища данных приходится учитывать множество факторов, включающих уровень совместимости различных программных компонентов, легкость их освоения и использования, эффективность функционирования и т.д.

Распределенный характер организации. В концепции хранилища данных предопределено то, что операционная аналитическая обработка может выполняться в любом узле сети независимо от места расположения основного хранилища. Хотя при аналитической обработке данные только читаются, и потребность в синхронизации отсутствует, для достижения эффективности необходимо поддерживать репликацию данных в разных узлах сети.

Повышение требований к  безопасности данных. Собранная вместе согласованная информация об истории развития корпорации, ее успехах и неудачах, о взаимоотношениях с поставщиками и заказчиками, об истории и состоянии рынка дает возможность анализа прошлой и текущей деятельности корпорации и построения прогнозов для будущего. Эта информация настолько ценна для корпорации, что нельзя допустить возможности ее утечки (на самом деле, если хранилище данных одной корпорации попадет в руки аналитиков другой корпорации, то все аналитические прогнозы первой корпорации сразу станут неверными). В системах, основанных на информационных хранилищах, оказывается недостаточной защита данных в стиле языка SQL, которую обеспечивают обычные коммерческие СУБД. Для обеспечения должного уровня защиты доступ к данным должен контролироваться не только на уровне таблиц и их столбцов, но и на уровне отдельных строк. Приходится также решать вопросы аутентификации пользователей, защиты данных при их перемещении в хранилище данных из оперативных баз данных и внешних источников, защиты данных при их передаче по сети.

Необходимость наличия  многоуровневых справочников метаданных. Если роль метаданных (обычно содержащихся в таблицах-каталогах) в оперативных информационных системах достаточно ограничена, то для OLAP-систем наличие развитых метаданных и средств их предоставления конечным пользователям является одним из основных условий успешной реализации. Например, прежде, чем менеджер корпорации задаст системе свой вопрос, он должен понять, какая информация имеется, насколько она актуальна, можно ли ей доверять, сколько времени может занять формирование ответа и т.д.

Отсутствие средств  управления данными информационного  хранилища. Хотя есть множество продуктов и средств, предназначенных для извлечения информации из источников данных, и множество ориентированных на конечного пользователя средств анализа данных и создания запросов и отчетов, на настоящий момент наблюдается отсутствие средств управления самим информационным хранилищем. Если бы информационное хранилище состояло только из выдержек из реляционных баз данных, а проблемы различия временных характеристик и доменов могли быть разрешены путем обучения и четкого определения процедур, задача управления ресурсами информационного хранилища была бы под силу коммерческим СУБД. В большинстве случаев, однако, это не так.

Большая часть информационных хранилищ содержит выдержки не только из баз данных, но также из файлов, электронных таблиц, изображений и внешних источников данных. Поэтому управлять ресурсами информационного хранилища средствами одной только коммерческой СУБД невозможно, и организации, создающие информационное хранилище, вынуждены разрабатывать собственное программное обеспечение. Обычно ядром такого программного обеспечения является СУБД, а штатный персонал информационного хранилища осуществляет реализацию дополнительных возможностей и функций, необходимых для управления ресурсами хранилища.

Другая, сходная проблема касается управления метаданными. Лишь в немногих СУБД возможности словарей данных отвечают потребностям информационного хранилища в сфере управления метаданными. Как уже говорилось, пользователям необходимо знать не только то, что содержится в информационном хранилище, но и происхождение данных, их временные характеристики, домены, предположения, сделанные при извлечении данных, и т. д. Персоналу информационного хранилища необходимо разрабатывать собственное программное обеспечение управления метаданными, дополняющее возможности СУБД и других средств управления словарями данных.

Разработка программного обеспечения управления данными  является сложным и дорогостоящим делом. Созданное программное обеспечение должно поддерживаться. Производители программ извлечения и анализа данных постоянно совершенствуют свои продукты, и для поддержки новых интерфейсов придется вносить изменения в собственное программное обеспечение. Более того, будут меняться и требования пользователей, что приведет к необходимости создания новых программ, которые нужно будет затем интегрировать в программное обеспечение управления информационным хранилищем.

 

2.2. Подходы  решения проблем

Компания IBM. Решение компании называется A Data Warehouse Plus. Целью компании является обеспечение интегрированного набора программных продуктов и сервисов, основанных на единой архитектуре. Основой информационных хранилищ является семейство СУБД DB2. Преимуществом IBM является то, что данные, которые нужно извлечь из оперативной базы данных и поместить в хранилище данных, находятся в системах IBM. Поэтому естественная тесная интеграция программных продуктов.

Предлагаются три решения  для информационных хранилищ:

• Изолированная витрина данных. Предназначена для решения отдельных задач вне связи с общим хранилищем корпорации.
• Зависимая витрина данных. Аналогична изолированной витрине данных, но источники данных находятся под централизованным контролем.
• Глобальное хранилище данных. Корпоративное хранилище данных, которое полностью централизовано контролируется и управляется. Глобальное хранилище данных может храниться централизовано или состоять из нескольких распределенных в сети рынков данных.

Oracle. Решение компании в области информационных хранилищ основывается на двух факторах:

• широкий ассортимент продуктов самой компании;
• деятельность партнеров в рамках программы Warehouse Technology Initiative.

Возможности Oracle в области  хранилищ данных базируются на следующих  составляющих:

• наличие реляционной СУБД Oracle 7, которая постоянно совершенствуется для лучшего удовлетворения потребностей хранилищ данных;
• существование набора готовых приложений, обеспечивающих возможности разработки хранилища данных;
• высокий технологический потенциал компании в области анализа данных;
• доступность ряда продуктов, производимых другими компаниями.

Hewlett Packard. Работы, связанные с хранилищами данных, выполняются в рамках программы OpenWarehouse. Выполнение этой программы должно обеспечить возможность построения хранилищ данных на основе мощных компьютеров HP, аппаратуры других производителей и программных компонентов. Основой подхода HP являются Unix-платформы и программный продукт Intelligent Warehouse, который предназначен для управления хранилищами данных. Основа построения хранилищ данных, предлагаемая HP, оставляет свободу выбора реляционной СУБД, средств реинжиниринга и т.д.

NCR. Решение компании направлено на решение проблем корпораций, у которых одинаково сильны потребности и в системах поддержки принятия решений, и в системах оперативной аналитической обработки данных. Предлагаемая архитектура называется Enterprise Information Factory и основывается на опыте использования системы управления базами данных Teradata и связанных с ней методах параллельной обработки.

Informix Software. Стратегия компании в отношение хранилищ данных направлена на расширение рынка для ее продукта On-Line Dinamic Parallel Server. Предлагаемая архитектура хранилища данных базируется на четырех технологиях: реляционные базы данных, программном обеспечении для управления хранилищем данных, средствах доступа к данным и платформе открытых систем. Три последних компонента разрабатываются партнерами компании. После выхода Универсального Сервера, основанного на объектно-реляционном подходе, можно ожидать, что и он будет использоваться для построения хранилищ данных.

SAS Institute. Компания считает себя поставщиком полного решения для организации хранилища данных. Подход основан на следующем:

• обеспечение доступа к данным с возможностью их извлечения из самых разнообразных хранилищ данных (и реляционных, и нереляционных);
• преобразование данных и манипулирование ими с использованием 4GL;
• наличие сервера многомерных баз данных;
• большой набор методов и средств для аналитической обработки и статистического анализа.

Sybase. Стратегия компании в области хранилищ данных основывается на разработанной ей архитектуре Warehouse WORKS. В основе подхода находится реляционная СУБД Sybase System 11, средство для подключения и доступа к базам данных OmniCONNECT и средство разработки приложений PowerBuilder. Компания продолжает совершенствовать свою СУБД для лучшего удовлетворения потребностей хранилищ данных (например, введена побитная индексация).

Software AG. Деятельность компании в области хранилищ данных происходит в рамках программы Open Data Warehouse Initiative. Программа базируется на основных продуктах компании ADABAS и Natural 4GL, собственных и приобретенных средствах извлечения и анализа данных, средстве управления хранилищем данных SourcePoint. SourcePoint позволяет автоматизировать процесс извлечения и пересылки данных, а также их загрузки в хранилище данных.

 

2.3. Реализация информационных хранилищ

К вариантам реализации информационных хранилищ относятся:

• Виртуальное хранилище данных
• Витрины данных
• Глобальное хранилище данных
• Многоуровневая архитектура хранилища данных

Рассмотрим более подробно варианты реализации информационных хранилищ:

Виртуальное хранилище  данных. В его основе – хранилище метаданных, которые описывают источники информации (БД транзакционных систем, внешние файлы и др.), SQL-запросы для их считывания и процедуры обработки и предоставления информации. Непосредственный доступ к последним обеспечивает ПО промежуточного слоя. В этом случае избыточность данных нулевая. Конечные пользователи фактически работают с транзакционными системами напрямую со всеми вытекающими отсюда плюсами (доступ к "живым" данным в реальном времени) и минусами (интенсивный сетевой трафик, снижение производительности OLTP-систем и реальная угроза их работоспособности вследствие неудачных действий пользователей-аналитиков).