Федеральное агентство по образованию 

ГОУ ВПО  «Уральский Государственный технический  университет – УПИ

имени первого  Президента Российской Федерации Б.Н. Ельцина» 

Факультет дистанционного образования 

Кафедра вычислительной техники 
 

АВТОМАТИЗАЦИЯ АРХИВИРОВАНИЯ И КОПИРОВАНИЯ

БАЗ ДАННЫХ SQL, ФАЙЛОВ И КАТАЛОГОВ

ДИПЛОМНАЯ РАБОТА

Пояснительная записка 
 

Екатеринбург 2009

Реферат 

     Отчет 94 с., 27 рис., 13 табл., 27 источников.

     Автоматизация архивирования и копирования  баз данных SQL, файлов и каталогов в Инспекции ФНС России по г. Ревде Свердловской области.

     Объектом  автоматизации являются базы данных SQL, файлы и каталоги на шести серверах Инспекции ФНС России по г. Ревде Свердловской области, подлежащие ежедневному архивированию и дублированию архивов на другие сервера. Цель работы: получение технического задания (ТЗ), внешнее и внутреннее проектирование и инженерная реализация согласно поставленному ТЗ. Разработка пакета моделей.

     В ходе данной работы был выполнен литературный обзор современного состояния в области технологий архивирования файлов, каталогов и баз данных SQL. Был выполнен анализ аналогов и выбран прототип, внедряемый в MS SQL Server 2000 Enterprise Edition, для функционирования на серверах с ОС Windows 2003 Enterprise Edition. Синтезированы концептуальные, структурные, функциональные и структурные модели. Получено техническое задание. Разработан проект программы-приложения для системы архивации данных (САД). Выполнена инженерная реализация проекта.

     В дальнейшем проект может быть модернизирован для работы с другими программами-архиваторами путем внедрения блока для настройки под конкретный архиватор. Кроме того, можно добавить ряд полезных и нужных сервисов и модифицировать уже имеющиеся.

Содержание 

Нормативные ссылки

     В пояснительной записке использованы ссылки на следующие стандарты:

Определения

     В пояснительной записке применяют  следующие термины с соответствующими определениями.  

Обозначения и сокращения

Введение

     Давным-давно, когда в мире не существовало компьютеров, об экономии носителей информации (папирусов и камней) никто не задумывался. Более того, все надежды возлагали на криптографию, и основные исследования в области данных велись в направлении их шифрования.

     Многое  изменилось тогда, когда были созданы первые ЭВМ, размеры которых вне всякой критики, а объемы жестких дисков — меньше, чем ПЗУ в первых мобильных телефонах. Тут-то весь прогрессивный мир и задумался о том, как поместить в такой маленький объем памяти как можно больше полезных документов. И вот ученые стали предлагать свои наработки, но большинство из этих теорем лишь доказывали возможность сжатия тех или иных данных. Идей о сжатии же и, тем более, о последующем разжатии было немного. Постепенно родился энтропийный анализ данных, позволяющий оценить компактность хранения информации и возможность ее сжатия – благодаря этому событию идеи начали воплощаться в реальность. Была предложена идея сжатия в результате подсчета частоты появления тех или иных байт в тексте: текст первоначально оценивается упаковщиком, подсчитывается частота появления в тексте каждой буквы, присутствующей в нем, частота повторения участков текста и т.д.; составляется таблица этих самых частот, по которой уже вторым проходом происходит упаковка/распаковка. Метод надолго засел в умах разработчиков. Его идеальной реализацией можно считать алгоритм Хаффмана и последующие доработки [1].

1 Проблематика. Литературно-аналитический обзор

     Необходимость архивации связана с необходимостью резервного копирования информации на дисках с целью сохранения ценной информации и программного обеспечения  компьютера для защиты от повреждения  и уничтожения (умышленного или случайного, под действием компьютерного вируса).

     Архиваторы  позволяют сжимать информацию в памяти компьютера при помощи специальных математических методов и алгоритмов. При этом создается копия файла меньшего размера. В одном архиве может храниться сразу несколько файлов или даже несколько папок. Это даёт возможность разместить больше информации на диске.

1.1 Назначения архиваторов и основные требования к ним

     Сегодня уже сложно представить проблему переноса и хранения файлов. Работа с большим количеством файлов, объем которых в свою очередь является немалым, невозможна без программ-архиваторов, позволяющих правильно организовать передачу данных. На сегодняшний день существует целое разнообразие программ для сжатия файлов. Для того чтобы выбрать подходящую программу для создания архивов, необходимо рассмотреть историю появления данных программ, основные форматы и возможности архиваторов и разобраться в сущности работы данных программ.

     Определение архиватора напрашивается само собой: архиватор – это программный продукт, позволяющий объединить несколько файлов в один архив, а также позволяющий изменять путем сжатия размер архива. Но данное определение будет не полным, если не разобраться с сущностью самого процесса сжатия. Сжатие – это процесс перекодирования информации, в результате которого уменьшается объем файла. Встречаются также такие названия данного процесса как кодирование, компрессия, упаковка и соответственно обратные данным процессы: декодирование, декомпрессия и распаковка.

     Работа  архиваторов основана на том факте, что каждый сжимаемый файл содержит «излишнюю» информацию, то есть в нем можно найти много повторов одной и той же информации. Особенно наглядно это проявляется в текстовых данных, где может встречаться несколько повторов одного и того же слова, словосочетания или даже целой фразы. Архиватор фиксирует не только повторение слов, а также одних и тех же слогов в разных словах.

     Если  говорить о теоретической базе создания различных методов кодирования и декодирования информации, то следует отметить особую важность теории информации, ответвления теории вероятности и математической статистики. В частности, влияние оказали такие сферы знания как алгоритмическая теория информации, криптография и теория кодирования. Поэтому зарождение теории компрессии и воплощение ее в конкретных продуктах связано с именем Клайда Скэннона, еще в середине двадцатого века опубликовавшего множество работ по данной теме.

     Процесс сжатия данных характеризуется рядом  важных параметров: например, степень  сжатия файла и коэффициент сжатия – два важных показателя, от которых в первую очередь зависит качество архивированного файла. Степень сжатия файла зависит от следующих параметров: применяемого метода сжатия, самой программы-архиватора и типа сжимаемого файла. Лучше всего «сжимаются» текстовые файлы и графические файлы в формате *.bmp, *.png. Файлы с расширением *.exe, *.dll, а также архивные файлы сжимаются сложнее всего. Последние, кстати, практически не сжимаются.

     Также для работы архиватора немалое значение имеет параметр скорости сжатия и разжатия файла. Коротко механизм сжатия можно описать следующим образом: определенное количество цифровой информации или на языке специалистов «блок» сжимается, в результате получается «сжатый блок», который содержит меньшее количество битов, но по которому можно восстановить все биты первоначального файла [2].

1.2 Обзор существующих технологий архивирования

     В настоящем время используются многочисленные архиваторы. Каждая из программ предлагает свои уникальные форматы и отвечает общим требованиям по разархивированию стандартных архивов. Требуется разработать систему архивирования данных, отвечающую всем требованиям Заказчика, включив в нее программу-архиватор.

     Для решения задач, поставленных передо мной, были выбраны наиболее подходящие архиваторы:

• WinZip 9.0 Beta 3;
• WinAce 2.5;
• PowerArchiver 2003 v.8.70;
• WinRAR 3.30;
• 7Zip 3.13.

     Каждая  из этих программ имеет свои преимущества и недостатки.

1.2.1 Архиватор WinZip 9.0 Beta 3

     Классический  пример несоответствия "дутой" популярности и результативности работы. Несмотря на то, что WinZip уже который год подряд  один из лидеров по количеству загрузок на сайте Download.com, программа архивирует хуже некуда и по всем параметрам является несомненным аутсайдером. Из немногочисленных плюсов этого архиватора следует отметить лишь довольно высокую скорость работы да просто невероятную популярность формата *.zip среди пользователей. Именно благодаря последнему WinZip де-факто стал стандартом в данной области, и на него равняются все другие архиваторы.

     Новая, девятая по счету версия WinZip, находящаяся  в состоянии перманентной беты, наконец-то обзавелась улучшенным алгоритмом сжатия enhanced deflate и новой, 128- и 256-битной технологией  шифрования архивов. И если толку  от первого маловато (выигрыш составляет считанные доли процента), то второе нововведение является большим шагом вперед. Естественно, в обоих случаях на ПК адресата должна быть установлена 9-я версия WinZip либо последние обновления альтернативных архиваторов – ни о какой обратной совместимости речи уже не идет.

     WinZip весьма ограничен в поддержке  других форматов: кроме самого Zip, программа может распаковывать  CAB, Microsoft Compress, GZip, TAR, UUencode, XXencode, BinHex и MIME, а после подключения внешних программ – еще и ARC, ARJ и LZH. Полностью (чтение и компрессия) поддерживается лишь Zip. Да, просто великолепная интеграция этого архиватора с Windows заслуживает высших оценок, равно как и множество других функций вроде автоматической инсталляции ПО из архивов, проверки их на наличие вирусов с помощью любого установленного в системе антивируса и т.д. Однако все это не может "перекрыть" его недостатки – в частности, неэффективный алгоритм работы. Чего уж тут говорить, если даже программы от сторонних разработчиков, для которых Zip является отнюдь не основным форматом, зачастую архивируют в него лучше, чем сам WinZip [3].

1.2.2 Архиватор WinAce 2.5

     До  выхода третьей версии WinRAR именно WinAce удерживал пальму первенства среди  архиваторов по качеству сжатия данных. Набор функций в программе очень и очень неплох: полная поддержка ACE, ZIP, LHA, MS CAB, Java JAR, GZip, TAR, GZipped TAR и частичная (только распаковка) RAR, ARC, ARJ, BZip2 и ISO-образов. Кроме того, WinAce позволяет создавать многотомные архивы в форматах ACE, ZIP и CAB. Для улучшения сжатия графических и звуковых, равно как и исполняемых (*.exe) файлов, в архиваторе реализованы дополнительные алгоритмы мультимедиакомпрессии, а для всех остальных типов данных – дельта-сжатие. Изюминкой этого архиватора является встроенный просмотрщик множества популярных форматов графических файлов, HTML-страниц и ASCII-файлов (в кодировке DOS). Естественно, поддерживаются и создание непрерывных архивов, что проявляется в дополнительной (до 50 %) экономии места, большой размер словаря (до 4 MB), проверка на целостность всех знакомых программе форматов, "ремонт" ACE и ZIP-архивов и многое другое. Кроме того, можно конвертировать архивы различных форматов в АСЕ для уменьшения их размера, а с помощью внешнего модуля SFX-Factory даже создавать инсталляции на их основе. Добавьте к этому отличную интеграцию WinAce с оболочкой Windows, автоматическую инсталляцию программ из архивов – и этот архиватор получает заслуженные 5 баллов. К сожалению, формат ACE мало распространен среди пользователей, и в ближайшее время ему не грозит стать "убийцей" ZIP, но у него еще все впереди [3].

1.2.3 Архиватор PowerArchiver 2003 v.8.70

     Первое, что приходит в голову при знакомстве с этой программой: "Вот так  и должен выглядеть WinZip!". PowerArchiver "знает" 17 различных форматов архивов, причем полностью (упаковка/распаковка) поддерживаются Zip, BH (BlackHole), Tar, Lha и Cab, распространенные в Internet форматы файлов UUencode, XXencode, Base64(MIME) и yENC, а остальные (RAR, Arj, Arc, Ace, Zoo, GZip, BZip2) могут только читаться/распаковываться. Встроенный просмотрщик позволяет "на лету" просматривать TXT, RTF и все популярные форматы графических файлов прямо в архиве, а менеджер FTP-соединений – тут же загружать заархивированные данные на FTP-серверы. Кроме того, PowerArchiver предлагает пользователю 5 различных методов шифрования особо секретных данных и новый алгоритм сжатия Deflate64, которым недавно обзавелся и WinZip 9.0.

     Остальной набор функций стандартен: конвертирование  различных архивов в Zip, Cab, Lha, BH и Tar (т. е. те, которые полностью поддерживаются программой), отличная интеграция с Windows, возможность создания многотомных Zip-архивов и множество других. Особой гордостью авторов программы является то, что она получила сертификат от Microsoft как ПО, оптимизированное под Windows XP, со всеми вытекающими отсюда "последствиями", а именно – поддержкой тем Windows XP и скинов популярной программы для переделки интерфейса этой ОС, WindowsBlinds. Да и сам PowerArchiver может похвастаться массой собственных скинов, призванных полностью изменить его внешний вид. Таким образом, программа оставляет приятное впечатление, ей бы еще поддержкой RAR обзавестись [3].

1.2.4 Архиватор WinRAR 3.30

     Лучший  архиватор для Windows не нуждается в особой рекламе – с такими потрясающими результатами работы популярность ему обеспечена.

     Итак, WinRAR позволяет распаковывать архивы CAB, ARJ, LZH, TAR, GZip, ACE, UUE, BZ2, JAR и ISO-образы, а  компрессия данных возможна в форматы ZIP и RAR. Размер архивов практически  не ограничен и составляет на сегодня           9000 петабайт (10¹⁸ байт). Напомним, что в WinZip он до недавнего времени был равен 4 GB. Кроме того, поддерживаются права доступа и потоки данных в файловой системе NTFS, что дополнительно улучшает процессы создания и распаковки архивов. Очень высокий выигрыш в размере (10–50 %), особенно при архивировании большого количества малых файлов, получается при использовании опции создания непрерывных (solid) архивов; не последнюю роль в компрессии данных играет и большой размер словаря. Разумеется, присутствует и возможность создания многотомных, а также самораспаковывающихся архивов, защита их паролями, блокировка архивов для предотвращения их изменений в будущем и т. д. В новой версии программы появилась опция "проверить архив на вирусы". Ну а для новичков, делающих первые шаги в ознакомлении с программным обеспечением своего ПК, предназначен режим Wizard, с помощью которого буквально в одно касание производятся все операции над архивами.

     Но  этим отнюдь не ограничиваются все  возможности WinRAR. За кадром остались конвертирование не-RAR архивов в RAR, проверка их на вероятные ошибки, широчайшие возможности консольной версии, местные аналоги папки «Избранное», удобный интерфейс… Заслуженный "Выбор редакции" [3]. 

1.2.5 Архиватор 7Zip 3.13

     Этот  архиватор от российских разработчиков. Качество архивирования данных у  собственного формата *.7z просто поражает: 7-Zip опережает даже WinRAR, что уж говорить о WinZip… Причиной тому – более совершенный алгоритм сжатия и практически неограниченный объем словаря (до 192 MB), которые благотворно влияют на эффективность компрессии данных. То же касается и архивирования в Zip, где 7-Zip снова проявил себя с лучшей стороны, иногда даже выигрывая у эталона (WinZip 9.0) на пару процентов. Неудивительно, что встроенный в программу бенчмарк успешно используется многими независимыми тестовыми лабораториями для измерения производительности новых процессоров.

     Правда, есть и обратная сторона медали –  невероятно медленная работа 7-Zip, которая  наверняка отпугнет от него многих пользователей. Не в последнюю очередь это обусловлено величиной словаря – чем он больше, тем выше требования программы к оперативной памяти ПК и процессору. Интерфейс у 7-Zip аскетичный, но особых нареканий не вызывает. Кроме Zip и 7z, полностью поддерживаются Tar, GZip, BZip2, а частично (только распаковка) – RAR, Cab, Arj и др. К сожалению, данный архиватор пока не научился работать с многотомными архивами, да и с популярностью среди пользователей у него пока некоторые проблемы. С другой стороны, все это никак не мешает использовать программу по ее прямому назначению – сжатию больших объемов малоиспользуемых данных. И надо сказать, трудно найти архиватор, который лучше справится с этой задачей. Вот еще бы скорость работы увеличить [3].

1.3 Оценка аналогов

     В качестве аналогов были взяты программы-архиваторы, описанные в пункте 1.2, к которым относятся:

• WinZip 9.0 Beta 3;
• WinAce 2.5;
• PowerArchiver 2003 v.8.70;
• WinRAR 3.30;
• 7Zip 3.13.

     Оценим  аналоги по различным критериям.

     Основываясь на материале, изложенном в предыдущих пунктах, были сформулированы критерии оценки архиваторов (путём сравнения технологии архивирования):

• критерий 1 – коэффициент сжатия данных;
• критерий 2 – время архивации;
• критерий 3 – общая загруженность ОС при архивировании;
• критерий 4 – наличие функции восстановления поврежденного архива;
• критерий 5 – популярность родного архивного типа.

     Архиватор должен максимально эффективно сжимать исходные данные.

     Время архивирования исходных данных должно быть минимальным.

     Процесс архивирования должен как можно меньше загружать ОС, предоставляя ресурсы системы и другим процессам, круглосуточно функционирующим на серверах.

     Архиватор должен иметь функцию восстановления поврежденного архивного файла.

     Популярность  родного архивного типа (*.zip, *.rar и т.д.) должна быть высокой.

     Каждый  из критериев имеет свою шкалу  оценки, выбранных на основе анализа  существующих технологий и требований, предъявляемых к архиваторам.

     Оценка  важности критериев приведена в  таблицах 1.1-1.5. 

Таблица 1.1 – Шкала оценки критерия 1

Таблица 1.2 – Шкала оценки критерия 2

Таблица 1.3 – Шкала оценки критерия 3

Таблица 1.4 – Шкала оценки критерия 4

Таблица 1.5 – Шкала оценки критерия 5

1.4 Выбор прототипа

     Оценив рассматриваемые технологии по каждому из критериев, получим матрицу оценок, приведенную в таблице 1.6.

     Максимальный  итоговый рейтинг имеет архиватор WinRAR 3.30, который и выбирается в качестве прототипа.

Таблица 1.6 – Матрица оценки аналогов