Драйвер виртуального диска

                                        СОДЕРЖАНИЕ 

 ВВЕДЕНИЕ………………………………………………………………….3

1. АНАЛИТИЧЕСКИЙ  РАЗДЕЛ

1.1. Постановка  задачи………………………………………………………5

1.2. Архитектура  Windows XP………………………………………………5

1.3. Многослойная  архитектура драйверов………………………………...8

1.4. Архитектура  драйверов устройств хранения………………………….9

1.5. Выбор файловой  системы……………………………………………...11

……………………….38 

   ВВЕДЕНИЕ

  В настоящее время все усложняются  программные продукты и комплексы, что приводит к росту объема обрабатываемых данных, усложнению структуры их представления и хранения на компьютере. Все это приводит к повышению требований к скорости чтения и записи данных из файлов а также уменьшению времени доступа к каждому файлу в отдельности.

  Самым распространенным устройством для  хранения данных в настоящее время  является жесткий диск, который умеет  хранить большие объемы данных. Время  доступа к произвольному месту на диске зависит от скорости перемещения считывающей головки. Но быстродействие механики диска имеет предел, и время ответа для жесткого диска на несколько порядков выше, чем для оперативной памяти. Поэтому производительность при множественных операциях чтения и записи к различным данным катастрофически падает.

  Для решения данной проблемы существуют следующие средства повышения производительности. Все записываемые и считываемые  данные не сразу пишутся на диск, а сохраняются в определенной области оперативной памяти - кэше. Но размер кэша не большой и в нем сохраняются только несколько или самых последних операций чтения записи или самых частых, в зависимости от стратегии кэширования.

  Однако  буферизация только на основе оперативной  памяти в подсистеме ввода-вывода оказывается недостаточной — разница между скоростью обмена с оперативной памятью, куда процессы помещают данные для обработки, и скоростью работы внешнего устройства часто становится слишком значительной, чтобы в качестве временного буфера можно было бы использовать оперативную память — ее объема может просто не хватить. Для таких случаев необходимо предусмотреть особые меры, и часто в качестве буфера используется дисковый файл, называемый также спул-файлом (от spool — шпулька, тоже буфер, только для ниток). Типичный пример применения спулинга дает организация вывода данных на принтер. Для печатаемых документов объем в несколько десятков мегабайт — не редкость, поэтому для их временного хранения (а печать каждого документа занимает от нескольких минут до десятков минут) объема оперативной памяти явно недостаточно.

  Другой  подход для хранения данных в памяти – создание Ram дисков. В систему добавляется виртуальный диск, а образ диска расположен в оперативной памяти. Такой подход позволяет повысить быстродействие, когда приложение использует обращения случайного чтения, случайной записи. Так например, значительную часть всех обращений к данным в современных СУБД составляют случайные запросы на чтение данных. Другое преимущество виртуальных дисков – их можно использовать для бездисковых рабочих станций для промежуточных файлов.

   1. АНАЛИТИЧЕСКИЙ  РАЗДЕЛ 

  1.1 Постановка задачи

  К разрабатываемому драйверу виртуального диска предъявляются следующие  требования:

  Разрабатываемый драйвер должен добавлять в операционную систему новый виртуальный диск

  Для увеличения скорости передачи, драйвер  должен работать в блочном режиме передачи данных

  Драйвер должен определять объем свободной  физической памяти и ограничивать размер создаваемого виртуального диска.

  Драйвер перезагружается динамически в систему только после перезагрузки компьютера.

  Поскольку операции чтения записи, создания, переименования и удаления файлов выполняет драйвер  файловой системы, то нужно обеспечивать считывание и запись необходимых  файловой системе данных.

  Работа  драйвера не должна влиять на работу других драйверов. 

                                  1.2 Архитектура Windows XP.

          Разработка любой ОС предполагает компромиссные решения, поэтому ни одна из операционных систем не удовлетворяет всем требованиям каждого отдельного. 
     В XP существует два типа драйверов: драйверы пользовательского режима и драйверы режима ядра. В дальнейшем, говоря «драйвер», мы будем подразумевать драйвер режима ядра. Такие драйверы являются частью исполнительной системы, а более точно - элементами диспетчера ввода/вывода (архитектура NT и ее компоненты будут обсуждаться ниже). Как следует из названия, при работе драйвера режима ядра процессор находится в режиме ядра (RING 0 - см. любой справочник по защищенному режиму работы процессора).

  Драйвер XP располагается в файле с расширением .sys и имеет стандартный РЕ-формат (РЕ - Portable Executable).

  Драйверы  реализованы как самостоятельные  модули с четко определенным интерфейсом  взаимодействия с ОС. Все драйверы имеют определенный системный набор стандартных функций драйвера (standard driver routines) и некоторое число внутренних функций, определенных разработчиком.

  Драйверы  режима ядра можно разбить на три  типа:

  - драйверы высшего уровня (highest level drivers);

  - драйверы промежуточного уровня (intermediate drivers);

  - драйверы низшего уровня (lowest level drivers).

  Как будет показано ниже, такое разбиение  обусловлено многоуровневой моделью  драйверов (layered driver model). Для сохранения общности изложения, монолитный драйвер можно включить в эту схему, хотя он не использует многоуровневую архитектуру. В этом случае он будет «гибридом» - драйвером, принадлежащим одновременно к нескольким типам. Например, монолитный драйвер, имеющий интерфейс с приложением и осуществляющий доступ к оборудованию, будет одновременно драйвером высшего и низшего уровня.

  Кроме того, в зависимости от назначения драйвера, он может являться каким-либо специализированным драйвером, то есть удовлетворять дополнительному  набору требований к своей структуре. Можно привести следующие типы специализированных драйверов:

  - драйверы файловой системы;

  - сетевые драйверы.

  Отдельно  необходимо упомянуть архитектуру WDM - Windows Driver Model. Эта архитектура  позволяет создавать драйверы для Windows 98 и Windows 2000, совместимые на уровне двоичного кода.

  Характеристики  драйверов - это совокупность следующих  вопросов:

  1)Поддержка динамической загрузки и выгрузки (однако могут быть исключения).

  2).Необходимость следовать определенным протоколам взаимодействия с системой, нарушение которых чаще всего ведет к «синему экрану» (Blue Screen Of Death, BSOD).

  3) Возможность «наслоения» драйверов поверх друг друга. В Windows 2000 эта возможность возведена в абсолют, хотя монолитные драйвера все еще поддерживаются.

  4. Поскольку драйвера являются  частью ядра ОС, они могут сделать  с системой все, что угодно, поэтому основная проблема —  это закрытость архитектуры ОС.

  Операционная  система Windows XP проектировалась как модульная, многоуровневая архитектура, поддерживающая расширения за счет добавление новых функций. Архитектура позволяет добавлять поддержку новых устройств и новых возможностей, например шифрующей файловой системы (EFS). Архитектура системы позволяет добавлять поддержку приложений, которые основаны на других операционных системах, например OS/2 или POSIX.  

                         Рис. 1. Архитектура ввода/вывода Windows XP.

   1.3 Многослойная архитектура драйверов

  Рассмотрим  как строится архитектура драйверов. Операционная система Windows® поддерживает многослойную архитектуру драйверов. Каждое устройство обслуживается цепочкой драйверов, называемой стеком драйверов. Каждый драйвер в стеке изолирует аппаратно зависимые возможности от вышестоящего уровня.

  На  рис. 2 показаны типы драйверов, которые  могут обслуживать устройство. В  действительности, некоторые из этих типов могут отсутствовать в  стеке. 

  Рис. 2 Многослойная архитектура драйверов 

  Над стеком находятся приложения. Они  обрабатывают запросы пользователя или других приложений и вызывают или подсистему Win 32 или клиент драйвер пользовательского режима.

  Клиент  драйвер пользовательского режима обрабатывает запросы от приложений или от подсистемы Win32. При получении запросов, которые требуют обработки в режиме ядра, он вызывает нужный клиент драйвер режима ядра или процедуру обработки запроса через подсистему Win32. Клиент драйвер реализуются как динамические библиотеки (DLL).

  Клиент  драйвер режима ядра обрабатывает запросы  подобно клиент драйверу в режиме пользователя, за исключением того, что обработка идет в режиме ядра.

  Классовый и мини классовый драйвер устройства предоставляет основной набор сервисов обслуживания. Классовый драйвер предоставляет аппаратно независимую поддержку для специфичного класса устройств.

  Мини  классовый драйвер обрабатывает отдельные операции для устройства из этого класса.

  Порт-драйвер (для некоторых устройств это  драйвер хост-контроллера или хост-адаптера) выполняет требуемые операции ввода/вывода для порта, хаба или другого физического устройства, через которое осуществляется подключение. От типа устройства и шины через которую оно подключено зависит будет ли присутствовать этот драйвер в стеке.

  Все драйвера устройств хранения имеют  порт-драйвер. Например, SCSI порт драйвер выполняет ввод/вывод через шину SCSI.

  Мини  порт-драйвер обрабатывает специфичные  операции порт-драйвера.

  Драйвер аппаратной шины находится в самом  низу стека. Microsoft предоставляет эти драйвера для всех шин, как часть операционной системы. 

  1.4 Архитектура драйверов устройств хранения

  Для того, чтобы определить какой тип  драйвера потребуется разработать, рассмотрим более подробно структуру  взаимодействие драйверов устройств хранения в цепочке драйверов.

  Классовые и фильтр- драйвера для устройств  хранения предоставляют интерфейс  взаимодействия между драйверами высокого уровня, расположенными в стеке над  ними, и порт-драйвером предоставляемым  операционной системой. 

  Рис. 3 Архитектура драйверов устройств  хранения 

  Запрос  ввода-вывода от приложений пользователя обрабатывается подсистемой ввода/вывода. Подсистема формирует пакет запроса на ввод/вывод(IRP), который приходит классовому драйверу устройства ввода вывода через один или несколько промежуточных драйверов фильтров верхнего уровня(таких как например драйвер файловой системы).

  Классовый драйвер ввода-вывода дополняет полученный пакет IRP дополнительным SCSI блоком запроса (SRB) и посылает запрос порт драйверу через фильтр драйверы нижнего уровня.

  Порт-драйвер  полученные пакеты SRB преобразует к формату для передачи по аппаратной шине, и посылает их адаптеру главной шины (HBA), через драйвер ввода-вывода шины и один или несколько фильтр-драйверов.

  Благодаря тому, что виртуальный диск не является реальным физическим устройством, нам не требуется производить доступ к аппаратной шине и формировать специальные пакеты SRB. Данные в оперативной памяти уже доступны на уровне классового драйвера; нецелесообразно и не нужно передавать IRP пакеты на нижний уровень.

  Таким образом, требуется разработать  классовый драйвер, в который  будет происходить вся обработка  запросов и обращение к данным диска для нашего класса устройств  виртуального диска.

  1.5 Выбор файловой  системы

  Для того, чтобы начать работу с диском, диск разбивается на разделы. Раздел — это непрерывная часть физического  диска, которую операционная система  представляет пользователю как логическое устройство (используются также названия логический диск и логический раздел). Именно с логическими устройствами работает пользователь, обращаясь к ним по символьным именам, используя, например, обозначения А, В, С. В частном случае, когда все дисковое пространство охватывается одним разделом, логическое устройство представляет физическое устройство в целом.

  Исходя  из того, что объем диска ограничен  объемом имеющейся свободной  оперативной памяти, то нецелесообразно  разбивать виртуальный диск на несколько  разделом. Создание одного логического  раздела позволяет упростить логику устройства и сэкономить место, которое используется для описания каждого раздела.

  На  каждом логическом устройстве может  создаваться только одна файловая система. Для дисковых накопителей Windows поддерживает файловые системы FAT и NTFS.

  При выборе файловой системы виртуального диска учитывались следующие положения. Рам-диск не предназначен для долговременного хранения данных и при отключении питания все данные теряются. Как следствие проблема фрагментации файлов теряет свою актуальность и остроту. Объем диска ограничен и требуется, чтобы файловая система под файлы метаданных использовала минимум свободного места.

  Отличительные свойства NTFS[2], то что она ориентирована для поддержки больших файлов, восстанавливаемости после сбоев и отказов программ и аппаратуры управления дисками – все это приводит к значительному размеру метаданных. Поэтому минимальный размер тома равен 10 Мб, а на практике использование NTFS оправдано для логических дисков от 400 Мб.

  Файловая система FAT относится к ФС с глобальным индексом, и поэтому метаданные состоят из метки тома, глобальной таблицы диска и корневого каталога. Все остальное место свободное и отводится под создаваемые файлы и каталоги. Тот факт, что при каждой операции чтения/ записи идет обращение к таблице FAT не влияет на производительность, т.к. время доступа для оперативной памяти ничтожно мало по сравнению с жестким диском. Также существует несколько версия FAT: 12, 16 и 32. FAT 12 можно использовать на маленьких дисках от 1 Мб. Использование FAT 32 в основном предназначена для томов объемом в несколько Гб, и минимальный размер тома ограничен 512 Мб, этому она не подходит для виртуального диска.

  Таким образом для нашего виртуального диска будет использоваться файловые системы FAT 32.

  2. КОНСТРУКТОРСКИЙ  РАЗДЕЛ 

  2.1 Структура классового  драйвера

  Драйвер реализуется как набор процедур, каждая из которых предназначена  для реализации отдельного типа обращений  к драйверу со стороны диспетчера ввода/вывода. Процедуры, которые необходимо поддерживать классовому драйверу приведены в таблице 1. 

  Таблица 1

  2.2 Организация внутреннего  хранения данных  диска

  Определим, какую структуру данных оптимально использовать для хранения данных на диске. Самый простой способ –  разместить все данные в одномерном массиве байт, и адресовать данные с помощью смещения от начала диска. Следует учесть тот факт, что при запросах на чтение /запись данных, в качестве параметров указывается : смещение в байтах с которого начинается передача данных (которое и служит индексом первого байта для чтения) и количество байт для передачи.

  Естественно, что применение более сложных  структур организации данных(двумерный  массив, списки и т.д.) приведет только к дополнительным накладным расходам по преобразованию адресации данных.

  Таким образом, виртуальный диск будет храниться в памяти как одномерный массив байт заданного размера. Для чтения данных, информация копируется из области памяти образа диска в буфер инициатора запроса. Для записи - копирование происходит в обратном направлении.

  Следующим шагом выберем, каким образом мы зарезервируем память для диска. Для резервирования памяти в режиме ядра Windows предоставляет специальные системные вызовы. Существуют следующие типы резервируемой памяти:

  Страничная  память(Paged memory) – виртуальная память, которая может быть перемещена системой на жесткий диск в любой момент времени. В случае, если приложение обратиться к отсутствующей в физической памяти области своей виртуальной памяти, то возникает исключение по отсутствию страницы в памяти. В результате системный обработчик перехватывает это исключение и загружает в физическую память отсутствующую страницу. Однако при работе в режиме ядра, когда уровень приоритета равен или выше DISPATCH_LEVEL, это исключение создаст ситуацию, когда системный обработчик не может подгрузить страницу т.к. его IRQL меньше текущего.

  Нестраничная  память (Nonpaged memory) – эта память никогда не может быть перемещена системой на жесткий диск и всегда остается в физической оперативной памяти. В результате, обращаться к этой памяти можно при любом уровне IRQL. Объем данной памяти ограничен даже при наличии достаточного объема физической памяти в Windows 2000 660 Мбайтами, а в Windows XP 1300 Мбайтами.

  Поскольку обращение к образу диска происходит при уровне привилегий PASSIVE_LEVEL или DISPATCH_LEVEL, но в особых ситуациях этот приоритет может быть выше. Поэтому во избежание возникновения ситуации, когда страница отсутствует в памяти, и мы ее не сможем подгрузить – виртуальный диск будет использовать не страничную память. Дополнительно мы увеличим быстродействие драйвера, т.к. уже не требуется подгружать отсутствующие страницы с жесткого диска. 
 

  2.3 Доступ к передаваемым  данным

  Рассмотрим, каким образом драйвер может  получить доступ к передаваемым данным. Пользовательский процесс, вызывая  функцию API (например, WriteFile), передаёт ей указатель на буфер, в котором размещается записываемая информация. Однако, передаваемый виртуальный адрес действительно будет указывать на записываемую информацию только в контексте данного процесса. Операции же ввода/вывода в драйвере происходят в контексте произвольного процесса. Из-за смены таблиц страничного преобразования при переключении процессов использовать переданный виртуальный адрес в произвольном контексте совершенно недопустимо.

  Для операций ввода/вывода архитектура операционной предусматривает два специальных метода передачи буфера данных, принадлежащего инициатору запроса:

  Буферизированный (buffered I/O). Драйверу в пакете запроса ввода/вывода передаётся указатель на копию исходного буфера в невыгружаемой памяти (поле AssociatedIrp.SystemBuffer). Подсистема ввода/вывода отвечает за точное соответствие содержимого этого буфера передаваемым данным. Этот метод, в основном, используется для устройств, не предающих больших объёмов данных: манипуляторы, низкоскоростные коммуникационные линии и т. п.

  Прямой (direct I/O). В этом случае система блокирует страницы пользовательского буфера, чтобы они не были выгружены на диск во время передачи данных. Расположение пользовательского буфера в физической памяти описывается структурой MDL (Memory Descriptor List), доступной в пакете запроса ввода/вывода через поле MdlAddress. По этой структуре необходимо настроить системную таблицу страниц на тот же буфер в физической памяти. Это осуществляется функцией MmGetSystem‌AddressForMdlSafe, которая возвращает виртуальный адрес буфера в системной области памяти. Данный метод эффективен с большими объёмами данных, например, при работе с дисковыми накопителями.

  Для драйвера виртуального диска будет  использоваться прямой метод, который обеспечивает возможность обмена большими данными и высокую скорость передачи.

  2.4 Обработка запросов  Plug and Play

  В процессе работы диспетчер ввода-вывода может динамически управлять состоянием устройства: запускать, останавливать и выгружать. Реализация этих функций драйвером устройства хранения обеспечивает при обработке специфичных PnP IRP пакетов. В таблице 2 приведены описания IRP пакетов, которые должны поддерживаться. 

  Таблица 2

  Применительно к виртуальному диску большая  часть этих сообщений не влечет каких-либо дополнительных действий, т.к. у рам-диска нет дополнительных буферов, данные с которые должны быть записаны на диск при остановке устройства, или поддержки функций управления электропитанием устройства. Поэтому для виртуального диска существует внутренняя переменная, которая хранит текущее состояние устройства.

  Основным  состоянием диска будет WORKING – когда диск находится в рабочем состоянии. Остальные состояния(приведенные в таблице 3) носят информативный характер, чтобы узнать текущий режим работы диска. При операциях доступа к устройству будет осуществляться проверка состояния WORKING, и только при нем доступ к диску разрешен.