Эксперимент: Виртуализация и виртуальные жесткие диски

Довольно часто, в системе "слабым местом" оказывается дисковая подсистема, что вполне понятно: ведь быстродействие жесткого диска всегда намного меньше, чем оперативной памяти или процессора. При виртуализации же, когда несколько виртуальных машин используют один и тот же жесткий диск (или массив) - вопрос быстродействия встает особенно остро.

Заметнее всего падение быстродействия - при виртуализации серверов, очень активно обращающихся к жестким дискам: например - серверов баз данных, почтовых серверов. Здесь уже приходится идти на хитрости ради того, чтобы выиграть пару-тройку лишних IOps'ов. 

Рассмотрим работу с жесткими дисками в среде Hyper-V.

1. VHD-файлы

Наиболее известный способ, выбираемый по дефолту: использование в качестве дисков для виртуальной машины - файлов *.vhd (Virtual Hard Disk). Этот способ имеет три преимущества:

• VHD-файлы могут храниться где угодно и могут быть легко перемещены;
• Удобство создания резервных копий: копирование одного большого файла - намного легче и быстрее, чем копирование всего содержимого жесткого диска (VHD-файл может быть легко скопирован средствами VSS, без остановки самой виртуальной машины, а в случае бэкапа содержимого физического диска - может потребоваться перезагрузка как минимум гостевой ОС);
• Рациональное использование дискового пространства: на одном физическом диске может храниться множество VHD-файлов, и каждой виртуальной машине можно отвести ровно столько дискового пространства, сколько ей необходимо

Минус - один: меньшее быстродействие по сравнению с прямой работой с диском. Далее будет показано наглядно.

2. Прямое обращение к физическому диску

Hyper-V, помимо использования VHD-файлов - предоставляет возможность использования виртуальной машиной физических дисков. Плюс тут один: более высокое быстродействие в сравнении с VHD-файлами. Минусов же больше: 

• Немного сложнее создавать резервные копии и переносить информацию в другое место;
• Менее рациональное использование дискового пространства (весь объем диска используется одной виртуальной машиной, не может регулироваться динамически и распределяться между несколькими виртуалками);

Ну а теперь - перейдем от теории к практике.

Эксперимент.

В качестве экспериментального стенда использовался сервер HP ML150G5, снабженный четырёхъядерным процессором Intel® Xeon® E5420 2,5 ГГц и 4Гб оперативной памяти. Дисковая подсистема представлена двумя дисками объемом 72Гб с интерфейсом SAS, объединенными в массив RAID1 и двумя SATA-дисками объемом 250Гб, так же объединенными в RAID1. На сервере установлена ОС Microsoft Windows Server 2008 Std. 64bit с поддержкой Hyper-V. Других задач, помимо виртуализации у него нет. Далее - все эксперименты, о которых я буду писать в этом блоге - будут проводиться именно на этом сервере.

Для чистоты эксперимента все действующие ВМ были остановлены, и создана новая ВМ с 512Мб ОЗУ и двумя жесткими дисками: один - для установки гостевой ОС, другой - для эксперимена. На ВМ была установлена ОС Microsoft Windows Server 2003 32bit, были установлены компоненты интеграции. Для создания нагрузки на диски и измерения параметров быстродействия была использована бесплатная утилита IOMeter. Параметры доступа к диску в IOMeter были заданы следующие:

• Объем страницы: 64Кб;
• 75% - случайный доступ, 25% - линейный;
• 75% - чтение, 25% - запись.

Опыт первый: VHD-файл.

Как я уже писал выше, экспериментальная ВМ имеет два виртуальных жестких диска: на один устанавливается ОС, другой - используется для измерения быстродействия. В первом моем опыте я использовал VHD-файл фиксированного размера 10Гб. Файл размещался на зеркале из двух 250Гб SATA-дисков. Я получил следующие результаты:

• Total I/O per sec: 111,5
• Total MB per sec: 6,92
• Average I/O Response Time: 9,0152 ms
• Maximum I/O Response Time: 526,0630 ms

Результаты сильно удручают: 7Мбайт в секунду - это очень и очень мало. Для примера, в хостовой ОС, копирование файла с одного массива на другой показывало скорость порядка 37-40Мбайт/c. Правда, это показания самой ОС, которые могут и не соответствовать действительности. Увы, судя по сайту разработчиков - последняя версия IOMeter'а вышла 27 июля 2006 года, так что не удивительно, что под Windows Server 2008 она хоть и запустилась, но корректно не работала: она просто не "видела" жесткие диски. Если кто-нибудь посоветует мне более новую утилиту, аналогичную IOMeter и нормально работающую под Windows Server 2008 - с меня пиво :) 

Время отклика - тоже очень и очень плохое: 9 миллисекунд в среднем, и 526 миллисекунд (просто вдумайтесь в это: больше, чем пол-секунды!) максимум. Вобщем - для, к примеру, веб-сервера вполне бы сгодилось, но устанавливать с таким быстродействием, к примеру, сервер БД какой-нибудь ERP-системы я бы не рискнул.

Опыт второй: прямое обращение к диску.

Теперь я удалил злосчастный VHD-файл и перевел наш 250Гб массив в режим Offline через консоль Computer Management (это - необходимое условие, чтобы Hyper-V "увидела" наш диск и его можно было бы подключить к ВМ). После этого - в свойствах тестовой ВМ вместо VHD-файла был подключен наш физический диск и так же - запущен IOMeter c теми же параметрами. Результаты получились следующие:

• Total I/O per sec: 126,7
• Total MB per sec: 7,9
• Average I/O Response Time: 7,9362 ms
• Maximum I/O Response Time: 96,1755 ms

Сказать честно - результаты меня удивили. Я не ожидал такой маленькой разницы в iops и в mbps. Чем это вызвано - самому интересно. Вполне возможно, что здесь мы уперлись в потолок быстродействия SATA-дисков. А вот время отклика уже - намного лучше: 8 миллисекунд в среднем и 96 в максимуме, против 9 и 526 соответственно. Как видно, среднее время отклика улучшилось ненамного, возможно, что не улучшилось и вовсе: одна миллисекунда вполне укладывается в погрешность измерения. А вот максимальное время отклика - уменьшилось почти в 60 раз, что не может не радовать.

Вывод.

Из всего этого напрашивается следующий вывод: если планируется виртуализировать какие-либо задачи, требующие активного доступа к дискам - нужно использовать прямой доступ к диску. Во всех же остальных случаях я настоятельно рекомендую использовать, как и обычно, VHD. В случае, если использование прямого доступа необходимо - "соломоновым решением", наверное, будет использование двух виртуальных дисков у одной ВМ: один - в виде VHD - для установки ОС и приложений, а другой - с использованием прямого доступа - для хранения данных.

P.S. У меня имеются подозрения, что на эксперимент сильно повлиял потолок быстродействия SATA-дисков. Недавно у нас в распоряжении оказалась дисковая полка HP MSA2000 с интерфейсом SAS. Завтра - попробую подключить эту полку к серверу, собрать на ней RAID10 и повторить эксперимент. О результатах - обязательно отпишусь. Оставайтесь на канале!