Решено: Улучшить скорость дисковой системы или купить еще один комп?

[azsx]

Есть сервер i5, sata 3 винчестер на 2 тб, 16 гб оперативной памяти. На нем в kvm работает 7 виртуальных машин, но надо запустить еще 2 машины, и хочется чо нибудь качать еще, чтобы инет канал забить. Проц забивается на 40%. Подключен в сеть через активную интел 1гб.
Но уже на 7 виртуальных машинах я уперся в скорость диска, реально тормозит, когда активно работают уже даже с 7 машинами.
Как лучше решить этот вопрос с производительностью дисковой подсистемы?
1. Купить еще 1 i5 с сата - обозначу стоимость решения в 35 тысяч рублей.
2. Есть какой то иной способ на уже существующем компе за 35 тысяч существенно увеличить скорость работы с диском (раид 0 не предлагать).
---------------
Я думал еще над такими вариантами. Например, недавно в своей деревне я взял интел ссд 240 гб за 11 тысяч. lvm + raid 1 и если ограничить себя в 1тб, то мне надо 8 ссд + плата с раид контролером на 8 портов. Зато скорость приятно удивит за 88 тысяч + плата. Дорого.
---------
Еще вариант покупать небольшие винты 300-500 гб. Тогда взяв 10 винтов можно подключить к виртуальным машинам винты как физические диски и получить улучшение производительности. 10 винтов на 2650 + БП. Какой мне надо блок питания и вентилятор в корпус??? Потянет ли такую систему бесперебойникwin power 2000 который там сейчас стоит??? На маме 6 разьмеов, 4 сата 2. Зато я думаю можно уложиться в 35.
-----------
Или такой вариант, купить 3 * 6300 2 тб винчестеры + плата раид, сделать раид 10. Как я понимаю скорость работы с винчестерами увеличится в 2 раза и БП будет разумных величин. Даже дешевле 35 будет.
зы
ссд мне наверное не пойдет, так как виртуальные машины по 100 гб минимум и дорого очень ссд!!!
я бы с удовольствием узнал, как в debian можно узнать сколько в месяц записывает мой сервер гигабайт на диск. (то есть сколько я буду менять ссд ежегодно).

[Bizdelnick]

Самый дешёвый вариант - купить дополнительный диск и перенести часть виртуалок на него. Если, конечно, не упрётесь в производительность SATA-контроллера.

плата с раид контролером

Зачем? Софтовый RAID чем не устраивает?

И ещё - насколько забита оперативка? Может добавить - и пусть себе кешируется?

[azsx]

оперативки 16 гб. Я могу купить еще 16 и понадавать виртуалкам много места в оперативной памяти, но... Сейчас виртуалки никогда не юзают больше 1 гб.
Может можно как то закешировать общую работу с винчестером?

Самый дешёвый вариант - купить дополнительный диск и перенести часть виртуалок на него.

то есть если поставить 4 винчестера и равномерно распределять на них виртуалки, то скорость работы должна быть выше?

[Bizdelnick]

то есть если поставить 4 винчестера и равномерно распределять на них виртуалки, то скорость работы должна быть выше?

Теоретически - да, на практике - как я уже писал, важно не упереться в производительность контроллеров. То есть, возможно, их тоже придётся добавить.

[azsx]

Bizdelnick огромное спасибо за совет.
Но вот вопрос, а в чем отличие различных sata контролеров или просто какой выбрать за 1- 5 тысяч рублей на мою конфигурацию?

[Bizdelnick]

Вот тут уж ничем помочь не могу. Надо гуглить и экспериментировать. Может, и с имеющимся проблем не будет.

[Warderer]

Уверенность в том, что проблема именно в DISK I/O полная? Может подумать, и уменьшить нагрузку на диск виртуалок, добавив памяти и отключив своп (если винда) или поменяв параметр swappinnes (если *nix). Очень часто "аппаратные" проблемы могут быть решены оптимизацией параметров системного/специального ПО. Виртуалкам выдаются LVM разделы?

[azsx]

Виртуалкам выдаются LVM разделы?

нет, виртуальные машины имеют фиксированный диск .raw.

Уверенность в том, что проблема именно в DISK I/O полная?

конечно же нет, но я знаю только одну комманду проверки скрости диска dd bs=1M count=1024 if=/dev/zero of=test conv=fdatasync (http://unixforum.org/index.php?s=&showtopic=124282&view=findpost&p=1151260) он выдает иногда значения в 10-15 мб.

поменяв параметр swappinnes

я боюсь отключать своп совсем, но памяти я добавлю +16гб.

[Warderer]

Виртуалкам выдаются LVM разделы?

нет, виртуальные машины имеют фиксированный диск .raw.

Уверенность в том, что проблема именно в DISK I/O полная?

конечно же нет, но я знаю только одну комманду проверки скрости диска dd bs=1M count=1024 if=/dev/zero of=test conv=fdatasync (http://unixforum.org/index.php?s=&showtopic=124282&view=findpost&p=1151260) он выдает иногда значения в 10-15 мб.

Я совсем про другое. Команда atop отлично показывает нагрузку на дисковую подсистему.

поменяв параметр swappinnes

я боюсь отключать своп совсем, но памяти я добавлю +16гб.

У нас в продакшн на серверах отключен swap, естественно, проводили исследования предварительные проверки по работе - полёт нормальный. Кстати, как работает дисковая подсистема в гостевых машинах? Тип устройств - "virtio"? Драйверы установлены?

[azsx]

Тип устройств - "virtio"? Драйверы установлены?

виртуальные машины - это win xp и 1 линукс + еще один хочу. Стоит proxmox машины на KVM, в bios виртуализация стоит.
Дайте пожалуйста ссылку по русски, как я могу понять какие у меня типы устройств и драйверы, тогда я отвечу.

У нас в продакшн на серверах отключен swap

куплю память - поробую.
зы
пока как я понимаю, надо брать больше памяти + винчестеры + контролер сата. Распределяить машины на разные винты.

[Warderer]

Вполне возможно, что дополнительный контроллер не понадобится. Есть серьёзное подозрение, что ещё один винчестер и докупание оперативы полностью вылечат вашу проблему, при условии оптимизации гостевых систем. Предлагаю начать чтение с первоисточника, например здесь. По моим личным наблюдениям одна виртуалка при устройствах virtio и установке драйверов отсюда получала производительность дисковой подсистемы на уровне 90% от хостовой машины. В том, что у Вас все виртуалки пишут одновременно - сильно сомневаюсь.

[Bluetooth]

Кстати, размещение виртуальных машин в файловых образах дает дополнительный заметный оверхэд для дисковых операций, так что помимо всего прочего рекомендую засунуть их в лвм.

Также рекомендую вместо простого добавления количества дисков купить их 4 штуки и объединить в рейд 10, и скорость поднимется, и надежность выше будет.

А еще есть очень интересная разработка:
http://www.opennet.ru/opennews/art.shtml?num=37023

Можно взять парочку ссд+парочку сата дисков, поверх них натянуть btier.
Или вовсе просто на ссд аллоцировать разделы с данными, для которых важна скорость.
Правда, нужно не забывать о надежности, особенно если учесть, что современные ссд гораздо менее надежные, нежели обычные сата диски.

В общем, вариантов масса

[azsx]

Проблему решил заменой оперативной памяти с 16 гб на 32 гб и оптимизацией всех параметров (какие нашел) в виртуальных машинах. С 16 гб. процессор использовался в рабочие часы на 40-60%, после установки 32 гб оперативной памяти нагрузка снизилась до 20-30%.
В целом работа стала намного быстрее, далее производительность упирается в интернет канал (данные на клиентских компьютерах долго обновляются).

[Warderer]

Проблему решил заменой оперативной памяти с 16 гб на 32 гб и оптимизацией всех параметров (какие нашел) в виртуальных машинах. С 16 гб. процессор использовался в рабочие часы на 40-60%, после установки 32 гб оперативной памяти нагрузка снизилась до 20-30%.
В целом работа стала намного быстрее, далее производительность упирается в интернет канал (данные на клиентских компьютерах долго обновляются).

Поздравляю с решением проблемы инженерным подходом вместо "менеджерской" покупки неоптимального дорогостоящего решения. Побольше бы таких, как Вы.