Скорость RAID1 (Почему-то скорость чтения низка)

Обсуждение настройки и работы сервисов, резервирования, сетевых настроек и вопросов безопасности ОС.

Модераторы: SLEDopit, Модераторы разделов

NIS
Сообщения: 26
ОС: Kubuntu 7.10, OpenSUSE 10.3

Скорость RAID1

Сообщение NIS »

Недавно купил новый винчестер.
Решил сделать на некоторые данные Linux RAID1, хотелось и надёжность увеличить, и скорость чтения. Как я раньше думал, при RAID1 данные зеркалируются и их читать можно так же, как и в RAID0 - половину с одного винта, половину с другого. Но когда я так сделал скорость получилась такая-же (у меня один винт - 68мб/с, второй 100мб/с, в этом диапазоне скорость колебалась). Потом решил попробовать сделать RAID0 и скорость стала 137мб/с (что логично - в 2 раза быстрее медленного винчестера)
Но можно-ли заставить RAID1 читать с винчестеров по кускам параллельно, как RAID0?
Система: Ubuntu 8.04, SATA II, создавал RAID1 как:

Код: Выделить всё

mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sda2 missing
mkfs.ext3 /dev/md0
Копировал систему на md0
mdadm /dev/md0 --add /dev/sdb2
Спасибо сказали:
NIS
Сообщения: 26
ОС: Kubuntu 7.10, OpenSUSE 10.3

Re: Скорость RAID1

Сообщение NIS »

Ещё один вопрос. Внутри RAID массива можно создать таблицу разделов и разделы, потом с ними работать, например, в gparted (нумеруются они как /dev/md1p1 и т.д). Но в некоторых манах/форумах пишут, что для этого используют LVM внутри RAID. Ничего плохого не будет, если использовать первый способ? Не хочется ещё одну прослойку создавать
Спасибо сказали:
Аватара пользователя
кодировщик
Сообщения: 974
Статус: зарёган в пятницу 13
ОС: Linux

Re: Скорость RAID1

Сообщение кодировщик »

NIS писал(а):
03.07.2008 17:19
Но можно-ли заставить RAID1 читать с винчестеров по кускам параллельно, как RAID0?

ну у вас же раид1, один основной, второй курит в стороне и пишет изменения.
Спасибо сказали:
NIS
Сообщения: 26
ОС: Kubuntu 7.10, OpenSUSE 10.3

Re: Скорость RAID1

Сообщение NIS »

кодировщик писал(а):
03.07.2008 20:34
ну у вас же раид1, один основной, второй курит в стороне и пишет изменения.

Т.е нельзя на практике? Вернее, в Linux RAID1 такое не поддерживается?
Чисто теоритически можно увеличить скорость _чтения_ (записи понятно нельзя) за счёт того, что данные дублируются. Т.е те блоки, которые одинаковы на обоих hdd читать параллельно (чётный блок 1й винт читает, нечётный второй). Конечно, если блок ещё не успел синхронизироваться - его читать с основного (но такое будет редко).
Да и на википедии (русской) пишут, что RAID1 увеличивает скорость чтения за счёт распараллеливания запросов
Спасибо сказали:
Аватара пользователя
кодировщик
Сообщения: 974
Статус: зарёган в пятницу 13
ОС: Linux

Re: Скорость RAID1

Сообщение кодировщик »

NIS писал(а):
03.07.2008 20:52
Да и на википедии (русской) пишут, что RAID1 увеличивает скорость чтения за счёт распараллеливания запросов

видно что-то перепутали, это относится к 0 уровню

В догонку скажу что lvm внутри райда не встречал, а вот lvm внутри lvm - дело другое.
Спасибо сказали:
Аватара пользователя
nesk
Сообщения: 2268
Статус: Линукссаксовец
ОС: MS Windows XP Home SP3

Re: Скорость RAID1

Сообщение nesk »

кодировщик писал(а):
04.07.2008 19:56
NIS писал(а):
03.07.2008 20:52
Да и на википедии (русской) пишут, что RAID1 увеличивает скорость чтения за счёт распараллеливания запросов

видно что-то перепутали, это относится к 0 уровню


некоторые дисковые массивы так умеют делать.
думаю нет никаких причин, препятствующих распараллеливанию запросов на чтению с двух дисков в синхронизированном первом рейде. Все дело лишь в драйвере.
Внимание: У меня под рукой нет машины с Linux. Я не использую эту ОС. Ответы я даю либо по памяти, либо мне помогает гугл. Тщательно читайте маны по тем командам и конфигурационным файлам, которые я упоминаю.

0xDEFEC8ED
Спасибо сказали:
Аватара пользователя
кодировщик
Сообщения: 974
Статус: зарёган в пятницу 13
ОС: Linux

Re: Скорость RAID1

Сообщение кодировщик »

nesk писал(а):
04.07.2008 21:06
некоторые дисковые массивы так умеют делать.

тут я вас не понял какие массивы имеются в виду?!

nesk писал(а):
04.07.2008 21:06
думаю нет никаких причин, препятствующих распараллеливанию запросов на чтению с двух дисков в синхронизированном первом рейде. Все дело лишь в драйвере.

А какой драйвер если всё идет через mdadm?
Спасибо сказали:
Аватара пользователя
nesk
Сообщения: 2268
Статус: Линукссаксовец
ОС: MS Windows XP Home SP3

Re: Скорость RAID1

Сообщение nesk »

кодировщик писал(а):
04.07.2008 21:30
nesk писал(а):
04.07.2008 21:06
некоторые дисковые массивы так умеют делать.

тут я вас не понял какие массивы имеются в виду?!

я сейчас точно не могу назвать марку и модель дискового массива, который так умеет работать с первым рейдом. Поискать ссылку?


кодировщик писал(а):
04.07.2008 21:30
nesk писал(а):
04.07.2008 21:06
думаю нет никаких причин, препятствующих распараллеливанию запросов на чтению с двух дисков в синхронизированном первом рейде. Все дело лишь в драйвере.

А какой драйвер если всё идет через mdadm?

а кто обслуживает ввод вывод в файлы типа /dev/md0, какой у них там старший номер устройства и какому драйверу внутри ядра он соотвествует? Я не знаю, у меня линукса под рукой нет, посмотрите кто может. Мне казалось, что программный raid в linux состоит из трех компонентов: утилиты, процесс-монитор и драйвер внутри ядра. Ну я могу и ошибаться. В данном случае под драйвером я имел ввиду программу, которая управляет вводом-выводом в raid.

PS а LVM прекрасно живет на устройствах типа /dev/md0
Внимание: У меня под рукой нет машины с Linux. Я не использую эту ОС. Ответы я даю либо по памяти, либо мне помогает гугл. Тщательно читайте маны по тем командам и конфигурационным файлам, которые я упоминаю.

0xDEFEC8ED
Спасибо сказали:
Аватара пользователя
кодировщик
Сообщения: 974
Статус: зарёган в пятницу 13
ОС: Linux

Re: Скорость RAID1

Сообщение кодировщик »

nesk писал(а):
04.07.2008 23:40
я сейчас точно не могу назвать марку и модель дискового массива, который так умеет работать с первым рейдом. Поискать ссылку?

теперь я понял что вы имели ввиду.

nesk писал(а):
04.07.2008 23:40
Мне казалось, что программный raid в linux состоит из трех компонентов: утилиты, процесс-монитор и драйвер внутри ядра. Ну я могу и ошибаться.

Программы взаимодействия, управления и функций реализованных в ядре.

nesk писал(а):
04.07.2008 23:40
PS а LVM прекрасно живет на устройствах типа /dev/md0

Вот за это не могу сейчас точно сказать, нет под рукой ничего, просто не помню pvcreate работает с какими типами устройств.
Спасибо сказали:
Аватара пользователя
TuLiss
Сообщения: 1611
Статус: 01100
ОС: Gentoo,Ubuntu,MacOS X

Re: Скорость RAID1

Сообщение TuLiss »

Программный RAID этого не умеет, на то он программный. Если вам это действительно надо, то покупайте аппаратный RAID, с нормальным процессором и памятью, тогда результат будет как говорится на лицо. Еще одно замечание про RAID, что лучше сразу к ним покупать батарейку, иначе в большинстве случаев вы не сможете включить кэш на запись, и результаты будут как у обычного 1 винта.
P.S Более менее, что то производительное начинается в районе 9000 рублей :)
Чтение man'нов в слух ещЁ никому не помогало!...
kernel 4.2
chmod -x `which chmod`
War, war never changes...
Спасибо сказали:
Аватара пользователя
кодировщик
Сообщения: 974
Статус: зарёган в пятницу 13
ОС: Linux

Re: Скорость RAID1

Сообщение кодировщик »

А кто-то создавал райд0 с помощью mdadm?!
Спасибо сказали:
Аватара пользователя
Kataklysm
Сообщения: 280
ОС: Linux Suse 10.2-10.3 Sles-10.1

Re: Скорость RAID1

Сообщение Kataklysm »

У меня программный RAID1 некаких "тормозов" нет...
Спасибо сказали:
Аватара пользователя
кодировщик
Сообщения: 974
Статус: зарёган в пятницу 13
ОС: Linux

Re: Скорость RAID1

Сообщение кодировщик »

Kataklysm писал(а):
10.07.2008 20:52
У меня программный RAID1 некаких "тормозов" нет...

А какие тормоза должны быть?! mdadm нормально с такими вещами справляется.
Спасибо сказали:
Аватара пользователя
nesk
Сообщения: 2268
Статус: Линукссаксовец
ОС: MS Windows XP Home SP3

Re: Скорость RAID1

Сообщение nesk »

кодировщик писал(а):
09.07.2008 19:27
А кто-то создавал райд0 с помощью mdadm?!


да вроде как автор данной темы создавал

NIS писал(а):
03.07.2008 17:19
. Потом решил попробовать сделать RAID0 и скорость стала 137мб/с (что логично - в 2 раза быстрее медленного винчестера)


А что?
Внимание: У меня под рукой нет машины с Linux. Я не использую эту ОС. Ответы я даю либо по памяти, либо мне помогает гугл. Тщательно читайте маны по тем командам и конфигурационным файлам, которые я упоминаю.

0xDEFEC8ED
Спасибо сказали:
playnet
Сообщения: 373
Статус: изучающий
ОС: CentOS, FreeBSD

Re: Скорость RAID1

Сообщение playnet »

фигню какую-то говорите про рейд1

man gmirror

Код: Выделить всё

                 Additional options include:

                 -b balance  Specifies balance algorithm to use, one of:

                             load         Read from the component with the
                                          lowest load.

                             prefer       Read from the component with the
                                          biggest priority.

                             round-robin  Use round-robin algorithm when
                                          choosing component to read.

                             split        Split read requests, which are big-
                                          ger than or equal to slice size on N
                                          pieces, where N is the number of
                                          active components.  This is the
                                          default balance algorithm.


Не знаю, умеет ли это мдадм, но фряшный гмиррор умеет, так что не надо нести пургу про "да это нереально, это только железно..." Железно только рейд5 и 6 работают лучше, ибо действительно отдельный проц для объемных вычислений. Остальные (0,1,10) настолько простые, что для них аппаратный рейд нужен только для удобства мониторинга и работы с ними, не более того. Там вычислений-то выбрать нужный диск для чтения и распараллелить запись.
Спасибо сказали:
Аватара пользователя
кодировщик
Сообщения: 974
Статус: зарёган в пятницу 13
ОС: Linux

Re: Скорость RAID1

Сообщение кодировщик »

playnet писал(а):
22.09.2008 18:04
фигню какую-то говорите про рейд1

man gmirror

Код: Выделить всё

                 Additional options include:

                 -b balance  Specifies balance algorithm to use, one of:

                             load         Read from the component with the
                                          lowest load.

                             prefer       Read from the component with the
                                          biggest priority.

                             round-robin  Use round-robin algorithm when
                                          choosing component to read.

                             split        Split read requests, which are big-
                                          ger than or equal to slice size on N
                                          pieces, where N is the number of
                                          active components.  This is the
                                          default balance algorithm.


Не знаю, умеет ли это мдадм, но фряшный гмиррор умеет, так что не надо нести пургу про "да это нереально, это только железно..." Железно только рейд5 и 6 работают лучше, ибо действительно отдельный проц для объемных вычислений. Остальные (0,1,10) настолько простые, что для них аппаратный рейд нужен только для удобства мониторинга и работы с ними, не более того. Там вычислений-то выбрать нужный диск для чтения и распараллелить запись.

а вы собственно о чем?!
Спасибо сказали:
gesigor
Сообщения: 410
ОС: Fedora 30

Re: Скорость RAID1

Сообщение gesigor »

Извиняюсь, еще раз хочется спросить. Создал raid1 на основе mdadm. Два диска Seagate Barracuda ES.2 (ST3500320NS) 7200rpm 32Mb. Результат команды hdparm -t

Код: Выделить всё

/dev/sdb:
 Timing buffered disk reads:  308 MB in  3.00 seconds = 102.52 MB/sec
/dev/sdc:
 Timing buffered disk reads:  306 MB in  3.01 seconds = 101.79 MB/sec

С скорость чтения с райда всего 42,42 М/c

Код: Выделить всё

date && cp vx2poem_ru.iso /dev/null && date
Чтв Мар 18 13:14:27 MSK 2010
Чтв Мар 18 13:14:41 MSK 2010
ls -l
621322240 vx2poem_ru.iso

Есть ли лечение? Может как-то можно настроить?
OC Centos, FC21
https://gesigor.ru
Спасибо сказали:
Аватара пользователя
nesk
Сообщения: 2268
Статус: Линукссаксовец
ОС: MS Windows XP Home SP3

Re: Скорость RAID1

Сообщение nesk »

Какая файловая система?
Внимание: У меня под рукой нет машины с Linux. Я не использую эту ОС. Ответы я даю либо по памяти, либо мне помогает гугл. Тщательно читайте маны по тем командам и конфигурационным файлам, которые я упоминаю.

0xDEFEC8ED
Спасибо сказали:
Аватара пользователя
nesk
Сообщения: 2268
Статус: Линукссаксовец
ОС: MS Windows XP Home SP3

Re: Скорость RAID1

Сообщение nesk »

gesigor писал(а):
18.03.2010 13:34
date && cp vx2poem_ru.iso /dev/null && date


Для измерения времени выполнения команды, лучше использовать программу time (или timex)

А так же время и скорость копирования показывает команда dd
Внимание: У меня под рукой нет машины с Linux. Я не использую эту ОС. Ответы я даю либо по памяти, либо мне помогает гугл. Тщательно читайте маны по тем командам и конфигурационным файлам, которые я упоминаю.

0xDEFEC8ED
Спасибо сказали:
Аватара пользователя
arkhnchul
Сообщения: 2284
Статус: Толчковый инженер
ОС: Debian, Fedora

Re: Скорость RAID1

Сообщение arkhnchul »

а теперь посмотрите, сколько /dev/null весит))) cat-ом туда писать надо. Хотя это смотря где, но точно помню, что иногда при такой конструкции /dev/null просто заменяется копируемым файлом. В таком случае конечно будет медленнее...
Losing is fun!
Спасибо сказали:
Аватара пользователя
arkhnchul
Сообщения: 2284
Статус: Толчковый инженер
ОС: Debian, Fedora

Re: Скорость RAID1

Сообщение arkhnchul »

ЗЫ на баше старом даже было)
<Admin_> mv / /dev/null
<rm-rf> ага, ты ещё как BSDobermann сделай "mv file.avi /dev/null" и потом удивляйся, почему у тебя "mplayer /dev/null" кино кажет и этот /dev/null весит 640 мегов)
Losing is fun!
Спасибо сказали:
gesigor
Сообщения: 410
ОС: Fedora 30

Re: Скорость RAID1

Сообщение gesigor »

Файловая система ext3. cat тоже пробовал, скорость та же. Файл /dev/null нормальный :-) timex еще не пробовал, в fedora 11 ее еще надо поставить. Домой приду, попробую. Прикол еще в другом - пробую скорость мерять на одиночном диске - все хорошо,, скорость приличная... И посмотрел на работе (тоже есть машина с таким raid1), тоже скорость низкая. Что-то я не так наверно делаю. А я еще заметил, сетка гигабитная, так если на машину копирую, так ждать надо. Если копирую на машину, где raid аппаратный, то все летает.
OC Centos, FC21
https://gesigor.ru
Спасибо сказали:
gesigor
Сообщения: 410
ОС: Fedora 30

Re: Скорость RAID1

Сообщение gesigor »

Пробовал так:

Код: Выделить всё

time -p cat VL6.0-Light-Final.iso > /dev/null
time -p говорят аналог timex. Скорость получается 40,45 примерно. Есть у кого какие мысли? уже голову сломал...
OC Centos, FC21
https://gesigor.ru
Спасибо сказали: