rsync & ionice

[bugmenot555]

Ситуация, Rsync сервер -Rsync клиент. Машинка на которой находится сервер, весьма загруженная, и когда подключаюсь к ней клиентом, стянуть копию, LA летит выше крыши, потому, что Rsync в свою очередь забивает собой весь IO на сервере.

Итак, как пытался решить это дело. Перво, наперво ограничивал скорость --bwlimit:

Код: Выделить всё

rsync --progress --bwlimit=4500 --rsync-path= --verbose --archive --delete-after --rsh="ssh -i /root/.ssh/id_rsa-pstam" rsync://server/files /backupDF

В целом хорошо, но файла оччень много, поэтому при такой скорости и таком кол-ве, любая сотня килобит растягивается пропорционально. Хотя, реальных тестов не делал...
Скорость, небольшая, плюс, если начинается работа с диском другим ПО, то и это ограничение не спасает, IO летит выше 10Mb, LA ползет вверх.

Также попробовал сделать такой финт:

Код: Выделить всё

rsync --progress --rsync-path="/usr/bin/ionice -c2 -n7" --verbose --archive --delete-after --rsh="ssh -i /root/.ssh/id_rsa-pstam" rsync://server/files /backupDF

В таком варианте я совсем не увидел разницу с найсом и без.
Вот немного завис на таких моментах.

[sash-kan]

bugmenot555
пишете, что «машина весьма загружена».
а чего вы, собственно, хотите добиться? чуда?

[-sanches-]

Можно поиграться с ionice при планировщике cfq, но когда я это пробовал, то ничего интересного не заметил. Может, не правильно этот механизм использовал.
Если ядро 2.6.33 и выше, можно поискать есть ли что либо в юзерспейсе для реализации ядерной фичи Block I/O controller. Эта штука очень интересная, судя по описанию с ней можно очень тонко настроить взаимодействие всех процессов с дисковой подсистемой.

[bugmenot555]

bugmenot555
пишете, что «машина весьма загружена».
а чего вы, собственно, хотите добиться? чуда?

Про чудо уже молчу))Хотя бы бекапа добиться))

Можно поиграться с ionice при планировщике cfq, но когда я это пробовал, то ничего интересного не заметил. Может, не правильно этот механизм использовал.
Если ядро 2.6.33 и выше, можно поискать есть ли что либо в юзерспейсе для реализации ядерной фичи Block I/O controller. Эта штука очень интересная, судя по описанию с ней можно очень тонко настроить взаимодействие всех процессов с дисковой подсистемой.

В общем сделал так, что в принципе мало изменило ситуацию при попадании в "хорошие нагрузки" другим ПО. Просто подгадал время наименьшей активности и очистки памяти в джаве.Получилось так:

Код: Выделить всё

rsync --rsync-path='/usr/bin/nice -n 20 ionice -c3 rsync' --verbose --times --archive --delete-after --rsh="ssh -i /root/.ssh/id_rsa-pstam" rsync://server/files /backupDF

Ядро там вообще 2.6.21, поэтому поигрался бы с удовольствием, но у амазона свое мнение на счет версий ядра)

[sash-kan]

1. java. я лучше промолчу.
2. amazon. а что, они, действительно, не предоставляют услугу бэкапа?

[bugmenot555]

1. Тут хоть молчи, хоть кричи, все равно все проекты на ней. И такое бывает
2. Предоставляют. Как раз для этого и нужно рсинкать на другую машинку, для того, что бы можно было спокойно отмаунтить диск с инфой. Это особенности их снепшотов.