Зависание файловых менеджеров на сетевых дисках

[UriyZenkov]

Копировать командой gvfs-copy

попробовал скопировать этой командой - также ждет непонятно чего.

[Bizdelnick]

Что значит — непонятно чего? Передачи данных ждёт. Ожидание у наутилуса Вы не видите, потому что он для копирования, скорее всего, запускает отдельный процесс (а может быть тред, фиг его знает). Но это не значит, что в нём копирование происходит быстрее. А тут Вы ни отправлять процесс копирования в фон не хотите, ни ждать его завершения, — ну извиняйте, третьего не дано.

[UriyZenkov]

Что значит — непонятно чего? Передачи данных ждёт. Ожидание у наутилуса Вы не видите, потому что он для копирования, скорее всего, запускает отдельный процесс (а может быть тред, фиг его знает). Но это не значит, что в нём копирование происходит быстрее. А тут Вы ни отправлять процесс копирования в фон не хотите, ни ждать его завершения, — ну извиняйте, третьего не дано.

Забыл уточнить этот момент
В целевом каталоге долго не появляется копируемый файл, при копировании не через наутилус.
Я за ноутбуком, где есть индикатор мигающий при копировании на hdd и слегка слышен треск hdd. При копировании через наутилус, сразу начинает мигать индикатор и слышно работу hdd.

[ormorph]

Ну а если поиграться с dd, там можно задать размер блоков какими будет происходить выборка, параметр bs=1k. Можно выставить по байтово, но тогда будет долго копировать. Но возможно виснуть перестанет.
При удачном эксперименте можно обернуть в скрипт.

[Bizdelnick]

В целевом каталоге долго не появляется копируемый файл, при копировании не через наутилус.
Я за ноутбуком, где есть индикатор мигающий при копировании на hdd и слегка слышен треск hdd. При копировании через наутилус, сразу начинает мигать индикатор и слышно работу hdd.

Ну тогда это проблема fuse-драйвера.

[serzh-z]

К тому же, время ожидания прямо пропорционально объёму копируемого.

Это возмутительно! =)

[ormorph]

Это возмутительно! =)

Действительно)

У меня такое ощущение, если лимит скорости уменьшить при копировании и ни чего не поможет, то можно смело всю систему выкидывать))
Как вариант можно задать в rsync параметр --bwlimit.
Пример:

Shell

# rsync -avhu --bwlimit=5000 --progress /inputdir/ /outputdir/

[UriyZenkov]

rsync -avhu

~/.cache/spacefm/ptp/store_00010001/DCIM$ rsync -avhu --bwlimit=5000 --progress /151_1710 /home/yura/
sending incremental file list
rsync: link_stat "/151_1710" failed: No such file or directory (2)

sent 18 bytes received 12 bytes 60.00 bytes/sec
total size is 0 speedup is 0.00
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1196) [sender=3.1.2]
yura@yura:~/.cache/spacefm/ptp/store_00010001/DCIM$ rsync -avhu --bwlimit=5000 --progress /151_1710 /home/yura/
sending incremental file list
rsync: link_stat "/151_1710" failed: No such file or directory (2)

sent 18 bytes received 12 bytes 60.00 bytes/sec
total size is 0 speedup is 0.00
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1196) [sender=3.1.2]

[ormorph]

~/.cache/spacefm/ptp/store_00010001/DCIM$ rsync -avhu --bwlimit=5000 --progress /151_1710 /home/yura/
sending incremental file list
rsync: link_stat "/151_1710" failed: No such file or directory (2)

Говорит что такая директория не существует.
Может не от туда копируете?
Для начала просто в консоли выполните копирование. Смонтированные директории может показать команда df. От spacefm это не зависит, ну и на самом деле там много поточность реализована в одном процессе используя нити pthread.
Так что для начала попробуйте просто в консоли выполнить копирование, не знаю как вы это пытались осуществить.

[ormorph]

Вот ради интереса состряпал простой скрипт с использованием rsync, вставил в меню по правому клику. Теперь просто выделяешь и копируешь файлы, затем переходишь в другую папку и вставляешь выбрав в меню запуск данной команды.
Скрипт:

Код: Выделить всё

#!/bin/bash

$fm_import
while read file
do
rsync -ahu --bwlimit=5000 "$file" "$fm_pwd"
done <<< "$(xclip -o -selection c)"

[Hephaestus]

не требует красноглазия с консолью чтоб настроить монтирование дисковых носителей

Простите, что вмешиваюсь, но... Что там красноглазить-то?
Временные носители (типа флешек) - через pmount.
Полтора десятка знаков в консоли набить - дело нескольких секунд. И уж точно быстрее тех периодов ожидания, о которых Вы рассказываете.
Более постоянные носители - через /etc/fstab. Можно автоматически. А можно и так, чтобы автоматически не монтировалось, а монтировалось по вызову mount, не требуя прав рута. В этом случае опять-таки полтора десятка знаков в консоли.
Настраивается всё это хозяйство пару раз в жизни, ну в крайнем случае - раз в несколько лет.
Вообще никаких проблем.

Я вот одного не пойму. Эта проблема наблюдается десятки лет, неужели за столько времени не получилось реализовать монтирование сетевых файловых систем отдельными процессами, чтоб можно было вырубать или перемонтировать.

Оно и сейчас вполне может монтироваться отдельными процессами. Примерно так, как я описал выше.
Кто ж Вам запрещает? Монтируйте на здоровье. На мой взгляд, задача монтирования - это вообще не проблема файлового менеджера, потому что в общем случае к моменту запуска ФМ уже всё смонтировано, исключая временные носители (которые банально могут отсутствовать). Ну, согласитесь, странно предъявлять претензии к ФМ по поводу монтирования, учитывая наличие /etc/fstab и соответствующие процессы на этапе начальной загрузки.

А когда таким образом зависает ФМ, то ты сидишь за компом без рук. Надо открыть каталог, получить доступ к файлам, а файловый менеджер нельзя ни запустить заново ни вырубить командой killall -s 9. В крайнем случае перезагрузить компьютер, тут хорошо что инит не Systemd, a Systemv, ибо пришлось бы три часа ждать перезагрузки. Остается только принудительно вырубить сетевой диск командой umount -l или выдернуть сетевой кабель.

Стало быть, у Вас зависает ФМ во время работы с сетью, а Вы из-за этого не можете получить доступ даже к локальным файлам, так как ФМ занят. Правильно понимаю?
Как у Вас всё печально-то...
Значит, сделать в консоли killall Вы можете, а открыть новое окошко консоли и получить в нем доступ к файлам не можете? Или, скажем, попробовать запустить вторую копию ФМ из этого самого окошка консоли.
Или вообще, запустить новую копию иксов и попробовать сделать там что-то. Да мало ли вариантов...
А Вы говорите, "сидишь как без рук". Такое впечатление, что у Вас однозадачная система.

Или у Вас во время операций с сетью зависает вообще всё, а не только ФМ?

[ormorph]

Или у Вас во время операций с сетью зависает вообще всё, а не только ФМ?

Он уже говорил, что не только с сетью, а также при копировании с медленных носителей, виснет система. Тут причина работа драйвера при копировании драйвер занимает ядро, и система перестает реагировать. В таком случае было предложено решение, что бы копирование происходило более короткими блоками, чем это делает cp по умолчанию. В таком случае управление чаще будет передаваться системе. Тут причина в ядре и железе.
Осталось узнать у него что нибудь получилось или нет.

[Bizdelnick]

Он уже говорил, что не только с сетью, а также при копировании с медленных носителей, виснет система.

Вроде бы речь шла только о зависании ФМ (всех его окон, включая рабочий стол).

[ormorph]

Вроде бы речь шла только о зависании ФМ (всех его окон, включая рабочий стол).

Нет у него висло даже при копировании из консоли, ну и висли все окна. Консоль уже другой процесс, следовательно и поток тоже. По этому тут ФМ не причем, так как окнами управляет icewm, а от spacefm обложка с иконками. Ну а то что при копировании через nautilus, не висло и при этом копировалось значительно дольше, означает что через nautilus копировалось более короткими блоками, вот и время увеличилось.

[UriyZenkov]

ormorph, спасибо, позже попробую скрипт.

Мне вот интересно, а windows explorer (проводник тоже так тупит с копирование на сетевые диски (ftp например) ?

[ormorph]

Код: Выделить всё

Мне вот интересно, а windows explorer (проводник тоже так тупит с копирование на сетевые диски (ftp например) ?

Он просто очень долго копирует...
Могу еще один скрипт накинуть копирование tar-ом.

Код: Выделить всё

#!/bin/bash

$fm_import
LF="
"
while read dirfile
do
   while read file
   do
      FILE=$file
   done <<< "${dirfile//\//$LF}"
   DIR=${dirfile/$FILE/}
   echo DIR=$DIR
   tar -cf - -C "$DIR" "$FILE" |throttle -M 5| tar -C "$fm_pwd" -xvf -
done <<< "$(xclip -o -selection c)" 2>/dev/null

Размер выборок устанавливается командой throttle.
Для экспериментов пойдет)

[serzh-z]

Мне вот интересно, а windows explorer (проводник тоже так тупит с копирование на сетевые диски

Думаю, что вы нашли единственный файловый обозреватель в мире, в котором додумались смешать поток UI с потоком, выполняющим длительные операции. Даже в консольном FAR такой проблемы больше нет - только что проверил.

[Hephaestus]

Мне вот интересно, а windows explorer (проводник то есть) тоже так тупит с копирование на сетевые диски (ftp например) ?

Тупит. Ещё хуже. Даже не с копированием, а с любыми операциями. И даже не только проводник, но и другие программы.

У нас на работе есть локальная сеть, некоторые сетевые ресурсы выведены как сетевые диски и подключаются автоматически при старте системы.
Во-первых, оно тупит чисто при подключении. Попытка соединиться с сетевыми ресурсами происходит раньше, чем успела подняться сеть. В результате начинаются всплывающие сообщения на тему "Не удалось подключиться ко всем сетевым дискам" (эта формулировка мне особенно нравится - калька с английского, на самом деле это надо понимать как "удалось подключиться не ко всем сетевым дискам").
После этого попытка обратиться к сетевому диску из какой-либо программы (например, в скрипте путь прописан) закончится неудачей. Нужно открыть проводник (все сетевые диски будут помечены красным крестиком) и протыкать мышью по буквам сетевых дисков - всё нормально откроется. Когда вконец надоело этим заниматься, было принято решение логиниться в систему не сразу, а спустя три-пять минут после включения машины.

Во-вторых, оно дико тупит, если какой-либо сетевой ресурс недоступен.
Например, отвалился один из сетевых дисков (на самом сетевом ресурсе что-то с ним случилось). Закрепленная за ним буква диска стала неактуальной. Казалось бы - и чёрт с ней. Но нет.
Я запускаю, к примеру, Exсel и хочу в нём открыть пару файлов. Поскольку это именно пара файлов (ну или три, четыре, то есть больше одного), то удобнее открывать не щелчком по имени файла, а из самой программы.
Итак, я запускаю Excel и выбираю команду Открыть файл. Оно зависает на несколько минут. Причём, практически вся система, а не только Ecxel. Excel вообще почти мёртв, а всё остальное отзывается с огромными задержками. Минут через пять-десять всё это оживает и Excel наконец-то показывает диалог открытия файла.

Я долго не мог понять, что ему надо, потом оказалось, что одна из сетевых букв неактуальна - ресурс недоступен. А Excel при открытии файла, видимо, пытается что-то там просматривать, кешировать и т.п., натыкается на недоступный ресурс и висит несколько минут. Таймаут там какой-то гигантский. Да ещё и тормозит всех остальных. Это пример с Excel, с другими, будет то же самое. В итоге, убрали из системы недоступный сетевой ресурс - всё прекратилось.
У меня, конечно, там не слишком быстрая машина, но скорость отклика в описанной ситуации - несколько минут, в нормальном состоянии - доли секунды. Я думаю, задержка будет заметна и на быстрой машине тоже.

[ormorph]

Думаю, что вы нашли единственный файловый обозреватель в мире, в котором додумались смешать поток UI с потоком, выполняющим длительные операции.

У меня же не виснет на spacefm при копировании больших файлов, а при копировании с помощью cp немного притормаживает на ноуте. На стационарнике вообще не виснет. Тут еще что за железо используется.

[serzh-z]

Уже и не пойму кто кого троллит. =)

[UriyZenkov]

Thunar также подвисает при копировании на сетевой диск (процесс копирования идет, но его окно ни на что не реагирует как и в spacefm), однако каждый экземпляр thunara запускается в отдельном процессе. Spacefm же все лепит в один процесс. Как запустить Spacefm в нескольких процессах ? В Windows начиная с 7 есть такое: https://www.commix.ru/settings/2-explorer-exe.html

[ormorph]

Как запустить Spacefm в нескольких процессах ?

Ни как, все новые окна, часть одного процесса. А много поточность там организована через библиотеку libpthread.
В этом можно убедится выполнив:

Shell

$ ldd /usr/bin/spacefm|grep pthread

Скриптом пробовали уже копировать?
Его можно настроить в меню запускать в отдельном терминале копирование, это уже в другом процессе, тогда в rsync добавить ключик --progress, для отображения процесса копирования.
Добавляется просто, на пустом месте в открытом каталоге открываетсяправой кнопкой меню, дальше выбирается пункт новая --> команда, далее вводится название нового пункта и далее вводится путь к скрипту, и уже галочками можно выставить как он должен запускаться, в терминале или нет, так же галочкой указывается оставлять терминал открытым или нет по завершении работы скрипта. Вот и проверите виной в этом ФМ или еще что.
Разницы быть не должно, в терминале запущен скрипт или нет...

[UriyZenkov]

выходит ошибка:

Shell

ssh: Could not resolve hostname http: Name or service not known
rsync: connection unexpectedly closed (0 bytes received so far) [Receiver]
rsync error: unexplained error (code 255) at io.c(235) [Receiver=3.1.2]

[ Finished ] Press Enter to close or s + Enter for a shell:

Я правильно ввел скрипт:
http://imagizer.imageshack.com/img922/8995/txe1jN.png ?

[UriyZenkov]

Ни как, все новые окна, часть одного процесса. А много поточность там организована через библиотеку libpthread.

Если запустить от другого пользователя, то будут два процесса ))
Может все таки есть возможность запустить Spacefm несколько раз от одного пользователя ?

[ormorph]

Я правильно ввел скрипт:
http://imagizer.imageshack.com/img922/8995/txe1jN.png ?

Ну вы выбрали сценарий, сценария я не выбирал, я просто выбрал пункт командная строка и в ней уже прописал скрипт:

Shell

~/.run/copy.sh

Т.е. скрипт находится в домашнем каталоге .run
Надеюсь программу xclip установили, она необходима для получения списка скопированных файлов в буфер обмена.
Для отладки можете на время закоментировать строчку rsync и выставить вывод переменных участвующих в команде rcync для вывода командой echo и запустить в терминале, что бы посмотреть правильный ли вывод.
Путь с которого копируете или на который копируете, точно смонтирован как раздел?

[UriyZenkov]

У меня такое ощущение, если лимит скорости уменьшить при копировании и ни чего не поможет, то можно смело всю систему выкидывать))
Как вариант можно задать в rsync параметр --bwlimit.
Пример:

Shell

# rsync -avhu --bwlimit=5000 --progress /inputdir/ /outputdir/

Ввожу команду правильно и без ограничения скорости:

Shell

rsync -avhu --progress /home/yura/.cache/spacefm/ptp/store_00010001/DCIM/151_1710 /home/yura/
sending incremental file list

и так же как CP и Spacefm через 4 минуты rsync начинает копирование:

Shell

151_1710/MVI_0002.MOV
364.74M 16% 15.19MB/s 0:01:57 ^C
rsync error: received SIGINT, SIGTERM, or SIGHUP (code 20) at rsync.c(644) [sender=3.1.2]
rsync error: received SIGINT, SIGTERM, or SIGHUP (code 20) at io.c(513) [generator=3.1.2]
yura@yura:~$ rsync -avhu --progress /home/yura/.cache/spacefm/ptp/store_00010001/DCIM/151_1710 /home/yura/
sending incremental file list
151_1710/
151_1710/MVI_0002.MOV
2.20G 100% 14.52MB/s 0:02:24 (xfr#1, to-chk=0/2)

sent 2.20G bytes received 39 bytes 6.28M bytes/sec
total size is 2.20G speedup is 1.00
yura@yura:~$

Загрузка процессора, винчестера и памяти на время на все время работы rsync, cp и spacefm не заметна. При этом всё абсолютно отзывчиво, будто ничего не запускали. Нагрузку вижу визуально и через top. Ноут 2011 года, (Core3, 12гб ОЗУ, SATA диск без каких-либо повреждений).

[UriyZenkov]

По копированию на сетевые диски.
Если копировать, например программой Thunar, то подвисает окно с открытым целевым каталогом. Копирование при этом идет, это видно другими программами по растущему объёму целевого файла. Так как Thunar многопроцессный, то его можно запустить несколько раз подряд и будет несколько процессов и столько же окон соответственно. Я запустил его еще раз, открылось новое окно где все моментально открывается, но через 10-15 секунд и это окно подвисло. Открываю следующее окно Thunar - сначала все отзывчиво, а через пару секунд и оно подвисает.

А Spacefm работает только в одном процессе и соответственно подвисает (копирование при таком подвисании идет), вместо со всеми окнами, в том числе и своим рабочим столом.

На данный момент есть обходные решения:
1) копирование на тот сетевой диск другими программами. Пусть лучше они подвисают;
2) копирование от root. В Spacefm есть такая кнопка, при этом открывается полностью независимый Spacefm, но от root.

[serzh-z]

и так же как CP и Spacefm через 4 минуты rsync начинает копирование

Сколько можно мусолить одно и то же? MTP и PTP так работают. Они не станут отдавать файлы быстрее, даже если вы станцуете в трусах перед авторами cp, rsync и SpaceFM. А вот если станцевать перед автором SpaceFM, то, может, он и перепишет его так, чтобы файловые операции не блокировали обновление пользовательского интерфейса, а выполнялись отдельно.

[UriyZenkov]

Написал им:
https://github.com/IgnorantGuru/spacefm/issues/738
https://github.com/IgnorantGuru/spacefm/issues/739
Будем ждать ответа и скорого решения проблемы.

[serzh-z]

Будем ждать ответа и скорого решения проблемы.

Он же ответил уже, в аналогичном "багрепорте", что его ломает разлеплять пельмени и все там переписывать: https://github.com/IgnorantGuru/spacefm/issues/694#issuecomment-344918476