РЕШЕНО - субшелл (записать данные из субшелла в переменную)

[v4567]

Есть код:

Код: Выделить всё

i=0

find "/dir" -type f -print0 | while read -r -d '' per1
do
   per2="${per1##*/}"
   (( i++ ))
   dir[$i]="$per2"
done

printf "%s\n" "${dir[@]}"

printf не выведет ничего, так как read запускает свой субшелл и все данные останутся там, пробовал всякие перенаправления ничего не получается. Записывать в файл на диск нельзя. export не поможет так как он экспортирует для потомков, а не для родителей. Можно как то передать данные в переменную-массив в самом скрипте не прибегая к записи в файл на дик?

Если заменить на:

Код: Выделить всё

i=0

for per1 in $(find "/dir" -type f)
do
   per2="${per1##*/}"
   (( i++ ))
   dir[$i]="$per2"
done

printf "%s\n" "${dir[@]}"

То тогда если будут файлы с названиями "*, ? " и т.д. то почему то find заносит в переменную один и тот же файл несколько раз, просто команда find отрабатывает нормально, с for-ом получается какая то чепуха.

Вот такая конструкция:

Код: Выделить всё

i=0

for per1 in "/dir/*" "/dir/.*" -type f
do
   per2="${per1##*/}"
   (( i++ ))
   dir[$i]="$per2"
done

printf "%s\n" "${dir[@]}"

Работает просто превосходно, но совсем не просто сделать рекурсию по вложенным папкам.

[Hephaestus]

Можно как то передать данные в переменную-массив в самом скрипте не прибегая к записи в файл на дик?

Объявить массив dir глобально (до входа в цикл), например.
Вроде должно сработать, но точно не помню.

[Vascom]

А в чём конкретно задача?
Нельзя ли вывод find записать в переменную, а из неё уже вытаскивать в цикле и записывать нужное в массив?

[Bizdelnick]

Можно как то передать данные в переменную-массив в самом скрипте не прибегая к записи в файл на дик?

Можно использовать подстановку процесса:

Код: Выделить всё

#!/bin/bash

readarray -d '' dir < <(find /dir -type f -print0)
printf "%s\n" "${dir[@]##*/}"

если будут файлы с названиями "*, ? " и т.д. то почему то find заносит в переменную один и тот же файл несколько раз

find тут ни при чём, просто его вывод обрабатывается шеллом, который раскрывает такие имена как шаблоны glob.

[olecya]

Код: Выделить всё

dir=($(find "/dir" -type f -printf "%f "))
echo ${dir[@]}

Добавлено (11:15):

Код: Выделить всё

xargs -n1 <<<${dir[@]}

Код: Выделить всё

fmt -1 <<<${dir[@]}

Код: Выделить всё

grep -o "[^ ]\+" <<<${dir[@]}

[ormorph]

printf не выведет ничего, так как read запускает свой субшелл и все данные останутся там, пробовал всякие перенаправления ничего не получается.

Хм, при чем тут субшелл?
В данном случае конвейер не пропускает переменную. Нужно менять конструкцию без использования конвейера.
Для while можно так:

Код: Выделить всё

i=0
while read -r -d '' per1
do
   per2="${per1##*/}"
   (( i++ ))
   dir[$i]="$per2"
done <<< "$(find "/dir" -type f -print0)"

printf "%s\n" "${dir[@]}"

Работу скрипта даже не проверял, но работать будет...

[olecya]

Код: Выделить всё

mapfile dir < <(find $(cd /dir) -type f -print0 | xargs -0)

Добавлено (11:42):

Код: Выделить всё

mapfile -t dir < <(find "/dir" -type f -print0 | xargs -0 -I{} basename {})

Добавлено (11:51):

mapfile dir < <(find $(cd /dir) -type f -print0 | xargs -0)

Да, вот тут я погорячилась )))

Код: Выделить всё

mapfile dir < <(cd "/dir" && find -type f -print0 | xargs -0)

[Bizdelnick]

Хм, при чем тут субшелл?
В данном случае конвейер не пропускает переменную.

Сабшелл здесь при том, что конвейер создаёт сабшелл, и именно поэтому определённая в нём переменная недоступна из основного шелла.

[olecya]

А может все гораздо проще и нет необходимости в нулевом разделителе и рекурсивном поиске?

Код: Выделить всё

dir=($(cd /dir; ls -p | grep -v '/'))

[ormorph]

Сабшелл здесь при том, что конвейер создаёт сабшелл, и именно поэтому определённая в нём переменная недоступна из основного шелла.

Есть такое, только read тут не причем, это внутренняя команда bash.

[Bizdelnick]

А может все гораздо проще и нет необходимости в нулевом разделителе и рекурсивном поиске?

Код: Выделить всё

dir=($(cd /dir; ls -p | grep -v '/'))

Вот на ls точно полагаться не надо. Не только в этом случае, а вообще никогда.

[v4567]

find тут ни при чём, просто его вывод обрабатывается шеллом, который раскрывает такие имена как шаблоны glob.

Да, так и есть.

Если взять в директории "/dir" создать два файла "11" и "*", а потом выполнить в баше команду:

Код: Выделить всё

find "/dir" -type f

то выведет:

Код: Выделить всё

/dir/11
/dir/*

А вот если выполнить такую команду:

Код: Выделить всё

i=0 ; for per in $(find "/dir" -type f) ; do (( i++ )) ; dir1[$i]="$per" ; done ; printf "%s\n" "${dir1[@]}"

Вот она в читаемом виде:

Код: Выделить всё

i=0

for per in $(find "/dir" -type f)
 do
    (( i++ ))
    dir1[$i]="$per"
done

printf "%s\n" "${dir1[@]}" 

То выведет:

Код: Выделить всё

/dir/11
/dir/11
/dir/*
/dir/11

Файл "11" выведен два лишних раза.
Скорее всего из-за $(.....)

Соответственно если файлов будет много, работа скрипта затянется очень на долго.
Попробовал вывести файлы их было очень много и вроде не было файлов с названием "*", но скрипт так и не завершился.
Пришлось его убивать по ctrl+C

[v4567]

Для while можно так:

Код: Выделить всё

i=0
while read -r -d '' per1
do
   per2="${per1##*/}"
   (( i++ ))
   dir[$i]="$per2"
done <<< "$(find "/dir" -type f -print0)"

printf "%s\n" "${dir[@]}"

Работу скрипта даже не проверял, но работать будет...

Не подходит, вот что выдаёт:

Код: Выделить всё

строка 41: предупреждение: command substitution: ignored null byte in input

В моём скрипте, строка 41 это:

Код: Выделить всё

done <<< "$(find "/dir" -type f -print0)"

Добавлено (16:34):

Кстати, что означают эти три символа "<<<"?

Добавлено (16:37):

Без -print0, уже не ругается, но и ничего не вывелось, массив пустой.

Добавлено (16:44):

Замечательно отработал вот такой вариант:

Код: Выделить всё

i=0
while read -r -d '' per1
do
   per2="${per1##*/}"
   (( i++ ))
   dir[$i]="$per2"
done < <(find "/dir" -type f -print0)

printf "%s\n" "${dir[@]}"

Добавлено (16:46):

Получается различие в <<< $() < <()

Я особо с файлами не работал, но как оказалось, работать с файлами, папками в bash скриптах, что бы учесть все нюансы, это очень сложная задача.

[ormorph]

Кстати, что означают эти три символа "<<<"?

Перенаправляет вывод команды в цикл while.

Без -print0, уже не ругается, но и ничего не вывелось, массив пустой.

Странно бы было, у вас стоит параметр -d '', он читает в качестве разделителя "ничто", а не новую строку, что не айс, в потоке еще сработает. Надо бы убрать данный ключик:

Код: Выделить всё

i=0
while read -r per1
do
   per2="${per1##*/}"
   (( i++ ))
   dir[$i]="$per2"
done <<< "$(find "/dir" -type f)"

printf "%s\n" "${dir[@]}

Такой вариант должен сработать.

Получается различие в <<< $() < <()

Различие есть, первый вариант сначала записывает вывод в буфер, а потом направляет вывод в цикл, тут в качестве вывода выступает текст в кавычках.
Второй вариант направляет непосредственно поток в цикл, это позволяет обрабатывать вывод в реальном времени.

[/dev/random]

Странно бы было, у вас стоит параметр -d '', он читает в качестве разделителя "ничто", а не новую строку, что не айс, в потоке еще сработает. Надо бы убрать данный ключик:

-d '' означает использовать в качестве разделителя символ \0, единственный символ, запрещённый в полных путях к файлам. В вашем варианте могут встретиться файлы с переводом строки в именах, и этот перевод может быть воспринят как разделитель. В done <<< "$(find "/dir" -type f -print0)" проблема была в том, что шелл не умеет работать с \0 внутри строк, и удаляет его. done < <(find "/dir" -type f -print0) - корректный вариант, передающий вывод от find напрямую через пайп в read, не пропуская его через те места, где шелл может удалить \0.

[v4567]

Код: Выделить всё

i=0
while read -r per1
do
   per2="${per1##*/}"
   (( i++ ))
   dir[$i]="$per2"
done <<< "$(find "/dir" -type f)"

printf "%s\n" "${dir[@]}

Ругается на строку:

Код: Выделить всё

while read -r '' per1

Код: Выделить всё

read: «»: это недопустимый идентификатор

Вот этот вариант работает отлично:

Код: Выделить всё

i=0
while read -r -d '' per1
do
   per2="${per1##*/}"
   (( i++ ))
   dir[$i]="$per2"
done < <(find "/dir" -type f -print0)

printf "%s\n" "${dir[@]}"

Тут новая проблема, я уже честно готов сдаться.

Мне надо найти одинаковые по имени файлы в двух директориях. Есть вложенные директории, заранее сколько вложенных директорий, сколько вообще директорий, файлов не известно.

Так вот я все названия загоняю в два массива, а потом сравниваю как строки. Алгоритм сравнения с убиранием повторяющихся названий файлов (во вложенных директориях могут быть файлы с одинаковыми именами, в выводе их не должно быть)и т.д готов. Уже (не без помощи вашего и других форумов) решил вопрос с нестандартными именами файлов и папок. На небольшом количестве файлов и папок работает всё прекрасно. Но когда файлов и папок очень много, при этом команда find "/dir" -type f выводит названия всех файлов за секунду полтары, то вышеприведённая конструкция, просто загнать все названия файлов в массив, затрачивает на это час. Это при том, что дело ещё не дошло до сравнения построчно.

Получается, что данная конструкция не приемлема, надо делать как то по другому. А как? Может такое вообще не рационально реализовывать в bash скрипте?

Подскажите если у кого есть какие нибудь мысли.
Скорее всего такое можно наверное реализовать на Си...

[Bizdelnick]

вышеприведённая конструкция, просто загнать все названия файлов в массив, затрачивает на это час.

А зачем Вы загоняете имена файлов в массив такой жуткой конструкцией? Используйте readarray/mapfile, примеры см. выше.

[/dev/random]

Shell

readarray -d '' dup < <( (find "$dir1" -type f -printf '%f\0' | sort -zu; find "$dir2" -type f -printf '%f\0' | sort -zu) | sort -z | uniq -dz )

Заполнит массив dup именами файлов, имеющихся и в "$dir1" (или подкаталогах), и в "$dir2" (или подкаталогах). Имена подкаталогов включать в сравнение и вывод не будет. Если нужно, чтобы включал, то:

Shell

readarray -d '' dup < <( (find "$dir1" -type f -printf '%P\0' | sort -zu; find "$dir2" -type f -printf '%P\0' | sort -zu) | sort -z | uniq -dz )

[v4567]

Пятый день мучаюсь над поставленной задачей, родил около 40 строк кода. Тут пришёл /dev/random и за одну секунду, одной строчкой кода, решил все проблемы.
Снимаю шляпу перед /dev/random!

/dev/random подскажите что почитать по bash скриптингу на русском языке.
http://rus-linux.net/MyLDP/BOOKS/abs-guide/flat/abs-book.html - это самое нормально, что попадалось, но как то там не договаривают что ли...... Прочтёшь и как то всё равно не понятно.

Вот из приведённой строчки кода вроде все команды знакомы, но вот так их все связать я не догадался.

Кстати Вы прошлый раз не написали название массива, а сейчас написали название массива но убрали команду diff. Я проверил, без diff работает, то есть сравнивает и одинаковые имена записывает без повторений. Вот от тут я что то вообще не пойму как оно без diff работает???

[/dev/random]

/dev/random подскажите что почитать по bash скриптингу на русском языке.

К сожалению, не знаю. На русском языке давно ничего не читаю, а bash изучал настолько давно, что уже и не помню, как именно.

Кстати Вы прошлый раз не написали название массива, а сейчас написали название массива но убрали команду diff. Я проверил, без diff работает, то есть сравнивает и одинаковые имена записывает без повторений. Вот от тут я что то вообще не пойму как оно без diff работает???

Это была не команда. Это было название массива, я его переименовал из diff в dup, чтобы вы не путались.

Вот из приведённой строчки кода вроде все команды знакомы, но вот так их все связать я не догадался.

find путь -type f -printf '%f\0' - найти файлы, вывести только их имена без путей, завершив каждое символом \0. Если использовать %P вместо %f, это будет означать вывод имён файлов с путями относительно каталога, в котором идёт поиск.

-z - во всех использованных командах, кроме find и readarray, означает использование \0 в качестве разделителя. Я уберу эту опциию из описания команд ниже, для краткости.

find ... | sort -u - отсортировать найденные имена и удалить дубликаты из списка.

( find ... | sort -u; find ... | sort -u ) - вывести 2 отсортированных списка, полученные из разных каталогов. Поскольку из каждого списка отдельно удалены дубликаты, то если что-то упоминается 2 раза, значит, находится в обоих списках.

( ... ) | sort - отсортировать этот двойной список, не удаляя дубликатов. Теперь дубликаты будут идти подряд.

... | uniq -d - вывести только идущие подряд дубликаты, каждый в единственном экземпляре.

readarray -d '' dup < <(...) - и прочитать эти дубликаты в массив dup. -d '' означает использование \0 как разделителя.

[v4567]

Понятно, diff не нужен, uniq -d выведет одинаковые имена файлов.

[v4567]

Как отметить, что эта тема решённая?

[/dev/random]

Как отметить, что эта тема решённая?

Отредактируйте в первом сообщении заголовок.

[olecya]

А может все гораздо проще и нет необходимости в нулевом разделителе и рекурсивном поиске?

Код: Выделить всё

dir=($(cd /dir; ls -p | grep -v '/'))

Вот на ls точно полагаться не надо. Не только в этом случае, а вообще никогда.

Код: Выделить всё

dir=($(cd dir/ && compgen -d))

[Bizdelnick]

Код: Выделить всё

dir=($(cd dir/ && compgen -d))

Не лучше. При работе с файлами надо всегда думать "а что, если в имени встретится символ…" (дальше список, в котором на первом месте идёт пробел, на втором — перевод строки, а тут уже в данном случае можно остановиться).