Редактирование файла в bash (Debian lenny)

[amorphius]

Задача простая вроде: сделать элементарные изменения в текстовом файле, но только с помощью баша. Не знаю какие функции использовать, я то понимаю что чтения/записи, но не знаю как они называются и их форматы. Поиск по форуму привел на одну темку, где делалось это с помощью функций read и printf (кто бы мог подумать), но как то больно непонятно было написано, решил почитать маны, да не тут то было, ман показал мне функции С, а не команды баша.
К примеру есть текстовый файл:

Код: Выделить всё

132 some text
133 and again..
134 and again...
140 some text which had to be edited
145 something else
146 ok, enough...
147 I say enough:)

Как изменить какую нить строчку, например под номером 140, текстом, который введет пользователь с клавиатуры?

[allez]

Вам может помочь man sed. Или его нельзя использовать по условиям задачи? Если нельзя, то читайте Advanced Bash-scripting guide, в частности раздел 9.2. Работа со строками.

[amorphius]

Спасибо, почитаю. В задаче главное, чтобы я научился сам писать скрипты, умеющие обрабатывать текстовые файлы
Желательно, чтоб не зависило от дистрибутива

[allez]

Функцональность sed, как правило, одинакова во всех более-менее близких друг другу по дате выпуска дистрибутивах, поскольку в их состав чаще всего входят одинаковые версии sed. Впрочем, за последний десяток лет я сталкивался с отличиями в работе только лишь его GNU- и не GNU-версий. То же самое можно сказать и про bash, awk, perl...

P. S. Кстати, на всякий случай: я малость подредактировал свое предыдущее сообщение.

[drBatty]

ман показал мне функции С, а не команды баша.

попробуйте

Код: Выделить всё

 man 1 printf
help read
info sed

кстати, printf и read совсем для других целей обычно используют, используйте sed.

Функцональность sed, как правило, одинакова во всех более-менее близких друг другу по дате выпуска дистрибутивах, поскольку в их состав чаще всего входят одинаковые версии sed.

вы не поверите! но в венде есть точно такая-же sed :)

PS: начните отсюда: http://sed.sourceforge.net/

[amorphius]

Не, перл нельзя использовать, как никак совсем другой язык программирования, а вот sed, awk по-моему то, что надо. Результаты потом сообщу

[allez]

вы не поверите! но в венде есть точно такая-же sed

Охотно поверю, особенно если вы покажете, где в "Установке компонентов Windows" нужно поставить "галку" для его установки. ;)
А то у меня он что-то не запускается. :)

cmd

C:\>sed "sed" не является внутренней или внешней командой, исполняемой программой или пакетным файлом.

[drBatty]

Охотно поверю, особенно если вы покажете, где в "Установке компонентов Windows" нужно поставить "галку" для его установки. ;)
А то у меня он что-то не запускается. :)

я ссылку вам дал.
в САМОЙ винде конечно ничего нет, даже текстового редактора или компилятора.

[amorphius]

sed работает почти как мне и надо, только вот вопросик какой: почему вот такой код...

Код: Выделить всё

filename="~/somefile"
sed "s/a/u" "$filename" > $filename

...который по идее меняет все буквы a на u в файле, но файл после этого становится пустым?
Попробовал поставить >> - заработало. Почему? Насколько помню > означает запись в новый файл, а >> - добавление

[sash-kan]

sed -i

[allez]

вы не поверите! но в венде есть точно такая-же sed :)

я ссылку вам дал.

Вот любопытно, откуда у вас взялась такая непоколебимая уверенность в моем неведении о существовании порта sed для Windows? :)
Я использую его там с начала текущего века в составе UnxUtils и вполне доволен. :)

P. S. Вы меня случаем ни с кем не попутали? ;)

[drBatty]

А то у меня он что-то не запускается.

Вот любопытно, откуда у вас взялась такая непоколебимая уверенность в моем неведении

дык, если вы, по собственному признанию, не можете запустить, то я вам рассказываю - как это сделать.
а если вы уже почти 10 лет уже запускаете, откуда такие вопросы?

P. S. Вы меня случаем ни с кем не попутали?

я, честно говоря, сам только недавно узнал о том, что sed есть в windows. Т.е. я думал, что "наверное должна быть", но вообще-то этот вопрос меня очень мало волновал. Кроме того, разные версии sed практически ничем не отличаются, за исключением z и v мне не вспомнить никаких отличий новой версии от той, что была лет 5 назад (5 лет - целая эпоха ИМХО). сама sed развивается уже лет 30 с лишнем, потому навряд-ли там появятся какие-то новые фичи и т.д...

sed -i

ага. а лучше
sed -i.SUFFIX
что-бы сохранить старый файл с расширением SUFFIX.

[allez]

дык, если вы, по собственному признанию, не можете запустить, то я вам рассказываю - как это сделать. ;)
а если вы уже почти 10 лет уже запускаете, откуда такие вопросы?

Э-э, минуточку, вы хронологию-то соблюдайте. :)

вы не поверите! но в венде есть точно такая-же sed :)

А то у меня он что-то не запускается. :)

Сначала вы заявили, что sed в Винде есть и только после этого я, не совсем верно вас поняв (отчасти тому причиной мой грех, отчасти - ваша формулировка, допускающая неоднозначное толкование ;)), попытался запустить его на "голой" системе со вполне очевидным результатом. :)

Ну а если серьезно, то мы с вами неплохо подурачились тут на пару. :) Можно, наверное, и наступить на горло собственной песне, пока модераторы не сделали это за нас. ;)

[Frank]

sed работает почти как мне и надо, только вот вопросик какой: почему вот такой код...

Код: Выделить всё

filename="~/somefile"
sed "s/a/u" "$filename" > $filename

...который по идее меняет все буквы a на u в файле, но файл после этого становится пустым?
Попробовал поставить >> - заработало. Почему? Насколько помню > означает запись в новый файл, а >> - добавление

Потому что конвейнер выполняется справа налево. Т.е. сперва будет затёрт файл, и затем из него пойдёт считывание. Чтобы не мучиться с промежуточным файлов, см. уже подсказанную опцию -i

[drBatty]

попытался запустить его на "голой" системе со вполне очевидным результатом.

ИМХО на голой венде вообще ничего не работает. т.ч. оставим эту тему, для вендовых форумов

Можно, наверное, и наступить на горло собственной песне, пока модераторы не сделали это за нас.

мда... верно.

Попробовал поставить >> - заработало.

тут - да. но в общем случае опасно дописывать в файл, при этом его и читая.

• >
  Этот оператор создаёт новый файл или усекает существующий до нуля (если есть).
• >>
  Этот - открывает файл на добавление. Т.е. информация в файле вроде-бы сохраняется. Однако, не всегда возможно гарантировать непротиворечивое чтение и одновременную запись в один и тот-же файл.

Что-бы не наступить на эти грабли - используйте временный файл, например

Код: Выделить всё

sed '' file1.txt > temp.txt
mv temp.txt file1.txt

Именно так и работает sed с ключом -i.

[amorphius]

Потому что конвейнер выполняется справа налево. Т.е. сперва будет затёрт файл, и затем из него пойдёт считывание.

хм.. а почему сперва будет затерт файл?

и грабли - используйте временный файл, например

Код: Выделить всё

sed '' file1.txt > temp.txt
mv temp.txt file1.txt

Именно так и работает sed с ключом -i.

не, нельзя временный файл, потому что работаем в директории,где очень ущемлены в правах. я понимаю, конечно, что можно создать временный файл в своем домашнем каталоге, но хочется как то попроще сделать

[drBatty]

хм.. а почему сперва будет затерт файл?

оператор cat X > Y
сначала открывает файл X на чтение,
потом усекает и открывает Y на запись,
а уж потом читает X и пишет прочитанное в Y.

А вы думали, что сначала прочитается X? Ха! а если X размером 500Гб?

не, нельзя временный файл, потому что работаем в директории,где очень ущемлены в правах. я понимаю, конечно, что можно создать временный файл в своем домашнем каталоге, но хочется как то попроще сделать

хочеться-не хочется, а sed так БУДЕТ делать.
Совет: делайте временный в /tmp или в /var/tmp.

но хочется как то попроще сделать

часто простота только кажущаяся

[amorphius]

оператор cat X > Y
сначала открывает файл X на чтение,
потом усекает и открывает Y на запись,
а уж потом читает X и пишет прочитанное в Y.

ну хорошо, а как тогда объяснить, что...

Код: Выделить всё

sed "s/a/u" "$filename" >> $filename

...работает как мне и надо? По логике должны открыться файлы на чтение, читается содержимое файла, изменяется в соответствии с шаблоном, а потом добавляется в конец, итого в файле "старая" версия + "новая"

[/dev/random]

ну хорошо, а как тогда объяснить, что...

Код: Выделить всё

sed "s/a/u" "$filename" >> $filename

...работает как мне и надо? По логике должны открыться файлы на чтение, читается содержимое файла, изменяется в соответствии с шаблоном, а потом добавляется в конец, итого в файле "старая" версия + "новая"

Буферизация. GNU Sed, если выводит не на терминал, то делает это большими порциями. Сделайте файл покрупнее, и перестанет работать. Может, даже будет писать вечно.

[amorphius]

отличная вещь awk+sed, но вот проблемка еще появилась очень странная:
не получается создать временный файл

Код: Выделить всё

tmp_file="~/tmp$$"
echo $sometext > $tmp_file

...пишет ошибку ./calendar.sh: line 4: ~/tmp4916: Nie ma takiego pliku ani katalogu
Ну по русски это нету файла. Естественно нету, потому что я его создаю...
Пробовал уже и touch $tmp_file; echo $sometext >> $tmp_file (а вдруг) - не помогает

[/dev/random]

Ну сказано же было: не мучайтесь, используйте sed -i, всё будет сделано автоматически.

[diesel]

отличная вещь awk+sed, но вот проблемка еще появилась очень странная:
не получается создать временный файл

Код: Выделить всё

tmp_file="~/tmp$$"
echo $sometext > $tmp_file

...пишет ошибку ./calendar.sh: line 4: ~/tmp4916: Nie ma takiego pliku ani katalogu
Ну по русски это нету файла. Естественно нету, потому что я его создаю...
Пробовал уже и touch $tmp_file; echo $sometext >> $tmp_file (а вдруг) - не помогает

Код: Выделить всё

tmp_file="~/tmp$$"

вот тут без кавычек

[amorphius]

дело в том, что имеется доступ только к одному файлу в каталоге, и вот такая команда например

Код: Выделить всё

sed -i "s/a/u/g" "$filename"

вызывает ошибку не могу создать временный файл /home/user//sed2yzst7

[diesel]

ЗЫ: или лучше tmp_file="$HOME/tmp$$"

[amorphius]

вот тут без кавычек

спасибо, заработало просто когда кавычки убрал

[amorphius]

опять проблемка, гугл молчит, так что к нему не посылать
такой вот код

Код: Выделить всё

founded=`awk "/^$date(.*)$/ { print; }" $filename`

вызывает ошибку если "плохие" символы имеются в $datе. Как правильно экранировать в данном случае?

[sash-kan]

опять проблемка, гугл молчит, так что к нему не посылать
такой вот код

Код: Выделить всё

founded=`awk "/^$date(.*)$/ { print; }" $filename`

вызывает ошибку если "плохие" символы имеются в $datе. Как правильно экранировать в данном случае?

а что вам, собственно, нужно? выдать строки, содержащие (в частности) то, что находится в переменной $date?
$ grep "^$date" "$filename"
или ещё и содержимое $date надо из этих строчек убрать?
$ grep "^$date" "$filename" | sed "s%^$date%%"
если в $date могут попасться символы «%», замените их на что-нибудь другое, явно там не встречающееся:
$ grep "^$date" "$filename" | sed "s|^$date||"