Удаление подстроки в sed

[sciko]

Цель удалить всё содержимое строки после первого символа ":" во всех строках

Код: Выделить всё

$ cat sed.txt|iconv -f cp1251
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:Разрешается повторное распространение и использование как в виде исходного кода,
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:так и в двоичной форме, с изменениями или без, при соблюдении следующих условий:
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:      * При повторном распространении исходного кода должны оставаться указанное
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:        выше уведомление об авторском праве, этот список условий и последующий
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:        отказ от гарантий.
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:      * При повторном распространении двоичного кода в документации и/или в
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:        других материалах, поставляемых при распространении, должны сохраняться
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:        указанная выше информация об авторском праве, этот список условий и
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:        последующий отказ от гарантий.
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:      * Ни название Cognitive Technologies, ни имена ее сотрудников не могут
$ sed -e 's/:.*$//' sed.txt|iconv -f cp1251
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:Разрешается повторное распространение и использование как в виде исходного кода,
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:так и в двоичной форме, с изменениями или без, при соблюдении следующих условий
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:      * При повторном распространении исходного кода должны оставаться указанное
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:        выше уведомление об авторском праве, этот список условий и последующий
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:        отказ от гарантий.
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:      * При повторном распространении двоичного кода в документации и/или в
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:        других материалах, поставляемых при распространении, должны сохраняться
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:        указанная выше информация об авторском праве, этот список условий и
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:        последующий отказ от гарантий.
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h:      * Ни название Cognitive Technologies, ни имена ее сотрудников не могут
$ sed -e 's/:.*//' sed.txt|iconv -f cp1251
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.hРазрешается повторное распространение и использование как в виде исходного кода,
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.hтак и в двоичной форме, с изменениями или без, при соблюдении следующих условий:
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.hПри повторном распространении исходного кода должны оставаться указанное
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.hвыше уведомление об авторском праве, этот список условий и последующий
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.hотказ от гарантий.
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.hПри повторном распространении двоичного кода в документации и/или в
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.hдругих материалах, поставляемых при распространении, должны сохраняться
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.hуказанная выше информация об авторском праве, этот список условий и
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.hпоследующий отказ от гарантий.
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.hНи название Cognitive Technologies, ни имена ее сотрудников не могут

ЧЯДНТ?

UPD. Так тоже не проходит:

Код: Выделить всё

$ sed -e '/\([^:]*\):/s//\1/' sed.txt|iconv -f cp1251
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.hРазрешается повторное распространение и использование как в виде исходного кода,
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.hтак и в двоичной форме, с изменениями или без, при соблюдении следующих условий:
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h      * При повторном распространении исходного кода должны оставаться указанное
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h        выше уведомление об авторском праве, этот список условий и последующий
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h        отказ от гарантий.
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h      * При повторном распространении двоичного кода в документации и/или в
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h        других материалах, поставляемых при распространении, должны сохраняться
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h        указанная выше информация об авторском праве, этот список условий и
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h        последующий отказ от гарантий.
/home/sciko/temp/cuneiform-0.7.0+dfsg/cuneiform_src/Kern/rverline/src/h/vl_rule.h      * Ни название Cognitive Technologies, ни имена ее сотрудников не могут

[watashiwa_daredeska]

Надо сначала iconv, а потом уже sed.

[flank'er]

а почему именно sed ? задача как раз для awk

Код: Выделить всё

cat sed.txt| awk -F ":" '{print $1}'

[t.t]

Да и зачем тут sed-то? cut -d: -f1

[sciko]

Надо сначала iconv, а потом уже sed.

Не получится. Там в файле, для которого sed отлаживаю (а здесь выложил только head файла чтобы не загромождать вывод), кроме cp1251 ещё и другие кодировки есть. Вот на них iconv и спотыкается, ругается и бьёт файл.

а почему именно sed ?

Хочу понять почему не работает. Чтобы не попасть на грабли в следующий раз.

[t.t]

Попробуйте всё же cut. Ему, насколько я помню, плевать на кодировки.

[sciko]

Конечно, спасибо за настоятельные советы, но это был модельный пример. Основная цель этого топика: разобраться в причинах, чтобы не попадаться, и если есть возможность, то как обойти ограничение.

[/dev/random]

Для корректной работы sed желательно, а в некоторых случаях необходимо, чтобы текущей локалью для него была установлена та кодировка, в которой идёт обрабатываемый им текст.

Upd: можно либо сконвертировать текст в текущую локаль перед обработкой, а после обработки - обратно, либо установить для sed другую локаль через LC_ALL.

Upd2: и команды sed'а тоже должны быть заданы в текущей (или установленной) для него кодировке.

[sciko]

А если в файле мешанина из cp1251, cp866 и utf-8 (такой файл собственно и обрабатываю), то какую кодировку ставить?

[watashiwa_daredeska]

Не получится. Там в файле, для которого sed отлаживаю (а здесь выложил только head файла чтобы не загромождать вывод), кроме cp1251 ещё и другие кодировки есть. Вот на них iconv и спотыкается, ругается и бьёт файл.

Тогда LC_ALL=C sed bla-bla-bla.

[/dev/random]

А если в файле мешанина из cp1251, cp866 и utf-8 (такой файл собственно и обрабатываю), то какую кодировку ставить?

Ставить локаль LC_ALL=C (или LC_ALL=POSIX) и ни в коем случае не использовать локализованных символов в командах sed'а

[sciko]

Всем спасибо! Вроде более-менее разобрался.

[sash-kan]

А если в файле мешанина из cp1251, cp866 и utf-8 (такой файл собственно и обрабатываю), то какую кодировку ставить?

ввиду неюзабельности такой мешанины предлагаю с неё и начать.

[sciko]

Не понял что имел ввиду sash-kan, но видимо что-то умное.

[sash-kan]

Не понял что имел ввиду sash-kan, но видимо что-то умное.

логичнее привести файл к одной кодировке.

[/dev/random]

i	Уведомление от модератора
	Флейм о кодировках отрезан: Война кодировок