Война кодировок (отрезано от "удаления подстроки в sed")

[Nazyvaemykh]

watashiwa_darede...,
спасибо.
Я, получается, по ходу дела еще и grep с egrep перепутал.

Но то, что и\xcc\x86 не проходит под [[:alpha:]] очень неприятно.

[drBatty]

Там же строчкой ниже пример, который не работает. Потому что html entities:
1. многобайтная кодировка, к тому же гораздо менее эффективная, чем utf-8;
2. один символ может быть записан несколькими способами ("«", "«", "«", "«");
3. всё равно, это unicode, а значит в программе таблиц на 256 символов всё равно не достаточно.

ну и что? можно всё перевести в utf-8.
(я так и делаю)
и вообще я писал не о HTML, а о том, что злоумышленник может протащить вредоносный код через RE, используя несимволы UTF-8. Причём, через любое RE. А учитывая, что входные фильтры строятся именно на RE (очень часто, во всяком случае), то это весьма важно - злоумышленник может ввести в какое-либо поле код экранированный несимволами, и этот код может либо выполнится, либо осуществить например SQL инъекцию. ИЧСХ - кодеры веб приложений (судя по коду) свято верят в силу RE. И мало того, модификатор e имеется не только в sed, но и в PHP и Perl (знаменитый однострок на перле использовал именно этот модификатор).

Недавно обнаружил, буква «й», представленная комбинацией двух символов, «и» и «U0306

КО полагает, что оно удовлетворяет /.{4}/ если вы работаете с байтами, и /.{2}/ если в UTF-8

Shell

$ echo -e "и\xcc\x86z" | sed -r 's/^.{3}$/ZZZ/ ZZZ

Но то, что и\xcc\x86 не проходит под [[:alpha:]] очень неприятно.

ну что поделать... Используйте Й, это буква. (если выставить LC_COLLATE)

ЗЫЖ на счёт "протащить через любое RE я погорячился: s/.*([0-9]+).*/\1/ позволяет протащить код (не цифры) сквозь RE, а вот s/^.*([0-9]+).*$/\1/ уже не позволит. В этом-то и защита.

[ZyX]

Если я правильно помню, то для защиты от протаскивания нежелательных вещей есть нормализация. А надёжной защиты от кодеров, которые во что-то свято верят не существует.

[watashiwa_daredeska]

злоумышленник может протащить вредоносный код через RE, используя несимволы UTF-8.

Это проблема не UTF-8, как такового, а неумения RE работать с Unicode правильно. Учитывая, что &#...; -- тот же Unicode, это нифига не спасает.

[Nazyvaemykh]

Вот в info sed сказано:

Код: Выделить всё

     Another problem is that `[a-z]' tries to use collation symbols.
     This only happens if you are on the GNU system, using GNU libc's
     regular expression matcher instead of compiling the one supplied
     with GNU sed.  In a Danish locale, for example, the regular
     expression `^[a-z]$' matches the string `aa', because this is a
     single collating symbol that comes after `a' and before `b'; `ll'
     behaves similarly in Spanish locales, or `ij' in Dutch locales.

Ну, вроде как, ll в испанском языке как отдельную букву упразднили еще в 1994 году.
А ij?
$ echo ij | LANG=nl_NL sed -n '/^[a-z]$/p'
почему-то не выводится ничего.

[/dev/random]

$ echo ij | LANG=nl_NL sed -n '/^[a-z]$/p'
почему-то не выводится ничего.

Уверены, что это ваш случай?

...using GNU libc's regular expression matcher instead of compiling the one supplied with GNU sed.

[Nazyvaemykh]

Ну, sed у меня собран с флагом

--without-included-regex
don't compile regex; this is the default on systems
with recent-enough versions of the GNU C Library
(use with caution on other systems).

[Nazyvaemykh]

Тут уже просто странная ситуация с этим локалями получается. Вот, например, es_US.UTF-8

Код: Выделить всё

$ locale
LANG=es_US.UTF-8
LC_CTYPE="es_US.UTF-8"
LC_NUMERIC="es_US.UTF-8"
LC_TIME="es_US.UTF-8"
LC_COLLATE="es_US.UTF-8"
LC_MONETARY="es_US.UTF-8"
LC_MESSAGES="es_US.UTF-8"
LC_PAPER="es_US.UTF-8"
LC_NAME="es_US.UTF-8"
LC_ADDRESS="es_US.UTF-8"
LC_TELEPHONE="es_US.UTF-8"
LC_MEASUREMENT="es_US.UTF-8"
LC_IDENTIFICATION="es_US.UTF-8"
$ echo ll | grep '^[a-z]$'
$ echo ll | sed -n '/^[a-z]$/p'
ll

И GNU sed, и GNU grep собраны с флагом --without-included-regex
GNU grep 2.6.3, GNU sed versión 4.2.1, glibc 2.12.1

[drBatty]

--without-included-regex

у вас Linux? тогда вам не про sed читать надо, а про regex, и про glibc, т.к. кода для обработки регекспов в вашей sed просто нет.

Как я понимаю, такое поведение у вас везде, не только в sed.

[/dev/random]

Как я понимаю, такое поведение у вас везде, не только в sed.

Тут прикол как раз в том, что sed и grep у него ведут себя по-разному.

[Nazyvaemykh]

Похоже, это известная ошибка именно в этой версии GNUgrep (2.6.3): http://savannah.gnu.org/bugs/?29820

[drBatty]

Тут прикол как раз в том, что sed и grep у него ведут себя по-разному.

да. вижу.
видимо ошибка в grep, т.к. в BUGS из sed написано, что это вовсе и не баг, а так и должно быть.

[zombie]

cp1251 - самая лучшая кодировка, ибо там все байты == допустимые символы (в отличие от утф)

Как то я вас не понимаю... Имхо, в utf в том то и прикол, что полный набор символов, потому и символ вопреки всем нормальным законам аш 2 (или 4?) байта.

беда с буквой ё

Что то не припоминаю... ?

а почему этот форум в cp1251?

Думаю просто потому, что никто не заморачивался... Эт надо еще умудрится заставить движок из 1251 работать на utf8...

при перекодировании возникают проблемы (в силу особенностей движка)

А это подтверждение верхнего утверждения.

[watashiwa_daredeska]

символ вопреки всем нормальным законам аш 2 (или 4?) байта.

1..6

[zombie]

Долбаный движок...

Поражаюсь... За шо ж вы его бедного так поливаете? Вот для меня (как для пользователя, так и для админа) - самый удобный (из тех, с которыми имел дело).

[watashiwa_daredeska]

Вот для меня (как для пользователя, так и для админа) - самый удобный (из тех, с которыми имел дело).

Для меня, как пользователя, самый удобный движок — LOR. А /dev/random поливает его с т.з. админа и доработчика, это уже совсем другая песня :)

[drBatty]

Как то я вас не понимаю... Имхо, в utf в том то и прикол, что полный набор символов, потому и символ вопреки всем нормальным законам аш 2 (или 4?) байта.

в утф есть комбинации, которые не соответствуют никаким символам, т.н. "дыры" или НЕСИМВОЛЫ

Что то не припоминаю... ?

буква Ё лежит ВНЕ алфавита, и МЕНЬШЕ всех символов, хотя ИМХО должна находится между Е и Ж.

Поражаюсь... За шо ж вы его бедного так поливаете?

кстати: УГ.

[zombie]

кстати: УГ.

forum.ubuntu.ru - намного хуже
linuxforum.ru - хуже
phpbb - хуже
Никто не спорит? Так какой там по-вашему лучше?

[/dev/random]

forum.ubuntu.ru - намного хуже

SMF? не знаю, внутрь не лазил.

linuxforum.ru - хуже

PunBB? аналогично.

phpbb - хуже

PhpBB3? Хорошим бы я его не назвал, но что он значительно лучше IPB - однозначно.

Подчеркну, что я говорю не с точки зрения посетителя форума или человека, просто поставившего его себе на сайт, а с точки зрения человека, которому приходится активно лазить по внутренностям движка, дорабатывать, исправлять баги и т.д. Т.е. я о коде, а не об интерфейсе.

[drBatty]

forum.ubuntu.ru - намного хуже
linuxforum.ru - хуже
phpbb - хуже
Никто не спорит? Так какой там по-вашему лучше?

простите, мы форумы сравниваем, или движки форумов?
если последнее, то чем хуже phpbb?

PhpBB3? Хорошим бы я его не назвал, но что он значительно лучше IPB - однозначно.

Подчеркну, что я говорю не с точки зрения посетителя форума или человека, просто поставившего его себе на сайт, а с точки зрения человека, которому приходится активно лазить по внутренностям движка, дорабатывать, исправлять баги и т.д. Т.е. я о коде, а не об интерфейсе

+1

[zombie]

Т.е. я о коде, а не об интерфейсе.

А я об интерфейсе, с т.з. пользователя.

простите, мы форумы сравниваем, или движки форумов?

Движки, просто я не знаю их названий, а узнавать было лень.

если последнее, то чем хуже phpbb?

Нет быстрого ответа, нет цитаты выделенного текста, намного более сужены возможности в плане BB (нету flash, нету таблиц, нету выбора шрифтов, нету форматирования по стороне и т.д.), нет подзаголовков темы, нет возможности загрузить файлы... Достаточно?

[drBatty]

А я об интерфейсе, с т.з. пользователя.

ну некоторые огрехи можно переделать. на самом деле интересна т.з. пользователя: что именно плохо в phpbb?

Движки, просто я не знаю их названий, а узнавать было лень.

обычно внизу страницы написано.

1)Нет быстрого ответа,
2)нет цитаты выделенного текста,
3)намного более сужены возможности в плане BB (нету flash,
4)нету таблиц,
5)нету выбора шрифтов,
6)нету форматирования по стороне и т.д.),
7)нет подзаголовков темы,
8)нет возможности загрузить файлы...
9)Достаточно?

1)есть
2)есть
3)есть
4)есть
5)есть вроде
6)тут сложный вопрос - дизайн phpbb3 базируется на стилях CSS, и менять стиль прямо в посте несколько затруднительно. я работаю над этим
7)есть
8)есть. какие хочешь. другое дело, это часто отрубают админы форумов. ибо хостинг стоит $$$
9)нет. вижу только одну фичу, но это не критично...

[t.t]

Т.е. я о коде, а не об интерфейсе.

А я об интерфейсе, с т.з. пользователя.

простите, мы форумы сравниваем, или движки форумов?

Движки, просто я не знаю их названий, а узнавать было лень.

если последнее, то чем хуже phpbb?

Нет быстрого ответа, нет цитаты выделенного текста, намного более сужены возможности в плане BB (нету flash, нету таблиц, нету выбора шрифтов, нету форматирования по стороне и т.д.), нет подзаголовков темы, нет возможности загрузить файлы... Достаточно?

Вы в своём репертуаре: ответили (и даже больше: возразили) человеку совершенно не о том, о чём он писал; привели аргументы, 90% из которых не соответствует действительности; причём всё это с жутким апломбом; и наверняка даже после «макания носом» (спасибо drBatty) будете вести себя так, как будто Вы правы. Браво. Ещё пара-тройка таких выступлений — и ни один из постоянных участников форума не будет воспринимать Вас всерьёз (многие уже не воспринимают).

[zombie]

1)есть
2)есть
3)есть
4)есть
5)есть вроде
6)тут сложный вопрос - дизайн phpbb3 базируется на стилях CSS, и менять стиль прямо в посте несколько затруднительно. я работаю над этим
7)есть
8)есть. какие хочешь. другое дело, это часто отрубают админы форумов. ибо хостинг стоит $$$
9)нет. вижу только одну фичу, но это не критично...

Я, конечно, в админке у phpbb не был, но очень часто сталкивался с форумами на phpbb, ни в одном не видел. Возможно, я упустил новые версии... Но, не то что бы (как заметил t.t.) пытаюсь вести себя будто прав, прошу продемонстрировать (дайте линк на форум, где хоть что-то из этого реализовано) - любопытно.
Я в качестве подтверждения даю следующие линки: http://www.qutim.org/forum/ http://www.fcenter.ru/fcconfa/ http://www.reactos.org/forum/

[SLEDopit]

Эт надо еще умудрится заставить движок из 1251 работать на utf8...

О да, конечно. безумно сложный процесс. оскоммерси я переводил в ютф около часа (это с поиском и исправлением багов после перевода).

Я, конечно, в админке у phpbb не был, но очень часто сталкивался с форумами на phpbb, ни в одном не видел

Видите ли, какая штука, многие админы отключают добрую половину функционала движков, как ненужную на их взгляд. И судить что кто-то чего-то не умеет, просто потому, что вы этого не видели, как минимум некорректно. Более того, функционал может быть значительно расширен за счет дополнительных модулей, плагинов, хаков, которые так же далеко не все ставят. да и phpbb далеко не дураки писали и наверняка обеспечили достаточный функционал для здоровой конкуренции.

[zombie]

Ну что ж, поставил на локалхост apache: http://moscwich.sytes.net/phpBB Но исх. скорость у меня 512 кбит/сек (64 кбайт/сек).
Второй администратор: test
Пароль: adminka
Увидел, отпадает: 1, 3, 8. Укажите мне, плиз, на остальное.

upd. 2 - цитата выделенного текста есть, но только в расширенном ответе - неудобно.

[zombie]

Видите ли, какая штука, многие админы отключают добрую половину функционала движков, как ненужную на их взгляд.

Почему в IPB не отключают? И, вообще то, например, быстрый ответ отключен по умолчанию.

обычно внизу страницы написано.

На LF, например, не написано.

[watashiwa_daredeska]

многие админы отключают добрую половину функционала движков, как ненужную на их взгляд.

Вопрос: можно ли считать, что движок умеет фичу X, если при её включении образуется 1e6 багов и дыр? :)

[SLEDopit]

Вопрос: можно ли считать, что движок умеет фичу X, если при её включении образуется 1e6 багов и дыр? :)

Нет конечно. имхо.

[drBatty]

Я, конечно, в админке у phpbb не был, но очень часто сталкивался с форумами на phpbb, ни в одном не видел. Возможно, я упустил новые версии... Но, не то что бы (как заметил t.t.) пытаюсь вести себя будто прав, прошу продемонстрировать (дайте линк на форум, где хоть что-то из этого реализовано) - любопытно.
Я в качестве подтверждения даю следующие линки: http://www.qutim.org/forum/ http://www.fcenter.ru/fcconfa/ http://www.reactos.org/forum/

мой форум в подписи (:

upd. 2 - цитата выделенного текста есть, но только в расширенном ответе - неудобно.

дык моды есть. их надо ставить (если надо).

Почему в IPB не отключают? И, вообще то, например, быстрый ответ отключен по умолчанию.

откуда мне знать, ПОЧЕМУ админы (не)отключают?! у меня работает. Предполагаю потому, что phpbb более "нищебродский" движок, там и требования мягче, и он бесплатный. Потому и хостинги такие.

На LF, например, не написано.

раньше было написано, теперь убрали. я не знаю зачем, у них спросите.

Вопрос: можно ли считать, что движок умеет фичу X, если при её включении образуется 1e6 багов и дыр? :)

нельзя. и что? какие дыры и баги образуются например при включении upload'а? ну кроме забивания места на сервере? и обмена юзерами варезом и вредоносным ПО через форум?