perl+utf8+STDIN (некорректная работа некоторых функций (reverse))

[Phobos]

Доброго времени суток. Проблема в следующем: perl (вернее не весь perl, а только некоторые его функции, такие как reverse, tr/// и некоторые другие) некоректно работает с кириллическими символами, причем только с теми, которые поступают с stdin, в частности:

Код: Выделить всё

 #!/usr/bin/perl -w

use utf8;

$s = "превед";
print("$s\n" . reverse($s) . "\n\n");

while (<>) {
      chomp;
      print(reverse . "\n");
}

Результат:

Код: Выделить всё

phobos@zeus:~/just-for-fun/perl$ ./test.pl
Wide character in print at ./test.pl line 6.
превед
деверп

qwerty
ytrewq
123456
654321
превед
´евеЀѿÐ
какдела
°ледкакÐ

прямо даже и не знаю в чем дело, "Programming Perl" Ларри Уола и гугл говорят что use utf8 достаточно для корректной работы с уникодными строками.

ps В терминале (rxvt-unicode) никаких проблемм с юникодом нет, все отображается корректно, Debian Etch, perl v5.8.8,
локаль:

Код: Выделить всё

LANG=en_US.UTF-8
LC_CTYPE=ru_RU.UTF-8
LC_NUMERIC=POSIX
LC_TIME=POSIX
LC_COLLATE=POSIX
LC_MONETARY=POSIX
LC_MESSAGES=POSIX
LC_PAPER=POSIX
LC_NAME=POSIX
LC_ADDRESS=POSIX
LC_TELEPHONE=POSIX
LC_MEASUREMENT=POSIX
LC_IDENTIFICATION=POSIX

[sash-kan]

см. опцию -C (man perlrun)

[tba]

Доброго времени суток. Проблема в следующем: perl (вернее не весь perl, а только некоторые его функции, такие как reverse, tr/// и некоторые другие) некоректно работает с кириллическими символами, причем только с теми, которые поступают с stdin, в частности:
...

Прочитай perluniintro, perlunicode - там все подробно описывается. Вкратце, перл рассматривает все как октеты(octet). Для того, чтобы он правильно обрабатывал данные, полученые со stdin и выводил правильно в stdout, надо ему об этом сказать

Код: Выделить всё

#!/usr/bin/perl -w

use utf8;
use Encode qw/encode decode/;

$s = "превед";
print("$s\n" . reverse($s) . "\n\n");

while (<>) {
      my $newline = decode('UTF-8', $_);
      chomp $newline;
      print(encode("UTF-8", reverse($newline)) , "\n");
}

А если совсем правильно (чтобы warning "Wide character..." не вылазил), надо первый "превед" выводить так

Код: Выделить всё

print(encode("UTF-8","$s\n" . reverse($s) . "\n\n"));

P.S. Ещё полезная ссылка (собсно выше - это мой вольный ее перевод )) http://www.catalystframework.org/calendar/2006/21

[Phobos]

ок, спасибо, все прочитаю, думаю разберусь

[v04bvs]

Там вроде надо режим utf8 на STDIN и STDOUT поставить, примерно так же как ставится bin, уже точно не помню. Но с юникодом в перле страшно как в винде, хотели как лучше для пользователя, получился тихий ужас.

[tba]

Там вроде надо режим utf8 на STDIN и STDOUT поставить, примерно так же как ставится bin, уже точно не помню. Но с юникодом в перле страшно как в винде, хотели как лучше для пользователя, получился тихий ужас.

Все нормально в перле с юникодом! Нужно лишь пользоваться правильно

[beholder]

Код: Выделить всё

while (<>) {
      my $newline = decode('UTF-8', $_);
      chomp $newline;
      print(encode("UTF-8", reverse($newline)) , "\n");
}

Зачем такие сложности? binmode для этого есть:

Код: Выделить всё

use utf8;

binmode(STDIN, ':utf8');
binmode(STDOUT, ':utf8');

$s = "превед";
print("$s\n" . reverse($s) . "\n\n");

while (<>) {
  chomp;
  print(reverse . "\n");
}

[beholder]

Но с юникодом в перле страшно :( как в винде, хотели как лучше для пользователя, получился тихий ужас.

По-моему, с юникодом в Перле всё нормально. Если брать скриптовые языки, то лучше нигде нет, imho (даже в Питоне).

[tba]

Зачем такие сложности? binmode для этого есть:

Код: Выделить всё

use utf8;

binmode(STDIN, ':utf8');
binmode(STDOUT, ':utf8');

$s = "превед";
print("$s\n" . reverse($s) . "\n\n");

while (<>) {
  chomp;
  print(reverse . "\n");
}

Согласен, протупил. binmode действительно проще. Впрочем автору топика(как и мне )) про юникод в перле почитать не помешает