Флейм о (не)?нужности юникода (Отрезано от "Символы й, ё в ФС")

[eddy]

Между тем, в восьмибитных кодировках такого идиотизма нет. И имя файла — 255 букв. Не то, что в этом вашем хрюникоде!

i	Уведомление от модератора Bizdelnick
	Отрезано от Символы й, ё в ФС

[NickLion]

Между тем, в восьмибитных кодировках нельзя написать много чего, например, ü, ö, ホ. Там хотя бы тире длинное есть? Вам не надо? Ну, так Вы — не все люди.

PS местный движок тоже не радует поддержкой Юникода

[eddy]

Между прочим, не-ASCII символы в именах файлов нафиг не нужны. И пробелы. А тех, кто думает иначе, бить по рукам до просветления!

Ну, так Вы — не все люди.

Все люди — звери ☺

Достали уже со своим хрюникодом! Во все щели это говно суют!

[NickLion]

Если запрещать все не-ASCII, то тогда фиолетово, UTF8 в файловой системе или KOI-8R. И не понимаю, почему Юникод — это говно?

PS и да, любой человек — зверь по определению

[eddy]

почему Юникод — это говно?

Он нужен только в pdf и т.п. документах. А в plain text хрюникод не нужен, т.к. есть восьмибитные кодировки.

[liaonau]

А в plain text хрюникод не нужен, т.к. есть восьмибитные кодировки.

Как там в восьмибитных кодировках с:

Там хотя бы тире длинное есть?

и т.п. „“«»‘’☺☹…§€®©≈—±≠™°£λ☠

[eddy]

Как там в восьмибитных кодировках

Эти символы в plain text не нужны. А в латехе есть специальные макросы для генерирования любых нужных символов.

Так что проблема надумана.

[liaonau]

Эти символы в plain text не нужны. А в латехе есть специальные макросы для генерирования любых нужных символов.
Так что проблема надумана.

Вообще никому не нужны? Ну ладно там знаки вроде ☠. Я в plain text пользуюсь длинным тире —, многоточием …, кавычками «»“”. Эти знаки есть в правилах русской пунктуации, я помню точно со школьных времен. Не вижу принципиальной разницы между вставкой минуса вместо длинного тире и вставкой цифры «3» вместо буквы «з». Зачем в восьмибитной кодировке есть буква «з» равно как и кириллические буквы АасСТМоОКВНбч?

[eddy]

Я в plain text пользуюсь длинным тире —, многоточием …, кавычками «»“”

Зачем?

[liaonau]

Зачем?

По той же причине, по которой и слово «Зачем» написано не через цифру 3. Потому, что таковы правила русского языка.

[eddy]

Не надо путать типографию и рукописный текст!

Или вы и в рукописном тексте рисуете все эти "лапки-елочки"? И тире контролируете: где en-dash, где em-dash, а где обычный дефис?

Plain text служит для простых писулек. Если верстать надо, то есть латех, scribus и иже с ними! А простое заявление можно в опенохфисе сделать. Со всеми черточками-шморточками.

[Hephaestus]

Достали уже со своим хрюникодом! Во все щели это говно суют!

eddy,Вы достаточно взрослый человек. И, наверняка, помните времена DOS, NC, LEXICON.
Помните проблему с кодировками? Не подгрузилась нужная кодировка - ни читать, ни писать по-русски не удастся.
Попадает в руки файл откуда-то извне - изволь знать в какой он кодировке, иначе не прочитаешь. Хорошо ещё, если текстовый. А если dbf какой? Его подгрузить в свою базу - это целая история, если в нём кодировка не та.
И вообще, изначально исходили из того, что на свете живут только американцы, больше никого нет. Когда внезапно обнаружилось, что есть ещё другие страны на земле, начали изобретать костыли в виде всяких расширенных и дополненных таблиц. Ясно же было, что тесно в этих таблицах, но впихивали, как могли.
Теперь, наконец-то создали кодировку, в которой места хватит всем и ещё останется, а Вы говорите "не нужно".

[eddy]

Я спокойно перекодирую все в КОИ8-Р при помощи enconv. И как-то не парюсь.

В базах данных — да, возможно и оправдано использование хоть UTF32, но не в plain text и уж тем паче не в именах файлов!!! Вам никогда не хотелось назвать файл именем в 200 с лишним символов? ☺

Кстати, по-человечески проблему можно было бы решить раз и навсегда: перевести абсолютно все страны мира на латинницу! Без какого бы то ни было рода умляутов и прочей фигни!

Теперь, наконец-то создали кодировку, в которой места хватит всем и ещё останется, а Вы говорите "не нужно".

И буду повторять неоднократно. Она нужна, спору нет, но только в бинарном виде (скажем, в pdf или odt). Но никак не в латеховских исходниках!

[Hephaestus]

Вам никогда не хотелось назвать файл именем в 200 с лишним символов? ☺

Нет, не хотелось. Я человек старой закалки и стараюсь уложиться в формат 8.3 латиницей даже в UNIX-системах. Ибо передать в имени файла суть самого файла - дело безнадёжное. Поэтому чем меньше в имени файла всяких пробелов, дефисов и прочих восклицательных знаков, тем меньше надо экранировать и тем проще с таким файлом управляться.

Кстати, по-человечески проблему можно было бы решить раз и навсегда: перевести абсолютно все страны мира на латинницу! Без какого бы то ни было рода умляутов и прочей фигни!

А вот здесь не согласен. На земле множество всяких народов со своей культурой, своим языком, своими традициями, порой весьма древними.
Перечеркнуть всё это одним махом только потому, что какой-то америкос не осилил ничего, кроме латиницы?
Пусть идет лесом вместе с латинницей.
Собственно, возникнет закономерный вопрос: Почему переводить на латинницу? Почему не на кириллицу или глаголицу? Почему не на грузинский алфавит?
Чем один народ лучше другого? Почему нужно кучу языков переделывать и кучу народов переучивать в угоду какому-то одному?
Одно дело - правила именования файлов - чисто техническая проблема, и совсем другое - подгонять под эти правила все языки и все народы.

Она нужна, спору нет, но только в бинарном виде (скажем, в pdf или odt). Но никак не в латеховских исходниках!

Текстовые файлы не ограничиваются только латеховскими исходниками.
Есть, например, Sword, В котором модули в формате xml - вполне себе plain text и удобней как раз в Юникоде. Поскольку модули многоязычны - наряду с основным языком текста (русский, английский или ещё какой) используются древнегреческий и иврит. Как это совместить в одном файле с однобайтовой кодировкой - я сказать затрудняюсь.

[eddy]

Почему переводить на латинницу?

Потому что ASCII уже устаканилась. Но можно вторую половину кодовой таблицы как-то разнообразить и перевести на кириллическое письмо с диакритикой. Думаю, букв 60 на все нужды хватит. Но таки хочется упрощения. Ведь можно сократить количество букв штук до 20-30...

xml - вполне себе plain text

XML - вообще плод чьего-то извращенно больного воображения! Убивать надо за использование этого Г!!! Т.к. формат ни человеком, ни машиной нормально не читается! Для машины нужен бинарный формат, а для человека — что-то вроде INI или JSON.

Как это совместить в одном файле с однобайтовой кодировкой - я сказать затрудняюсь.

А вот не надо извращаться и скрещивать ежа с ужом!

[NickLion]

Как там в восьмибитных кодировках

Эти символы в plain text не нужны. А в латехе есть специальные макросы для генерирования любых нужных символов.

Так что проблема надумана.

Нужно всё это в plain text. Хотя бы потому, что существует не только английский язык. Есть тексты на украинском, польском, греческом. Как Вы предлагаете это хранить? Для каждого файла своя уникальная однобайтовая кодировка?

И тире я, например, контролирую. Даже, когда в инете пишу. Если тире — ставлю тире. Если укзаываю диапазон 10–20 страниц, то ставлю короткое тире.

Имена файлов в латинице — это хорошо, но если название изначально на украинском/русском/другом языке (например, автор и название книги), то перевод может быть не лучшим вариантом, а транслит, уж точно, воняет. И повторюсь, если названия файлов латиницей, то фиолетово — UTF8, Win1251 или KOI8-R, в этой части они совпадают.

[azsx]

Если тире — ставлю тире

извините, а как вы ставите длинное тире в топике?

[NickLion]

Hey, guys! What are you talking about? UTF8 and any locale charsets are totally useless charsets. ASCII is enough for all plain text files and filenames. If you want more, you have to use TeX. It's simple to write \CYRP\cyrr\cyri\cyrv\cyre\cyrt, isn't it?

Если тире — ставлю тире

извините, а как вы ставите длинное тире в топике?

Длинное тире, Compose key, а потом 3 раза дефис (compose, "-", "-", "-"): —
Короткое, compose, "-", "-", "." : –

[eddy]

It's simple to write \CYRP\cyrr\cyri\cyrv\cyre\cyrt, isn't it?

\CYRD\cura, \cyrk\cyro\cyrn\cyre\cyrch\cyrn\cyro!

Собственно, пакет inputenc и занимается тем, что не-ASCII символам ставит в соответствие подобные команды. В итоге получается все ОК в любой кодировке. Не то, что в этих ваших опенохфисах.

Но вручную фигачить в README всякие en-dash и em-dash — это уже чересчур! Смысл какой?

А еще поражает, когда некоторые впихивают хрюникод даже в микроконтроллеры!!! Хотя, после жабки на МК я окончательно понял, что мир сошел с ума и просто неотвратимо уже уничтожение того, к чему мы привыкли, самими потребителями...

[NickLion]

Но вручную фигачить в README всякие en-dash и em-dash — это уже чересчур! Смысл какой?

README должен быть в ASCII, там никакие даши не допустимы, поскольку мы банально не знаем, что за кодировка у пользователя. Но plain text — это не только README.

Вы так и не ответили, что делать с plain text'ом на разных языках?

[Bizdelnick]

XML - вообще плод чьего-то извращенно больного воображения! Убивать надо за использование этого Г!!! Т.к. формат ни человеком, ни машиной нормально не читается! Для машины нужен бинарный формат, а для человека — что-то вроде INI или JSON.

XML вполне неплохо подходит для своей задачи - разметки текста. Вот когда его используют для хранения структурированных данных - это да, хочется взять и что-нибудь нехорошее сделать; тут действительно лучше что-то вроде JSON или YAML. А когда на XML пишут сценарии, как в каком-нибудь, не к ночи будь помянут, ant, это вообще за гранью добра и зла.
Что касается бинарных форматов - их использование не всегда оправданно. Часто надо, чтобы формат был одновременно хорошо читаем и машиной, и человеком. Только если чтение данных является бутылочным горлышком, может иметь смысл бинарный формат использовать.

[eddy]

Вы так и не ответили, что делать с plain text'ом на разных языках?

Не извращаться, вестимо. Полиглоты пусть себе хрюникод используют, а быдло вроде меня, которое кроме родного и буржуйского языков ничего не знают, вполне ограничатся нормальной восьмибитной кодировкой в своих мелких писульках.

XML вполне неплохо подходит для своей задачи - разметки текста

Тоже бессмысленно: человек это ни прочитать, ни тем паче написать не сможет. А машине бинарный формат приятней. Представь, какой содом и гоморра были бы внутри pdf, если он использовал бы не бинарную, а XML-подобную структуру!

Часто надо, чтобы формат был одновременно хорошо читаем и машиной, и человеком.

Такое обычно в файлах настроек присутствует. Поэтому для них наилучшим и является INI либо JSON. А вот, скажем, в свалке (архиве), нафиг не нужны текстовые форматы. У меня кое-какие демоны так и складывают данные в бинарный архив. Разве что пришлось маленько о выравнивании сразу позаботиться, чтобы на других архитектурах не было проблем. Если бы писать надо было еще больше, я б вместо самопала использовал sqlite, а так ­— фигня.

[Bizdelnick]

Тоже бессмысленно: человек это ни прочитать, ни тем паче написать не сможет.

Может. ИМХО более читаемо, чем тот же TeX (а также roff, палтус...).

Такое обычно в файлах настроек присутствует. Поэтому для них наилучшим и является INI либо JSON.

Речь не о файлах настроек (которые суть структурированные данные, о чём я писал; кстати, JSON или libconfig для них я бы тоже использовать не стал - плохо читаемы, лучше YAML). Речь о форматах типа ODF, SVG, FB2 и т. п., которые составляются и обрабатываются преимущественно машинно, но оставить возможность залезть в них руками - не повредит. Ну или DocBook, который пишется как правило руками, после чего обрабатывается программно.

[Hephaestus]

Потому что ASCII уже устаканилась. Но можно вторую половину кодовой таблицы как-то разнообразить и перевести на кириллическое письмо с диакритикой. Думаю, букв 60 на все нужды хватит.

Не хватит. Проходили уже. Много раз проходили.
Сначала один умный человек сказал, что 640Кб памяти хватит для любых задач.
Потом не менее умный человек решил, что таблицы в 256 знаков хватит на всех.
Что из этого получилось - не мне Вам рассказывать.
Не хватит, одним словом.

XML - вообще плод чьего-то извращенно больного воображения! Убивать надо за использование этого Г!!! Т.к. формат ни человеком, ни машиной нормально не читается!

С таким же успехом можно убивать за использование KOI8-R, потому что без перекодировки ни человеком, ни машиной не читается.

А вот не надо извращаться и скрещивать ежа с ужом!

То есть многоязычные тексты Вы отметаете как класс. Что ж... Это Ваше право.
Беда только в том, что одним латехом не обойтись. Он на выходе выдаёт pdf. Это отличный формат для печати, но совершенно непригодный для обработки.

[eddy]

без перекодировки ни человеком, ни машиной не читается

Тады уж вообще ничего не читается без перекодировки...

То есть многоязычные тексты Вы отметаете как класс

Нет, для них есть pdf. А в plain text нефиг совать разные языки. Зачем? Словарик сделать в виде txt файла?

Это отличный формат для печати, но совершенно непригодный для обработки.

Что вам надо обрабатывать? Зачем там что-то обрабатывать? Тех нужен для верстки текстов, там уже просто получается твердая копия — печатаете, переплетаете и читаете.
А если надо обрабатывать — это вам к БД бинарным.

[Bizdelnick]

печатаете, переплетаете и читаете.

А если не нужно печатать?

[eddy]

печатаете, переплетаете и читаете.

А если не нужно печатать?

Просто сохраняете pdf-файл. Логично, не?

[Bizdelnick]

Просто сохраняете pdf-файл. Логично, не?

А на фига мне PDF, если его не надо печатать? Очень неудобный формат для всех остальных вариантов использования. Ладно - читать неудобно, так ведь даже скопировать из него текст нормально не получается.

[liaonau]

То есть многоязычные тексты Вы отметаете как класс

Нет, для них есть pdf. А в plain text нефиг совать разные языки. Зачем? Словарик сделать в виде txt файла?

Поразительное узколобие. Ваше мнение о том, что «в plain text нефиг совать разные языки» безусловно блестяще аргументировано и абсолютно неоспоримо.

Вы в курсе существования стран (Россия, кстати, входит в их число), в которых есть несколько государственных языков, или просто порядочная часть населения использует язык отличный от государственного? У меня в стране (в Беларуси), случай смешения латиницы, русского и белорусского языков в одном тексте не является совсем уж невероятным. Значит, нужны буквы «ўi», соответственно KOI8-R не подходит, подходит KOI8-RU. Это простой случай. Три разновидности алфавита татарского — случай сложнее.

Совершенно сложный случай: японец живет в Бразилии (таких больше миллиона). Пусть пользуется pdf сверстанным в TeX, отправив его по email, чтобы написать жене по-японски «я пошел в магазин за (по-португальски название товара)», да.

Интересно иное: какое вообще преимущество в «plain text» у однобайтной кодировки по сравнению с какой-либо из кодировок юникода? Разница в размере даже для большого текста ничтожна. Совместимость с ASCII есть у utf8. В чем тогда выгода, без абстрактных «мне удобней» и т.п.? То есть вы почему-то по умолчанию исходите из того, что koi8-r проще utf8, называете ее нормальной по сравнению с юникодом. Совершенно не понятно почему. Конкретно вы можете пользоваться какой угодно кодировкой, хоть придуманной лично. Но плюсы по сравнению с юникодом какие?

[eddy]

Ладно - читать неудобно, так ведь даже скопировать из него текст нормально не получается.

А зачем из него текст копировать? И почему это не получается? Если cmap использовать, то и кодировка нормальная будет. А если не использовать, то iconv все исправит.

Вы в курсе существования стран (Россия, кстати, входит в их число), в которых есть несколько государственных языков, или просто порядочная часть населения использует язык отличный от государственного?

Мне на это глубоко насрать!

В чем тогда выгода

Советую для начала strlen посчитать. Потом на grep -i посмотреть, ну и вообще так помалу в сях попробовать что-нибудь сделать с текстом. Это невозможно сделать без велосипедов и костылей!