Что из себя физически представляет кодировка?

[sidd]

Это просто файлики с таблицами символов? И где они лежат в Linux'е? И можно ли их скачать где-то?

[/dev/random]

Кодировка - это _соглашение_. Физически она ничего из себя не представляет. Или вы имеете в виду таблицы кодировок для glibc? Если последнее, то /usr/share/i18n/charmaps/

[zombie]

ммм... интересный вопрос. все что я знаю про кодировку это то, что это есть способ двоичной записи символов.
Поправьте пожалуйста если я не прав.

[ubuntuAndrew]

Ну насколько моя мама помнит, когда-то кодировка была заложена в память видяшки, но это было давно. А так ФИЗИЧЕСКИ это ничто.

[sgfault]

sidd, возможно, это не совсем то, что вы спрашивали, но может будет интересно - UTR-17.

[jojahti]

ubuntuAndrew

Ну насколько моя мама помнит, когда-то кодировка была заложена в память видяшки, но это было давно.

Почему "давно", текстовые режимы видюх никуда не делись.

[eddy]

текстовые режимы видюх никуда не делись.

Вы хотите сказать, что видеокарта занимается представлением символов? Я всегда считал, что это - дело модуля терминала, который должен заполнить видеопамять тем, что должно отобразиться в текстовом режиме...

[/dev/random]

Вы хотите сказать, что видеокарта занимается представлением символов? Я всегда считал, что это - дело модуля терминала, который должен заполнить видеопамять тем, что должно отобразиться в текстовом режиме...

Не путайте настоящий текстовый режим и фреймбуфер. Во фреймбуфере отрисовкой символов занимается ядро, в настоящем текстовом режиме - видеокарта.

[eddy]

в настоящем текстовом режиме - видеокарта.

Но ведь шрифты-то в нее загружаются? Или в видеокартах хранятся все 100500 кодировок и шрифтов?

[/dev/random]

Но ведь шрифты-то в нее загружаются? Или в видеокартах хранятся все 100500 кодировок и шрифтов?

Там хранится один шрифт, в кодировке latin1. Если нужен другой, его нужно загрузить (_заменив_ этот). Если этого хватает, то можно ничего не загружать.

[sidd]

Ну просто я подумал, что должен же кто-то управлять стандартами кодировок. И должни же они как-то распространяться в каком-то формате. Иначе где разработчики ОС их берут?

[/dev/random]

Ну просто я подумал, что должен же кто-то управлять стандартами кодировок.

Да кто ими только не управляет. Есть стандартные кодировки ISO, но кроме unicode (в различных представлениях) и latin1 они практически не используются. Есть куча мелкомягких кодировок, разумеется, никак не стандартизованных. Есть национальные стандарты различных стран...

В подавляющем большинстве случаев эти стандарты "физически" представляют собой бумажку с текстом и печатью. Не стандартизованные кодировки (например, мелкомягкие) просто были реализованы в какой-то программе, а другие пытаются реализовывать их так же. И всё.

[watashiwa_daredeska]

Есть куча мелкомягких кодировок, разумеется, никак не стандартизованных.

Вообще-то мелкомягкие, ЕМНИП, это ANSI.

[bormant]

Мелкомягкие это, прежде всего, cp866, использованная в ms-dos для русской кодовой страницы, а уж потом cp1251 в Windows. И это при наличии национальной кодировки koi8-r.
Если кто не в курсе, расположение символов в koi8-r подчинено "фонетическому" принципу -- при занулении старшего бита сообщение должно остаться читаемым (Привет --> pRIWET), а "перевёрнутый" регистр свидетельствовал о факте некорректного преобразования при передаче (многое оборудование рассчитывало только на ASCII 7bit).
Возможно, оправданием для появления cp866 может являться то, что область символов 0xB0-0xDF имела специальную поддержку в видеоадаптерах в режимах, имеющих в знакоместе 9 точек по горизонтали (а на образ символа по-прежнему отводилось 8 точек), заключавшуюся в дублировании правой вертикальной линии, благодаря чему символы псевдографики выглядели неразрывными по горизонтали, и именно эта область занята символами псевдографики в cp866. Кроме того, не считая "Ёё", расположение символов алфавита соответствовало алфавитному порядку, что позволяло использовать для регистрозависимых сортировок непосредственно значение кодов символов без дополнительных "весовых" преобразований.

[watashiwa_daredeska]

И это при наличии национальной кодировки koi8-r.

Внезапно: ГОСТ 19768-87, основная, альтернативная кодировки. CP866 практически один-в-один повторяет альтернативную, а ISO-8859-5 — основную.

Так что, ничего особенного MS не изобретала.

[eddy]

ГОСТ 19768-87, основная, альтернативная кодировки.

Спасибо за ссылку. Не знал, что в СССР была стандартизирована такая кодировка (основная). Странно, что она не используется сейчас: сортировка выполнялась бы намного проще, чем в cp866 или 1251 (не говоря уже про КОИ8-Р).

[watashiwa_daredeska]

Странно, что она не используется сейчас

Сейчас есть Unicode. А тогда были видеоадаптеры с особенной обработкой диапазона 0xC0..0xDF, для которых была удобнее альтернативная. А позже появилась CP1251, из которой выкинули псевдографику (посчитали, что в GUI она не нужна) и добавили некоторых полезных символов, вроде "«", "»".

[bormant]

И это при наличии национальной кодировки koi8-r.

Внезапно: ГОСТ 19768-87, основная, альтернативная кодировки. CP866 практически один-в-один повторяет альтернативную, а ISO-8859-5 — основную.

Не придирок ради, но полноты картины для: КОИ-7 и КОИ-8 описаны в ГОСТ 19768-74, т.е. в 1974 году.
В августе 1987 выходит MS_DOS 3.3, помимо прочих новшеств введена поддержка кодовых страниц (национальные наборы символов и таблицы сортировки).
Если мне не изменяет склероз, альтернативы альтернативной cp866 не было, ISO-8859-5 в .cpi файлах не поставлялась, переключиться на неё в MS-DOS возможности не было.
В этой связи можно также вспомнить отечественную Искра 1030.11, которая в ПЗУ видеоадаптера CGA имела прошитыми 4 кодовых таблицы, в том числе ГОСТ-овские основную и альтернативную.
Широкое распространение MS-DOS как практически безальтернативной системы на персоналках привело к широкому использованию cp866.
Линукс появится только в 1991, достигнет версии 1.0 только к 1994 году. А когда появились его первые локализации на русский, увы, не помню/не знаю, предположительно 1995-96 годы, буду благодарен за подобные сведения.

[eddy]

А когда появились его первые локализации на русский, увы, не помню/не знаю, буду благодарен за подобные сведения.

Не забывайте, что за много-много лет до линукса был юникс. Теща еще до появления линукса знала, что такое КОИ8-Р и как работать в консоли

[bormant]

Не забываю, просто акцентирую внимание на том, что cp866 получила своё распространение вместе с ms-dos, а на unix-ах даже тени подобной популярности не имела.

[watashiwa_daredeska]

но полноты картины для: КОИ-7 и КОИ-8 описаны в ГОСТ 19768-74, т.е. в 1974 году.

Это понятно, но... не является основанием для его использования, а даже где-то наоборот. Новые стандарты ведь не зря выходят.

Если мне не изменяет склероз, альтернативы альтернативной cp866 не было

Не было. Думаю, это определялось прежде всего аппаратной платформой, которая поддерживалась msdos'ом — IBM PC, которой (аппаратуре) было очень-очень желательно иметь псевдографику в определенном диапазоне кодов, а не там, где она расположена в основной кодировке или koi8.

переключиться на неё в MS-DOS возможности не было

Для того времени это было, во-первых, не особо актуально, а во-вторых, на кодовую страницу в самой системе так мало завязано было, что можно было просто воспользоваться сторонней утилитой (их, помнится, море было) для установки шрифта/раскладки под любую кодировку. Какая-то из пользованных мной, помнится, поддерживала чуть ли не все однобайтовые кириллические кодировки.

А когда появились его первые локализации на русский, увы, не помню/не знаю, предположительно 1995-96 годы

И я очень долго не мог понять, почему же mc так хреново выглядит, в отличие от nc и dn, пока не прознал про эти 0xC0..0xDF.

[bormant]

И я очень долго не мог понять, почему же mc так хреново выглядит, в отличие от nc и dn, пока не прознал про эти 0xC0..0xDF.

Лекарством от этого недуга в натуральных текстовых режимах (не фреймбуферных) при локали, отличной от cp866, было использование ядрёной таблицы перекодировки (mapscrn): в знакогенератор видеокарты загружался шрифт в cp866 (в нём псевдографика на своём месте) и устанавливалась таблица перекодирования символов при выводе из koi8r в 866 (koi2alt), что выглядело примерно: setfont Cyr_a8x16 -m koi2alt (или setfont Cyr_a8x16 ; mapscrn koi2alt).

[eddy]

setfont Cyr_a8x16 -m koi2alt (или setfont Cyr_a8x16 ; mapscrn koi2alt).

Ага, было такое. Сейчас у меня просто setfont Cyr_a8x16. (хотя, может быть, mapscrn выполняется "за кадром"?)