Решено: кривая кодировка в базе mysql (как дальше жить?)

[SLEDopit]

день добрый,

досталась в наследство mysql база. якобы в utf-8.
движок работает с ней прекрасно (на сайте буковки нормальные).
только вот базу надо перенести на другой хост, лезем в базу, а там все в таком виде:

Код: Выделить всё

пшо�то те�т

казалось бы cp1252 -> utf8 и делов то.
только вот при

Код: Выделить всё

cat dump.sql | iconv -c -f utf-8 -t cp1252

часть базы теряется по дороге и получается такой текст:

Код: Выделить всё

'Интере<D1>на<D1> и полезна<D1> информаци<D1>

а местами и вовсе теряются целые куски текста.
собственно вопрос, есть ли способ как то получить нормальную базу в utf?

причем переношу не только базу, но и cms. только вот на старом хосте (там шаред хостинг и настройки мне не доступны) все работает и с такой базой, а тут с такой базой работать не хочет. (хотя там и база utf8_general_ci и сопоставление utf8_general_ci и вообще все там utf8_general_ci) но базу все же хотелось бы сконвертировать.

update движок неправильно вставил вид того, что в базе.
вид полностью идентичен тому, что нарисован тут в секции UTF-8 -> Windows-1252.

[KiWi]

Возьмите кусок дампа и прогоните через: http://www.artlebedev.ru/tools/decoder/
Тогда будет понятно откуда и куда кодировать.

[SLEDopit]

Тогда будет понятно откуда и куда кодировать.

дык я пробовал. он говорит, что cp1252 -> utf-8, но декодирует с такими же пробелами и ошибками. (типа <D1> символов. еще и квадратики какие то на выходе получаются, плюс к <D1>).

[rm_]

SLEDopit
с бубном танцевать.
А почему cp1252, может попробовать 1251?
Сталкивался с подобным, уже не помню, как именно поправил.
Выложите куда-нибудь бинарно кусочек-пример текста, попробую вспомнить.

движок работает с ней прекрасно (на сайте буковки нормальные).

Погрепайте исходники движка на тему http://php.net/manual/en/function.mysql-set-charset.php
Чего он там выставляет.
Можно попробовать в скрипте, которым выгружаете базу (phpMyAdmin?) прописать команду на выставление такого же перед коннектом.
Получите тот самый прекрасный нормальный текст уже и в .sql-дампе.

[SLEDopit]

А почему cp1252, может попробовать 1251?

из 1251 совсем ерунда получалась.

на самом деле все решилось гораздо проще:
под cms был найден компонент, который дампит базу. а так как cms с ней работает прекрасно, то и база получилась замечательной (все читаемо и в utf).
всем спасибо за советы.

[KiWi]

Тогда будет понятно откуда и куда кодировать.

дык я пробовал. он говорит, что cp1252 -> utf-8, но декодирует с такими же пробелами и ошибками. (типа <D1> символов. еще и квадратики какие то на выходе получаются, плюс к <D1>).

И зачем тогда:

iconv -c -f utf-8 -t cp1252

То есть из UTF-8 в CP1252?

[SLEDopit]

То есть из UTF-8 в CP1252?

дык получается, что текст представлен в utf, а исходная кодировка была cp1252. вот я так и пытаюсь вернуть. в любом случае, при iceonv наоборот ничего читаемого не получается в принципе. а так хоть часть слов была.

[KiWi]

То есть из UTF-8 в CP1252?

дык получается, что текст представлен в utf, а исходная кодировка была cp1252. вот я так и пытаюсь вернуть. в любом случае, при iceonv наоборот ничего читаемого не получается в принципе. а так хоть часть слов была.

Декодер у Лебедева выдаёт ровно ту последовательности перекодировок, которая нужна для восстановления русского текста из исходного.

[arkhnchul]

еще enca есть для определения, чего там к чему...

Код: Выделить всё

[arkhnchul@darkstar ~]# enca tmp1251_koi8_utf.txt
Universal transformation format 8 bits; UTF-8
  Doubly-encoded to UTF-8 from KOI8-R
[arkhnchul@darkstar ~]#

[SLEDopit]

еще enca есть для определения, чего там к чему...

Код: Выделить всё

 $ grep "X-Wo" d*l | head -4 | LANG=ru_RU.UTF-8 enca
Universal transformation format 8 bits; UTF-8
  Doubly-encoded to UTF-8 from ISO-8859-5

[sash-kan]

SLEDopit
Декодер кодировок

[SLEDopit]

SLEDopit
Декодер кодировок

да, спасибо, это работает (:

[Skyb]

а стандартные средства перевода кодировок отменили?

[sash-kan]

поискал на форуме и что-то не нашёл про alter table change to blob.
это когда столбец сначала в blob конвертируется, а затем в нужный тип (и с нужной кодировкой).
вот тут довольно пространное описание:
http://codex.wordpress.org/Converting_Data...ith_new_charset
наиболее ключевой момент:
alter table t1 change c1 c1 blob-тип;
alter table t1 change c1 c1 тип character set нужный;
соответствие blob-типа и нужного типа данных тоже процитирую:
CHAR ⇾ BINARY
TEXT ⇾ BLOB
TINYTEXT ⇾ TINYBLOB
MEDIUMTEXT ⇾ MEDIUMBLOB
LONGTEXT ⇾ LONGBLOB
VARCHAR ⇾ VARBINARY (надо указывать длину)

а стандартные средства перевода кодировок отменили?

что есть стандартные средства перевода кодировок?

[arkhnchul]

SLEDopit
не понял. сначала enca-ой смотреть, потом перекодировать