Конвертер кодировок и восстановление кракозябр

Быстрые ответы

Что такое кракозябры?

// The mistake, in three lines of JavaScript
const bytes = new TextEncoder().encode('测试');   // UTF-8: E6 B5 8B E8 AF 95
new TextDecoder('gbk').decode(bytes);            // '娴嬭瘯'  ← mojibake
new TextDecoder('windows-1252').decode(bytes);   // '测试'  ← same bytes, other mistake

Что умеет этот инструмент

Разобранные примеры

娴嬭瘯

测试

测试

测试

B2 E2 CA D4

测试

鏁版嵁搴�

(только частично)

Как пользоваться конвертером

1. 1

   Вставьте испорченный текст

   Просто вставьте его — определять кодировку заранее не нужно. Хватит короткого фрагмента: десятка символов обычно достаточно, чтобы цепочка определилась однозначно.

2. 2

   Прочитайте верхнего кандидата и его метку

   «Точно» означает, что цепочка при обратном проходе воспроизводит ваш ввод символ в символ. «Частично» означает, что не воспроизводит, — такой результат стоит считать зацепкой.

3. 3

   Посмотрите на цепочку кодировок

   У каждого кандидата показано, в какой кодировке текст был записан на самом деле и какая прочитала его неверно. Это говорит, что чинить в источнике, а не только что было написано в тексте.

4. 4

   При необходимости загляните в байты

   Второй раздел показывает любой текст в байтах во всех распространённых кодировках и декодирует сырой hex в обратную сторону. Пригодится, чтобы подобрать длину колонки или разобрать кадр протокола.

Действия, которые всё портят

iconv -f UTF-8 -t GBK correct.txt > broken.txt

# Сначала подтвердите текущую кодировку
file -I correct.txt   # charset=utf-8 → конвертировать нечего

ALTER TABLE t MODIFY c VARCHAR(255) CHARACTER SET utf8mb4;

-- Пройдите через двоичный тип, чтобы байты сохранились, а не были истолкованы заново
ALTER TABLE t MODIFY c VARBINARY(255);
ALTER TABLE t MODIFY c VARCHAR(255) CHARACTER SET utf8mb4;

// Берём первого кандидата, что бы ни говорила метка
db.update(row.id, candidates[0].text);

// Записываем обратно только то, что проходит обратный проход
if (candidates[0].lossless) db.update(row.id, candidates[0].text);

text = raw.decode('utf-8').encode('gbk').decode('utf-8')

# Декодируем один раз на границе — той кодировкой, которая в файле на самом деле
with open(path, encoding='gbk') as f:
    text = f.read()

Когда это нужно

После миграции базы данных вместо текста мусор

Главный источник — старые таблицы MySQL, объявленные как latin1, но фактически хранящие байты UTF-8. Вставьте сюда испорченную строку и убедитесь в реальной цепочке, прежде чем писать ALTER TABLE: конвертация в неверную сторону превращает поправимую проблему в необратимую.

CSV, открытый в Excel, показывает бессмыслицу

Excel в Windows до сих пор считает, что CSV без BOM записан в системной кодовой странице, поэтому выгрузки в UTF-8 открываются кракозябрами. Подтвердите цепочку здесь, а затем выгружайте с BOM или импортируйте через мастер текста, явно указав кодировку.

Логи старого сервиса

Приложения, написанные под Windows-1251, GBK или Shift_JIS, пишут логи в этих кодировках, а современные системы сбора логов читают всё как UTF-8. Вставьте строку, чтобы восстановить её, — и, поскольку ничего никуда не отправляется, это можно делать с боевыми логами.

Имена файлов, испорченные ZIP-архивом

В формате ZIP нет поля кодировки, поэтому архивы, созданные в русской, китайской или японской Windows, несут имена файлов в Windows-1251, GBK или Shift_JIS, а инструменты Unix читают их как UTF-8. Восстановите настоящие имена здесь, прежде чем что-то переименовывать.

Подбор длины колонки в базе данных

Просмотр байтов показывает один и тот же текст сразу во всех кодировках. Русская буква занимает 2 байта в UTF-8 и 1 байт в Windows-1251, китайский иероглиф — 3 байта в UTF-8 против 2 в GBK; ровно такая разница и превращает VARCHAR(50) в ошибку с обрезанием.

Как появляются кракозябры

Байты выживают, смысл — нет

Кодирование сопоставляет символам байты, декодирование — наоборот. Кракозябры — это декодирование по неверной таблице. Байты при этом не пострадали, поэтому обратный прогон неверного декодирования восстанавливает оригинал в точности — при условии, что неверное декодирование ничего не выбросило.

Почему кириллица и восточноазиатские письменности страдают сильнее

ASCII занимает 0x00–0x7F, и все распространённые кодировки о нём договорились, так что английский текст проходит невредимым. Всё, что выше 0x7F, каждая кодировка трактует по-своему: русская буква — это один байт в Windows-1251 и два в UTF-8, китайский иероглиф — два байта в GBK и три в UTF-8. Скормите байты UTF-8 декодеру Windows-1251, и каждый байт станет отдельной буквой; скормите их декодеру GBK, и группировка сдвинется, дав другое число других символов.

Проверка обратным проходом

Для каждой цепочки-кандидата инструмент заново кодирует восстановленный текст первой кодировкой и заново декодирует второй. Если это в точности воспроизводит ввод, цепочка объясняет каждый символ, и кандидат помечается меткой «Точно». Кандидаты, не прошедшие проверку, всё равно показываются: частичное восстановление часто позволяет опознать текст, даже когда воспроизвести его не удаётся.

Откуда берутся таблицы кодировок

Таблицы даёт встроенный в браузер TextDecoder. С кодированием в обратную сторону сложнее: TextEncoder умеет только UTF-8, поэтому инструмент строит обратную таблицу, обходя пространство байтов и спрашивая у декодера, что означает каждая последовательность. Благодаря этому отображение всегда согласовано с поведением самого браузера, и на устройство не отгружается ни одной таблицы соответствий.

Эвристика ранжирования и её пределы

Помимо проверки обратным проходом кандидаты оцениваются по доле частотных китайских иероглифов (тех, у которых ведущий байт GBK попадает в 0xB0–0xF7) за вычетом штрафов за символы замены, полуширинную катакану и управляющие символы. Полуширинная катакана — сильный признак Shift_JIS, потому что в нормальном японском тексте она почти не встречается. Это эвристика: она разрешает ничьи, но не устанавливает истину, — и на кириллице сигнала почти не даёт, так что для русского текста решающей остаётся метка «Точно».

Как не допустить повторения

Чините источник, а не только строку

Цепочка кодировок под каждым кандидатом называет неверно настроенный компонент. Починить текст, не поправив кодировку соединения, чтение файла или настройку выгрузки, — значит завтра проделать то же самое со свежими данными.

Убедитесь в направлении, прежде чем конвертировать целый файл

Сначала прогоните через эту страницу одну показательную строку. Конвертация в неверную сторону может породить символы замены, и, в отличие от исходной ошибки, этот шаг необратим.

Задавайте кодировку явно везде

Кодировка соединения с базой данных, заголовок HTTP Content-Type, вызовы открытия файлов, выгрузки CSV. Каждое место, где по умолчанию берётся «системная кодировка», — это место, где та же ошибка вернётся при переезде кода на другую машину.

В MySQL выбирайте utf8mb4, а не utf8

utf8 в MySQL хранит не больше трёх байтов на символ, поэтому эмодзи и часть редких китайских иероглифов молча обрезаются. Настоящий UTF-8 — это utf8mb4. Это уже другая поломка, не кракозябры, и инструмент восстановления тут не поможет: байты действительно потеряны.

Держите исходные байты, пока исправление не проверено

Снимите копию, прежде чем что-либо конвертировать. Пока исходные байты существуют, любое неверное декодирование обратимо; как только их перезапишут символами замены, вернуть их не сможет ни этот инструмент, ни любой другой.

Часто задаваемые вопросы