Конвертер Unicode

Что такое escape-последовательность Unicode?

中文
  U+4E2D U+6587         code point
  \u4E2D\u6587          JavaScript / Java / JSON
  \u{4E2D}\u{6587}      ES6 / Rust
  E4 B8 AD E6 96 87     UTF-8
  %E4%B8%AD%E6%96%87    URL
  中文      HTML

Что умеет этот конвертер

Примеры

{"msg":"\u4e2d\u6587 failed","code":500}

{"msg":"中文 failed","code":500}

U+4E2D  \u{1F600}  中  \ud83d\ude00

中  😀  中  😀

中

\u4E2D        JavaScript / Java / JSON
\u{4E2D}      ES6 / Rust
U+4E2D        code point
E4 B8 AD      UTF-8
\344\270\255  octal

Как использовать

1. 1

   Вставьте

   Escape-последовательности, кодовые точки, сущности, закодированные байты или обычный текст. Уточнять, что именно это, не нужно.

2. 2

   Прочитайте результат

   Читаемый текст появляется сразу, рядом отмечено, какие представления были распознаны.

3. 3

   Скопируйте нужную форму

   Под результатом перечислены все представления, у каждого своя кнопка копирования.

4. 4

   Разберите, если что-то не так

   Откройте посимвольную таблицу с кодовыми точками, байтами, письменностью и названиями, а «Показать невидимые символы» вытащит наружу спрятанное.

Ошибки, о которых стоит знать

\ud83d\ude00

\U0001F600

’  ->  U+0092

’  ->  U+2019

\4E2Da

\004E2Da

Когда это нужно

Чтение логов

В логах сервера и ответах API не-ASCII часто приходит экранированным. Вставьте строку и прочитайте её, ничего заранее не правя.

Перенос строк между языками

Скопируйте запись ровно в той форме, которую принимает целевой язык, вместо ручного перевода между суррогатными парами и широкой формой.

Поиск ошибки кодирования

Когда сравнение не проходит или база отклоняет значение, посимвольная таблица показывает, какие именно кодовые точки и байты в этом участвуют.

Чистка вставленного текста

Текст, скопированный с веб-страницы или из документа, часто тащит за собой невидимые символы. Найдите их до того, как они доедут до продакшена.

Технические детали

Кодовые единицы UTF-16, а не символы

JavaScript, Java и JSON экранируют кодовые единицы UTF-16, поэтому символу выше U+FFFF нужны две escape-последовательности. У Python и Go вместо этого есть восьмизначная форма, которая принимает кодовую точку напрямую.

Числовые ссылки HTML переотображаются

Спецификация HTML требует читать числовые ссылки в диапазоне от 128 до 159 через windows-1252, а не как кодовые точки, поэтому ссылка с номером 146 — это правая одинарная кавычка, а не невидимый управляющий символ.

Записи CSS нужно дополнять до шести цифр

Запись CSS съедает до шести шестнадцатеричных цифр, поэтому короткая запись, за которой идёт шестнадцатеричный символ, сливается с ним в одну неверную кодовую точку. Дополнение до шести цифр снимает неоднозначность, а идущий следом пробел съедается как ограничитель.

Непарные суррогаты ведут себя везде по-разному

Непарный суррогат сохраняется при сериализации в JSON, молча заменяется в TextEncoder, отвергается процентным кодированием, записывается знаком вопроса в Java и вызывает ошибку в Python.

Лучшие практики

Нормализуйте перед сравнением

Приводите обе стороны к одной форме нормализации перед сравнением или дедупликацией, особенно для имён и идентификаторов.

Для Python и Go берите широкую форму

Суррогатная пара допустима в JSON, но ломается в обоих языках. Для исходников Python и Go используйте восьмизначную запись.

Проверяйте невидимые символы заранее

Валидируйте вставленный текст на границе системы, а не отлаживайте расхождение потом.

Держите оригинал под рукой

Декодирование не всегда обратимо без потерь: как только появились символы замены, вернуться уже некуда. Сохраняйте исходное значение, пока не убедитесь в результате.

Часто задаваемые вопросы