Konwerter Unicode

Czym jest sekwencja ucieczki Unicode?

中文
  U+4E2D U+6587         code point
  \u4E2D\u6587          JavaScript / Java / JSON
  \u{4E2D}\u{6587}      ES6 / Rust
  E4 B8 AD E6 96 87     UTF-8
  %E4%B8%AD%E6%96%87    URL
  中文      HTML

Co potrafi ten konwerter

Przykłady

{"msg":"\u4e2d\u6587 failed","code":500}

{"msg":"中文 failed","code":500}

U+4E2D  \u{1F600}  中  \ud83d\ude00

中  😀  中  😀

中

\u4E2D        JavaScript / Java / JSON
\u{4E2D}      ES6 / Rust
U+4E2D        code point
E4 B8 AD      UTF-8
\344\270\255  octal

Jak używać

1. 1

   Wklej

   Sekwencje ucieczki, punkty kodowe, encje, zakodowane bajty albo zwykły tekst. Nie trzeba z góry mówić, co to jest.

2. 2

   Odczytaj wynik

   Czytelny tekst pojawia się od razu, wraz z informacją, jakie zapisy zostały rozpoznane.

3. 3

   Skopiuj potrzebną formę

   Pod wynikiem znajduje się lista wszystkich zapisów, każdy z własnym przyciskiem kopiowania.

4. 4

   Zajrzyj głębiej, gdy coś nie gra

   Otwórz tabelę znaków, żeby zobaczyć punkty kodowe, bajty, pismo i nazwy, i włącz pokazywanie niewidocznych znaków.

Pułapki, o których warto wiedzieć

\ud83d\ude00

\U0001F600

’  ->  U+0092

’  ->  U+2019

\4E2Da

\004E2Da

Kiedy się przydaje

Czytanie logów

Logi serwera i odpowiedzi API często przychodzą z zakodowanym nie-ASCII. Wklej linię i przeczytaj ją bez wcześniejszej edycji.

Przenoszenie ciągów między językami

Skopiuj sekwencję dokładnie w formie, którą przyjmuje język docelowy, zamiast ręcznie przeliczać pary surogatów na formy ośmiocyfrowe.

Tropienie błędu kodowania

Kiedy porównanie zawodzi albo baza odrzuca wartość, tabela znaków pokazuje dokładnie, jakie punkty kodowe i bajty wchodzą w grę.

Czyszczenie wklejonej treści

Tekst skopiowany ze strony albo z dokumentu często niesie niewidoczne znaki. Znajdź je, zanim trafią na produkcję.

Szczegóły techniczne

Sekwencje kodują jednostki UTF-16, a nie znaki

JavaScript, Java i JSON zabezpieczają jednostki kodowe UTF-16, więc znak powyżej U+FFFF wymaga dwóch sekwencji. Python i Go oferują zamiast tego formę ośmiocyfrową, która mieści cały punkt kodowy.

Liczbowe odwołania HTML czyta się inaczej

Specyfikacja HTML wymaga, by odwołania liczbowe z zakresu od 128 do 159 czytać przez windows-1252, a nie jak punkty kodowe. Dlatego odwołanie 146 to prawy apostrof, a nie niewidoczny znak sterujący.

Sekwencje CSS trzeba dopełnić

Sekwencja CSS pochłania do sześciu cyfr szesnastkowych, więc krótki zapis, po którym stoi znak szesnastkowy, zlewa się w jeden błędny punkt kodowy. Dopełnienie do sześciu cyfr usuwa dwuznaczność, a następująca po niej spacja zostaje potraktowana jako znak kończący.

Każdy język robi z niesparowanym surogatem coś innego

Niesparowany surogat zostaje zachowany przy serializacji JSON, po cichu podmieniony przez TextEncoder, odrzucony przez kodowanie procentowe, zapisany jako znak zapytania przez Javę i zgłoszony jako błąd przez Pythona.

Dobre praktyki

Normalizuj przed porównaniem

Przed porównaniem albo usuwaniem duplikatów sprowadź obie strony do tej samej postaci normalizacyjnej, zwłaszcza przy nazwiskach i identyfikatorach.

Dla Pythona i Go wybieraj formę ośmiocyfrową

Para surogatów jest poprawna w JSON, a psuje się w obu tych językach. Gdy celem jest kod Pythona albo Go, użyj sekwencji ośmiocyfrowej.

Sprawdzaj niewidoczne znaki wcześnie

Waliduj wklejone dane już na granicy wejścia, zamiast później tropić niezgodność w porównaniach.

Zachowaj oryginał

Gdy pojawią się znaki zastępcze, dekodowanie przestaje być bezstratnie odwracalne. Trzymaj surową wartość, dopóki nie ma pewności.

Najczęstsze pytania