Encoding converter & mojibake-herstel

Snelle antwoorden

Wat is mojibake?

// The mistake, in three lines of JavaScript
const bytes = new TextEncoder().encode('测试');   // UTF-8: E6 B5 8B E8 AF 95
new TextDecoder('gbk').decode(bytes);            // '娴嬭瘯'  ← mojibake
new TextDecoder('windows-1252').decode(bytes);   // '测试'  ← same bytes, other mistake

Wat deze tool doet

Uitgewerkte voorbeelden

娴嬭瘯

测试

测试

测试

B2 E2 CA D4

测试

鏁版嵁搴�

(alleen gedeeltelijk)

Zo gebruik je deze tool

1. 1

   Plak de verminkte tekst

   Zet hem er meteen in — je hoeft de codering niet eerst te herkennen. Een kort fragment is genoeg; een teken of twaalf pint de keten meestal al vast.

2. 2

   Lees de bovenste kandidaat en zijn badge

   Exact betekent dat de keten teken voor teken terugleidt naar je invoer. Gedeeltelijk betekent van niet; behandel het resultaat dan als aanwijzing.

3. 3

   Controleer de coderingsketen

   Bij elke kandidaat staat in welke codering de tekst echt geschreven was en welke hem verkeerd las. Dat vertelt je wat je bovenstrooms moet repareren, niet alleen wat er stond.

4. 4

   Bekijk de bytes als je die nodig hebt

   Het tweede blok toont willekeurige tekst als bytes in elke gangbare codering, en decodeert ruwe hex de andere kant op. Handig om kolomgroottes te bepalen of protocolframes te controleren.

Fouten die het erger maken

iconv -f UTF-8 -t GBK correct.txt > broken.txt

# Controleer eerst de huidige codering
file -I correct.txt   # charset=utf-8 → geen conversie nodig

ALTER TABLE t MODIFY c VARCHAR(255) CHARACTER SET utf8mb4;

-- Ga via een binair type, dan blijven de bytes behouden in plaats van opnieuw geïnterpreteerd
ALTER TABLE t MODIFY c VARBINARY(255);
ALTER TABLE t MODIFY c VARCHAR(255) CHARACTER SET utf8mb4;

// Pak de eerste kandidaat, wat de badge ook zegt
db.update(row.id, candidates[0].text);

// Schrijf alleen terug wat de controle in twee richtingen doorstaat
if (candidates[0].lossless) db.update(row.id, candidates[0].text);

text = raw.decode('utf-8').encode('gbk').decode('utf-8')

# Decodeer één keer op de grens, met de codering die het bestand echt gebruikt
with open(path, encoding='gbk') as f:
    text = f.read()

Wanneer je dit nodig hebt

Een databasemigratie leverde onzin op

Oude MySQL-tabellen die latin1 opgeven terwijl er UTF-8-bytes in staan zijn veruit de meest voorkomende bron. Plak hier een verminkte rij om de echte keten te bevestigen voordat je de ALTER TABLE schrijft — de conversie de verkeerde kant op uitvoeren maakt van een herstelbaar probleem een blijvend probleem.

Een CSV in Excel toont onzin

Excel op Windows gaat voor CSV-bestanden zonder BOM nog steeds uit van de codepagina van het systeem, dus komen UTF-8-exports eruit als mojibake. Bevestig hier de keten en exporteer daarna opnieuw mét BOM, of importeer via de tekstwizard met de codering expliciet ingesteld.

Logbestanden van een oude service

Applicaties die tegen GBK of Shift_JIS gebouwd zijn schrijven hun logs in die coderingen, en moderne logverzamelaars lezen alles als UTF-8. Plak een regel om hem te herstellen — en omdat er niets geüpload wordt, kan dat ook met productielogs.

Bestandsnamen verminkt door een ZIP-archief

Het ZIP-formaat heeft geen veld voor de codering, dus archieven die op Chinese of Japanse Windows gemaakt zijn dragen bestandsnamen in GBK of Shift_JIS die Unix-tools als UTF-8 lezen. Herstel hier de echte namen voordat je iets hernoemt.

De grootte van een databasekolom bepalen

Het byteoverzicht toont dezelfde tekst in elke codering tegelijk. Een Chinees teken is 3 bytes in UTF-8 maar 2 in GBK, en precies zulke verschillen maken van een VARCHAR(50) een afkapfout.

Zo ontstaat mojibake

Bytes overleven, betekenis niet

Encoderen zet tekens om in bytes; decoderen zet bytes weer terug. Mojibake is een decodering met de verkeerde tabel. De bytes zelf raakten nooit beschadigd, en juist daarom levert het terugdraaien van die verkeerde decodering het origineel exact op — mits die verkeerde decodering niets heeft weggegooid.

Waarom CJK-tekst er het meest onder lijdt

ASCII bezet 0x00–0x7F en elke gangbare codering is het daarover eens, dus Engelse tekst komt er ongeschonden doorheen. Chinees, Japans en Koreaans hebben reeksen van meerdere bytes nodig, en de coderingen zijn het oneens over hoe je die groepeert. UTF-8 gebruikt drie bytes per Chinees teken, GBK twee. Geef UTF-8-bytes aan een GBK-decoder en de groepering verschuift: er komt een ander aantal andere tekens uit.

De controle in twee richtingen

Voor elke kandidaatketen encodeert de tool de herstelde tekst opnieuw met de eerste codering en decodeert die opnieuw met de tweede. Levert dat exact de invoer op, dan verklaart de keten elk teken en krijgt de kandidaat het label Exact. Kandidaten die zakken voor die test worden alsnog getoond, want een gedeeltelijk herstel maakt de tekst vaak herkenbaar, ook als het hem niet kan reproduceren.

Waar de coderingstabellen vandaan komen

De TextDecoder van de browser levert de tabellen. De andere richting is lastiger, want TextEncoder ondersteunt alleen UTF-8 — daarom bouwt de tool een omgekeerde tabel door de byteruimte af te lopen en de decoder te vragen wat elke reeks betekent. Daarmee klopt de toewijzing altijd met het gedrag van de browser zelf, en gaan er geen opzoektabellen naar je apparaat.

De rangschikkingsheuristiek en haar grenzen

Naast de controle in twee richtingen krijgen kandidaten een score voor hoeveel van de tekst uit veelgebruikte Chinese tekens bestaat (die waarvan de eerste GBK-byte in 0xB0–0xF7 valt), minus strafpunten voor vervangingstekens, halfbrede katakana en stuurtekens. Halfbrede katakana is een sterk Shift_JIS-signaal, want normale Japanse tekst gebruikt het nauwelijks. Dit is een heuristiek; ze breekt gelijke standen, ze stelt geen waarheid vast.

Zo voorkom je herhaling

Repareer de bron, niet alleen de string

De coderingsketen onder elke kandidaat vertelt je welk onderdeel verkeerd staat ingesteld. Herstel je de tekst zonder de codering van de verbinding, de bestandslezer of de exportinstelling te corrigeren, dan doe je het morgen opnieuw met verse data.

Bevestig de richting voordat je een heel bestand omzet

Haal eerst een representatieve regel door deze pagina. De verkeerde kant op omzetten kan vervangingstekens opleveren, en anders dan de oorspronkelijke vergissing is die stap niet terug te draaien.

Stel de codering overal expliciet in

De codering van de databaseverbinding, de HTTP Content-Type, de aanroepen die bestanden openen, de CSV-exports. Elke plek die terugvalt op “de codering van het systeem” is een plek waar dezelfde bug terugkomt zodra de code naar een andere machine verhuist.

Kies utf8mb4 boven utf8 in MySQL

De utf8 van MySQL slaat hoogstens drie bytes per teken op, dus emoji en sommige zeldzamere Chinese tekens worden stilzwijgend afgekapt. utf8mb4 is echte UTF-8. Dit is een ander soort storing dan mojibake en de hersteltool kan er niets aan doen, want die bytes zijn echt weg.

Bewaar de oorspronkelijke bytes tot de fix bewezen is

Maak een kopie voordat je iets omzet. Zolang de oorspronkelijke bytes bestaan is elke verkeerde decodering terug te draaien — zijn ze eenmaal overschreven met vervangingstekens, dan haalt geen enkele tool op deze pagina of waar dan ook ze nog terug.

Veelgestelde vragen