Dosya adlarınız bozuk değil — sadece yanlış alfabeyle okunuyorlar
Bir iş arkadaşınızdan gelen bir ZIP dosyasını açıyorsunuz ve içindekiler şöyle:
الصورة.jpg
تقرير نهائي.pdf
Işık.txt
Dosyalar sorunsuz açılıyor. Fotoğraf sağlam, PDF düzgün görüntüleniyor. Okunmayan yalnızca adlar — ve sayıları dört yüze ulaştığında bu gerçek bir soruna dönüşüyor: onları sıralayamazsınız, arayamazsınız, talep eden kişiye geri veremezsiniz.
Adlarınızla çoğunlukla İngilizce çalıştıysanız bu, bozulma gibi görünür. Değildir. Baytlara bir şey olmamıştır. Adların her biri yanlış karakter kodlamasıyla okunmuş — ki bu çok daha iyi bir durumdur, çünkü düzeltme tahmin yürütmek değil, aritmetik yapmaktır.
Aslında ne oldu
الصورة altı Arapça harften oluşur. UTF-8'de her biri iki bayt kaplar; yani ad on iki bayttır:
D8 A7 D9 84 D8 B5 D9 88 D8 B1 D8 A9
ا ل ص و ر ة
Şimdi aynı on iki baytı, her baytı tek baytlık bir kod sayfasında bütün bir karakter muamelesiyle okuyun — diyelim ki Windows-1252:
D8 A7 D9 84 D8 B5 D9 88 D8 B1 D8 A9
Ø § Ù „ Ø µ Ù ˆ Ø ± Ø ©
Yan yana koyun; ortaya الصورة çıkar. Baytlar hattan kusursuz geçti; yalnızca yanlış tabloya göre çözüldüler.
Kazanın tamamı budur. Adı mojibake — ve "bozuk" görünen bir dosya adının aslında sağlam olmasının, açık ara en yaygın nedeni budur.
Dağınıklığın şekli hangi tablonun kullanıldığını söyler
| Okunma biçimi | Görünümü | Kaynağı |
|---|---|---|
| Windows-1256 (Arapça) | ط§ظ„طµظˆط±ط© — hâlâ Arapça harfler, ama anlamsız | Arapça Windows makinesinin UTF-8 baytlarını okuması |
| Windows-1252 / Latin-1 | الصورة — aksanlı Latin harfleri, başıboş simgeler | ZIP arşivleri, FTP, sistemler arası kopyalar |
| Windows-1254 (Türkçe) | Işık yerine Işık | Türkçe Windows, eski arşivler |
| Mac Arapça | ظ'عÑ — ASCII noktalama işaretleriyle karışmış Arapça | Eski Mac'lerde oluşturulan arşivler |
| DOS Arapça (cp864) | ﻅ§ﻋ▒ — kutu çizimi ve dolgu karakterleri | Çok eski DOS döneminden arşivler |
| İki kez uygulandı | ال — içinde başka bir dağınıklık barındıran dağınıklık | Zaten bozuk olan bir adın yeniden dönüştürülmesi |
Son satır göründüğünden daha önemlidir. Çift kodlanmış adlar yaygındır: biri dağınıklığı görür, "düzeltmek" için bir dönüştürücüye sokar ve daha derin bir dağınıklık üretir. İşlem ters yönde geri alınabilir; dolayısıyla düzeltme, aynı işlemi iki kez uygulamaktan ibarettir.
Tarayıcıda yapmak
Çözme işlemi bedavadır. TextDecoder WHATWG kodlama standardını uygular:
const bytes = new Uint8Array([0xd8, 0xa7, 0xd9, 0x84]);
new TextDecoder('windows-1252').decode(bytes); // 'ال'
new TextDecoder('windows-1256').decode(bytes); // 'ط§ظ„'
Ama bunun üzerine bir şey inşa etmeden önce bilinmesi gereken bir sınır var. Node 22'de Arapça ile ilgili her etiketi denedim:
windows-1256 OK
windows-1252 OK
windows-1254 OK
x-mac-arabic The "x-mac-arabic" encoding is not supported
ibm864 The "ibm864" encoding is not supported
Beşte üç. WHATWG listesinde x-mac-cyrillic var ama x-mac-arabic yok ve hiçbir DOS kod sayfası yok. Dolayısıyla en eski arşivlerin arkasındaki — zaten en çok bozulmaya açık olan — iki kodlama, tam olarak TextDecoder'ın dokunmayı reddettiği kodlamalardır. Bunlar için kendi 256 girişli tablonuz gerekir: Python'dan (bytes.decode('mac_arabic')) veya Unicode Consortium'un eşleme dosyalarından dökülüp JSON olarak gönderilir.
Sonra herkesin takıldığı kısım gelir: geriye gitmek karakter → bayt demektir ve tarayıcı bunu sizin için yapmaz.
new TextEncoder().encode('Ø'); // [0xc3, 0x98] ← UTF-8, always
TextEncoder UTF-8'e sabitlenmiştir. new TextEncoder('windows-1252') diye bir şey yok ve olmayacaktır. Ters tabloyu kendiniz kurarsınız; bu da on satır sürer:
function buildEncoder(label) {
const dec = new TextDecoder(label);
const table = new Map();
for (let b = 0; b < 256; b++) {
const ch = dec.decode(new Uint8Array([b]));
if (ch.length !== 1) continue;
if (ch === '\uFFFD') continue; // undefined slot — several bytes land here
if (!table.has(ch)) table.set(ch, b);
}
return table;
}
'\uFFFD' koruması kozmetik değildir. Eski kod sayfalarında boşluklar vardır — Windows-1252, 0x81, 0x8D, 0x8F, 0x90 ve 0x9D'yi tanımsız bırakır — ve çözücü bunların hepsini U+FFFD'ye eşler. Bu kontrolü atlarsanız ters tablonuzda beş farklı bayt tek karaktere çöker ve dönüş yolunda hiç hata vermeden veriyi bozarsınız.
Şimdi asıl onarım. Tek geçiş — çoğu uygulamanın gözden kaçırdığı bir ayrıntıyla birlikte:
function pass(s, label) {
const t = buildEncoder(label);
const bytes = [];
for (const ch of s) {
const cp = ch.codePointAt(0);
if (cp < 0x80) { bytes.push(cp); continue; } // ASCII survived the trip
const b = t.get(ch);
if (b === undefined) return null; // not reversible in this page
bytes.push(b);
}
try {
// fatal:true is the filter most implementations forget. A wrong code page
// usually yields bytes that aren't valid UTF-8 — this rejects them for free.
return new TextDecoder('utf-8', { fatal: true }).decode(new Uint8Array(bytes));
} catch { return null; }
}
fatal: true gerçek iş yapar. Olmadan, TextDecoder geçersiz diziler için U+FFFD ekler ve size sonuç gibi görünen bir dizge verir. Olunca, yanlış adaylar hata fırlatır ve elenir — sıralamanızın sonrasında ayıklaması gereken bir şey eksilir.
Gerçekten düzeltilemediği durum
İki durum kurtarılamaz; aksini iddia eden bir araç, işe yaramaz olmaktan da kötüdür.
Ad, değiştirme karakteri içeriyorsa. الص�رة gibi — elmas simgesini ya da harf olması gereken yerde düz bir ? görüyorsanız, bir çözücü bir yerde temsil edemediği baytlarla karşılaşmış ve yerine başka bir şey koymuştur. Özgün bayt değerleri gitmiştir. Onları geri getirecek bir tablo yoktur.
Ad kırpılmışsa. Mojibake uzunluğu korur. Bir 8.3 dönüştürmesi ya da dosya sistemi sınırı adı kesmişse, çözülecek bir şey kalmamıştır.
"Bu kayboldu" demek, makul görünen bir tahmin döndürmekten iyidir; çünkü yanlış bir ad dosyanın üzerine yapıştırılır ve artık kimsenin onun bir zamanlar yanlış olduğunu söylemesi mümkün olmaz.
Doğru adayı seçmek
Zor kısım: birkaç kod sayfası aynı mojibake'i üretir. Arapça baytlar Windows-1252 ve Windows-1254 üzerinden okunduğunda aynı sonucu verir; çünkü bu iki sayfa, Arapça UTF-8 baytlarının düştüğü aralığı paylaşır. Yapısal olarak geçerli birden çok çözüm düzenli olarak elinize geçer ve aralarında seçim yapmanız gerekir.
Karakterlerin Unicode'daki konumuna göre puanlayın. Sözlük gerekmez:
const BLOCKS = {
arabic: [[0x0600, 0x06ff], [0x0750, 0x077f], [0xfb50, 0xfdff], [0xfe70, 0xfeff]],
latin: [[0x0041, 0x007a], [0x00c0, 0x017f], [0x0100, 0x017f]],
cyrillic: [[0x0400, 0x04ff]],
};
function score(s) {
let counted = 0;
const hits = {};
for (const ch of s) {
const c = ch.codePointAt(0);
if (c < 0x80) continue; // ASCII is neutral: extensions, digits, hyphens
counted++;
for (const [name, ranges] of Object.entries(BLOCKS)) {
if (ranges.some(([lo, hi]) => c >= lo && c <= hi)) hits[name] = (hits[name] || 0) + 1;
}
}
if (!counted) return 0;
return Math.max(0, ...Object.values(hits)) / counted;
}
ASCII'yi paydan dışarıda tutun. İlk denemede bunu yanlış yaptım: .jpg ve -01'i karakter saymak, her تقرير نهائي.pdf'i 0,77 civarında sınırlıyor; böylece temiz bir eşik hiçbir zaman kullanamazsınız. Uzantılar ve rakamlar dilden bağımsızdır — onları dışarıda bırakın, gerçek sonuçlar 1,0'a oturur.
Bu aynı zamanda "en yaygın kodlamayı dene" yaklaşımının neden işe yaramadığını da açıklar. Hangi sayfanın doğru olduğu, adın içindeki dile bağlıdır — ki bu, bir dakika önce okuyamadığınız şeyin ta kendisidir.
Bütün halinde, yapıştırmaya hazır
Önbellekleme ve çift, üç kez kodlanmış adlar için üç geçişe kadar destekle birleştirildi. DevTools konsoluna yapıştırın ve fix('الصورة') çağırın:
const fix = (() => {
const LABELS = ['windows-1256', 'windows-1252', 'windows-1254'];
const cache = new Map();
function encoder(label) {
if (!cache.has(label)) {
const dec = new TextDecoder(label);
const t = new Map();
for (let b = 0; b < 256; b++) {
const ch = dec.decode(new Uint8Array([b]));
if (ch.length === 1 && ch !== '\uFFFD' && !t.has(ch)) t.set(ch, b);
}
cache.set(label, t);
}
return cache.get(label);
}
function pass(s, label) {
const t = encoder(label);
const bytes = [];
for (const ch of s) {
const cp = ch.codePointAt(0);
if (cp < 0x80) { bytes.push(cp); continue; }
const b = t.get(ch);
if (b === undefined) return null;
bytes.push(b);
}
try {
return new TextDecoder('utf-8', { fatal: true }).decode(new Uint8Array(bytes));
} catch { return null; }
}
const BLOCKS = {
arabic: [[0x0600, 0x06ff], [0x0750, 0x077f], [0xfb50, 0xfdff], [0xfe70, 0xfeff]],
latin: [[0x0041, 0x007a], [0x00c0, 0x017f], [0x0100, 0x017f]],
cyrillic: [[0x0400, 0x04ff]],
};
function score(s) {
let counted = 0;
const hits = {};
for (const ch of s) {
const c = ch.codePointAt(0);
if (c < 0x80) continue;
counted++;
for (const [name, ranges] of Object.entries(BLOCKS)) {
if (ranges.some(([lo, hi]) => c >= lo && c <= hi)) hits[name] = (hits[name] || 0) + 1;
}
}
if (!counted) return 0;
return +(Math.max(0, ...Object.values(hits)) / counted).toFixed(3);
}
return function fix(mangled, maxPasses = 3) {
const seen = new Map();
seen.set(mangled, { via: 'unchanged', score: score(mangled) });
for (const label of LABELS) {
let cur = mangled;
for (let i = 1; i <= maxPasses; i++) {
const next = pass(cur, label);
if (next === null || next === cur) break;
cur = next;
if (!seen.has(cur)) seen.set(cur, { via: `${label} x${i}`, score: score(cur) });
}
}
return [...seen.entries()]
.map(([text, m]) => ({ text, via: m.via, score: m.score }))
.sort((a, b) => b.score - a.score);
};
})();
fix('الصورة') — çift kodlanmış durum — şunu döndürür:
┌─────────┬─────────────────────────────┬───────────────────┬───────┐
│ (index) │ text │ via │ score │
├─────────┼─────────────────────────────┼───────────────────┼───────┤
│ 0 │ 'الصورة' │ 'windows-1252 x2' │ 1 │
│ 1 │ 'الصورة' │ 'unchanged' │ 0.52 │
│ 2 │ 'الصورة' │ 'windows-1252 x1' │ 0.5 │
└─────────┴─────────────────────────────┴───────────────────┴───────┘
Ve zaten U+FFFD içeren bir ad, kullanılabilir bir şey döndürmez — dürüst sonuç budur:
┌─────────┬───────────────┬─────────────┬───────┐
│ (index) │ text │ via │ score │
├─────────┼───────────────┼─────────────┼───────┤
│ 0 │ 'الص�رة' │ 'unchanged' │ 0.455 │
└─────────┴───────────────┴─────────────┴───────┘
Bunu yayına alacaksanız iki üretim notu: ters tabloları önbelleğe alın — elinizde 400 dosya adı varken her ad için üç 256 girişli eşlemeyi yeniden kurmak israftır. Ve unchanged satırını her zaman tutun: zaten sağlam olan bir adın geri çevrilecek bir şeyi yoktur ve boş sonuç döndürmek, çalışan bir aracı bozuk gösterir.
Neden uğraşılsın
Kullanıcılarınız Körfez'de, İran'da ya da Türkiye'deyse bu uç bir durum değildir. Bir arşiv bir Windows makinesinden her geçtiğinde, eski bir sistem modern bir dosya adına her dokunduğunda, bir ad aktarımdan sağ çıktığı halde kodlama bildirimi çıkmadığında olur. Ve sessizdir — adı yalnızca çirkin olan bir dosya için kimse hata kaydı açmaz. Ya yeniden adlandırırlar ya da onunla yaşamayı öğrenirler.
Onarım belirleyicidir, milisaniyeler sürer ve tamamen kullanıcının cihazında çalışır. Bir dosya adını okumak, dosyayı okumak değildir — ve çoğu insan dosyayı okumanızı zaten istemez.
Bu yazı nasıl yazıldı
Dürüst sürüm: taslak, seçtiğim bir sorundan yola çıkan ve üzerinde ısrar ettiğim tek bir kurala bağlı bir yapay zekâ ajanı tarafından yazıldı — hiçbir şey çalıştırılmadan yazıya geçmez. Aşağıdaki her kod parçası çalıştırıldı ve tablolar hafızadan değil, gerçek çıktıdan yapıştırıldı.
Bu kural işin çoğunu yaptı. Başlangıçta öne sürdüğüm iki iddia, uygulamayla sessizce çöktü:
- Node 22'deki
TextDecoder,x-mac-arabicveibm864için hata fırlatıyor. Çalışacaklarını varsaymıştım; çünkü WHATWG kodlama listesi kapsamlı görünür — değildir. Mac Arapça ailesinden yalnızcax-mac-cyrillic'i taşıyor ve hiçbir DOS kod sayfası yok. - Kod parçasının ilk sürümü, hiç bozulmamış bir dosya adı için boş tablo döndürdü. Doğru bir araç, göreceği en yaygın girdide arıza bildiriyordu.
İkisi de betimleme olarak hayatta kalamazdı. İkisi de kodun çalıştırılmasından ortaya çıktı. Örneklerinizi çalıştırmanın tüm argümanı budur — ve "model böyle diyor" ifadesine hipotez gibi davranmak, modeli blog yazınızı yazan taraf olduğunda da geçerlidir.