UTF-8

Az UTF-8 (az angol  Unicode Transformation Format, 8-bit  - „Unicode transzformációs formátum, 8 bites”) egy általános karakterkódolási szabvány , amely lehetővé teszi Unicode karakterek kompaktabb tárolását és továbbítását változó számú bájt használatával (a 1–4), és teljes mértékben visszafelé kompatibilis a 7 bites ASCII kódolással . Az UTF-8 szabványt az RFC 3629 és az ISO/IEC 10646 D melléklet formalizálja.

Az UTF-8 kódolás most domináns a webes térben. A UNIX-szerű operációs rendszerekben is széles körben alkalmazták [2] .

Az UTF-8 formátumot 1992. szeptember 2-án fejlesztette ki Ken Thompson és Rob Pike , és a 9. tervben valósították meg [3] . A Windows kódolási azonosítója 65001 [4] .

Az UTF-8, az UTF-16- hoz képest , a legnagyobb tömörítési előnyt nyújtja a latin szövegeknél , mivel a diakritikus latin betűket , számokat és a leggyakoribb írásjeleket az UTF-8 csak egy bájttal kódolja, és ezeknek a karaktereknek a kódja megfelelnek az ASCII - beli kódjaiknak . [5] [6]

Kódolási algoritmus

Az UTF-8 kódolási algoritmusa az RFC 3629 szabványban van szabványosítva, és 3 szakaszból áll:

1. Határozza meg a karakter kódolásához szükséges oktett ( bájt ) számát. A karakterszám a Unicode szabványból származik.

U+0000A tól -ig számokat tartalmazó Unicode karakterek esetében U+007F(amelyek egy bájtot foglalnak el nullával a legjelentősebb bitben) az UTF-8 kódolás teljes mértékben megfelel a 7 bites US-ASCII kódolásnak.

2. Állítsa be az első oktett magas bitjeit az első lépésben meghatározott szükséges számú oktettnek megfelelően:

• 0xxxxxxx - ha egy oktett szükséges a kódoláshoz;
• 110xxxxx - ha két oktett szükséges a kódoláshoz;
• 1110xxxx - ha három oktett szükséges a kódoláshoz;
• 11110xxx - ha négy oktett szükséges a kódoláshoz.

Ha egynél több oktettre van szükség a kódoláshoz, akkor a 2-4 oktettben a két legjelentősebb bit mindig 10 2 (10xxxxxx) lesz. Ez megkönnyíti az első oktett megkülönböztetését az adatfolyamban, mivel a magas bitjei soha nem 10 2 .

3. Állítsa be az oktettek szignifikáns bitjeit úgy, hogy azok megfeleljenek a binárisan kifejezett Unicode karakterszámnak. Kezdje a kitöltést a karakterszám alacsony bitjeiről, helyezze azokat az utolsó oktett alacsony bitjébe, és folytassa jobbról balra az első oktettig. Az első oktett szabad bitjei, amelyek használaton kívül maradnak, nullákkal vannak feltöltve.

Kódolási példák

UTF-8 marker

Annak jelzésére, hogy egy fájl vagy adatfolyam Unicode-karaktereket tartalmaz, egy bájtsorrend-jelet (BOM) lehet beilleszteni a fájl vagy adatfolyam elejére , amely UTF -8-as kódolás esetén három bájtból áll : .  EF BB BF16

Ötödik és hatodik bájt

Kezdetben az UTF-8 kódolás legfeljebb hat bájtot engedélyezett egyetlen karakter kódolásához, de 2003 novemberében az RFC 3629 megtiltotta az ötödik és hatodik bájt használatát, és a kódolt karakterek tartománya a karakterre korlátozódott U+10FFFF. Ez az UTF-16-tal való kompatibilitás biztosítása érdekében történt.

Lehetséges dekódolási hibák

Nem minden bájtsorozat érvényes. Az UTF-8 dekódernek meg kell értenie és megfelelően kezelnie kell az alábbi hibákat:

• Érvénytelen bájt.
• Folytatás bájt (10xxxxxx) kezdő bájt nélkül.
• A 10xxxxxx folytatásához szükséges bájtok hiánya - például kettő 1110xxxx után).
• A sor egy karakter közepén szakad meg.
• Gazdaságtalan kódolás – például egy karakter kódolása három bájttal, ha kettő is lehetséges. (Van egy nem szabványos UTF-8-változat, amely a 0-s kódú karaktert 1100.0000 1000.0000-ként kódolja, megkülönböztetve a 0000.0000 sorvégi karaktertől .)
• Egy bájtsorozat, amely érvénytelen kódhelyre dekódol (például karakterek UTF-16 helyettesítő párokban ).

Jegyzetek

1. ↑ https://www.cl.cam.ac.uk/~mgk25/ucs/utf-8-history.txt
2. ↑ Weboldalak karakterkódolásainak használati statisztikái,  2011. június
3. ↑ Archivált másolat (a hivatkozás nem elérhető) . Letöltve: 2007. február 27. Az eredetiből archiválva : 2011. március 1..  (határozatlan)   (Angol)
4. ↑ Kódoldal-azonosítók – Windows alkalmazások | Microsoft dokumentumok . Letöltve: 2018. július 14. Az eredetiből archiválva : 2019. június 16. (határozatlan)
5. ↑ Nos, visszatértem. Húrelmélet . _ Robert O'Callahan (2008. március 1.). Letöltve: 2008. március 1. Az eredetiből archiválva : 2011. augusztus 23..  
6. ↑ Rosztiszlav Csebikin. Minden kódolás kódolása. UTF-8: modern, hozzáértő, kényelmes. . HTML és CSS . Letöltve: 2009. március 22. Az eredetiből archiválva : 2011. augusztus 23..  (határozatlan)

Linkek

• UTF-8 kódolási táblázat és Unicode karakterek
• UTF-8: Kódolás és dekódolás
• UTF-8, UTF-16, UTF-32 és BOM kérdések és válaszok
• UTF-16 kompatibilitási kódolási séma: 8 bites (CESU-8)
• Az Unicode szabvány teljes leírása
• UTF-8 Mindenhol kiáltvány
• RFC-3629 "UTF-8, az ISO 10646 átalakítási formátuma"