Joujou avec les encodages 8859-1, UTF-8 etc

michauko — Tue, 12 May 2009 13:50:49 +0000

A l’occasion de l’écriture d’un script Python pour convertir un CSV-dégueu en XML-UTF8, le tout en environnement windows+linux et partant d’un CSV issu d’un Excel issu de copier-coller dégueulasses, j’ai eu à jouer avec des conversions de charset, de formats UNIX/Windows etc etc
Ca m’a permis de découvrir 2/3 outils, objet de cet article ; je passe sur la multitude d’autres problèmes de nettoyage du contenu issu du copier-coller : guillemets relookés par je ne sais qui (Word ?), tirets relookés aussi etc…

Les basiques :

file : permet d’identifier un type de fichier, notamment, pour du texte brut, s’il est encodé en ISO-machin ou en UTF-8. A noter, si le texte en question est à l’intérieur d’un script, enfin bref, de quelque chose enrobant ce texte, « file » se limitera à détecter le type de script, par exemple. Dans ce cas, extraire le texte en question dans un fichier à part (via des « grep ») afin d’analyser l’encodage de ce texte. J’ai pas trouvé plus simple
dos2unix : conversion des fins de lignes DOS (2 octets \010\013 (ou l’inverse) en un seul (\010 ou l’autre, je ne sais jamais . Si vous êtes passés par un transfert FTP type ASCII, c’est fait totomatiquement. Mais en SFTP ou autre chose, niet.
unix2dos : devinez

Ensuite :

tcs : permet de convertir un fichier encodé avec un charset vers un autre, exemple : tcs -f 8859-1 -t utf source > dest. Faites des « file » ensuite pour voir.
rxp : valide la syntaxe XML (et l’encodage utilisé) d’un fichier XML
od : affiche en hexa, ascii, octal (etc) un fichier. On peut cumuler et mettre en parallèle l’ascii avec l’hexa, par exemple

Voilà, c’est tout.

« Ubuntu UTF-8″ VS. « le reste en iso-8859-1″

michauko — Mon, 09 Jun 2008 14:35:38 +0000

Cher blog,

Je t’écris car je suis globalement très content de mon Ubuntu, mais l’UTF-8, j’en ai pas besoin et dès que je fais du FTP, SFTP etc avec un système non-UTF-8, ça me fout en l’air les accents. Et des accents, j’aime bien en avoir.
Alors bon, j’ai bien trouvé un article sur un forum Ubuntu permettant de passer mon Ubuntu en iso-8859-15, mais ça a plutôt foiré qu’autre chose.
Je suis donc revenu en arrière, je conserve ma distrib en UTF-8 des fois que je me mette au Japonais un jour, et je cherche plutôt à utiliser mes clients FTP en mode iso-8859-1. Ca me parait plus sain.

Maintenant que j’ai à peu près trouvé tout ce que je voulais, je peux taper sur mon NAS en retrouvant mes accents, ainsi que sur ma dedibox, elle aussi en iso-8truc.

Dans l’explorateur de fichiers de Ubuntu (gnome)

Lorsque je tape une URL du type ftp://login:pass@machine/ je n’ai pas trouvé où mettre un paramétrage sur le jeu de caractères…

Dans gFTP

Dans les options, on peut préciser un jeu de caractère et la conversion se passe bien

Dans lftp

Comme je suis adepte du mode texte et de screen, il fallait aussi que ça marche avec lftp. Pour trouver, j’ai tapé sous le prompt de lftp un beau set -a | grep char pour repérer le paramétrage qui allait bien. Ensuite, j’ai ajouté les deux lignes suivantes dans le fichier /etc/lftp.conf :

set ftp:charset iso-8859-1
set sftp:charset iso-8859-1

Voilà. Ca va être marrant à imposer l’UTF-8….. et puis tant que Windows n’y sera pas, la majorité de la planète n’y passera pas. Enfin bref, de gros trolls poilus en perspective. Moi ça me gave ces gue-guerres…

Et quelques jours après….

Ben finalement je commence à ne plus mettre d’accents nulle part. J’ai moins d’emmerdements…