Je ne suis pas un expert (et même pas du tout) mais ce que je me dit qu'il peut se passer :
Le mauvais encodage fait que des < ou > sortes dans les chaînes ce qui "casse" le code html. Il se peut aussi que ce soit des ' ou " mal échappé ayant le même effet.
Tu veux vérifier la validité du code html avec le "validateur" w3c
http://validator.w3.org/ s'il n'est pas valide vérifie qu'il l'est avec l'anglais, je pense que le thème de base est valide mais rien est sûr avec les thèmes alternatifs !
Pense aussi à faire les tests avec le thème par défaut, il se peut que ce soit un bug du thème alternatif.
Une fois que la traduction serra terminé je pense qu'il serait intéressant de la proposé au développeur de doku via le bugtracker
https://github.com/splitbrain/dokuwiki/issues je ne serais pas étonné de voir ton travail intégré dans une future version de doku ;)
Quand au fait que ça marche quand tu remplaces les fichiers d'une langue existante c'est je pense parce qu'il sont dans le bon codage. Tu modifie les fichiers existant et ton éditeur de texte conserve l'encodage.