Remove invisible Unicode characters that can cause

[LudiscapeXApi]

// Remove invisible Unicode characters that can cause comparison issues // U+200B = ZERO WIDTH SPACE
// U+200C = ZERO WIDTH NON-JOINER
// U+200D = ZERO WIDTH JOINER
// U+FEFF = ZERO WIDTH NO-BREAK SPACE (BOM)

Correction de certains copier-coller depuis Word ou le Web qui génèrent des caractères indésirables.

[ywarnier]

@LudiscapeXApi On parle des réponses des étudiants ou de la création de la question, là ? (de type remplir les blancs)
Et est-ce que c'est suffisamment testé ? (le PR est en mode brouillon)

[LudiscapeXApi]

Constaté en v1.11.32, ce bug affecte une base volumineuse (150k+ questions) contenant de multiples redondances. L'anomalie n'est pas reproductible en environnement local ; toutefois, l'existence de ces caractères en production démontre une faille possible lors de l'intégration des données.

[LudiscapeXApi]

Coté éditeur et Apprenant du coup car toutes les réponses sont déclaré fausses alors qu'elles sont bonnes en apparence.

[ywarnier]

Oui d'accord, mais on est d'accord aussi que dans 99% des cas c'est au niveau de l'insertion de la question qu'on fait généralement du copier-coller depuis Word, et pas au niveau de la réponse de l'apprenant (pour des réponses de type remplir les blancs) ? Ça n'a pas beaucoup de sens pour l'apprenant de copier-coller ses réponses depuis Word, en tout cas.
Mais c'est bon, je situe bien le problème.

[LudiscapeXApi]

En fait dans ce cas les étudiants font aussi du copier-coller depuis l'énoncé qui contient souvent le liste des mots et aussi les LLMs :-)

[ywarnier]

Bon, j'ai envoyé une amélioration de ton PR qui traite à la fois les inputs des profs au moment du copier-coller, et au moment de sauvegarder, et au moment où les réponses des apprenants sont comparées. J'ai aussi rajouté un traitement pour \u{00A0}, \u{00AD} et \u{2060} qui apparemment sont plus rares (sauf le premier qui est remplacé par un "vrai" espace) mais peuvent aussi causer des problèmes.