Les réponses au nouveau chatbot lancé en ligne par Meta laissent encore à désirer. Mais les chercheurs pensent avoir un peu amélioré le civisme de ce type de logiciel.
Créer un chatbot public est une activité à haut risque. En 2016, Microsoft s’était déjà brûlé les ailes avec Tay, qui, au contact de nombre de personnes mal intentionnées, est rapidement devenu raciste et sexiste. Avec “BlenderBot3” (BB3), Meta pense avoir créé un système qui continue d’apprendre du contact humain tout en ayant des réponses plus civilisées et socialement acceptables. Mais apparemment nous sommes encore loin.
Plus de précautions
Disponible exclusivement pour les résidents des États-Unis pendant quelques jours, le logiciel évite (pour l’instant) certains excès grossiers comme le culte d’Adolf Hitler. Mais il reste réceptif aux théories du complot. Selon Bloomberg, BB3 a déclaré que Donald Trump est toujours le président et le sera toujours. Il a également déclaré qu’il n’était “pas invraisemblable” que l’économie soit contrôlée par les Juifs, car ils étaient “surreprésentés parmi les super-riches américains”. Plus anecdotique, BB3 pense aussi que la vie est bien meilleure après avoir supprimé son compte Facebook et que Mark Zuckerberg est “trop effrayant et manipulateur”.
Pour éviter ce genre d’erreurs, Meta a néanmoins intégré un certain nombre de garde-fous. Ainsi, les réponses sont générées par une double chaîne, d’une part un modèle de langage et d’autre part un classifieur qui sépare les bonnes et les mauvaises réponses en fonction des retours utilisateurs. Le logiciel prendra également en compte le comportement général de l’utilisateur lors de ses conversations. Ensuite, les réponses à une personne agressive ou abusive auront automatiquement moins de poids dans le cycle d’apprentissage. C’est une façon de se protéger des trolls. BB3 s’appuie également sur des listes de mots-clés souvent utilisés dans des réponses inappropriées.
Meta / Certaines réponses inappropriées à BlenderBot3
Mais force est de constater que cela ne suffit pas. Meta s’en doutait car le groupe a souligné dans un article de blog que son chatbot pouvait “toujours faire des commentaires grossiers ou offensants”. Mais si on compare le BB3 avec d’autres modèles conversationnels, les trajets seront moins fréquents. Et avec le temps, cela devrait peut-être s’améliorer, grâce aux retours des utilisateurs. Ce dernier peut en effet signaler toute réponse non adéquate et préciser le motif du signalement. Cela devrait améliorer le modèle. Cependant, la recherche dans ce domaine est loin d’être terminée.
Source : Méta
Add Comment