Une interface conversationnelle est la partie visible d’un assistant. Sa valeur dépend surtout de ce qu’il peut retrouver, de ce qu’il a le droit de montrer et de la façon dont ses réponses sont vérifiées.
Choisir une question métier suffisamment précise.
« Interroger tous nos documents » est un périmètre difficile à évaluer. Commencez par un usage : retrouver une procédure, comparer les pièces d’un dossier ou préparer une réponse à partir d’une documentation connue.
Réunissez des questions réelles posées par les équipes et les réponses attendues avec leurs sources. Incluez des questions auxquelles le corpus ne permet pas de répondre. Savoir s’arrêter ou demander une précision fait partie du comportement attendu.
Identifier les documents qui font référence.
Un corpus peut contenir plusieurs versions d’une procédure, des documents retirés et des informations contradictoires. Un moteur de recherche performant ne corrige pas ces problèmes à lui seul. Il faut déterminer quelles sources font autorité et comment leur actualité est suivie.
Associez aux documents des informations utiles : propriétaire, date, version, statut et règles d’accès. Prévoyez leur mise à jour et leur retrait. Une réponse sourcée dans un document périmé reste une réponse à examiner, même si elle semble précise.
Appliquer les droits avant la génération.
L’assistant ne doit pas chercher dans un document que l’utilisateur n’est pas autorisé à consulter. Les permissions doivent être intégrées au système de recherche, avec des tests sur plusieurs profils. Une consigne dans le prompt ne constitue pas un contrôle d’accès.
La même exigence concerne les passages affichés, les liens vers les sources et l’historique de conversation. Vérifiez les conditions de traitement des données par chaque composant. Les choix de fournisseur et d’hébergement se font en fonction du contexte, des engagements nécessaires et des capacités techniques.
Afficher les sources et rendre les limites visibles.
Une réponse utile permet à l’utilisateur de vérifier l’information. Les sources doivent conduire aux passages pertinents, dans des documents accessibles. Afficher seulement un nom de fichier apporte peu si la personne doit ensuite parcourir tout le document.
L’interface doit aussi exprimer les cas où l’information manque ou reste ambiguë. Pour une décision engageante, l’utilisateur conserve un point de validation. L’objectif est de faciliter l’accès au savoir, sans donner une impression de certitude que le système ne peut pas justifier.
Évaluer avant de déployer, puis dans le temps.
Testez le système sur le jeu de questions métier défini au départ. Examinez séparément la pertinence des documents retrouvés, la fidélité de la réponse à ses sources et le respect des accès. Une réponse plausible ne suffit pas à conclure.
Après le lancement, les documents et les usages évoluent. Rejouez les évaluations lors des changements importants et examinez les retours des utilisateurs. Suivez les erreurs, les coûts et les temps de réponse pour décider des améliorations.
- Questions connues avec des sources attendues.
- Questions sans réponse dans le corpus.
- Documents contradictoires ou retirés.
- Profils utilisateurs avec des permissions différentes.
- Évaluation répétée après une modification du système.