Home / FAQs / Conseil AI, intégration MCP, externalisation technologique et livraison de systèmes
QUESTION & ANSWER

Quels indicateurs devraient être acceptés et acceptés pour la base de connaissances RAG knowledge et les grandes applications de modèles?

Le RAG devrait examiner séparément la récupération du rappel, la précision des citations, l'intégrité, le déni, l'autorité et les délais de connaissance; l'agent devrait aussi évaluer séparément la sélection des outils, les paramètres, l'achèvement de la mission, l'intervention manuelle et la récupération des erreurs.

Répondez à la question.

Premièrement, donner des conclusions qui peuvent être utilisées pour la prise de décisions

Dans le cas des questions et réponses relatives aux connaissances, vérifier si les informations pertinentes sont trouvées, mélangées à des informations non autorisées ou périmées; générer une couche pour vérifier si la réponse est vraie à la preuve, si les points clés sont complets, si la référence appuie la conclusion, ou non la réponse est correcte. Dans le cas de l'agent, il est également nécessaire de vérifier le plan, les outils, les paramètres, l'écriture des résultats, les demandes répétées, la compensation des défaillances et la reprise manuelle.

DECISION FACTORS

Quelles conditions faut-il définir avant de porter un jugement?

La même question peut avoir des réponses différentes dans différentes phases d'activité, de données et de projet. Il est suggéré de vérifier les conditions suivantes et d'intégrer les conclusions communes sur le web dans leurs propres projets.

Évaluer si l'échantillon provient d'utilisateurs réels, de problèmes historiques et de frontières à haut risqueIndique si la réponse correcte permet de multiples expressions et qui est responsable de l'étiquetage professionnelIndique si les indicateurs peuvent être localisés séparément pour les questions de récupération, de production, d'outils ou d'ingénierie des systèmesLa qualité du modèle est-elle améliorée au prix de retards, de coûts ou d'examens manuels plus importants?
ACTION STEPS

Ordre d ' avancement suggéré

01

Premièrement, nous serons clairs sur la cible et la frontière.

Les couches d'échantillons sont créées par les tâches de l'utilisateur, le type d'erreur et le risque.

02

Validation Dépendance des clés

Définit les indicateurs de recherche, de réponse, de citation, de refus, d'outil et d'intervention manuelle.

03

Élaboration de résultats évaluables

Les versions fixes de la base de référence sont opérationnelles et les échantillons critiques sont examinés manuellement.

04

Assurez-vous de décider de la prochaine étape avec les résultats réels.

L'accès au processus de diffusion sera évalué et les problèmes réels sur la ligne seront ajoutés en permanence.

PRACTICAL EXAMPLE

Comment le comprenez-vous dans le business réel?

Exemple utilisé pour illustrer la méthode de jugement

La base de connaissances du service à la clientèle répond bien à 100 questions courantes, mais souvent elle ne répond pas. La moyenne globale peut être élevée, mais elle est risquée pour le client. Les équipes devraient mesurer séparément la non-réponse, les citations incorrectes et les engagements à haut risque, transformer l'incertitude en travail manuel, et revenir à ces échantillons après chaque mise à jour des connaissances ou des modèles.

COMMON RISKS

La fosse la plus facile à monter.

Utilisez le modèle pour générer des questions et des réponses et les évaluer avec le même modèle

Taux moyen de précision seulement signalé, aucune erreur grave et échantillons de défaillance montrés

L'évaluation de l'environnement est complètement différente de l'autorité de production, de la version des connaissances et des outils

ACCEPTANCE

Comment devrions-nous finir par recevoir et confirmer?

L'acceptation et l'inspection doivent être transmises à la source de l'évaluation et de la mesure, à la version, aux règles d'étiquetage, à la définition des indicateurs, à la configuration de l'opération, à l'élément par résultat et à l'échantillon de défaillance.

En se préparant à communiquer avec les fournisseurs ou les équipes internes, il est recommandé d'apporter les processus actuels, des échantillons représentatifs, des systèmes existants, des délais de planification et des niveaux budgétaires. Premièrement, les éléments inconnus sont clairement marqués, et la décision est alors prise d'utiliser des diagnostics, PoC, des projets à fourchette fixe ou des recherches et développements en cours, qui sont généralement plus fiables qu'une demande directe de prix et de durée sans frontières.

Les conditions de votre projet sont différentes des exemples ci-dessus?

Les objectifs opérationnels, les systèmes existants, les échantillons et le temps prévu pourraient être rassemblés avant que les consultants ne puissent rendre des jugements préliminaires en ce qui concerne les limites réelles.

Consultants associés pour les projets