Em primeiro lugar, dar conclusões que podem ser utilizadas para a tomada de decisões
O RAG é executado a partir de fontes de conhecimento autorizadas, adequadas para atualizações regulares de sistemas, produtos, projetos e fatos, e permite a filtragem baseada em referências e permissões. As mudanças de ajuste fino no comportamento do modelo através de amostras são mais apropriadas para formatos de saída fixas, expressão de domínio, classificação ou seleção de ferramentas, mas não se lembra de forma confiável do fato de mudança contínua, nem resolve automaticamente privilégios e referências. Muitos dos efeitos vêm de definições de trabalho, qualidade de dados ou avaliação inadequada.
Que condições precisam ser identificadas antes de se fazer o julgamento?
A mesma questão pode ter respostas diferentes em diferentes fases de negócio, dados e projetos. Sugere-se que as seguintes condições sejam verificadas e que as descobertas comuns na web sejam incorporadas em seus próprios projetos.
Ordem de adiantamento sugerida
Primeiro, vamos ser claros sobre o alvo e a fronteira.
Estabelecer conjuntos de tarefas e medir a qualidade do modelo subjacente.
Dependência da Chave de Validação
Verifique quantos problemas as dicas, regras e RGs podem resolver.
Desenvolvimento de resultados avaliáveis
Uma pequena comparação fina das lacunas comportamentais estáveis.
Certifique-se de decidir o próximo passo com os resultados reais.
Uso de conjuntos de testes independentes para verificar ganhos, generalizações e efeitos colaterais.
Como é que entendes isso no negócio?
O serviço cliente precisa responder à política de produto frequentemente atualizada, e o RAG deve ser usado para ler informações atualizadas e exibir referências; se o modelo nem sempre é capaz de extrair o tipo de ordem de trabalho de acordo com o campo JSON fixo da empresa, ajustes finos podem ser avaliados quando existem muitas amostras corretas. Em última análise, os campos-chave ainda precisarão ser verificados nas regras. Os exemplos não representam o desempenho de um determinado cliente, e as conclusões reais precisam ser verificadas em conjunto com o volume de negócios, amostra, sistema e limites de responsabilidade da empresa.
O poço mais fácil de pisar.
Vamos tentar ajustar os factos comerciais que mudam mais vezes.
Conjuntos de treino e combinações de testes, que fazem com que os efeitos pareçam fracos
A correcção dos activos após a actualização do modelo de base deve ser reavaliada
Como devemos acabar recebendo e confirmando?
Compare a linha de base, RAG e programas de ajuste fino com a mesma tarefa independente definida para registrar indicadores de destino, erros graves, citações, atrasos e custos.
Ao se preparar para comunicar com fornecedores ou equipes internas, recomenda-se que processos atuais, amostras representativas, sistemas existentes, tempo de planejamento e níveis de orçamento sejam trazidos. Primeiro, os itens desconhecidos são claramente marcados, e então a decisão é tomada de usar diagnósticos, PoC, projetos de alcance fixo ou pesquisa e desenvolvimento em curso, que é geralmente mais confiável do que uma demanda direta por um preço e duração sem fronteiras.