Home / FAQs / Desenvolvimento de AI de custódia, produtos e modelagem AI
QUESTION & ANSWER

Como deve ser verificada e aceita a implantação dos serviços de raciocínio AI?

O serviço de raciocínio AI não pode confiar apenas na interface para o sucesso como critério de aceitação. A qualidade da missão alvo, atraso de resposta, estocagem e distribuição, estabilidade, ocupação de recursos, custo unitário, auditoria de autoridade, alarme de vigilância e recuos de falhas precisam ser verificados. Os testes devem cobrir picos reais de negócios, entradas longas, pedidos incomuns e modelos que não estão disponíveis. Todos os indicadores devem se vincular a modelos, hardware, configurações e versões de dados claras para sustentar o re-exame.

Responde à pergunta.

Em primeiro lugar, dar conclusões que podem ser utilizadas para a tomada de decisões

O serviço de raciocínio é entre modelo e aplicações empresariais, e é responsável pela qualidade da produção e por atender aos requisitos de engenharia de produção. A versão do modelo, quantificação, comprimento do contexto, configuração da amostragem, hardware e co-localização devem ser congelados antes da aceitação, evitando a incomparávelidade dos resultados em diferentes configurações. Além do atraso médio, deve ser observado o atraso de alto nível, o tempo de trabalho, fila, estabilidade de operação visível, estagnada e contínua.

DECISION FACTORS

Que condições precisam ser identificadas antes de se fazer o julgamento?

A mesma questão pode ter respostas diferentes em diferentes fases de negócio, dados e projetos. Sugere-se que as seguintes condições sejam verificadas e que as descobertas comuns na web sejam incorporadas em seus próprios projetos.

Modelos, quantificação, contexto e configuração do comprimento de geraçãoGPU, CPU, memória, rede e cargaAtrasos, disponibilidade e custos unitários permissíveis para as empresasRequisitos de certificação, auditoria, retenção de dados e eliminação de problemas
ACTION STEPS

Ordem de adiantamento sugerida

01

Primeiro, vamos ser claros sobre o alvo e a fronteira.

Congele o ambiente de teste, configuração do modelo e conjunto de tarefas.

02

Dependência da Chave de Validação

Os testes de qualidade, de solicitação única, de distribuição simultânea e de estabilidade a longo prazo são realizados separadamente.

03

Desenvolvimento de resultados avaliáveis

Simulação de excessos de tempo, falhas de modelo, recursos inadequados e switchbacks.

04

Certifique-se de decidir o próximo passo com os resultados reais.

b) Bases de referência de capacidade de registo, limiares de monitorização e métodos de isolamento.

PRACTICAL EXAMPLE

Como é que entendes isso no negócio?

Exemplo utilizado para ilustrar o método de julgamento

Uma interface de modelo retorna dois segundos em um teste de usuário único, mas atrasa lugares de alto nível em mais de 20 segundos e não é visível o suficiente. Se você olhar para médias, você calcula mal a usabilidade. Processamento de lote, fila, especificações de modelo ou capacidade deve ser ajustada para picos reais, e a aplicação pode ser rebaixada ou convertida.

COMMON RISKS

O poço mais fácil de pisar.

Apenas conectividade de interface de teste e um pequeno número de pedidos de usuário único

Modelos de teste, modelos de produção e configurações quantitativas não consistentes

Sem um aviso, uma capacidade inicial e um exercício de falha, você está em linha.

ACCEPTANCE

Como devemos acabar recebendo e confirmando?

O relatório final deve registar os resultados do modelo e versão do hardware, qualidade da missão, atraso do P50/P95/P99, estocagem, taxa de erro, ocupação de recursos, custo unitário da missão, continuidade em execução e recuperação de falhas.

Ao se preparar para comunicar com fornecedores ou equipes internas, recomenda-se que processos atuais, amostras representativas, sistemas existentes, tempo de planejamento e níveis de orçamento sejam trazidos. Primeiro, os itens desconhecidos são claramente marcados, e então a decisão é tomada de usar diagnósticos, PoC, projetos de alcance fixo ou pesquisa e desenvolvimento em curso, que é geralmente mais confiável do que uma demanda direta por um preço e duração sem fronteiras.

As condições do seu projeto são diferentes dos exemplos acima?

Os objectivos operacionais, os sistemas existentes, a amostra e o tempo planeado poderiam ser reunidos antes de os consultores poderem fazer julgamentos preliminares em relação às fronteiras reais.

Consultores associados de projectos