Escolher um modelo apenas por um ranking público é arriscado. A avaliação precisa refletir o trabalho real, os dados disponíveis e o custo aceitável para a aplicação.
Comece pelo caso de uso#
Defina as tarefas que o sistema executará, o que caracteriza uma resposta correta e quais erros são inaceitáveis. Um bom conjunto de testes inclui exemplos comuns, casos extremos e entradas adversariais.
Métricas que devem ser combinadas#
| Dimensão | Pergunta |
|---|---|
| Qualidade | A resposta resolve a tarefa corretamente? |
| Latência | O tempo de resposta é adequado? |
| Custo | O custo por tarefa é sustentável? |
| Segurança | O modelo respeita limites e permissões? |
| Operação | É possível observar, versionar e reproduzir resultados? |
Avaliação automática e humana#
Métricas automáticas permitem repetir testes em escala. Avaliação humana ajuda a identificar nuances de utilidade, clareza e risco. Na prática, as duas abordagens devem ser usadas em conjunto.
Monitore depois do lançamento#
O desempenho pode mudar quando usuários reais formulam perguntas diferentes das previstas. Registre falhas, acompanhe custos e mantenha um conjunto de regressão atualizado.
