Requisite Variety (Ashby)
O sistema de controle precisa de tanta variedade quanto o ambiente que controla, senão falha nas exceções.
Em uma frase
Lei da cibernética: um sistema de controle precisa de tanta variedade quanto o ambiente que controla. Aplicação na Cognitive Enterprise: a capacidade dos agentes somada a gates e evals precisa cobrir a variedade real dos casos do negócio, senão o sistema falha nas exceções.
Antes
Variedade real dos casos do negócio
O que ele faz
Capacidade do sistema de controle
Depois
Cobre a variedade, ou falha nas exceções
Exemplo
A suíte cobria carta em português, criança na escola, relatório completo. A realidade trouxe espanhol, criança fora da escola, relatório com foto ilegível e criança com dois cadastros.
O caso comum funcionou. O sistema falhou nos outros, porque a variedade dele era menor que a do mundo que ele tinha que controlar.
O erro comum
Medir qualidade só no caso médio. O sistema costuma quebrar na cauda, nos casos raros. Se o golden dataset não carrega a variedade real do negócio, o eval está medindo o que é fácil de medir.
Na prática
- Liste os tipos de exceção que o processo real produziu no último ano.
- Confira quantos estão no gabarito. A diferença é a sua exposição.
- Toda exceção nova vira caso. Assim a variedade do sistema acompanha a do mundo.
Como tangibilizar
Listar os tipos de exceção que o processo real produz e conferir se o gabarito os cobre.