Um modelo estima, para cada um de 1.000 pacientes, a probabilidade de ter uma doença. Para agir, escolhemos um limiar: quem fica acima é sinalizado. Essa escolha distribui os pacientes em quatro caixas, e todas as medidas de desempenho saem delas. Comece definindo o cenário.
0,5 é um sorteio; 1 separa perfeitamente quem tem de quem não tem a doença.
Probabilidade a partir da qual o paciente é sinalizado. Também dá para arrastar no gráfico abaixo.
Cada curva mostra como as probabilidades previstas se distribuem em um grupo real. Tudo o que fica à direita do limiar é sinalizado. Como os dois grupos se sobrepõem, nenhum limiar acerta todos: movê-lo troca um tipo de erro pelo outro.
A cor diz o grupo real; o círculo cheio, que o paciente foi sinalizado.
Clique numa medida para ver, na matriz, de onde vêm o numerador (contorno) e o denominador (halo). Elas estão agrupadas pelo denominador: é ele que diz sobre quem a medida fala.
Sensibilidade e especificidade olham para dentro de cada grupo real, por isso não dependem de quantos doentes há. Precisão (VPP) e VPN olham para os sinalizados e os não sinalizados, que misturam os dois grupos. O gráfico mantém o mesmo teste e o mesmo ponto de corte, e varia só a prevalência. (No controle do topo é diferente: um modelo calibrado ajusta suas probabilidades à prevalência, então o mesmo limiar em probabilidade passa a cortar em outro lugar.)
Cada limiar gera um par (1 − especificidade, sensibilidade). Ligando os pares de todos os limiares, obtemos a curva ROC. O canto superior esquerdo é o modelo perfeito; a diagonal, um sorteio. Clique ou arraste sobre a curva para escolher o limiar por ela.
A AUC é a chance de que, sorteando um paciente com a doença e um sem, o modelo dê probabilidade maior ao que tem a doença. Sorteie pares e compare com a AUC.
A ROC só usa a ordem dos pacientes. A calibração pergunta se os números estão certos: entre quem recebe 30%, cerca de 30% têm a doença? Distorça as probabilidades. A ordem não muda, a AUC não muda, mas o mesmo limiar passa a sinalizar outras pessoas, e a regra de decisão pelo custo deixa de funcionar.
Pontos: dez grupos de risco, da menor para a maior probabilidade prevista. Linha: relação exata entre previsto e real. Acima da diagonal, o modelo subestima; abaixo, superestima.