Gestão de riscos

Risco de modelo e validação independente

Validação de modelos por quem não os construiu, com inventário, classificação por criticidade e teste que pode ser reproduzido.

Risco de modelo é a perda causada por modelo errado, usado fora do propósito ou alimentado com dado inadequado. A validação independente é o processo que testa o modelo sem vínculo com quem o desenvolveu. O serviço cobre inventário, classificação por criticidade, plano de validação, execução e acompanhamento das restrições apontadas. O que se vê com frequência é validação feita pela mesma área que desenvolve, com relatório que descreve o modelo em vez de questionar suas premissas. Com a entrada de modelos de aprendizado de máquina em crédito, precificação e prevenção a fraude, cresce o número de decisões automatizadas sem dono claro e sem explicação apresentável ao cliente e ao regulador.

A Resolução CMN 4.557 exige validação e documentação de modelos no âmbito do gerenciamento de riscos, e requisitos adicionais incidem quando há uso de modelos internos para fins regulatórios, o que deve ser confirmado por segmento e por carteira. Na prática, os problemas são de organização: inventário incompleto, porque planilha crítica não é reconhecida como modelo, ausência de classificação por criticidade e validação sem acesso ao código e à base. Restrições apontadas em validações anteriores costumam ficar abertas sem prazo. Em modelos de aprendizado de máquina, falta registro de treinamento, versão de dado e critério de reprovação, o que impede reproduzir o resultado depois.

A MERC monta o inventário a partir dos usos, não das áreas, e classifica cada modelo por impacto em resultado, capital, divulgação e cliente. Depois executa a validação com reexecução independente, teste de sensibilidade, análise dos dados de entrada e avaliação do uso efetivo pela área de negócio. Planilha crítica entra no escopo quando decide número relevante. O relatório separa restrição impeditiva de recomendação, com prazo acordado. A prática de auditoria dá à firma repertório sobre o tipo de evidência que resiste a exame externo. Se a instituição quiser validação sem acesso ao código e às bases, a MERC não emite conclusão de validação.

O que examinamos

• Inventário de modelos e planilhas críticas
• Classificação por criticidade e uso efetivo
• Reexecução independente e testes de sensibilidade
• Qualidade e linhagem dos dados de entrada
• Restrições anteriores e prazos de tratamento
• Versionamento de código, base e parâmetros

Norma aplicável

Resolução CMN 4.557 para validação e documentação de modelos no gerenciamento de riscos. Requisitos adicionais aplicáveis a modelos internos de uso regulatório devem ser confirmados conforme o segmento.

Entregável

Inventário de modelos classificado por criticidade e relatórios de validação independente com restrições e prazos acordados.