No primeiro artigo Saneamento de Dados Mestres – Parte 1, fizemos a introdução de como organizar a gestão de dados para sua empresa, nesta segunda matéria iremos abordas as principais fases.
Fase 1 – Validações Básicas
Com a planilha em mãos procure identificar quais campos são obrigatórios, quais os formatos dos campos e se há ligação do campo com outros domínios (exemplo: código do fornecedor no cadastro de produtos está ligado ao cadastro de fornecedor).
Crie seu sistema de pontuação, que servirá para você qualificar e filtrar rapidamente quais registros foram ou não aprovados nessa fase.
Exemplo: Se o campo CPF é um numérico de 11, você pode atribuir ZERO pontos para registros com letras, cinco pontos para registros zerados ou vazios e 10 pontos para registros completos. Tudo depende do seu cenário, em última instância, poderia aplicar o cálculo do digito para certificar a validade do campo. Você pode derivar esse modelo para campos de telefone e e-mail (na nossa experiência é altíssima a quantidade de erros nestes tipos de campos)
Todo esse sistema de pontos e análise podem ser feitos com fórmulas simples em sua planilha. Regras usando a instrução SE (IF) e comandos que identifiquem se é numérico ou até a quantidade de caracteres em um texto.
Nesta primeira fase preocupe-se apenas, em certificar que os valores correspondem ao formato do campo. Um código NCM é numérico, então se encontrar uma letra já sabe que é uma informação passível de correção.
É um trabalho cansativo mas você deverá realizar para todos os campos nos quais você não tem garantia de formato seja por falhas técnicas ou operacionais.
Após, essa primeira rodada você pode avançar para um segundo round. Comece a identificar problemas com campos muito curtos (ex: um campo Nome Completo com apenas 5 caracteres) ou palavras que indicam registros inválidos (ex: teste, erro, “não preencher”, inválido e etc).
Atribua pontos também para cada uma dessas ocorrências.
Cruze os seus metadados, isto é, verifique se o código de fornecedor na tabela de seu produto realmente tem um “match” na sua tabela de fornecedores. Isso é importante, em especial se o seu ERP não tiver um controle muito forte nas associações.
Sempre vá atribuindo pontos. Para que no final do processo você tenha um “score” para analisar a qualidade de cada registro.
Veja, que você poderá aplicar as mais diversas validações nessa fase de descoberta. Formatos de campos (ex: 99-8765-4321), lista de valores (range), validações cruzadas e etc.
Os registros que alcançarem nota máxima (ou próximo disso de acordo com o seu critério) poderão passar para a próxima fase.
Os registros com problemas precisarão ser corrigidos. De acordo, com os problemas catalogados crie seu workflow de resolução. Isto é, registros com NCM incorreto serão encaminhados para o departamento fiscal, problemas com telefone serão distribuídos para o setor de atendimento e etc.
Dentro da sua planilha crie uma tabela, que indicará, de forma automática, quem será o responsável em corrigir cada problema catalogado. Use formulas para associar um usuário para cada problema.
Depois filtre os registros e encaminhe para os responsáveis. No final realize uma nova consolidação e aplique as fórmulas novamente para identificar quais problemas foram sanados ou não.
Crie uma politica de inativação para os registros que não puderam ser corrigidos evitando que os problemas sejam ampliados no futuro.
Fase 2 – Validações Avançadas
Aqui entram ações mais avançadas para verificar a completude, acurácia e precisão dos seus dados.
Somente devem avançar para esta fase, os registros que foram aprovados com louvor na fase 1.
Mantendo em mente o conceito de pontuação, dê as melhores notas aos registros com a maior quantidade de informações.
Exemplo: O cadastro do Sr João tem 7 atributos opcionais preenchidos, enquanto o cadastro do Sr Pedro não tem nenhum atributo opcional preenchido. O registro do Sr João deverá receber uma nota mais elevada.
Os editores de planilha permitem a execução de chamadas (webservices) e com isso você poderá buscar informações gratuitas para validar CPF, CNPJ, Endereços e outros.
Continue aplicando um sistema de pontos para cada verificação realizada. Quanto mais importante um campo, maior será a nota recebida em caso de sucesso. Campos telefones e e-mails são os mais complexos de serem validados. Muitas vezes somente podem ser validados executando uma ação manual (ex: ligar para a pessoa).
Dependendo do volume dos seus cadastros e da importância do telefone e e-mail é interessante realizar essa atividade. O maior ofensor na qualidade de cadastros de pessoas e empresas são justamente estes dois campos. E não dá pra fazer negócio com um cliente se você não consegue falar com ele.
Existem regras para validar formatos de e-mail e telefone. Você encontrará bastante referência sobre isso na internet, inclusive de como fazer no seu editor de planilhas. Mas é ideal que os formatos de campos sejam validados na Fase 1.
Aplique os recursos de registros duplicados em sua planilha para identificar duplicatas. Pode ser usado um campo como CPF ou até mesmo tentar localizar duplicidade por nome. Tenha um processo definido de ação para correção das duplicatas, isto é, inativa o menos completo ou inativa o mais antigo. Por fim, é importante ter claro quais as ações serão tomadas para evitar discussões morosas a cada registro duplicado.
Lembre-se de atribuir usuários para cada tipo de problema identificado. Após, essas verificações o seu workflow manual deve ser disparado.
Em breve sairá o terceiro artigo da série.
Bons negócios!
Quer melhorar a governança de dados mestres na sua empresa?
Clique aqui para conhecer a plataforma 4MDG.
Leia também Saneamento de Dados Mestres – Parte 1
Quer conhecer sobre o universo dos dados mestres?
Receba gratuitamente nosso e-book sobre MDM e entre em uma das carreiras mais quente do momento
[…] artigos anteriores Saneamento de Dados Mestres – Parte 1 e Parte 2, falamos de como criar um método de validação com aplicação de pontos em conjunto, com a […]
[…] de Dados Mestres – Parte 1 Saneamento de Dados Mestres – Parte 2 Saneamento de Dados Mestres – Parte 3 […]