Linhagem de dados: o que é, exemplos e como implementar

Linhagem de dados é o registro da origem de um dado, das transformações pelas quais ele passa, dos sistemas e processos que o movimentam e dos destinos onde é consumido. Ela permite responder de onde veio um número, o que o alterou, quem ou qual processo participou e quais relatórios, integrações ou decisões serão afetados por uma mudança.

Este guia explica os níveis de linhagem, benefícios, componentes, exemplos e um roteiro de implementação. O recorte das fontes é de 31 de outubro de 2026.

O que é linhagem de dados?

Linhagem de dados, ou data lineage, descreve a trajetória do dado ao longo do seu ciclo de vida. O mapa pode começar em um formulário, arquivo, cadastro mestre, sensor ou sistema transacional; registrar integrações e regras; e terminar em um ERP, data warehouse, painel, modelo de IA ou documento regulatório.

A linhagem é um tipo de metadado. Ela não é o dado de negócio em si, mas a informação que explica como esse dado foi produzido e usado. O modelo PROV do W3C representa proveniência por meio de entidades, atividades e agentes. Já o padrão aberto OpenLineage organiza eventos de execução em torno de conjuntos de dados, tarefas e execuções.

Linhagem, proveniência, fluxo e catálogo são a mesma coisa?

Esses conceitos se complementam. Um catálogo de dados pode mostrar a definição de “receita líquida” e, ao mesmo tempo, exibir a linhagem entre tabelas, regras de cálculo e painel. Logs ajudam a comprovar execuções, mas isoladamente não formam um mapa de dependências compreensível.

Para que serve a linhagem de dados?

Análise de impacto

Antes de alterar um campo, tabela, regra ou integração, a equipe identifica consumidores a jusante. Isso reduz quebras silenciosas em relatórios, APIs e modelos.

Investigação de problemas de qualidade

Quando um indicador fica incorreto, a linhagem permite voltar do painel até a fonte, localizar a transformação suspeita e atribuir a correção. Ela conecta o sintoma à causa provável.

Auditoria e explicabilidade

A organização consegue demonstrar fontes, regras, versões e etapas utilizadas para produzir uma informação. Isso apoia auditorias, reconciliações e explicações de resultados.

Migração e modernização

Mapear dependências ajuda a descobrir integrações escondidas, planilhas intermediárias e consumidores legados antes de desligar um sistema ou migrar um ERP.

Segurança e privacidade

A linhagem pode mostrar onde dados sensíveis são copiados, enriquecidos e consumidos. Ela complementa inventários, classificações e controles de acesso, mas não substitui a avaliação jurídica ou de segurança.

Confiabilidade de IA e analytics

Modelos e análises dependem de conjuntos de dados, versões, filtros e transformações. A linhagem ajuda a reproduzir o caminho e avaliar se a entrada utilizada é adequada.

Quais são os níveis de linhagem?

Quanto maior a granularidade, maior o custo de captura, armazenamento e manutenção. O nível deve ser definido pelo caso de uso. Nem todo ativo exige linhagem por registro.

Exemplo prático: cadastro de fornecedor até o pagamento

Imagine um fornecedor criado em um portal de homologação. O CNPJ é validado, documentos são aprovados, dados bancários passam por controle e o registro é enviado ao MDM. Após deduplicação e aprovação, o MDM publica o identificador mestre no ERP. Pedidos, recebimentos, notas e pagamentos passam a referenciar esse cadastro.

Uma linhagem útil deve registrar:

• fonte do atributo e data de captura;
• validações e enriquecimentos aplicados;
• aprovações, exceções e versões;
• mapeamento entre campos do portal, MDM e ERP;
• integrações, tarefas e execuções;
• consumidores finais, como compras, fiscal e pagamentos.

Se o município estiver incorreto no ERP, a equipe poderá verificar se o erro nasceu na entrada, no enriquecimento, no mapeamento ou na transformação da interface.

Componentes mínimos de uma linhagem confiável

Identificação consistente

Datasets, campos, tarefas, sistemas e execuções precisam de identificadores estáveis. Nomes ambíguos ou que mudam sem controle quebram as relações.

Origem e destino

Cada ligação deve indicar o ativo de entrada e o ativo produzido. Em processos manuais, também pode ser necessário registrar arquivo, planilha, pessoa responsável e evidência.

Transformação

Documente regra, consulta, fórmula, mapeamento ou procedimento que alterou o dado. Para campos críticos, registre versão e vigência.

Execução e estado

Um desenho estático explica o projeto; eventos de execução mostram o que realmente ocorreu. OpenLineage, por exemplo, modela tarefas, execuções e datasets, além de estados como início, conclusão e falha.

Responsabilidade

Associe Data Owner, Data Steward, custodiante técnico e equipe responsável por cada etapa. A linhagem revela dependências; a governança decide quem atua sobre elas.

Evidência e temporalidade

Inclua data, versão, fonte da captura e período de validade. Sem temporalidade, o mapa atual pode não explicar um resultado histórico.

Como implementar linhagem de dados em 10 passos

1. Escolha um caso de uso

Comece por um indicador crítico, uma obrigação regulatória, uma migração ou um domínio com incidentes recorrentes. Evite mapear toda a organização antes de demonstrar valor.

2. Defina perguntas que o mapa deve responder

Exemplos: quais relatórios usam este campo? Qual regra calculou este valor? Onde dados pessoais foram replicados? Que processo falhou?

3. Delimite o escopo

Liste fontes, destinos, sistemas, pipelines, planilhas e interfaces. Declare também o que ficará fora do primeiro ciclo.

4. Defina a granularidade

Escolha entre negócio, sistema, tabela, coluna e registro. A granularidade deve ser suficiente para o risco e a decisão pretendida.

5. Padronize identificadores e metadados

Crie convenções para nomes, ambientes, datasets, tarefas, execuções e versões. Defina campos obrigatórios e regras de qualidade dos próprios metadados.

6. Capture automaticamente onde for possível

Use conectores, parsers, logs, APIs e eventos de execução. O OpenLineage oferece uma especificação extensível para interoperabilidade entre produtores e consumidores de metadados de linhagem.

7. Documente etapas manuais

Planilhas, uploads, decisões humanas e ajustes fora dos sistemas também alteram dados. Crie um processo simples para registrar essas etapas sem depender de memória.

8. Valide com negócio e tecnologia

Engenheiros confirmam transformações; especialistas do negócio confirmam significado e finalidade. Um mapa tecnicamente correto pode continuar inútil se não explicar a decisão.

9. Integre catálogo, qualidade e incidentes

Conecte definições, responsáveis, regras e alertas. Quando um teste falhar, a linhagem deve ajudar a localizar causas e consumidores afetados.

10. Monitore cobertura e atualidade

Meça ativos críticos cobertos, relações verificadas, captura automática, tempo para análise de impacto e mapas desatualizados. Inclua a evolução no plano de governança de dados.

Captura manual, automática ou híbrida?

Na maioria das organizações, a abordagem híbrida é mais realista. Automatize o que é observável e complemente com metadados aprovados pelos responsáveis.

Como medir a linhagem de dados?

• Cobertura de ativos críticos: ativos com linhagem válida divididos pelo total prioritário.
• Cobertura de relações: dependências capturadas e verificadas sobre as estimadas.
• Atualidade: percentual de mapas atualizados dentro do prazo.
• Automação: relações capturadas automaticamente sobre o total.
• Tempo de análise de impacto: duração média para identificar consumidores.
• Tempo de causa raiz: duração média para localizar a origem de um incidente.
• Órfãos: ativos sem origem, responsável ou consumidor conhecido.

Use as fórmulas e práticas do guia de indicadores de governança de dados para definir linha de base, meta, fonte e frequência.

Erros comuns

Desenhar apenas o cenário ideal: a linhagem precisa refletir o que executa. Ignorar planilhas: etapas manuais podem ser críticas. Mapear sem caso de uso: produz diagramas caros e pouco usados. Não versionar: o mapa atual não explica o passado. Confiar só no nome dos campos: campos iguais podem ter significados diferentes. Não atribuir responsáveis: o impacto é identificado, mas ninguém corrige. Capturar tudo: volume sem priorização reduz utilidade.

Linhagem melhora a qualidade de dados?

Ela não corrige dados automaticamente, mas acelera prevenção, diagnóstico e responsabilização. Ao conectar regras e dependências, ajuda a entender onde um defeito nasceu e quais consumidores foram afetados.

A página sobre qualidade de dados explica dimensões e métricas. Qualidade mede se o dado atende ao uso; linhagem explica como ele chegou ao estado observado.

Linhagem de dados mestres no MDM

No MDM, a linhagem deve mostrar a relação entre fontes, regras de correspondência, registro mestre, aprovações e sistemas consumidores. Também deve preservar origem dos atributos, decisões de sobrevivência, fusões, desmembramentos e histórico.

Para um material, por exemplo, é útil saber qual solicitação originou o item, quais atributos foram enriquecidos, quem aprovou o PDM, quando a descrição mudou e quais ERPs receberam a versão.

Conclusão

Linhagem de dados transforma uma cadeia opaca em um conjunto verificável de fontes, transformações, responsáveis e consumidores. Ela reduz o tempo de investigação, melhora análise de impacto e aumenta a explicabilidade de relatórios, integrações e modelos.

Comece por um ativo crítico, escolha a granularidade necessária, combine captura automática com contexto de negócio e meça cobertura e atualidade. O objetivo não é produzir o maior diagrama, mas responder rapidamente às perguntas que importam.

Perguntas frequentes sobre linhagem de dados

Qual é a diferença entre linhagem e proveniência de dados?

A linhagem enfatiza caminho, transformações e dependências. A proveniência é mais ampla e pode incluir contexto, agentes, atribuição, versões e evidências sobre como um artefato foi produzido.

A linhagem precisa chegar ao nível de coluna?

Não sempre. O nível de tabela ou sistema pode atender análises iniciais. Colunas são importantes quando cálculos, dados sensíveis ou campos críticos exigem impacto detalhado.

Um catálogo de dados cria linhagem automaticamente?

Depende da plataforma, dos conectores e das fontes. O catálogo pode armazenar e exibir a linhagem, mas etapas manuais e sistemas sem integração geralmente exigem complementação.

É possível começar sem uma ferramenta especializada?

Sim. Um caso de uso pequeno pode ser mapeado com inventário controlado e diagramas versionados. Conforme o volume cresce, a automação reduz esforço e desatualização.

Quem é responsável pela linhagem?

Tecnologia costuma capturar transformações técnicas, enquanto Data Owners e Data Stewards validam significado, criticidade e uso. A responsabilidade deve ser distribuída e formalizada.

OpenLineage é uma ferramenta de catálogo?

Não. É uma especificação aberta e extensível para coletar metadados de linhagem de tarefas, execuções e datasets. Esses eventos podem ser enviados a um backend ou integrados a plataformas.

Fontes

• OpenLineage — documentação e modelo central
• OpenLineage — especificação oficial
• W3C — PROV Model Primer
• ENAP — Estrutura de Apoio à Governança de Dados
• Governo Digital — Guia PGDADOS