Pipeline

Cada etapa do enriquecimento, quanto entrou, quanto passou e o que caiu na fila de exceções. Dado que não passa na validação não some — vai para a fila com o motivo.

Última execução
04:00 → 05:10
carga 2026-08
Na fila de exceções
84479
2 reprocessáveis
Custo da rodada
R$ 0
tudo dentro das cotas grátis

Etapas

entraram → passaram
Leitura — saúdeBASE-SAUDE-CONSOLIDADA.csv
197.235113.73983496 exceçõessem custo
Leitura — indústriaBASE-INDUSTRIA-CONSOLIDADA.csv
41.20141.19110 exceçõessem custo
Deduplicação por CNPJinterno
154.930154.901sem custo

29 não seguiram por falta de insumo (sem e-mail, sem site) — não é erro, é cobertura.

Mapeamento de CNAEtabela oficial do IBGE
154.901153.928973 exceçõessem custo
Normalização de telefoneinterno
154.901153.032sem custo

1.869 não seguiram por falta de insumo (sem e-mail, sem site) — não é erro, é cobertura.

Carga no SQLitedados/mira.db
154.901154.901sem custo

Fila de exceções (4)

80.228 registros da base de saúde
Leitura — saúde · 12/09 18:25 · 1ª tentativa
definitivo

sem CNPJ na origem: vieram de fonte que não traz o número

3.268 registros da base de saúde
Leitura — saúde · 12/09 18:25 · 1ª tentativa
retentar

CNPJ com menos de 14 dígitos

973 empresas
Mapeamento de CNAE · 12/09 18:27 · 1ª tentativa
retentar

texto da atividade não casou com nenhuma subclasse da CNAE 2.3

1.869 empresas
Normalização de telefone · 12/09 18:27 · 1ª tentativa
definitivo

número fora do padrão brasileiro (DDD inválido ou dígitos a menos)

“Definitivo” não é falha nossa: domínio sem MX, robots.txt fechado e conta pessoal de Instagram nunca vão passar. Ficam registrados para não serem tentados de novo a cada rodada.

Log da execução

18:25:02leituraBASE-SAUDE-CONSOLIDADA.csv — 197.235 linhas
18:25:41leitura83.496 sem CNPJ válido; 80.228 deles com o campo vazio na origem
18:25:52leituraBASE-INDUSTRIA-CONSOLIDADA.csv — 41.201 linhas, 10 descartadas
18:26:10dedupe29 CNPJs repetidos entre as duas bases; ficou o registro mais completo
18:26:48cnae153.928 de 154.901 com CNAE mapeado (99%)
18:26:48cnae973 sem correspondência na CNAE 2.3 — texto genérico demais
18:27:30cargaSQLite gerado: 154.901 empresas, 82 MB, 6 índices
18:27:31cargacobertura: 98% e-mail · 99% telefone · 64% decisor · 18% site

Evento estruturado por etapa. É o que permite responder de onde veio cada dado quando a LGPD exigir, e o que calibra o score depois.

Por que não tem motor BPMN aqui

O blueprint de orquestração descreve gateways XOR/OR/AND executados por Camunda ou equivalente. Isso resolve processo com rota humana e aprovação — contrato que sobe para a diretoria acima de um valor.

O pipeline do MIRA é linear e determinístico: entra CNPJ, sai CNPJ enriquecido. Não há decisão humana no meio, não há compensação, não há multi-lane. Aqui gateway é if, e um motor BPMN seria peso morto.

O que veio do blueprint e ficou: a fila de exceções e o log estruturado por etapa. Os dois estão nesta tela.