Simulador de empresas para engenharia de dados

Simule uma empresa. Construa o pipeline com os dados dela.

O DataPlot faz o papel dos sistemas de origem de um negócio — bancos OLTP, streams de eventos, arquivos que chegam todo dia — para você praticar ingestão e camadas bronze, silver e gold com dados que se comportam como os de uma empresa real.

Começar Ver as empresas

$ docker run -p 8080:8080 -v dataplot-data:/data gartito/dataplot

Grátis. Sem conta, e a imagem não manda telemetria. Abra http://localhost:8080.

Vendas por dia da rede de supermercados simulada: o ritmo da semana, a Black Friday e o Natal vêm do calendário da empresa, não de uma curva aleatória.

Dataset público não é empresa.

Datasets públicos são estáticos e limpos, e ninguém roda o lado da origem para você. No trabalho, os dados chegam vivos, sujos, com histórico e correções. O DataPlot entrega esse lado.

Vivo

Carregue anos de histórico e depois continue em tempo real a partir de uma data de corte, como num sistema em produção.

Com histórico

Tabelas com chave sofrem updates e deletes (_op I/U/D), e o histórico muda como numa empresa real: pedidos mudam de status, clientes atualizam o cadastro e saem.

Bagunçado, se você quiser

Nulos, duplicados e colunas mal formatadas sob demanda. Eventos fora de ordem e atrasados no app.

Documentos de verdade

Documentos e números fiscais válidos, código de barras EAN-13, ERP estilo SAP e o calendário, a moeda e os impostos de cada país, em oito países.

Como um lab se monta

Você escolhe a empresa, o tamanho e para onde os dados vão. O resto — ingestão, modelagem, qualidade, orquestração — é com você, do jeito que preferir.

Escolha uma empresaCada pack é um negócio inteiro: uma rede de supermercados, uma plataforma de streaming de música.
DimensioneParta de um tamanho (pequena, média, grande) e ajuste lojas, clientes, crescimento ou inflação.
Aponte para os seus serviçosBancos vão para o seu Postgres, eventos para o Kafka, arquivos para uma pasta ou bucket — como os sistemas da empresa fariam.
Construa o pipelineIngira e modele bronze, silver e gold. Primeiro o histórico, depois o stream a partir do corte.

Empresas para praticar

Cada empresa vem com sistemas que não foram feitos para conversar entre si, com os nomes, formatos e chaves dos seus fornecedores, e um manual de negócio que explica o que cada coluna quer dizer. Tabelas, colunas e manuais estão em inglês, com os nomes de cada fornecedor (SAP, VTEX, DDEX); o texto do próprio manual também sai em português.

batch + stream

Rede de Supermercados

Lojas hiper, super e express, e-commerce, estoque com reposição e ruptura, encarte semanal, fidelidade, em um país ou em vários: cada um com seus preços, impostos, horários e calendário comercial (Thanksgiving, Diwali, Carnaval, Black Friday, Natal).

Sistemas

PDV, NFC-e no Brasil · arquivos
ERP estilo SAP · Postgres
CRM e fidelidade · Postgres
E-commerce estilo VTEX · Kafka

Você pratica

Batch e streaming juntos
Reconciliar o stream com o batch
CDC de cadastros e estoque

stream

Streaming de Música

Sessões de escuta com pulos, eventos do app em alto volume e fora de ordem (o offline sincroniza depois), lançamentos às sextas, catálogo de cauda longa com os gêneros de cada país, assinaturas na moeda local e royalties mensais por território.

Sistemas

Eventos do app · Kafka
Assinaturas e cobrança, estilo Stripe · Postgres
Distribuidoras, DDEX e relatórios · arquivos

Você pratica

Alto volume e sessões
Eventos atrasados, janelas e watermarks
Fechamento mensal de royalties

batch + stream

Rede de Fast-food

Restaurantes franqueados e próprios em um ou vários países: pedidos no balcão, no drive-thru, no totem, no app e no delivery, cardápio por período e combos, o cardápio, os preços e os impostos de cada mercado, e a visão do franqueador sobre todos os restaurantes.

Sistemas

PDV dos restaurantes · Postgres
Eventos de totem, app e drive-thru · Kafka
Agregadores de delivery e royalties · arquivos
Suprimentos, estoque e equipe · Postgres

Você pratica

Repasses que chegam dias depois
Royalties mensais contra o PDV
Estoque baixado por receita

Países
Estados Unidos
Reino Unido
Alemanha
França
Itália
Espanha
Índia
Brasil

Os dados vão para onde você trabalha

Local ou na nuvem: o seu Postgres, um RDS, um Kafka, um MSK, uma pasta ou um bucket S3. Antes de rodar, o DataPlot estima linhas, bytes, memória e o tamanho de cada destino.

Bancos

Postgres com upserts por janela. Ligue o CDC com Debezium se quiser praticar captura de mudanças.

Eventos

Kafka ou Redpanda, com mensagens com chave e tombstones para os deletes.

Arquivos

Parquet, CSV, NDJSON, JSON ou XML em disco ou S3, particionados por dia, com catálogo Glue para consultar no Athena.

Mapa da rede de supermercados no DataPlot: fornecedores, lojas, estoque, clientes e e-commerce em cima; os sistemas PDV, ERP, CRM e e-commerce embaixo, com as suas tabelas — Cada empresa tem um mapa: como o negócio funciona e quais sistemas registram a operação.

Estimativa de uma execução: linhas e bytes por dia, memória, CPU e os tamanhos recomendados para Postgres, Kafka e arquivos — A estimativa diz quanto a execução vai gerar e de que tamanho cada destino precisa ser.

Começar leva um comando

Você só precisa do Docker. A imagem tem o DataPlot com todas as empresas e o guia completo, em português e inglês.

1. Suba o DataPlot

$ docker run -p 8080:8080 -v dataplot-data:/data gartito/dataplot

Abra http://localhost:8080, escolha uma empresa e configure uma execução. O volume dataplot-data guarda as execuções salvas e os arquivos gerados.

2. Ou use a linha de comando

$ docker run --rm gartito/dataplot scenario list

A mesma imagem roda o CLI: scenario run, scenario estimate, scenario manual. Use o comando para automatizar os seus labs.

O que vem aí

O DataPlot continua grátis para baixar. Estas são as próximas ideias na mesa; deixar o seu e-mail é como sabemos se vale a pena construí-las.

Desafios em breve

Exercícios prontos sobre as empresas simuladas. Entre na lista de espera e mandamos um e-mail, uma vez só, quando os primeiros estiverem prontos. Sem newsletter.

Licença comercial

Usa o DataPlot numa empresa, num curso ou em demonstrações? Fale com a gente sobre uma licença comercial.

Perguntas

É grátis?

Sim. A imagem e todas as empresas são grátis para baixar e usar. Usa numa empresa, num curso ou em demonstrações? Fale sobre uma licença comercial.

Ele manda dados para algum lugar?

Não. A imagem não tem telemetria e não chama nenhum servidor. Os dados só vão para os destinos que você configurar.

Preciso ter Postgres e Kafka?

Não. Arquivos em disco bastam para começar. Quando quiser, aponte para os seus serviços, locais ou na nuvem.

Os dados são sempre os mesmos?

Com a mesma semente, sim: a mesma empresa gera exatamente os mesmos dados, então dá para refazer um lab e comparar resultados.

Quais países?

Estados Unidos, Reino Unido, Alemanha, França, Itália, Espanha, Índia e Brasil. Uma geração pode misturar países: uma empresa com lojas ou ouvintes em vários, cada um na sua moeda, fuso e calendário.

O DataPlot corrige o meu pipeline?

Não. Ele controla a empresa e os dados, nunca o método: como você constrói o pipeline é com você.

É open source?

Não. O DataPlot é distribuído só como imagem Docker, para amd64 e arm64.

Este site me rastreia?

Sem cookies e sem banner: contagem de visitas sem cookies e os logs de acesso do CloudFront. A nota de privacidade diz o que é coletado.

Fale com a gente

Achou um bug, ficou com uma dúvida ou construiu algo com o DataPlot? Conte aqui. É isso que decide as próximas empresas.

Respondemos pelo e-mail que você informar. A mensagem e as imagens vão só para nós (privacidade).