Pular para o conteĆŗdo principal

Split In Batches Node

O Split In Batches Node Ć© essencial para processar grandes volumes de dados de forma eficiente, dividindo-os em lotes menores que podem ser processados sequencialmente ou em paralelo.

Conceito Principalā€‹

Split In Batches = "Dividir Dados em Lotes"

O Split In Batches Node Ć© uma AƇƃO que:

  • Divide grandes conjuntos de dados em lotes menores
  • Permite processamento eficiente de grandes volumes
  • Evita timeouts e problemas de memĆ³ria
  • Facilita operaƧƵes em paralelo

šŸ’” Dica: Use este node quando tiver muitos dados para processar ou quando APIs tĆŖm limites de rate limiting.

ConfiguraƧƵes Principaisā€‹

1. Batch Sizeā€‹

NĆŗmero de itens por lote (ex: 100, 500, 1000)

2. Optionsā€‹

Wait Between Batches - Aguardar entre lotes
Batch Size - Tamanho do lote
Reset - Reiniciar contador de lotes

3. Wait Between Batchesā€‹

Delay (ms) - Tempo de espera entre lotes

Exemplos PrĆ”ticosā€‹

Exemplo 1: Processar Lista de Emailsā€‹

Entrada (1000 emails):

[
  {"email": "joao@email.com", "nome": "JoĆ£o"},
  {"email": "maria@email.com", "nome": "Maria"},
  // ... 998 emails mais
]

ConfiguraĆ§Ć£o:

Batch Size: 100
Wait Between Batches: 1000ms (1 segundo)

Resultado:

  • Lote 1: Emails 1-100
  • Lote 2: Emails 101-200
  • Lote 3: Emails 201-300
  • ...
  • Lote 10: Emails 901-1000

Exemplo 2: Enviar NotificaƧƵes em Lotesā€‹

Workflow:

Manual Trigger ā†’ Split In Batches ā†’ HTTP Request ā†’ Email

ConfiguraĆ§Ć£o Split In Batches:

Batch Size: 50
Wait Between Batches: 2000ms

ConfiguraĆ§Ć£o HTTP Request (por lote):

Method: POST
URL: https://api.notificacao.com/batch
Body: {{ JSON.stringify($json) }}

Exemplo 3: Processar Produtos de E-commerceā€‹

Entrada (5000 produtos):

[
  {"id": 1, "nome": "Produto 1", "preco": 100},
  {"id": 2, "nome": "Produto 2", "preco": 200},
  // ... 4998 produtos mais
]

ConfiguraĆ§Ć£o:

Batch Size: 200
Wait Between Batches: 500ms

Processamento por lote:

  • Atualizar preƧos
  • Sincronizar estoque
  • Enviar para API externa

Casos de Uso Comunsā€‹

1. Rate Limiting de APIsā€‹

Problema: API tem limite de 100 requisiƧƵes por minuto SoluĆ§Ć£o: Dividir em lotes de 100 com delay de 60 segundos

// ConfiguraĆ§Ć£o
Batch Size: 100
Wait Between Batches: 60000ms (60 segundos)

2. Processamento de Arquivos Grandesā€‹

Problema: Arquivo CSV com 10.000 linhas SoluĆ§Ć£o: Processar em lotes de 500 linhas

// ConfiguraĆ§Ć£o
Batch Size: 500
Wait Between Batches: 1000ms

3. Envio de Emails em Massaā€‹

Problema: Enviar 5.000 emails sem sobrecarregar servidor SoluĆ§Ć£o: Enviar em lotes de 100 com delay

// ConfiguraĆ§Ć£o
Batch Size: 100
Wait Between Batches: 5000ms (5 segundos)

4. SincronizaĆ§Ć£o de Dadosā€‹

Problema: Sincronizar 20.000 registros com sistema externo SoluĆ§Ć£o: Processar em lotes de 1.000

// ConfiguraĆ§Ć£o
Batch Size: 1000
Wait Between Batches: 2000ms

ConfiguraƧƵes AvanƧadasā€‹

Wait Between Batchesā€‹

Delay Fixo:

Wait Between Batches: 1000ms

Delay DinĆ¢mico (usando expressĆ£o):

Wait Between Batches: {{ $json.batch_number * 1000 }}ms

Delay Baseado em Rate Limiting:

Wait Between Batches: {{ Math.ceil(60000 / 100) }}ms  // 100 req/min

Batch Size DinĆ¢micoā€‹

Baseado no tipo de dados:

Batch Size: {{ $json.tipo === 'email' ? 100 : 500 }}

Baseado na API:

Batch Size: {{ $json.api_limit || 100 }}

Baseado na performance:

Batch Size: {{ $json.performance === 'high' ? 1000 : 100 }}

OtimizaĆ§Ć£o de Performanceā€‹

Escolhendo o Tamanho do Loteā€‹

CenƔrioTamanho RecomendadoJustificativa
APIs com Rate Limiting50-100Evitar exceder limites
Processamento Local500-1000MĆ”ximo de eficiĆŖncia
Envio de Emails100-200Evitar spam filters
SincronizaĆ§Ć£o1000-2000MĆ”xima velocidade
Arquivos Grandes500-1000Balance entre memĆ³ria e velocidade

ConfiguraĆ§Ć£o de Delaysā€‹

Tipo de OperaĆ§Ć£oDelay RecomendadoRazĆ£o
APIs Externas1000-5000msRate limiting
Envio de Emails2000-10000msEvitar spam
Processamento Local100-500msOtimizaĆ§Ć£o
SincronizaĆ§Ć£o500-2000msBalance

Monitoramento de Performanceā€‹

// Adicionar mƩtricas ao lote
{
  "batch_number": 1,
  "batch_size": 100,
  "total_items": 1000,
  "processed_items": 100,
  "start_time": "2024-01-15T10:00:00Z",
  "estimated_completion": "2024-01-15T10:10:00Z"
}

Tratamento de Errosā€‹

Erro em um Loteā€‹

ConfiguraĆ§Ć£o de Retry:

Max Tries: 3
Wait Between Tries: 5000ms

Tratamento de Erro:

// No node seguinte, verificar se houve erro
if ($json.error) {
  // Log do erro
  console.log('Erro no lote:', $json.batch_number, $json.error);
  
  // Continuar processamento
  return { json: { ...$json, status: 'error_handled' } };
}

RecuperaĆ§Ć£o de Falhasā€‹

Workflow com Error Handling:

Split In Batches ā†’ HTTP Request ā†’ Error Trigger ā†’ Log Error ā†’ Continue

ConfiguraĆ§Ć£o Error Trigger:

Continue on Fail: true

Exemplos de Workflowsā€‹

Workflow 1: Envio de Newsletterā€‹

Manual Trigger ā†’ Split In Batches (100) ā†’ Email Node ā†’ Wait (2s) ā†’ Continue

ConfiguraƧƵes:

  • Split In Batches: 100 emails por lote
  • Wait: 2 segundos entre lotes
  • Email Node: Template personalizado

Workflow 2: SincronizaĆ§Ć£o de Produtosā€‹

Schedule Trigger ā†’ HTTP Request (buscar produtos) ā†’ Split In Batches (500) ā†’ HTTP Request (atualizar) ā†’ Wait (1s) ā†’ Continue

ConfiguraƧƵes:

  • Split In Batches: 500 produtos por lote
  • Wait: 1 segundo entre lotes
  • HTTP Request: API de atualizaĆ§Ć£o

Workflow 3: Processamento de Arquivosā€‹

Webhook (upload arquivo) ā†’ CSV Parser ā†’ Split In Batches (1000) ā†’ Process Data ā†’ Wait (500ms) ā†’ Continue

ConfiguraƧƵes:

  • Split In Batches: 1000 linhas por lote
  • Wait: 500ms entre lotes
  • Process Data: TransformaĆ§Ć£o de dados

LimitaƧƵes e ConsideraƧƵesā€‹

LimitaƧƵes TĆ©cnicasā€‹

  • MemĆ³ria: Cada lote Ć© mantido em memĆ³ria
  • Timeout: Workflows tĆŖm timeout total
  • Rate Limiting: APIs externas podem ter limites
  • ConcorrĆŖncia: Processamento sequencial por padrĆ£o

ConsideraƧƵes de Designā€‹

  • Tamanho do lote: Balance entre performance e memĆ³ria
  • Delays: Evitar sobrecarregar sistemas externos
  • Error handling: Tratar falhas em lotes individuais
  • Monitoramento: Acompanhar progresso dos lotes

Boas PrĆ”ticasā€‹

// āœ… Bom: Tamanho de lote apropriado
Batch Size: 100  // Para APIs com rate limiting

// āœ… Bom: Delay adequado
Wait Between Batches: 2000ms  // 2 segundos

// āŒ Evitar: Lotes muito grandes
Batch Size: 10000  // Pode causar timeout

// āŒ Evitar: Sem delay
Wait Between Batches: 0ms  // Pode sobrecarregar API

PrĆ³ximos Passosā€‹

Agora que vocĆŖ entende o Split In Batches Node:

  1. Set Node - Para manipulaĆ§Ć£o bĆ”sica de dados
  2. Aggregate Node - Para agregaƧƵes e resumos
  3. Code Node - Para lĆ³gica customizada
  4. IF Node - Para controle de fluxo
Dica Pro

Use lotes menores (50-100) para APIs com rate limiting e lotes maiores (500-1000) para processamento local.

Performance

O tamanho ideal do lote depende do seu caso de uso. Teste diferentes tamanhos para encontrar o Ć³timo.

Rate Limiting

Sempre configure delays adequados para evitar exceder limites de APIs externas.

Links Ćŗteis: