O desafio
Máquinas que travavam junto com o custo
A plataforma coletava dados de produtos para fabricantes globais: cerca de 40 mil páginas por dia a US$ 0,20 cada, em EC2 spot com a fila implementada no MongoDB. O custo crescia junto com o volume, e as máquinas travavam.
Pagar por máquina ligada o dia todo
Para um trabalho que nasce e morre em segundos, pagar por máquina ligada o dia inteiro nunca fez sentido.
O plano
Serverless com Lambda e SQS
A decisão foi serverless: Lambda e SQS, com Postgres ao lado do Mongo. Cada página virou uma mensagem, cada mensagem virou uma execução curta.
Os limites que só aparecem na prática
A parte que ninguém te conta é a que quebra: limite de memória, timeout em página lenta, concorrência batendo no banco. Aprendemos cada uma na prática.
O resultado
Volume 50 vezes maior
Quando saí, eram 2 milhões de páginas por dia.
Custo por página caiu de US$ 0,20 para US$ 0,018
O custo por página caiu 90%. A plataforma nova absorveu tudo o que veio depois: posição em busca, apps de delivery, outros países.
E depois?
A arquitetura virou base para novos produtos. A mesma fila e os mesmos workers passaram a alimentar coleta de apps de delivery e expansão internacional.
Não foi um projeto de corte de custo. Foi o que viabilizou o crescimento.