Pular para o conteúdo
  • Scraping
  • Automação
20204 min lendo

98% das URLs perdidas, resolvidas sem intervenção

O desafio

Um trabalho que não deveria existir

Todo o monitoramento dependia de saber a URL exata de cada produto em cada ecommerce. Quando a URL se perdia, o produto saía do radar do cliente. A solução da época foi escalar com gente: uma equipe caçando URL o dia inteiro, todos os dias.

O custo de escalar com pessoas

Eu mesmo passei um ano fazendo esse trabalho na mão, como estagiário. Dá para imaginar a frustração: o mesmo problema voltando, o mesmo clique, a mesma busca, a mesma planilha.

O plano

Usar o Google como motor de busca

Voltei ao problema como desenvolvedor e construí um motor de descoberta: buscas inteligentes dentro de cada ecommerce e o próprio Google como motor, com uma nota para cada link candidato.

Score de confiança antes de delegar

Na primeira versão, o motor propunha e um operador validava. De propósito: ninguém delega decisão à máquina antes de medir se ela acerta.

O resultado

98% sem intervenção humana

98% das URLs perdidas passaram a ser resolvidas automaticamente. Os 2% restantes caíram numa fila de exceção.

Fila de exceção por design

A fila de exceção não é falha do sistema, é parte do design. E quem viveu o processo manual na pele sabe exatamente onde a máquina erra.

E depois?

A ferramenta virou padrão na operação. O que começou como uma dor manual virou uma vantagem: o time parou de caçar URL e passou a validar exceções.

A fila de exceção não é falha do sistema, é parte do design. E quem viveu o processo manual na pele sabe exatamente onde a máquina erra.

Voltar ao topo ↑