O bloqueio que fingia ser URL perdida
O desafio
Quando você coleta milhões de páginas por dia nos maiores sites do mundo, deixa de ser visitante e vira alvo. O bloqueio não chegava como bloqueio. Chegava como URL perdida, um problema conhecido, com processo estabelecido.
O plano
A peça que revelou a verdade foi o screenshot. O mesmo arquivo que salvávamos como prova para o cliente mostrava, nesses casos, uma tela de bloqueio. O diagnóstico virou uma regra simples: URL perdida, página acessível localmente, screenshot com bloqueio. A resposta foi proxy residencial, tráfego indistinguível de um usuário comum.
O resultado
A URL perdida deixou de ser só uma métrica de catálogo e virou métrica de saúde da coleta. Os bloqueios passaram a ser detectados e contornados, em vez de tratados como rotina.
Metade dessa batalha foi perceber que havia uma batalha.