O desafio
Bloqueio que não se apresentava como bloqueio
Quando você coleta milhões de páginas por dia nos maiores sites do mundo, deixa de ser visitante e vira alvo. O bloqueio não chegava como bloqueio. Chegava como URL perdida, um problema conhecido, com processo estabelecido.
Tratando sintoma em vez de causa
A equipe corrigia URLs, mas o problema real era outro. Sem evidência, era impossível provar que o site estava nos bloqueando.
O plano
O screenshot como prova
A peça que revelou a verdade foi o screenshot. O mesmo arquivo que salvávamos como prova para o cliente mostrava, nesses casos, uma tela de bloqueio.
Regra de diagnóstico simples
O diagnóstico virou uma regra: URL perdida, página acessível localmente, screenshot com bloqueio. A resposta foi proxy residencial, tráfego indistinguível de um usuário comum.
O resultado
URL perdida virou métrica de saúde
A URL perdida deixou de ser só uma métrica de catálogo e virou métrica de saúde da coleta.
Bloqueios detectados e contornados
Os bloqueios passaram a ser detectados e contornados, em vez de tratados como rotina.
E depois?
A técnica virou rotina. Hoje qualquer coleta em escala que eu projeto já nasce com proxy rotativo e evidência visual para debug.
Metade dessa batalha foi perceber que havia uma batalha.