Quando a fonte tem milhares de páginas, copiar à mão deixa de ser viável. Raspagem é o nome do jeito de automatizar essa coleta. Ela economiza tempo e organiza dados, mas aumenta o que você coleta, e com isso o risco.
Dois conceitos
- Crawling (rastreamento): um programa percorre páginas seguindo os links, como faz um buscador, para descobrir e mapear o que existe.
- Scraping (raspagem): um programa lê uma página e extrai dados específicos, como títulos, datas, números ou nomes, e guarda numa tabela.
O primeiro acha as páginas, o segundo tira o que interessa delas.
Quando faz sentido
- a fonte é oficial ou aberta de verdade, como portais de transparência, diários oficiais e listas públicas;
- o volume é grande e repetitivo, como acompanhar publicações novas todos os dias;
- você precisa de dados em tabela para cruzar, e não de leitura página a página;
- não existe API ou arquivo para download. Se existir, use: é mais estável e mais correto.
Como é por dentro, em linguagem simples
Pense numa receita. Os ingredientes são o endereço das páginas, a receita é um roteiro (script) que pede a página e separa o que interessa, e o resultado é uma planilha. Em geral, a linguagem usada é Python, com bibliotecas que pedem páginas, leem o HTML e filtram textos por padrões (as chamadas expressões regulares, úteis para achar datas, e-mails ou números de processo). Páginas que só mostram dados depois de cliques exigem automação de navegador.
Aprender isso é questão de prática: vale começar com um exemplo pequeno e público, como a lista de uma página de dados abertos.
Limites que você respeita antes de rodar
- Termos de uso e
robots.txt. O site pode proibir coleta automática. Leia antes e siga. - Não derrube o site. Peça uma página por vez, com pausa entre os pedidos. Rajada de acessos pode ser tratada como ataque.
- Nada de contornar proteção. Login que você não tem, bloqueio de robô ou captcha são recado de que a coleta automática não é bem-vinda ali.
- Dado pessoal continua protegido. A LGPD vale para o que está aberto. Colete só o necessário para a finalidade, guarde com cuidado e descarte o que sobrar.
- Redes sociais são terreno delicado. As plataformas costumam proibir raspagem em seus termos, e os dados são de pessoas. Prefira as ferramentas e interfaces que a própria plataforma oferece.
- Guarde como prova. Salve a data e hora da coleta, o endereço, a versão do script e o arquivo bruto, para que outra pessoa refaça o caminho.
Cuidados com o resultado
- Confira por amostra. Compare algumas linhas da planilha com a página original.
- Cuidado com homônimos. Coleta em massa traz nomes iguais de pessoas diferentes.
- Não publique tabelas com dados pessoais. Compartilhe o achado, não a base.
Texto elaborado pela comunidade OSINT Rio a partir do conteúdo do curso de pós-graduação em OSINT da WB Educação (professor Willian Wistuba), com autorização.