web-crawler

Tenho uma página na internet com vários links. Eu quero escrever um script que despejaria todos os dados contidos nesses links em um arquivo local. Alguém fez isso com o PHP? Orientações gerais e gotchas seriam suficientes como resposta.

É possível encontrar todas as páginas e links em qualquer site? Eu gostaria de inserir uma URL e produzir uma árvore de ... de todos os links desse site? Olhei para o HTTrack, mas isso descarrega todo o site e preciso da árvore de directórios.

Tl; dr esconder o endereço de E-mail dos bots sem usar programas e manter a funcionalidade mailto:. O método também d ... fato usando uma das correções js atualmente) Eu queria ver se discutir o assunto levaria a uma melhor maneira de fazê-lo.

Estou interessado em fazer "web crawling". Eu estava a olhar para ... o web crawling ou quais são os passos para o web crawling?

Tenho vários sites, e não me lembro onde escrevi algumas linhas de código. Como minhas páginas são index ... o-fonte HTML/mark-up em si, em vez de, permitindo apenas pesquisar no visual, proferida, parte de uma página? Obrigado.

Alguém sabe como pedir ao Google que volte a rastejar num site? Se possível, isto não deve durar meses. Meu site está mostrando um título antigo nos resultados de pesquisa do Google. Como posso mostrá-lo com o Título e descrição corretos?

como se pode detectar os bots do motor de busca usando o php?

Estou a implantar um site de substituição para um cliente, mas não querem que todas as páginas antigas terminem em 404s. ... página inicial. Como uma aranha, mas que não se importa com o conteúdo, a não ser para encontrar páginas mais profundas.