Perché non vengono usati tutti i link dal file caricato?

In un progetto LinkRating usiamo i file di link caricati da fonti differenti per espandere la base di dati dei nostri link crawler.

Così facendo, usiamo solo gli URL non inclusi in altre fonti di dati. Inoltre, usiamo un massimo 100 URL per host in modo da non sovraccaricare eccessivamente il server e impedire ai link sitewide di avere un’eccessiva influenza sulla valutazione.

Domande correlate