Scansione parallela per un elevato numero di siti web

24. Settembre 2015

Scansionare un elevato numero di siti web può a volte richiedere ore o addirittura giorni. Per ottenere risultati più rapidi, l’Optimizer permette a più di un crawler di lavorare contemporaneamente sullo stesso progetto. Nelle impostazioni del crawler (Impostazioni > crawler) seleziona il numero di motori di ricerca paralleli da usare per ogni progetto dal menù a tendina.

optimizer_crawler-setting

E’ possibile scegliere da uno fino a dieci motori di ricerca paralleli per un progetto, dove il valore predefinito è di due motori di ricerca.

optimizer_concurrent-crawlers
Poiché il nostro motore di ricerca aspetta sempre affinché la pagina corrente sia emessa prima che la pagina seguente venga richiesta, un aumento da due a quattro motori di ricerca permetterà di richiedere il doppio delle pagine nello stesso arco di tempo. In questo caso, tuttavia, il server potrebbe subire anche un raddoppio del caricamento.