Il crawler ELDB

Cosa fa

Il crawler ELDB alimenta il database dei negozi Ecommerce Leads Database.

• Legge la home page per rilevare piattaforma, tema e app.
• Legge le pagine dei contatti e delle note legali, e le mappe del sito (sitemap).
• Legge il catalogo prodotti tramite i feed pubblici del negozio (ad esempio products.json su Shopify, o l'API pubblica di WooCommerce), fino a 5.000 prodotti.
• Torna di tanto in tanto per verificare che i dati siano aggiornati.

Cosa raccoglie

• Dati sul negozio: piattaforma, tema, app, numero di prodotti, catalogo pubblico (titoli, prezzi, stock, marche).
• I recapiti professionali pubblicati sul sito: email, telefono, indirizzo, link ai social network. Per ognuno, annota la pagina dove l'ha letto e la data.
• Un'email pubblicata può essere nominativa. In quel caso è un dato personale, trattato come descritto nella nostra informativa sulla privacy.

Non compila moduli, non crea account e non accede a nulla che richieda un login.

Come riconoscerlo

Invia l'intestazione User-Agent di Chrome per desktop Windows. Aggiorniamo la versione circa ogni tre mesi. Non si presenta con un nome di crawler. Nel Suo robots.txt, applica i gruppi «User-agent: ecommerce-data-enrich» e «User-agent: ecommerce-data-scan». Senza questi gruppi, applica il gruppo «User-agent: *».

• Rispetta il Suo file robots.txt, per ogni pagina e ogni reindirizzamento.
• Torna su ogni negozio circa ogni 30 giorni, per verificare che i dati siano aggiornati.
• Le richieste partono dai nostri server e da quelli di fornitori di servizi tecnici.
• Se il Suo sito risponde 403 o 429, la richiesta viene ripetuta una volta tramite un fornitore di servizi tecnici. Se riesce, le richieste successive al Suo sito possono passare da lì per 5 minuti. Valgono le stesse regole robots.txt.

Come bloccarlo

Aggiunga queste righe al Suo file robots.txt. Il crawler non visiterà più il Suo sito:

User-agent: ecommerce-data-scan
User-agent: ecommerce-data-enrich
Disallow: /

Bloccare il crawler non cancella i dati già raccolti. Per questo, chieda la rimozione del Suo negozio.

Rimuovere il Suo negozio dal database

Può rimuovere il Suo indirizzo email o tutto il Suo negozio. La rimozione ha effetto appena la conferma via email. Chieda la rimozione.

Una domanda? hello@ecommerce-leads-database.com