Se si utilizza Google Analytics, molto probabilmente ci si è chiesto: in quale quantità il traffico sul sito deriva da persone reali? In Google Analytics, infatti, non è sempre chiaro. Uno studio ha rivelato che, su un sito web classico, il traffico portato dai bot (profili fasulli) è del 56%. Il nostro pensiero si rivolge proprio a Google Analytics, sperando che elimini questo tipo di traffico.

Sembrava semplice: i bot non processano Java Script. Google Analytics utilizza il linguaggio JavaScript. Quindi i bot non dovrebbero rientrare in Google Analytics.

Eliminare spam e bot da Google Analytics

Purtroppo con la proliferazione di jQuery, applicazioni web in singole pagine e dynamic ajax calls, sono nati dei bot più determinati e intelligenti. Ora questi bot possono processare JavaScript e quindi rientrare nei conti di Google Analytics come una persona reale che naviga sul sito. Questa è anche una cosa buona: se i moderni motori di ricerca non potessero processare JavaScript, la maggior parte del web resterebbe nascosto dai motori di ricerca.

Il problema è che ci sono anche risvolti negativi di questi bot: questi possono accedere ai contenuti e farne un uso nefasto. Altri possono entrare nelle singole pagine e devastare il contenuto dei server, facendo così salire il costo di manutenzione da parte di chi gestisce il sito.

I bot più semplici, in genere, sono esclusi automaticamente da Google Analytics. Questi seguono le direttive che sono descritte nel file robots.txt di un sito web, o nei suoi meta tag, e quindi sono autorizzati a navigare soltanto in certe pagine. Essi, inoltre, evitano di inviare richieste ai server di Google Analytics.

Sono i bot più evoluti quelli che rompono le leggi intenzionalmente, soprattutto quelli che processano il linguaggio Java Script. Uno studio ha rivelato che essi si prendono il 27% del traffico web. Un numero preoccupante.

Eliminare i bot da Google Analytics, che cosa possiamo fare?

In redazione abbiamo sviluppato una guida per eliminare totalmente i bot da Google Analytics. Nonostante i tanti articoli su questo argomento, riteniamo questa guida essere un prodotto finale perfetto.

Garantiamo infatti l’eliminazione di ogni singolo bot dai vostri report Google Analytics. Vediamo come fare.

Controllare le impostazioni per amministratori

C’è un opzione all’interno del menu amministratore (Impostazioni) per rimuovere i bot già riconosciuti da Google Analytics. NON SPUNTATE questa opzione; prima create una visualizzazione Test, così potete vedere l’impatto che ha questa opzione sulla vostra raccolta dati.

Google Analytics inserisce in questa lista i bot conosciuti e gli spiders grazie alla IAB/ABC International Spiders & Bots List. Dal momento che si tratta di una lista a pagamento, non siamo sicuri della certezza dei bot inseriti.

Eliminare i bot tramite indirizzo IP

Non potendo vedere gli indirizzi IP dai report di Google Analytics, potete utilizzare lo strumento Google Analytics View Filters. Se volete approfondire la cosa o avete notato un IP che vi sta mangiando la maggior parte dei dati (diciamo 10 milioni di visite nella versione gratuita e 1 miliardo per la versione premium), potete seguire le istruzioni di Jon Meck e bloccare l’indirizzo IP in Google Tag Manager.

Nota a margine nel caso voleste bloccare totalmente un bot, anche solo per far sì che non visiti più la vostra pagina (particolarmente se continua a portare spam o a intrecciarsi in un DdoS). Per far questo dovrete modificare il file .htaccess del vostro sito utilizzando questo strumento, per bloccare l’indirizzo IP e impedirgli di caricare i contenuti.

User Agent per bloccare i bot

Ovviamente i bot possono passare da un indirizzo IP ad un altro, redendo la loro indentificazione un problema. Entrate nel menu Custom Dimensions. È possibile far passare ciascuna delle stringhe User Visitor dei vostri visitatori in Google Analytics come custom dimension, utilizzando Google Tag Manager (perché voi lo state utilizzando, vero?). Quindi è possibile poi escludere qualsiasi sessione basata sull’User Agent, che voi sapete essere un bot.

Iniziate creando una Custom Dimension in Google Analytics, nel pannello Admin. Chiamarete questa Custom Dimension “User Agent”, e la imposterete come Session Scope. Prendete nota dell’Index, così possiamo far riferimento a breve.

Quindi utilizzate Google Tag Manager per creare una nuova Variabile. Dan Wilkerson spiega come sia facile recuperare l’User Agent in Google Tag Manager. Create semplicemente una Variabile Java Script con il valore navigator.userAgent.

Ecco la schermata:

Il passo finale è popolare la vostra Google Analytics Pageview con le slot a disposizione, utilizzando l’Index precedente. Nel campo Value inserite la variabile User Agent.

Ora attendete due giorni per vedere gli effetti degli User Agents che entrano nel vostro sito, in modo tale da poterli indentificare e capire se si comportano come bot. Tenete conto di quelli che hanno una frequenza di rimbalzo ripetuta o utenti che hanno centinaia di visite ripetute al giorno, per esempio. Con il tempo potrete usare Google Analytics Filters per eliminare quegli User Agent, andando in Admin > views > Filters:

Richiedere il completamento di un CAPTCHA

A volte il metodo precedente non è sufficiente, perché molti bot mascherano la loro vera identità, oppure si presentano come veri e propri utenti. Bisogna attuare un’altra soluzione.

In Dicembre Google ha introdotto una nuova versione del servizio reCAPTCHA, chiamato No CAPTCHA. Questa nuova versione usa una tecnica più sottile basata sul comportamento umano – utilizzo del mouse, in particolare – e in molti casi elimina la necessità ad un utente vero di digitare il contenuto del CAPTCHA.

Quando il visitatore arriva al sito per la prima volta vedrà questo reCAPTCHA. Fino a quando non sarà completato in maniera corretta, non sarà inviata alcuna informazione a Google Analytics.

Ogni nuovo utente dovrà completare il reCAPTCHA. Siamo sicuri che la maggior parte del traffico bot verrà eliminato tramite questa applicazione. Questo è sicuramente un buon inizio, ma, per avere una copertura totale, continuate a leggere.

Confermare il proprio indirizzo email

Dopo il completamento del reCAPTCHA, il sito dovrebbe mostrare una form, chiedndo di inserire l’indirizzo email. L’indirizzo deve essere valido, ovviamente. Una volta inserito l’indirizzo, si dovrebbe visualizzare il seguente messaggio: Grazie per aver inserito il tuo indirizzo. Controlla la posta in entrata per confermare e segui le istruzioni indicate. (Questo è solo un esempio: potete poi modificarlo a vostro piacimento).

Gli utenti dovranno quindi accedere alla posta e cliccare per la conferma sul messaggio arrivato. La mail di conferma potrebbe arrivare anche dopo 24h e spesso i filtri sugli account spediscono direttamente in spam questi messaggi. Questo è però il costo da pagare per liberarsi dei bot.

ATTENZIONE: alcuni bot potrebbero verificare automaticamente l’indirizzo email. Alcuni bot di recente hanno iniziato a creare veri e propri account email, e diventa impossibile inserirli in una blacklist. Sembra necessario un ulteriore controllo.

Rispondere a un quesito matematico

Dopo aver verificato l’indirizzo email, presentate un problema matematico sotto forma di CAPTCHA, come in figura.

Trova il gatto

Presentate ai vostri utenti una finestra di dialogo per identificare l’animale in ogni fotografia. Se molti bot riescono a rispondere ad un processo algebrico, solo pochi riescono ad identificare le differenze tra un gatto e un porcellino d’India.

Effetti ottici

Un altro sistema per eliminare il traffico di bot sul vostro sito fa parte sempre della funzionalità CAPTCHA, che si sta sviluppando sempre verso nuove frontiere. Presente ai vostri visitatori un effetto ottico, chiedendo di descrivere l’immagine nascosta all’interno.

Inserire il proprio numero di telefono

L’inserimento del numero di telefono è fondamentale per una strategia volta ad eliminare i bot. Una volta inserito, è inviato un codice di conferma per un doppio passaggio di conferma.

Per ulteriore verifica, si consiglia di chiamare i numeri registrati, per capire quali effettivamente sono attivi.

Abbiamo capito che i bot più avanzati riescono a rispondere con voci computerizzate, senza emotività.

Codice di sicurezza

I bot che processano il linguaggio Java Script, che hanno indirizzi email validi, che possono rispondere ai quesiti CAPTCHA, che possono interpretare le immagini tridimensionali e che hanno un numero di telefono valido saranno dentro i report di Google Analytics. Per fortuna potete chiedere ai vostri utenti una mail di conferma per ricevere un generatore di codice per l’autenticazione.

Il dispositivo ricevuto si aggiornerà ogni 30 secondi, sincronizzandosi con una serie di satelliti in orbita. Per accedere al sito gli utenti dovranno inserire il codice.

Completare un test di Turing

Ipotizzando che il bot riesca ad aggirare anche il codice di sicurezza, non ci resta che rivolgerci a qualche esperto psicologo per sottoporre un test di Turing, per determinare l’esistenza della persona. Potete far completare il test tramite Google Hangout o SurveyMonkey. Le domande dovrebbero includere “Perché sei arrivato a questo sito?” e “Quanto rimarresti deluso se scoprissi di non poter accedere a questo sito?”.

Trovare uno psichiatra locale

Gli utenti rimasti devono ora prenotare una visita dallo psichiatra. Il dottore in questione dovrebbe essere inserito tra i partner di Google Analytics, modalità Premium. Ogni utente deve quindi partecipare a una sessione, per stabilire finalmente di essere un essere umano. Un campione di sangue dovrebbe essere prelevato e mandato in laboratorio per ulteriori test.

Anche la vostra compagnia dovrebbe ricevere il campione di sangue per essere catalogato come una Custom Dimension a sé stante.

“Perché sono un essere umano?”

Siamo a pochi bot rimasti. Per essere assolutamente certi dell’eliminazione totale dei bot, dovrete chiedere ai vostri utenti di scrivere un tema dal titolo: “Perché sono un essere umano: una retrospettiva”. A correggere il tema una serie di personaggi altolocati: teologi, scienziati, filosofi e poeti.

Dopo mesi di dibattiti e diatribe, avremo finalmente la risposta: sono esseri umani i visitatori del mio sito web?

Se la risposta sarà positiva, potete cominciare ad utilizzare Google Analytics.

NOTA A MARGINE: tutti questi processi potrebbero far cadere, leggermente, le conversioni al vostro sito.

Fonte originale