Il file robots.txt in WordPress

Hai un sito WordPress? Allora dovresti conoscere il file robots.txt

Anche se può sembrare un dettaglio tecnico, il file robots.txt gioca un ruolo fondamentale nel dire ai motori di ricerca quali parti del tuo sito devono visitare e quali ignorare. In questa guida semplice e senza tecnicismi, spiegherò cos’è un robot.txt, a cosa serve e come usarlo nel modo giusto su WordPress.

Cos’è il file robots.txt?

Immagina che i motori di ricerca siano dei piccoli robot esploratori. Quando arrivano sul tuo sito, cercano di leggere tutto. Il file robots.txt è come un cartello all’ingresso del sito che dice:

  • “Entra pure qui!”
  • “Non guardare in questa stanza!”
  • “La mappa del sito è qui!”

Serve quindi a dire ai bot cosa possono e non possono visitare.

Il file robots.txt nel tuo sito WordPress

Il file robots.txt si trova nella radice del tuo sito, quindi puoi vederlo scrivendo nel browser:

https://iltuosito.it/robots.txt

Se il file esiste, lo vedrai subito. Se invece non lo trovi, non ti preoccupare: è possibile crearlo facilmente, anche senza conoscere il codice.

Perché è importante su WordPress?

Come impostazione predefinita, WordPress genera automaticamente molte pagine e sezioni: risultati di ricerca interna, archivi per tag, categorie, autori, ecc. Queste parti non sono sempre utili ai motori di ricerca, e a volte possono creare confusione o problemi di contenuti duplicati.

Con un buon file robots.txt puoi:

  • Dire a Google di concentrarsi sulle pagine giuste
  • Velocizzare l’indicizzazione dei contenuti importanti
  • Evitare che Google sprechi tempo su pagine irrilevanti
  • Evitare problemi di contenuti duplicati

È quindi uno strumento semplice ma potente per migliorare la SEO del tuo sito. Con il file robots.txt puoi:

Come creare o modificare il file robots.txt?

Metodo facile (consigliato):

La maggior parte degli utenti WordPress usa plugin per la SEO come Yoast SEO, Rank Math oppure All in One SEO. Questi plugin ti permettono di creare e modificare il file robots.txt direttamente dal pannello di amministrazione.

Prenderò ad esempio Yoast SEO che è il plugin che preferisco:

  1. Accedi alla bacheca di WordPress
  2. Vai su “Yoast SEO” > “Strumenti” > “Modifica file”
  3. Trova il file robots.txt (o crealo) e modificalo con le regole che desideri

Ecco gli screenshot:

Yoast SEO - Robot.txt da creare
Yoast SEO - Robot.txt creato e pronto per essere modificato

Metodo avanzato:

Se vuoi avere il controllo completo, puoi creare il file in questo modo:

  1. Apri un editor di testo (come Blocco Note)
  2. Scrivi le istruzioni (le vedremo tra poco)
  3. Salva il file come robots.txt
  4. Caricalo nella cartella principale del sito usando FTP o il File Manager del tuo hosting

Un esempio di file robots.txt per WordPress

Ecco un esempio base che puoi usare in modo sicuro nella maggior parte dei siti WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Disallow: /wp-includes/
Disallow: /search/
Disallow: /author/
Disallow: /tag/
Disallow: /category/
Disallow: /?s=

Sitemap: https://iltuosito.it/sitemap_index.xml

Vediamolo nel dettaglio:

  • User-agent: * = si applica a tutti i bot
  • Disallow: /wp-admin/ = non indicizzare l’area amministrativa
  • Allow: /wp-admin/admin-ajax.php = eccezione necessaria per il corretto funzionamento di alcune funzioni AJAX
  • Disallow: /search/, /tag/, /category/, ecc. = evita di indicizzare pagine non utili alla SEO
  • Sitemap: = indica ai motori di ricerca dove trovare la mappa del sito

Se usi Yoast SEO, la sitemap si trova quasi sempre su /sitemap_index.xml.

Consigli utili per principianti:

  • Blocca le pagine poco utili: quelle generate automaticamente da WordPress (tag, categorie, autori, ricerca interna) spesso non servono a Google.
  • Inserisci il link della sitemap: aiuta i motori a scoprire rapidamente tutte le pagine importanti del tuo sito.
  • Usa un plugin SEO: se non ti senti sicuro, lascia che un plugin faccia il lavoro per te in modo sicuro e veloce.

Errori comuni da evitare:

  • Non bloccare immagini o file importanti (come quelli in /wp-content/uploads/)
  • Non usare robots.txt per nascondere file sensibili: questo file non è una protezione vera e propria, è solo una “richiesta” per i motori di ricerca.
  • Non bloccare l’homepage o gli articoli! Sono le pagine più importanti del tuo sito

Come controllare se tutto funziona?

Dopo aver creato o modificato il file, puoi verificarne il contenuto andando su:

https://iltuosito.it/robots.txt

e verifica che le regole siano presenti.

Oppure usa questo strumento online: https://technicalseo.com/tools/robots-txt/

E se sbaglio qualcosa?

Niente panico: anche se inserisci una regola sbagliata, puoi modificare il file in qualsiasi momento. I motori di ricerca ripasseranno sul tuo sito periodicamente, quindi hai tutto il tempo per correggere eventuali problemi.

Il file robot.txt: un piccolo file che fa una grande differenza

Anche se è solo un piccolo file di testo, il robots.txt può fare una grande differenza per il tuo sito WordPress. Ti aiuta a dire a Google quali parti del tuo sito leggere e quali ignorare.

È semplice, veloce e può migliorare il modo in cui il tuo sito viene mostrato nei risultati di ricerca.

Con questa guida, sei pronto a creare un robots.txt efficace senza essere un esperto di SEO o di codice.

Condividi