Le vie del SEO: Sitemap.xml e robot.txt
18 febbraio 2011 
Continua la rubrica le Vie del SEO con un altro nuovo articolo dove parleremo della fondamentale importanza delle sitemap e dei robot.txt nella scalata alla SERP.
Per questa lezione ho pure realizzato un piccolo video introduttivo 
1) L’importanza della SiteMap.xml
Sicuramente se avreste cercato sul web, vi sarebbe capitato più volte di sentire parlare della sitemap.xml, ma non avrete mai approfondito cosa fosse e/o a cosa servisse.
Allora questo file è di estrema importanza nella scalata della SERP ed è nient’altro che un mappa di tutte le pagina presenti all’interno di un sito web.
Il suo scopo è quello di non far perdere neanche una pagina ai motori di ricerca durante i setacciamenti che fanno giornalmente gli spider.
La sintassi di una sitemap.xml è la seguente:
1 2 3 4 5 6 7 8 9 | <!--l version="1.0" encoding="UTF-8--> <div> http://www.ebug.it/ 2010-02-17 daily </div> 1 |
Cosa dobbiamo ricordarci:
1) Dichiarare sempre l’ultima data di modifica della pagina;
2) Il periodo di aggiornamento di tale pagina;
3) La priorità della pagina ( va da 0.1 a 1 , la uno è solo la homepage);
Se possedeste un numero esoso di pagine da segnalare vi consiglierei alcuni ottimi servizi online per la creazione automatica di sitemap.xml finite:
- Per chi non possiede CMS http://www.xml-sitemaps.com/
- Per chi utilizza WordPress http://wordpress.org/extend/plugins/google-sitemap-generator/
2) La super importanza dei robot.txt
I robot.txt sono un altro elemento fondamentale per l’indicizzazione nei motori di ricerca, anche se fanno qualcosa che non vi immaginereste mai.
I robot.txt servono a dire ai motori di ricerca di non indicizzare nella SERP alcune determinate directory. Ma qual è la motivazione di inserire tale file?
Immaginiamo di possedere un’area privata con accesso a un pannello di controllo, per evitare di far indicizzare tale pagina e tale cartella usiamo i robot txt.
Qua vediamo il codice per realizzare un robot.txt:
1 2 3 4 5 | User-agent: * # possiamo pure inserire i commenti :D Disallow: /cms/ |
In questo modo abbiamo detto ai tutti gli spider di qualsiasi motore di ricerca di non intercettare e indicizzare i file presenti all’interno della cartella cms. Semplice, no?
Ovviamente possiamo pure decidere quale spider far intercettare una cartella.
Qua trovate una piccola lista di tutti spider e come chiamarli:
| Nome spider | Motore di ricerca |
|---|---|
| googlebot | |
| fast | Fast – Alltheweb |
| slurp | Inktomi – Yahoo! |
| scooter | Altavista |
| mercator | Altavista |
| ia_archiver | Alexa – Internet Archive |
Nel prossimo articolo cominceremo a parlare di tutte quelle tecniche che non dovete utilizzare per evitare di essere penalizzati dai motori di ricerca e quindi essere defalcati dalla SERP
Indice degli articoli di: Le vie del SEO
1. Le vie del Seo: Introduzione al SEO
2. Le vie del Seo: Chi è il SEO Specialist
3. Le vie del Seo: Motori di Ricerca, Directory e Spider
4. Le vie del SEO: Nome dominio e contenuti
5. Le vie del SEO: La Scelta della Keywords
6. Le vie del SEO: Ottimizzazione lato codice ( prima parte )
7. Le vie del SEO: Ottimizzazione lato codice ( seconda parte )
8. Le vie del SEO: Sitemap.xml e Robot.txt
9. Le vie del SEO: Tecniche Penalizzanti
10. Le vie del SEO: Landing Page e Network di siti internet
11. Le vie del SEO: Link Out-bound e Link Popularity
12. Le vie del SEO: Risorse Utili per i SEO  Specialist
Potresti trovare interessante anche
Bravo mbare ;D