Google'ın sitelerde gerçekleşen güncellemeleri daha yakından takip etmek ve daha kaliteli arama sonuçları sunabilmek için başlattığı Google Sitemaps projesini, yeni güncellemeler ve eklemelerle daha ileriye taşıdı. 'Google Sitemaps' ilk bakışta, siteye yeni bir yazı, haber, içerik eklendiği zaman bunu site haritası manasına gelen bir xml dosyasına kaydetmesi ve bu dosyanın Google Botları tarafından download edilerek incelenmesine dayanıyordu. Google sitenin tamamını dolaşmak yerine, böyle bir haritaya bakıyor ve elinde bulunan haritayla karşılaştırıyor. Eğer yeni bir ekleme varsa, bir sonraki ziyaretinde o kısımları indeksine alıyor. Sitemaps projesi buradan ortaya çıktı, site yöneticilerinden çok ilgi görmesinden ötürü bu projeye eklentiler yapılmaya başlandı. Örneğin, Google'ın siteleri ziyareti ve indekslemesi esnasında karşılaştığı hatalara yer verilmeye başlandı, yeni arayüz ile ziyaretçilerin ilgili siteleri hangi kelimelerle bulduğu bilgisi verilmeye başlandı, ayrıca hangi kelimelerle ilgili sitenin ziyaretçiye sonuç olarak gösterildiği (örn: benim sitem google'dan "hayalet sevgilim" diye aratıldığı zaman 22. sırada çıkıyormuş) gibi bilgiler verilmeye başlandı.
Madde madde Google Sitemaps projesinin site yöneticilerine verdiği hizmetleri özetlemek gerekirse:

Sitenize ulaşanlar hangi keywordlerle ulaştı ve bu keywordlerde siteniz kaçıncı sırada
Siteniz hangi kelimelerde Google tarafından gösteriliyor (örneğin benim sitemde hayalet sevgilim - 29 ile 1.sırada gösteriliyor, torrentturk 2. sırada gösteriliyor. Bunun manası, hayalet sevgilim google da 1000 kez aranmış, torrenttürk 600 defa aranmış, ama "hayalet sevgilim" de siz ortalama olarak 29. sırada gösterilmişsiniz, "torrenttürk" de ise 4.sırada gösterilmişsiniz)
Sitenizin altında bulunan sayfaların page analysis skoru. Bir manada page rank'i
Google'ın sitenizi indekslemesi esnasında karşılaştığı hatalar
Sitenizde önceden ulaşıpda şu anda ulaşamadığı sayfalar (HTTP 404 hataları, HTTP 200 uyarıları)
Arama motorlarınca en çok başvurulan kaynak olan robots.txt dosyası ve sitenizde varsa bununla ilgili Google'ın karşılaştığı durumlar
Google Sitemaps'i sitenize nasıl ekleyebileceğiniz ile ilgili kısaca özet vermek gerekirse:

Gmail'de hesap açmanız ve hesabınız olması gerekiyor
Sitenizin içeriğini Google'ın istediği Sitemap formatında yayınlamanız ve bunu sitenizde bir dosyaya kaydetmeniz gerekiyor. Benim sitemle ilgili sitemap'e bakmak isterseniz buraya tıklayabilirsiniz. Tıkladığınızda görceğiniz gibi çok da çetrefilli bir iş yapmıyorsunuz, sitenizin içeriğindeki makale yada google tarafından indekslenmesi gerektiğini düşündüğünüz herhangi bir linki; url, son eklenme tarihi, ne kadar sürede güncellendiği ve önceliği şeklinde ifade etmeniz gerekiyor.
- <url><br />
<loc>Linklerin Görülmesine İzin Verilmiyor. Üye Ol ya da Giriş Yap</loc><br />
<lastmod>2006-03-09T00:16:45+00:00</lastmod><br />
<changefreq>daily</changefreq> </p>
<priority>1</priority>
</url>

Google'ın changefreq kısmında, monthly, weekly,daily ve hourly opsiyonlarına yer veriliyor. Bu seçeneklerden kasıt, yazının ve ne kadar taze olduğunun anlaşılmasını sağlamak. Sitemap dosyası güncellendiği zaman yeni bir yazı eklendiyse onun changefreq tag'i hourly yada daily olarak değiştirilmesi gerekiyor. Bu değişikliğe göre geçen hafta eklenmiş bir yazının güncellenme sıklığı weekly, 1 ay evvel yayınlanmış bir yazının güncellenme sıklığının monthly olarak değiştirilmesi gerekiyor. Priority için 0.2, 0.5,0.8,1 şeklinde sayılar bulunuyor. Burada priority'den kasıt, yazının site içindeki önemi ve güncellenme sıklığı. Örneğin bir yazıyı siteye yeni eklediniz Google'ın buna dikkatini çekmek istiyorsunuz, burada changefreq kısmını hourly, priority kısmını yaptıktan sonra priority'sini (öncelik) 1 yapabilirsiniz. Burada kurnaz arkadaşların hemen aklına gelebilecek bir konu, bütün linkleri hourly yapmak ve priority lerini de 1 yapmak fikri tam olarak doğru değil. Google tarafı ile ilgili gelişmeleri yakından takip etmeme rağmen son aylarda blog'da yazı ekleyemedim ama Google 'search engine spammer' (arama motorları spammerları) ile ilgili ciddi mücadele etmeye başladı. Bu çerçevede algoritmalar ve bu tür websiteleri ve web adminlerini tespit eden çalışmalar yaptı. Bu algoritmalara göre sitenizde yapacağınız böyle bir çalışma Google tarafından spam veya aldatma olarak algılanabilir ve sitenizin Google'daki yerinde hoş olmayan sonuçlar doğurabilir. SEO forumlarını takip ederseniz birçok Website admini bu dertten yakınıyorlar. 'Sitem şu şu anahtar kelimelerinde ilk 10'da çıkarken bir değişiklikle ilk 100 de hatta 200 de bile yer bulamıyor, ne yapmalıyım?' şeklinde.

Eğer sitenizin yapısını xml olarak vermek için uğraşmak istemiyorsanız yada nasıl yapmanız gerektiğini bilmiyorsanız Google tarafından yeni duyurulan Google Sitemap Generator ı kullanabilirsiniz. Yalnız Google Sitemap Generator ile ilgili engel gibi görünen bir durum söz konusu, uygulama Phyton kullanılarak yazılmış. Phyton destekleyen sunucu bulmak kolay mıdır zor mudur çok bilmiyorum ama Php, Asp gibi script dilleriyle yazılmış olması sanırım kullanım kolaylığı açısından çok daha kolay olurdu. Google'ın Sitemap Generator'unun haricinde hazır uygulamalar için geliştirilmiş plug-in ler mevcut. Eğer siz de Wordpress, Drupal v.s. gibi hazır içerik yönetim sistemlerini (content management system) kullanıyorsanız kullandığınız versiyon ile ilgili scripti rahatça bulabilirsiniz. Benim sitemde kullandığım sitemaps'de Wordpress için hazırlanmış Google Sitemap Generator for Word Press plugin'i sayesinde gerçekleştiriliyor. Siz de WordPress kullanıyorsanız bu plug-in'i indirip wp-content/plugins dizinin altına açmanız ve Options - Plugins bölümünden aktif etmeniz yeterli. Bundan sonra yeni bir yazı eklediğiniz zaman otomatik olarak bu plug-in devreye girip, site kökünde bulunan sitemap.xml dosyasını güncelliyor. Burada bir güzel haber de, Google'ın RSS ve diğer syndication formatlarını da desteklemesi. Eğer hazır bir sistem kullanıyorsanız veya en azından RSS desteğiniz varsa direk olarak feed'inizi bir sonraki adımda bahsettiğim gibi ekleyebilirsiniz.

Sitemap hazırlığını yaptıktan sonra eklemek istediğiniz sitenin size ait olup olmadığını anlamak için Google, rastgele bir dosya isminde (google134154315231.html) içi boş olan bir dosyanın ilgili sitenin kök dizininde (sonofnights.com/google134154315231.html) oluşturulmasını şart koşuyor. Verify dediğiniz anda dosyanın varlığını kontrol ediyor, eğer o dosya mevcutsa siz bu hesabı kullanarak o sitenin istatistiklerini takip edebilir hale geliyorsunuz. Burada akla gelen bir konu, bir site birden fazla kişi tarafından takip edilebilir mi şeklinde. Sorunun cevabı 'evet'. Bir sitenin birden fazla admin'i olabileceği varsayılarak buna izin verilmiş durumda.
Sitenizde Google Sitemaps'in desteklediği protokollerden herhangi birisi bulunduğunu ve sitenizi Google'a eklediğinizi varsayıyorum. Bu aşamada Add Sitemaps diyerek, sitenizdeki RSS feedini veya sitemaps dosyasını submit ediyorsunuz. Bundan sonra sitenizle ilgili Google tarafında neler olduğunu takip edebilir hale geliyorsunuz.
Google'ın RSS ve yaygın kullanılan feed'leri desteklemesinin yanında sağladığı diğer kolaylık ise sitemaps dosyasının sıkıştırılmasını destekliyor olmaları. Örneğin sitenizde yüzlerce link var ve bunların hepsininin google tarafından dikkate alınmasını istiyorsunuz, çıkarttığınız xml dosyası da farzı muhal 1 mb. veya daha fazla bir boyutta oldu. Google gün aşırı bu dosyayı download edeceği için bandwidth sıkıntısı yaşamamak için, gzip ile sitemap dosyasınızı sıkıştırabilirsiniz. Google'ın sitemap dosyasınızı download etme sıklığı sitenizin google tarafındaki page rankine ve diğer sitelerden aldığı linklere bağlı birazda. Örneğin sitenizde bulunan bir yazı ilginç bulunup diğer sitelerde link verilerek bahsedildiyse, Google bu sayfaları crawl ederken devamlı sizin sitenizin linkini görmeye başlayınca sizin sitenizde neler döndüğünü merak ediyor ve sitemaps dosyanızı download ediyor. Ben bazı günler gün içinde 2-3 defa google'ın sitemdeki sitemaps dosyasını download ettiğine şahit oldum. Eminim yüksek hit alan siteler ve örneğin gazete siteleri bundan çok daha fazla nasibini alıyorlardır. Bu durum gzip kullanılmasını daha da önemli kılıyor. Sade halinde bir dosya 1 mb. tutarken, gzip ile sıkıştırdığınızda en az %80 gibi bir kazanç söz konusu oluyor.

Google Sitemap'te subdomain'lerle ilgili sitemap oluşturma izni veriliyor. Örneğin blog.sonofnights.com şeklinde bir subdomain tanımlamış olsaydım ve bunun yönetimi de başkaları tarafından yapılıyor olsaydı bu kısmın takip edilmesi mümkün oluyordu ancak sonofnights.com/baskadunyalar/ seklinde ana domainin alt dizinine map edilmiş bir siteyi eklemeniz mümkün olmuyor. Bu şekilde bir sitenin web adminliğini yaptığım zaman denediğimde domainin kök dizinine dosya yazmam gerektiğine işaret edildiği için Sitemap kullanmam mümkün olmadı. Sanırım Google Sitemap'te eksik bir nokta söz konusu. Örneğin web sunucusu sahipleri, sunucularında bulunan bütün siteleri takip edebilirler. Sunucu sahiplerinin yanında sitenin eski adminleri de siteyi takip edebilir durumdalar,çünkü bütün sitemap leri kişilerin hesaplarının altında. Dolayısıyla site ile ilgili özel bilgilerin gizli tutulması söz konusu olmuyor. Bu durumla Google'ın çok ilgileneceğini sanmıyorum, site sahiplerinin sitenin ana dizinine kimlerin dosya yazabileceği konusunu dikkate almaları gerekiyor.

Alıntı