Robots.txt ve sitemap ayarları, teknik SEO’nun en temel ama en çok yanlış anlaşılan alanlarından biridir. Bir web sitesinde içerikler kaliteli, başlıklar doğru ve backlink profili güçlü olsa bile Google sitenizi doğru tarayamıyor, önemli URL’leri keşfedemiyor veya gereksiz sayfalara tarama kaynağı harcıyorsa SEO performansı sınırlanabilir. Bu yüzden robots.txt ve sitemap dosyaları yalnızca teknik ayrıntı değil, Google’a sitenizin hangi bölümlerinin önemli olduğunu anlatan tarama ve keşif yönetimi araçlarıdır.
Robots.txt dosyası, arama motoru tarayıcılarına sitenizde hangi URL’lere erişebileceklerini söylemek için kullanılır. Google, robots.txt dosyasının temel olarak sitenizin isteklerle aşırı yüklenmesini önlemek ve taramayı yönetmek için kullanıldığını; ancak bir web sayfasını Google’dan gizlemek için güvenilir bir yöntem olmadığını açıklar. Sitemap ise sitenizdeki önemli sayfalar, videolar ve dosyalar hakkında arama motorlarına bilgi veren dosyadır; Google bu dosyayı sitenizi daha verimli taramak için okuyabilir.
Bu rehberde robots.txt nedir, sitemap nedir, ikisi arasındaki farklar nelerdir, Google’ın siteyi doğru taraması için nasıl yapılandırılmalıdır, WordPress ve e-ticaret sitelerinde hangi hatalar yapılır, Search Console üzerinden nasıl kontrol edilir ve 2026’da güvenli teknik SEO ayarı nasıl kurulmalıdır sorularını detaylı şekilde bulabilirsiniz.
Robots.txt, web sitenizin kök dizininde yer alan ve arama motoru botlarına hangi URL yollarını tarayıp tarayamayacaklarını bildiren düz metin dosyasıdır. Örneğin Googlebot’un belirli yönetim paneli klasörlerini, filtre parametrelerini veya gereksiz arama sonuç sayfalarını taramasını istemiyorsanız robots.txt üzerinden kurallar tanımlayabilirsiniz. Bu dosya, arama motorlarına yönelik bir tarama yönergesidir.
Google, robots.txt dosyasının sitenizin kök dizininde bulunması gerektiğini ve yalnızca bulunduğu protokol, host ve port kapsamındaki URL’ler için geçerli olduğunu belirtir. Örneğin https://example.com/robots.txt dosyası yalnızca https://example.com/ altındaki URL’ler için geçerlidir; https://sub.example.com/ veya http://example.com/ gibi farklı host ya da protokol sürümleri için ayrı robots.txt gerekebilir.
Robots.txt dosyasının temel kullanım alanları şunlardır:
Gereksiz tarama yükünü azaltmak
Yönetim paneli veya sistem dosyalarının taranmasını engellemek
Parametreli ve filtreli URL’lerin tarama kontrolünü sağlamak
Site içi arama sonuç sayfalarının taranmasını sınırlandırmak
Belirli botlara özel kurallar tanımlamak
Sitemap konumunu arama motorlarına bildirmek
Büyük sitelerde tarama kaynaklarını daha verimli kullanmak
Botların site üzerinde hangi alanlara erişebileceğini düzenlemek
Robots.txt, indeksleme kontrolüyle karıştırılmamalıdır. Bir URL robots.txt ile engellense bile başka sayfalardan link alıyorsa Google URL’yi bazı durumlarda içeriğini görmeden dizinde gösterebilir. Robots.txt taramayı yönetir; bir sayfayı Google’dan kesin kaldırma aracı değildir.
Sitemap Nedir?
Sitemap, sitenizdeki önemli URL’leri, dosyaları, videoları veya sayfa ilişkilerini arama motorlarına bildiren dosyadır. En yaygın kullanım biçimi XML sitemap’tir. Sitemap, Google’a “Sitemde önemli olduğunu düşündüğüm sayfalar bunlar” demenin düzenli bir yoludur. Özellikle büyük siteler, yeni siteler, zayıf iç link yapısına sahip siteler ve sık güncellenen yayın siteleri için sitemap çok değerlidir.
Google, sitemap dosyasının arama motorlarına sitenizdeki sayfalar, videolar ve diğer dosyalar hakkında bilgi verdiğini ve bu dosyanın Google’ın sitenizi daha verimli taramasına yardımcı olabileceğini açıklar. Sitemap ayrıca sayfanın ne zaman güncellendiği ve farklı dil sürümleri gibi ek bilgiler de içerebilir.
Sitemap’in temel kullanım alanları şunlardır:
Önemli URL’leri Google’a bildirmek
Yeni veya güncellenmiş sayfaların keşfini kolaylaştırmak
Büyük sitelerde sayfa listesini düzenli sunmak
E-ticaret ürün ve kategori URL’lerini organize etmek
Haber, video ve görsel içerikleri özel sitemap yapılarıyla bildirmek
Çok dilli sitelerde alternatif dil sürümlerini desteklemek
Search Console üzerinden tarama ve hata takibi yapmak
Canonical URL’lerin Google’a daha net bildirilmesine yardımcı olmak
Sitemap göndermek, indeksleme garantisi vermez. Google bir URL’yi sitemap içinde görse bile sayfanın kalitesini, erişilebilirliğini, canonical durumunu, noindex etiketini ve site içindeki önemini ayrıca değerlendirir. Sitemap Google’a yol haritası sunar; Google’ın her yolu mutlaka kullanacağı anlamına gelmez.
Robots.txt ve Sitemap Arasındaki Fark Nedir?
Robots.txt ve sitemap birbirini tamamlayan ama farklı görevleri olan dosyalardır. Robots.txt, botlara hangi alanların taranıp taranamayacağını bildirir. Sitemap ise önemli URL’leri arama motorlarına liste halinde sunar. Biri tarama izni ve sınırlandırma mantığıyla çalışır; diğeri keşif ve bildirim mantığıyla çalışır.
Bu fark doğru anlaşılmazsa teknik SEO hataları oluşur. Örneğin sitemap içinde yer alan önemli bir URL, robots.txt ile engellenirse Google o sayfayı taramakta zorlanabilir. Ya da robots.txt dosyasına sitemap konumu yazılmamış olsa bile sitemap Search Console üzerinden gönderilebilir; ancak robots.txt içinde sitemap referansı eklemek arama motorlarının dosyayı bulmasını kolaylaştırabilir.
Temel farklar şu şekildedir:
Robots.txt tarama izinlerini yönetir.
Sitemap önemli URL listesini bildirir.
Robots.txt botlara “buraya girme” diyebilir.
Sitemap botlara “bu URL’leri bil” der.
Robots.txt yanlış kullanılırsa önemli sayfalar taranamaz.
Sitemap yanlış kullanılırsa gereksiz veya hatalı URL’ler Google’a bildirilir.
Robots.txt indeks dışı bırakma garantisi değildir.
Sitemap indeksleme garantisi değildir.
Robots.txt kök dizinde bulunmalıdır.
Sitemap farklı konumlarda olabilir ama Google’a bildirilmelidir.
Doğru teknik SEO’da bu iki dosya çelişmez, birbirini destekler. Robots.txt Google’ın nerelere gideceğini yönetir; sitemap Google’a neleri önemli gördüğünüzü anlatır.
Robots.txt Dosyası Nerede Bulunmalı?
Robots.txt dosyası, sitenin kök dizininde bulunmalıdır. Örneğin siteniz https://www.example.com/ ise robots.txt dosyanız https://www.example.com/robots.txt adresinde olmalıdır. Alt klasöre konulan robots.txt dosyası geçerli sayılmaz. Bu nedenle https://www.example.com/dosyalar/robots.txt gibi bir konum Googlebot için site robots dosyası olarak değerlendirilmez.
Google, robots.txt dosyasının geçerli olabilmesi için ilgili site hostunun kök dizininde bulunması gerektiğini açıkça belirtir. Ayrıca robots.txt dosyası protokol, host ve port özelinde geçerlidir. Bu, HTTP ve HTTPS sürümleri, www ve non-www yapıları veya alt domainler için ayrı değerlendirme yapılması gerektiği anlamına gelir.
Robots.txt konum kontrolünde dikkat edilecekler:
Dosya site kök dizininde olmalıdır.
HTTPS sürümü için doğru robots.txt sunulmalıdır.
www ve non-www sürümleri tutarlı olmalıdır.
Alt domainler için ayrı robots.txt gerekebilir.
Dosya 200 durum koduyla açılmalıdır.
Dosya HTML sayfası değil, düz metin olmalıdır.
Yanlış yönlendirme zincirleri olmamalıdır.
Test ortamı kuralları canlı siteye taşınmamalıdır.
Dosya UTF-8 gibi uygun biçimde kaydedilmelidir.
Sunucu robots.txt erişimini engellememelidir.
Robots.txt dosyası yanlış yerdeyse kurallarınız geçerli olmayabilir. Robots.txt dosyasının ilk şartı doğru yazılması değil, doğru yerde erişilebilir olmasıdır.
Robots.txt Dosyası Nasıl Yazılır?
Robots.txt dosyası temel olarak user-agent, allow, disallow ve sitemap gibi satırlardan oluşur. User-agent hangi bot için kural yazıldığını belirtir. Disallow belirli yolların taranmasını engeller. Allow ise özellikle daha geniş bir engel içinde belirli bir yolun taranmasına izin vermek için kullanılabilir. Sitemap satırı ise sitemap dosyasının konumunu bildirir.
Basit bir robots.txt dosyasında tüm botlara izin verilebilir veya belirli klasörler engellenebilir. Ancak burada dikkatli olunmalıdır. Tek bir yanlış satır tüm sitenin taranmasını engelleyebilir. Özellikle Disallow: / ifadesi tüm siteyi taramaya kapatabilir. Bu kural bazen test ortamlarında kullanılır; fakat canlı siteye taşınırsa ciddi SEO kaybına neden olabilir.
Robots.txt yazarken dikkat edilmesi gerekenler:
User-agent satırı doğru tanımlanmalıdır.
Disallow kuralları net ve kontrollü yazılmalıdır.
Tüm siteyi kapatan kurallar canlıda kullanılmamalıdır.
Yönetim paneli gibi gereksiz alanlar kapatılabilir.
CSS ve JavaScript dosyaları gereksiz yere engellenmemelidir.
Sitemap satırı eklenmelidir.
Büyük/küçük harf duyarlılığı dikkate alınmalıdır.
Kural ekledikten sonra test yapılmalıdır.
Eski test ortamı kuralları temizlenmelidir.
Gereksiz karmaşık kurallardan kaçınılmalıdır.
Robots.txt dosyasında sadelik çoğu zaman daha güvenlidir. Anlamadığınız bir disallow kuralı, sitenizin önemli bölümünü Google’a kapatabilir.
Robots.txt İçinde Sitemap Nasıl Belirtilir?
Robots.txt dosyasında sitemap konumu Sitemap: satırıyla belirtilebilir. Bu satır, arama motorlarına sitemap dosyanızın nerede olduğunu göstermeye yardımcı olur. Sitemap dosyasını Search Console üzerinden göndermek yeterli olabilir; ancak robots.txt içine sitemap referansı eklemek iyi bir teknik SEO alışkanlığıdır.
Google, her site için robots.txt dosyasında o siteye ait sitemap dosyasının referans gösterilebileceğini açıklar. Sitemap farklı bir hostta barındırılıyorsa bile robots.txt içinde tam URL olarak belirtilebilir.
Robots.txt içinde sitemap belirtirken dikkat edilecekler:
Sitemap tam URL ile yazılmalıdır.
HTTPS sürümü tercih edilmelidir.
Sitemap URL’si 200 durum kodu döndürmelidir.
Sitemap dosyası robots.txt ile engellenmemelidir.
Sitemap index kullanılıyorsa ana sitemap index URL’si belirtilebilir.
Birden fazla sitemap varsa birden fazla sitemap satırı eklenebilir.
Sitemap içinde canonical URL’ler yer almalıdır.
Eski sitemap URL’leri kaldırılmalıdır.
Test ortamına ait sitemap referansı canlıda kalmamalıdır.
Sitemap satırı user-agent bloğundan bağımsız kullanılabilir.
Sitemap satırı robots.txt dosyasını daha kullanışlı hale getirir. Robots.txt içinde sitemap göstermek, Google’a site haritanızın kapısını açıkça işaret etmektir.
Sitemap Dosyası Nasıl Oluşturulur?
Sitemap dosyası manuel, CMS eklentisi, e-ticaret altyapısı veya özel yazılım üzerinden oluşturulabilir. WordPress sitelerde SEO eklentileri genellikle sitemap oluşturur. Shopify, WooCommerce, Magento, OpenCart veya özel e-ticaret sistemlerinde ürün, kategori ve sayfa URL’leri otomatik sitemap yapısına dahil edilebilir. Önemli olan sitemap’in temiz, güncel ve sadece indekslenmesi istenen URL’leri içermesidir.
Google, sitemap oluşturma ve gönderme dokümanında sitemap’in farklı formatlarda olabileceğini; ancak XML sitemap’in yaygın olduğunu belirtir. Sitemap içinde Google’a bildirilmesini istediğiniz önemli URL’ler bulunmalıdır.
Sitemap oluştururken dikkat edilecekler:
Yalnızca önemli ve indekslenebilir URL’ler eklenmelidir.
404 sayfalar sitemap içinde olmamalıdır.
Noindex sayfalar sitemap’e eklenmemelidir.
Yönlendirme yapan URL’ler sitemap’te bulunmamalıdır.
Canonical olmayan URL’ler sitemap’e eklenmemelidir.
Parametreli ve filtreli gereksiz URL’ler hariç tutulmalıdır.
Güncelleme tarihleri doğru olmalıdır.
Büyük sitelerde sitemap index yapısı kullanılmalıdır.
Video, görsel veya haber özel sitemap ihtiyacı değerlendirilmelidir.
Sitemap düzenli olarak güncellenmelidir.
Sitemap’in amacı her URL’yi listelemek değildir. İyi sitemap, sitenin en değerli ve indekslenmesi istenen URL’lerini temiz şekilde sunar.
XML Sitemap İçinde Hangi URL’ler Olmalı?
XML sitemap içinde yalnızca Google tarafından bilinmesini ve değerlendirilmesini istediğiniz önemli URL’ler bulunmalıdır. Bu URL’ler erişilebilir, kaliteli, canonical, indekslenebilir ve kullanıcıya değer sunan sayfalar olmalıdır. Her sayfayı sitemap’e eklemek iyi bir fikir değildir; özellikle düşük kaliteli, kopya, parametreli veya teknik sayfaların sitemap içinde yer alması kalite sinyallerini zayıflatabilir.
E-ticaret sitelerinde ürün ve kategori URL’leri dikkatle seçilmelidir. Stokta olmayan ürünler, kalıcı kaldırılmış ürünler, filtre URL’leri, arama sonuç sayfaları ve parametreli sayfalar ayrı değerlendirilmelidir. Blog sitelerinde yazılar, önemli kategoriler ve stratejik sayfalar yer alabilir; ancak etiket arşivleri, yazar arşivleri veya zayıf arşiv sayfaları her zaman sitemap’e dahil edilmemelidir.
Sitemap içinde yer alması gereken URL’ler:
Ana sayfa
Önemli kategori sayfaları
Önemli ürün sayfaları
Hizmet sayfaları
Kaliteli blog yazıları
Rehber ve bilgi sayfaları
Marka veya koleksiyon sayfaları
Yerel şube veya lokasyon sayfaları
Video veya haber içerikleri için uygun özel URL’ler
Canonical ve 200 durum kodu döndüren sayfalar
Sitemap içinde yer almaması gereken URL’ler:
Noindex sayfalar
404 sayfalar
301 veya 302 yönlendiren URL’ler
Canonical etiketi başka URL’ye giden sayfalar
Site içi arama sonuçları
Parametreli gereksiz URL’ler
Kopya filtre sayfaları
Test ve staging URL’leri
Giriş, sepet, ödeme gibi özel kullanıcı sayfaları
Boş veya düşük kaliteli arşiv sayfaları
Sitemap temizliği, indeks kalitesini destekler. Google’a ne kadar çok URL bildirdiğiniz değil, ne kadar doğru URL bildirdiğiniz önemlidir.
Sitemap Search Console’a Nasıl Gönderilir?
Sitemap dosyası Google Search Console üzerinden gönderilebilir. Bunun için Search Console’da ilgili mülk seçilir, Sitemaps raporuna gidilir ve sitemap URL’si eklenir. Google’ın Sitemaps raporu, yeni sitemap’leri bildirmek, gönderim geçmişini görmek ve Google’ın sitemap’i işlerken karşılaştığı hataları takip etmek için kullanılır.
Sitemap göndermek, Google’ın tüm sayfaları indeksleyeceği anlamına gelmez. Search Console yalnızca sitemap’in Google tarafından okunup okunmadığını ve hatalar olup olmadığını gösterir. Bir URL sitemap içinde yer alsa bile Google kalite, erişilebilirlik, canonical ve indeksleme sinyallerine göre karar verir.
Search Console sitemap gönderim adımları:
Doğru Search Console mülkü seçilir.
Sitemap URL’si kontrol edilir.
Sitemaps raporuna gidilir.
Sitemap dosya yolu eklenir.
Gönderim sonrası durum izlenir.
Hatalar varsa rapordan incelenir.
Sitemap içinde kaç URL keşfedildiği kontrol edilir.
İndekslenmeyen önemli URL’ler ayrıca analiz edilir.
Eski sitemap URL’leri gerekirse kaldırılır.
Sitemap güncellemeleri düzenli takip edilir.
Search Console sitemap raporu bir kurulum adımı değil, takip alanıdır. Sitemap’i göndermek başlangıçtır; asıl değer hataları ve indeksleme durumunu düzenli izlemekle ortaya çıkar.
Robots.txt ile Noindex Arasındaki Fark
Robots.txt ile noindex sık karıştırılır. Robots.txt taramayı engeller; noindex ise sayfanın dizine eklenmemesini ister. Eğer bir sayfayı Google dizininden çıkarmak istiyorsanız robots.txt her zaman doğru araç değildir. Çünkü robots.txt ile engellenen sayfanın içeriği Google tarafından okunamayabilir, dolayısıyla sayfadaki noindex etiketi de görülemeyebilir.
Google, robots.txt dosyasının bir sayfayı Google sonuçlarından gizlemek için kullanılmaması gerektiğini belirtir. Sayfa başka yerlerden link alıyorsa, Google içeriği taramadan URL’yi sonuçlarda gösterebilir.
Noindex etiketi görülebilmek için sayfanın taranabilir olmasını gerektirir.
Robots.txt gizlilik aracı değildir.
Noindex dizinden çıkarma isteği için daha uygundur.
Robots.txt tarama bütçesi yönetiminde kullanılır.
Noindex arama sonuçlarında görünmemesi gereken sayfalarda kullanılır.
Bu ayrım doğru yapılmazsa sayfa hem taranamaz hem de noindex etiketi görülemez. Bir sayfayı indeks dışı bırakmak istiyorsanız, robots.txt ile engellemeden önce noindex mantığını doğru değerlendirmelisiniz.
Robots.txt ile Canonical Arasındaki Fark
Robots.txt ve canonical farklı amaçlara hizmet eder. Robots.txt botların belirli URL’leri taramasını engeller. Canonical ise benzer veya kopya içerikler arasında hangi URL’nin ana sürüm olduğunu bildirir. Eğer bir sayfa robots.txt ile engellenirse Google o sayfadaki canonical etiketini göremeyebilir.
Bu hata özellikle e-ticaret filtre URL’lerinde sık yapılır. Site sahibi filtreli URL’leri robots.txt ile engeller ve aynı zamanda bu URL’lerden ana kategoriye canonical vermeye çalışır. Fakat Google engellenen sayfayı tarayamazsa canonical sinyalini okuyamaz. Bu nedenle canonical kullanılacak sayfaların taranabilir olması gerekir.
Canonical indeks sinyallerini konsolide etmeye yardımcı olur.
Robots.txt ile kapatılan sayfadan canonical sinyali almak güvenilir değildir.
Canonical verilen URL erişilebilir ve indekslenebilir olmalıdır.
Bu iki araç birlikte kullanılabilir ama amaçları karıştırılmamalıdır. Canonical sinyalinin çalışmasını istiyorsanız Google’ın o sayfayı tarayabilmesi gerekir.
Robots.txt Hataları Nelerdir?
Robots.txt hataları sitenin Google tarafından doğru taranmasını ciddi şekilde etkileyebilir. En yaygın hata, geliştirme aşamasında kullanılan engelleme kurallarının canlı siteye taşınmasıdır. Özellikle Disallow: / kuralı tüm siteyi taramaya kapatabilir. Bu hata fark edilmezse organik görünürlükte büyük düşüş yaşanabilir.
Bir diğer hata, CSS ve JavaScript dosyalarını engellemektir. Google sayfayı modern tarayıcı gibi işlemeye çalışır; önemli CSS ve JS dosyalarının engellenmesi sayfanın doğru anlaşılmasını zorlaştırabilir. Ayrıca önemli kategori veya ürün klasörlerini yanlışlıkla engellemek de büyük e-ticaret sitelerinde ciddi sorun yaratır.
Yaygın robots.txt hataları:
Tüm siteyi Disallow: / ile kapatmak
Canlı siteye test ortamı robots dosyası taşımak
Önemli ürün veya kategori klasörlerini engellemek
CSS ve JavaScript dosyalarını gereksiz kapatmak
Sitemap satırını yanlış yazmak
Alt domainler için robots.txt dosyasını unutmak
Büyük/küçük harf farklarını dikkate almamak
Noindex amacıyla robots.txt kullanmak
Canonical okunması gereken sayfaları engellemek
Robots dosyasının 404 veya 5xx dönmesi
Robots.txt hataları çoğu zaman tek satırla oluşur ama etkisi site geneline yayılır. Robots.txt dosyasındaki küçük bir yanlış, Google’ın sitenizin en önemli sayfalarına ulaşmasını engelleyebilir.
Sitemap Hataları Nelerdir?
Sitemap hataları, Google’a yanlış URL listesi göndermenize neden olur. En yaygın hatalar; 404 sayfaların, yönlendiren URL’lerin, noindex sayfaların, canonical olmayan URL’lerin, parametreli URL’lerin ve düşük kaliteli sayfaların sitemap içinde bulunmasıdır. Bu tür hatalar sitemap’in güvenilirliğini azaltabilir.
Sitemap içinde her URL’nin kaliteli, erişilebilir ve indekslenebilir olması beklenir. Sitemap bir çöp URL listesi haline gelirse Google’a sitenizin önemli sayfalarını net anlatmak zorlaşır. Büyük sitelerde sitemap hataları genellikle otomatik sistemlerden kaynaklanır; ürün silinir ama sitemap’ten çıkmaz, kategori yönlendirilir ama eski URL kalır veya noindex sayfa hâlâ listelenir.
Yaygın sitemap hataları:
404 URL’leri sitemap içinde tutmak
301 veya 302 yönlendiren URL’leri eklemek
Noindex sayfaları sitemap’e dahil etmek
Canonical olmayan URL’leri listelemek
Parametreli URL’leri kontrolsüz eklemek
Staging veya test URL’lerini sitemap’e koymak
Eski domain URL’lerini sitemap’te bırakmak
Boş kategori veya düşük kaliteli sayfaları eklemek
Sitemap dosyasını güncel tutmamak
Çok büyük sitemap’i bölmeden kullanmak
Sitemap hataları Google’ın sitenizi yanlış önceliklendirmesine neden olabilir. Temiz sitemap, Google’a net mesaj verir; kirli sitemap ise teknik karmaşa üretir.
WordPress’te Robots.txt ve Sitemap Ayarları
WordPress sitelerde robots.txt ve sitemap ayarları genellikle SEO eklentileriyle yönetilir. Rank Math, Yoast, All in One SEO ve benzeri eklentiler otomatik XML sitemap oluşturabilir. WordPress ayrıca temel sitemap özelliğine de sahiptir. Ancak SEO eklentisi kullanılıyorsa hangi sitemap sisteminin aktif olduğu kontrol edilmelidir.
WordPress’te robots.txt sanal olarak üretilebilir veya fiziksel dosya olarak sunucuda bulunabilir. Bazı hosting veya güvenlik eklentileri robots.txt çıktısını değiştirebilir. Bu nedenle dosyanın gerçek çıktısı tarayıcıdan kontrol edilmelidir. Ayrıca WordPress’te etiket arşivleri, yazar arşivleri, tarih arşivleri ve medya ek sayfaları indeks stratejisine göre yönetilmelidir.
WordPress kontrol listesi:
SEO eklentisi sitemap’i aktif mi?
WordPress varsayılan sitemap’iyle çakışma var mı?
Robots.txt doğru açılıyor mu?
Sitemap robots.txt içinde belirtilmiş mi?
Etiket ve arşiv sayfaları stratejik mi?
Medya ek sayfaları indeksleniyor mu?
Noindex sayfalar sitemap’ten çıkarılmış mı?
Kategori sayfaları sitemap’e dahil edilmeli mi?
Yazar arşivleri gerekli mi?
Search Console sitemap hataları kontrol ediliyor mu?
WordPress’te her şey eklentiyle otomatik oluşabilir ama strateji otomatik oluşmaz. WordPress robots.txt ve sitemap ayarları, sitenin içerik mimarisine göre bilinçli yapılandırılmalıdır.
E-Ticaret Sitelerinde Robots.txt ve Sitemap Stratejisi
E-ticaret sitelerinde robots.txt ve sitemap stratejisi çok daha kritiktir çünkü binlerce ürün, kategori, filtre, sıralama, arama ve varyant URL’si oluşabilir. Bu URL’ler kontrol edilmezse Google gereksiz sayfalara tarama kaynağı harcar, önemli ürün ve kategori sayfalarını daha geç keşfedebilir veya yanlış URL’leri indeksleyebilir.
Google’ın e-ticaret URL yapısı rehberi, URL yapısının Google’ın siteyi daha verimli bulmasına ve taramasına yardımcı olabileceğini açıklar. Özellikle parametrelerin, filtrelerin ve kopya URL’lerin yönetimi büyük e-ticaret sitelerinde kritik önemdedir.
E-ticaret sitelerinde dikkat edilmesi gerekenler:
Ana kategori ve stratejik alt kategori URL’leri sitemap içinde olmalıdır.
Önemli ürün sayfaları sitemap’e eklenmelidir.
Stok dışı ürünler stratejiye göre yönetilmelidir.
Filtre URL’leri arama değerine göre sınıflandırılmalıdır.
Sıralama ve görünüm parametreleri sitemap’e eklenmemelidir.
Site içi arama sonuçları genellikle indekslenmemelidir.
Sepet, ödeme ve kullanıcı hesabı sayfaları sitemap’te olmamalıdır.
Robots.txt önemli CSS ve JS dosyalarını engellememelidir.
Ürün varyantları canonical stratejisiyle uyumlu olmalıdır.
Sitemap düzenli olarak ürün stok ve URL durumuna göre güncellenmelidir.
E-ticarette amaç tüm URL’leri Google’a göstermek değildir. Amaç, Google’ın en değerli ürün ve kategori sayfalarına en temiz yoldan ulaşmasını sağlamaktır.
Büyük Blog ve Haber Sitelerinde Robots.txt ve Sitemap
Büyük blog ve haber sitelerinde binlerce yazı, kategori, etiket, yazar arşivi, tarih arşivi ve medya sayfası oluşabilir. Bu yapı kontrol edilmezse Google çok sayıda düşük değerli arşiv sayfasını tarayabilir. Sitemap ve robots.txt, bu sitelerde içerik envanterini daha düzenli yönetmek için önemlidir.
Haber sitelerinde ayrıca haber sitemap’i gibi özel yapılandırmalar gerekebilir. Video ağırlıklı içeriklerde video sitemap değerlendirilebilir. Ancak temel mantık değişmez: Google’a önemli, güncel, kaliteli ve indekslenmesi istenen URL’leri bildirmek gerekir.
Büyük yayın sitelerinde dikkat edilecekler:
Eski ve zayıf etiket arşivleri kontrol edilmelidir.
Tarih arşivleri indeks stratejisine göre yönetilmelidir.
Yazar arşivleri gerçekten değerliyse açık bırakılmalıdır.
Haber sitemap’i ihtiyacı değerlendirilmelidir.
Güncel yazılar sitemap’te hızlı güncellenmelidir.
Eski kaldırılmış yazılar sitemap’ten çıkarılmalıdır.
Medya dosyaları doğru yönetilmelidir.
Sayfalama ve arşiv URL’leri dikkatle ele alınmalıdır.
Robots.txt önemli içerik klasörlerini engellememelidir.
Search Console indeks raporları düzenli izlenmelidir.
Büyük içerik sitelerinde teknik SEO’nun ana hedefi tarama verimliliğidir. Google’ın zayıf arşivlerde kaybolmasını değil, değerli içerikleri hızlı bulmasını sağlamalısınız.
Site Taşıma Sonrası Robots.txt ve Sitemap Kontrolü
Site taşıma, alan adı değişimi, HTTPS geçişi, altyapı yenileme veya URL yapısı değişikliği sonrası robots.txt ve sitemap mutlaka kontrol edilmelidir. Birçok SEO kaybı, taşıma sonrası eski robots kurallarının, eski sitemap URL’lerinin veya yanlış yönlendirmelerin canlıda kalmasından kaynaklanır.
Özellikle yeni site yayına alınırken test ortamında kullanılan Disallow: / kuralı unutulmamalıdır. Yeni sitemap içinde eski domain, test domain veya yönlendiren URL’ler kalmamalıdır. Search Console’da yeni mülk doğrulanmalı ve yeni sitemap gönderilmelidir.
Taşıma sonrası kontrol listesi:
Canlı robots.txt dosyası tüm siteyi engelliyor mu?
Sitemap yeni domain URL’lerini içeriyor mu?
Eski domain URL’leri sitemap’ten çıkarıldı mı?
Eski URL’ler yeni karşılıklarına 301 yönleniyor mu?
Yeni canonical URL’ler doğru mu?
İç linkler yeni URL yapısına güncellendi mi?
Search Console’da yeni mülk doğrulandı mı?
Yeni sitemap gönderildi mi?
Robots.txt içinde eski sitemap referansı kaldı mı?
404 ve yönlendirme hataları takip ediliyor mu?
Site taşıma sonrası teknik temizlik yapılmazsa Google eski ve yeni yapıyı karışık algılayabilir. Taşıma sonrası robots.txt ve sitemap kontrolü, SEO sinyallerinin doğru adrese aktarılması için zorunludur.
Search Console ile Robots.txt ve Sitemap Nasıl Kontrol Edilir?
Google Search Console, robots.txt ve sitemap sorunlarını izlemek için temel araçtır. Sitemap raporu, gönderilen sitemap’lerin durumunu, Google’ın dosyayı okuyup okuyamadığını ve parsing hatalarını gösterir. URL Denetimi aracı ise belirli bir URL’nin Google tarafından taranabilir ve indekslenebilir olup olmadığını anlamaya yardımcı olur.
Robots.txt tarafında URL Denetimi ile Google’ın belirli URL’ye erişip erişemediği kontrol edilebilir. Eğer önemli bir sayfa robots.txt nedeniyle engellenmişse bu durum URL incelemesinde görülebilir. Sitemap tarafında ise gönderilen URL’lerin indekslenip indekslenmediği ayrıca Sayfalar raporundan kontrol edilmelidir.
Search Console kontrol adımları:
Sitemap raporu incelenir.
Sitemap başarılı şekilde okunuyor mu kontrol edilir.
Search Console yalnızca hata görmek için değil, teknik kararları doğrulamak için kullanılmalıdır. Robots.txt ve sitemap ayarlarının gerçekten çalışıp çalışmadığını Google’ın kendi verisiyle kontrol etmelisiniz.
Robots.txt ve Sitemap İçin 30 Günlük Teknik Kontrol Planı
Robots.txt ve sitemap ayarları bir kez yapılıp unutulmamalıdır. Özellikle sık içerik giren, ürün ekleyen, URL değiştiren veya teknik geliştirme yapan sitelerde düzenli kontrol gerekir. İlk 30 günlük plan, temel hataları bulmak ve temiz bir teknik yapı kurmak için uygulanabilir.
30 günlük plan şu şekilde olabilir:
1–3. gün: Robots.txt dosyasının konumu ve erişimi kontrol edilir.
4–5. gün: Kritik disallow kuralları analiz edilir.
6–8. gün: Sitemap dosyaları bulunur ve açılabilirlik kontrol edilir.
9–11. gün: Sitemap içindeki 404, yönlendirme ve noindex URL’ler taranır.
12–14. gün: Sitemap ve canonical uyumu kontrol edilir.
18–20. gün: Önemli URL’lerde URL Denetimi yapılır.
21–23. gün: E-ticaret filtre ve parametre URL’leri sınıflandırılır.
24–26. gün: WordPress veya CMS eklenti çakışmaları kontrol edilir.
27–28. gün: Robots.txt içine doğru sitemap referansı eklenir.
29–30. gün: Yeni teknik SEO takip listesi hazırlanır.
Bu plan özellikle yeni siteler, taşınmış siteler ve büyük kataloglu e-ticaret siteleri için faydalıdır. Teknik SEO’da en iyi sonuç, robots.txt ve sitemap dosyalarını düzenli denetim sistemiyle yönetmekten gelir.
2026 İçin Güvenli Robots.txt ve Sitemap Stratejisi
2026’da güvenli robots.txt ve sitemap stratejisi, Google’a sitenizin önemli bölümlerini net göstermek ve gereksiz tarama karmaşasını azaltmak üzerine kurulmalıdır. Bu stratejide robots.txt sade, anlaşılır ve riskli toplu engellerden uzak olmalıdır. Sitemap ise temiz, güncel ve yalnızca değerli URL’leri içermelidir.
Güvenli stratejinin temel kuralları şunlardır:
Robots.txt dosyası kök dizinde bulunmalıdır.
Canlı sitede tüm siteyi engelleyen kural olmamalıdır.
Önemli CSS ve JavaScript dosyaları engellenmemelidir.
Sitemap URL’si robots.txt içinde belirtilmelidir.
Sitemap içinde yalnızca canonical ve indekslenebilir URL’ler olmalıdır.
Noindex, 404 ve yönlendiren URL’ler sitemap’ten çıkarılmalıdır.
E-ticaret filtre ve parametre URL’leri stratejik yönetilmelidir.
Search Console düzenli kontrol edilmelidir.
Site taşıma veya tema değişiminden sonra dosyalar yeniden test edilmelidir.
Büyük sitelerde sitemap index yapısı kullanılmalıdır.
Robots.txt ve sitemap birlikte doğru çalıştığında Google sitenizin önemli alanlarını daha verimli keşfedebilir. Teknik SEO’nun amacı Google’a daha fazla URL göstermek değil, doğru URL’leri doğru sinyallerle göstermektir.
Sık Sorulan Sorular – S.S.S
1. Robots.txt nedir? Robots.txt, arama motoru botlarına sitenizde hangi URL veya klasörleri tarayıp tarayamayacaklarını bildiren düz metin dosyasıdır. Genellikle sitenin kök dizininde yer alır ve tarama yönetimi için kullanılır.
2. Sitemap nedir? Sitemap, sitenizdeki önemli sayfaları, videoları veya dosyaları arama motorlarına bildiren dosyadır. Google bu dosyayı sitenizi daha verimli keşfetmek ve taramak için kullanabilir.
3. Robots.txt ile sitemap arasındaki fark nedir? Robots.txt tarama izinlerini yönetir, sitemap ise önemli URL’leri bildirir. Biri botlara nerelere gitmemeleri gerektiğini söyleyebilir; diğeri hangi sayfaları önemli gördüğünüzü gösterir.
4. Robots.txt dosyası nerede olmalı? Robots.txt dosyası sitenin kök dizininde bulunmalıdır. Örneğin https://example.com/robots.txt şeklinde erişilebilir olmalıdır.
5. Robots.txt indekslemeyi engeller mi? Robots.txt taramayı engeller ama indekslemeyi kesin olarak engellemez. Bir URL başka kaynaklardan link alıyorsa Google içerik görmeden URL’yi bazı durumlarda sonuçlarda gösterebilir.
6. Bir sayfayı Google’dan kaldırmak için robots.txt yeterli mi? Hayır, bir sayfayı Google’dan kaldırmak için robots.txt doğru araç olmayabilir. Genellikle noindex, kaldırma aracı veya uygun durumlarda 404/410 gibi yöntemler değerlendirilmelidir.
7. Sitemap göndermek indeksleme garantisi verir mi? Hayır, sitemap göndermek indeksleme garantisi vermez. Google, sitemap içindeki URL’leri kalite, erişilebilirlik, canonical ve indeksleme sinyallerine göre değerlendirir.
8. Sitemap içinde hangi URL’ler olmalı? Sitemap içinde önemli, erişilebilir, canonical, indekslenebilir ve kullanıcıya değer sunan URL’ler olmalıdır. 404, noindex, yönlendirme veya parametreli gereksiz URL’ler sitemap’e eklenmemelidir.
9. Robots.txt içinde sitemap belirtilmeli mi? Evet, robots.txt içinde sitemap URL’sini belirtmek iyi bir uygulamadır. Bu, arama motorlarının sitemap dosyanızı daha kolay bulmasına yardımcı olabilir.
10. Search Console’a sitemap nasıl gönderilir? Search Console’da ilgili mülk seçilir, Sitemaps raporuna girilir ve sitemap dosya yolu eklenerek gönderilir. Sonrasında rapordan hata ve durum takibi yapılmalıdır.
11. WordPress’te sitemap nasıl oluşturulur? WordPress’te sitemap SEO eklentileriyle veya WordPress’in varsayılan sitemap özelliğiyle oluşturulabilir. Ancak hangi sitemap sisteminin aktif olduğu ve noindex sayfaların sitemap’e girip girmediği kontrol edilmelidir.
12. E-ticaret sitelerinde sitemap neden önemlidir? E-ticaret sitelerinde çok sayıda ürün, kategori ve varyant URL’si bulunur. Temiz sitemap, Google’a önemli ürün ve kategori sayfalarını daha düzenli bildirmeye yardımcı olur.
13. Filtre URL’leri sitemap’e eklenmeli mi? Her filtre URL’si sitemap’e eklenmemelidir. Sadece arama değeri ve kullanıcı faydası olan stratejik filtre sayfaları değerlendirilmeli, gereksiz parametreli URL’ler hariç tutulmalıdır.
14. Robots.txt ile CSS ve JavaScript dosyaları engellenmeli mi? Genellikle önemli CSS ve JavaScript dosyaları engellenmemelidir. Google’ın sayfayı doğru işlemesi için bu dosyalara erişebilmesi gerekebilir.
15. Disallow: / ne anlama gelir? Disallow: / kuralı ilgili user-agent için tüm sitenin taranmasını engeller. Bu kural canlı sitede yanlışlıkla kalırsa Google sitenizin önemli sayfalarını tarayamayabilir.
16. Sitemap dosyası ne sıklıkla güncellenmeli? Sitemap, yeni sayfalar eklendiğinde, eski URL’ler kaldırıldığında, ürünler değiştiğinde veya önemli içerikler güncellendiğinde otomatik veya düzenli olarak güncellenmelidir.
17. Robots.txt dosyası hata verirse ne olur? Robots.txt dosyası erişilemez veya sunucu hatası verirse botlar sitenizi tarama konusunda sorun yaşayabilir. Bu yüzden robots.txt dosyasının 200 durum koduyla açıldığı düzenli kontrol edilmelidir.
18. Sitemap içinde yönlendiren URL olur mu? Olmamalıdır. Sitemap içinde doğrudan 200 durum kodu döndüren, canonical ve indekslenebilir URL’ler bulunmalıdır; yönlendiren URL’ler sitemap’ten çıkarılmalıdır.
19. Site taşıma sonrası sitemap ve robots.txt kontrol edilmeli mi? Evet, mutlaka kontrol edilmelidir. Eski domain URL’leri, test ortamı kuralları, yanlış sitemap referansları ve tüm siteyi kapatan robots kuralları taşıma sonrası ciddi SEO kaybına neden olabilir.
20. 2026’da en güvenli robots.txt ve sitemap stratejisi nedir? En güvenli strateji; robots.txt dosyasını sade ve doğru konumda tutmak, önemli sayfaları engellememek, sitemap içinde yalnızca kaliteli ve canonical URL’lere yer vermek, Search Console üzerinden düzenli takip yapmak ve her teknik değişiklikten sonra dosyaları yeniden test etmektir.
