Next.js ile Robots Dosyası Oluşturma

Next.js, modern web uygulamaları geliştirmek için popüler bir JavaScript frameworküdür. SEO açısından optimize edilmiş web siteleri oluşturmak için Next.js birçok özellik sunar. Bunlardan biri de robots.txt dosyası oluşturma imkanıdır.

Robots.txt Dosyası Nedir?

Robots.txt dosyası, web sitenizin hangi sayfalarına arama motorlarının erişebileceğini ve hangilerine erişemeyeceğini belirleyen bir metin dosyasıdır. SEO açısından önemli bir dosyadır çünkü arama motorlarının web sitenizin içeriğini doğru şekilde dizine eklemesine yardımcı olur.

Sitatik robots.txt Dosyası

• Ana dizine (app) robots.txt adında bir dosya oluşturun.
• Dosyaya aşağıdaki kodu ekleyin:

User-Agent: *
Allow: /
Disallow: /admin
Disallow: /privacy
 
Sitemap: https://www.kursadsimsek.com/sitemap.xml

Robots Dosyası Oluşturucu

• Ana dizine (app) robots.js adında bir dosya oluşturun.
• Dosyaya aşağıdaki kodu ekleyin:

export default function robots() {
  return {
    rules: {
      userAgent: '*',
      allow: '/',
      disallow: ['/admin', '/privacy']
    },
    sitemap: 'https://www.kursadsimsek.com/sitemap.xml'
  }
}

Çıktı:

User-Agent: *
Allow: /
Disallow: /admin
Disallow: /privacy
 
Sitemap: https://www.kursadsimsek.com/sitemap.xml

Özelleştirmeler

Bireysel arama motoru botlarının sitenizi nasıl tarayacağını özelleştirebilirsiniz. Örneğin:

export default function robots() {
  return {
    rules: [
      {
        userAgent: 'Googlebot',
        allow: ['/'],
        disallow: ['/private/']
      },
      {
        userAgent: ['Applebot', 'Bingbot'],
        disallow: ['/']
      }
    ],
    sitemap: 'https://www.kursadsimsek.com/sitemap.xml'
  }
}

Çıktı:

User-Agent: Googlebot
Allow: /
Disallow: /private/
 
User-Agent: Applebot
Disallow: /
 
User-Agent: Bingbot
Disallow: /
 
Sitemap: https://www.kursadsimsek.com/sitemap.xml

Robots.txt dosyasında hangi kuralları kullanmalısınız?

Robots.txt dosyasında kullanabileceğiniz birçok farklı kural vardır. En yaygın kullanılan kurallar şunlardır:

• User-agent => Arama motoru botunun adını belirler.
• Allow => Arama motorunun erişebileceği URL'leri belirler.
• Disallow => Arama motorunun erişemeyeceği URL'leri belirler.
• Sitemap => Arama motoruna web sitenizin sitemap'inin URL'sini verir.

SEO için robots.txt dosyasının önemi:

Robots.txt dosyası, SEO açısından önemli bir dosyadır çünkü arama motorlarının web sitenizin içeriğini doğru şekilde dizine eklemesine yardımcı olur. Doğru şekilde oluşturulmuş bir robots.txt dosyası, arama motorlarının web sitenizin önemli sayfalarını dizine eklemesini ve arama sonuçlarında daha üst sıralarda yer almasını sağlar.