Google Botları Web Sitenizi Nasıl Tarar? Neden Önemlidir?

Google Botları Nedir?

Dünya genelinde, her gün 6 milyara yakın Google sorgusu yapılıyor ve bu sayı gün geçtikçe artıyor. İstatistikler, Google kullanımının gelecekte, bugünden çok fazla olacağını ve Google’ın alanında daha çok kullanılacağını gösteriyor. Peki Google bunu nasıl yapıyor? Milyonlarca web sitesinin her gün ne paylaştığını kontrol eden bir mekanizmaya sahip ve bunu kusursuz yapıyor. Bu mekanizmanın adı da Google Botları olarak adlandırılıyor. Basit olarak anlatırsak, Google Botları, internetteki tüm web sitelerini tarıyor ve yeni olan içerikleri düzenli olarak Google dizinine eklenmesini sağlıyor.

Google, internetteki en popüler web sitesi ve onun üzerinde arama yapıldığında web siteniz çıkmıyorsa, sayfalarınız görünmüyorsa, içerikleriniz onun dizininde yoksa, internette de yoksunuz demektir. Tabii ki başka arama motorları var. Bing, Yandex, Yahoo ve diğerleri. Türkiye’de kullanımları da oldukça fazla. Fakat hiçbiri Google’ın aldığı trafiğe sahip değil ve Google kadar gelişmiş bir yapıları yok. Bu sebeplerden dolayı, Google’da olmak, bir web sitesi sahibi için olmazsa olmazdır.

Bu yazımızda, web sitenizde paylaştığınız bir içeriğin, Google Botları tarafından nasıl fark edilebileceğini anlatmaya çalışacağız. Aslında Google’a bizim bir şekilde sinyal göndermemize gerek yok. O zaten web’deki tüm internet sitelerini tarıyor. Ama bazı durumlarda gözden kaçırdığı sayfalar, içerikler veya yazılar olabiliyor. İşte bunlar için başlıklar altında küçük detaylar vereceğiz.

Google Botları Kaliteli ve Özgün İçerik Arar

Web sitenizde ne paylaşırsanız paylaşın, Google Botları bu içerikleri bir şekilde er ya da geç bulur ve Google indeksine ekler. Fakat buradaki önemli olan detay, bu süredir. Google botlarının fark etmeyeceği durumlar olabilir. Bu konuya yazının ilerleyen kısımlarda yer vereceğiz. Web sitenizde kaliteli içerik üretmeniz, arama motorlarında, özellikle Google’da bir adım önde olmanızı sağlar. Çünkü Google, kullanıcısına en yeni ve tazeyi, günceli en son çıkanı göstermek ister.

Mesela bir arama yaptığınızda, Google aramanızla eşleşen en yeni ve kaliteli içeriği size sunar. Siz bunu fark etmeseniz de, Google içerisinde böyle mükemmel bir sistem vardır ve bu devamlı sorunsuzca işler. Hangi web sitesinin hangi sıralamada olacağına Google algoritması karar verir. İşte bu sıralamayı yükselten ana maddelerden birisi, özgünlük ve kalitedir. Ayrıca eklemeliyiz ki bunlara güncellikte son yıllarda dahil edilmiştir.

Google web sitenizden aslında başarı için pek çok şey istemez. İstedikleri bellidir. Kalite, özgünlük ve güncellik. Örneğin eski bir konu veya rakipleriniz tarafından çokça yazılmış bir konu hakkında değişik bir bakış açısı ile bir içerik üretmeniz, Google için değerlidir. Bunu, kullanıcılarına okutmak için elinden geleni yapar. Fakat rakiplerinizin yaptıklarına benzer, tekrar veya kopya içeriğe sahip içerikleri daima öteler, sıralamanın sonuna atar belki dizine bile çıkartmayabilir. Buradaki mantık, Google’ın mükemmeliyetçi tavrını anlamaktan geçmektedir.

Google Botları Web Sitenizi Neden Taramaz?

Bu sorunun birden fazla sebebi vardır. Yukarıda anlattığımız durumlar pek sık yaşanmasa da, bir algoritma bile olsa Google’ın bazı durumlarda web sitelerini atlayabileceği ve indekse dahil etmeyeceği ile alakalıydı. Şimdi size neden bir web sitesi Google botları tarafından taranmaz, başlıklar halinde anlatmaya çalışacağız.

1-Google Botlarını Engellemiş Olabilirsiniz

Bir içerik yönetim sistemi kullanıyor olabilirsiniz. Bu sistem içerisinde bir seo eklentisi olabilir ve eklenti içinde “arama motorlarına taramayı kapat” gibi bir özelliği aktif etmiş olabilirsiniz. Bu durumda Google botları web sitenizi taramayabilir. Ya da robot.txt dosyanızın, web sitenizdeki bazı sayfaları taramaya kapatan kod bloklarına sahip olması muhtemeldir.

Bunu anlamanın en kolay yolu, Google dizinine eklenmediğini düşündüğünüz sayfanızı, Google url denetimi ile denetleyin. Bu denetim sırasında zaten bir kapsam sorunu veya indeks hatası varsa, Google size bunun neden böyle olduğunu detaylı bir şekilde açıklayacaktır.

2-Google Arama Konsolu ve Google Analytics Kullanmıyorsunuz

Yeni web sitelerinin taranması, Google Botları tarafından bazı durumlarda süre olarak uzayabilir. Bu süreyi kısaltmanın bir yolu da, Google Search Console hesabı açarak web sitenizi bu hesaba eklemektir. Özellikle bu konuda, Google arama konsolu çok iyi bir araçtır. Bu araç ile hem web sitenizin yeni url’lerini denetleyebilir hem de site haritanızı ekleyebilirsiniz. Bu arada “site haritası nedir? Nasıl düzenlenir ve Google’a nasıl gönderilir” konulu makalemizi okumanızı tavsiye ederiz.

Google’ın bu araçlarını devamlı ve düzenli bir şekilde kullanmak, sizin açınızdan pratik ve çok değerli olduğu gibi, Google açısından da önemlidir. Siz bu araçları kullandığınız sürece, Google’da web sitenizin devamlı güncel olduğunu görecektir. Bu sayede arama sıralamalarındaki puanlamanız da ona göre olacaktır.

3-Web Sitenizde Url Hiyerarşisi Hatalı Olabilir

Bir web sitesini ziyaret ettiğinizde, hizmet alacağınız sayfayı rahatlıkla bulmak istersiniz öyle değil mi? Kim bir web sitesinde istediği hizmet için dakikalarca gezmek ve o sayfadan o sayfaya sörf yapmak ister?

Kimse istemez. Aksine, internet kullanıcıları, hangi siteye girerlerse girsinler, işlerinin çabuk bitmesine bakarlar. İnternet kullanıcıları genellikle zamanı olmayan kişilerdir ve zaman harcayan web sitelerini özellikle e-ticaret sitelerini sevmezler.

Sektör farkı olmaksızın, web siteniz kullanıcılarınıza bu hızlı deneyimi yaşatmıyor mu?

Öncelikle bu sorunu çözmeniz gerekiyor. Web sitenizi bir piramit gibi inşa etmeli ve piramitin boyunu asla uzatmamalısınız. Yani müşteri ulaşmak istediği sayfaya en fazla 3 tık sonra ulaşmalı ve satın alma moduna geçmelidir. Tek veya 2 tık ile bunu yapmak özellikle e-ticaret sitelerinde zordur. Zira hem ürün sayısı hem de kategori sayısı oldukça fazladır. Fakat bu deneyimi en kısa süreli şekilde kullanıcılara yaşatmak demek, web sitesinin daha hızlı cevap vermesi demektir.

Google da aynı mantıkta çalışır. Web sitenizi botları ile taramaya geldiğinde ilk hedefi her zaman ana sayfadır. Ana sayfa üzerinden tarama işlemine başlar ve web siteniz url hiyerarşisi konusunda iyi yapılandırılmışsa, şanslısınız demektir. Bunun için her zaman belirttiğimiz gibi bir site haritası oluşturmanız ve bu haritayı Google arama konsolundan Google’a taratmanız gereklidir.

Site haritaları bir url haritasıdır aslında. Bu haritayı arama motorları için hazırlarız ve yenilenen ya da yeni eklenen sayfaları daha rahat ve kolay tararlar. Bir site haritası içerisinde, içerik ile alakalı, saat, tarih ve diğer tüm bilgiler mevcuttur.

Kullanıcılara Hitap Edin

Kullanıcılar için web sitenizdeki kategorik düzen ne kadar önemliyse, Google ve diğer arama motorları içinde site haritanız ve sitenizdeki url hiyerarşisi o kadar önemlidir. Kısacası bu hiyerarşinin olmadığı web siteleri, Google botları tarafından çoğu zaman taranamaz. Web sitenizin binlerce sayfası olduğunu düşünelim. Bu sayfaların içerisinde bir sayfa daha eklediniz ve herhangi bir sayfada, kategoride linki yok ve de site haritası da oluşturmadınız. Haliyle Google Botları, eğer web siteniz, haber sitesi gibi anlık olarak güncellenen bir web sitesi değilse, bu sayfaya ulaşamaz ve tarayamaz. Bu sayfayı sizin tetiklemeniz ile taraması mümkündür ama en iyi ve başarılı yol, Google botları ne istiyorsa onu yapmaktır. Google botları bizden, kolay taranabilen, url hiyerarşisinin sağlam olduğu web siteleri ister. Bu web siteleri inşa ettiğimiz sürece aslında Google indeksi için herhangi bir çaba sarf etmemize gerek kalmaz. Bu arada “url nedir ve seo uyumlu url nasıl oluşturulur” konulu makalemizi de okumanızı öneririz.

4-Dahili Bağlantılardan Yoksun Bir Web Sitesi

İnternet sitenize çok kaliteli içerikler ekliyor olabilirsiniz. Ya da çok tanınmış bir marka veya markayı temsil eden bir şube olabilirsiniz. Bunların hiçbirisi, Google’ın organik aramalarda başarınızı etkileyeceğini düşünmemelisiniz. Organik aramalarda başarının sırrı, seo kriterlerine uymaktır. Google’ın kendine göre bazı seo kriterleri var ve bu kriterlere uymayan web sitelerini botları tarafından taratsa da indeksine almayabiliyor.

Dahili Bağlantı Nedir?

Web site içeriklerinde, birbirini referans gösteren link ve linklerin hatta linkleme çalışmalarının bütünüdür. Dahili bağlantılar, yukarıda belirttiğimiz Google’ın seo kriterlerinden sadece bir tanesidir. Dahili bağlantısı zayıf olan web sitelerinin, içeriklerinin de birbirini desteklemediği mantığına sahip olan Google açısından, dahili bağlantılar bir web sitesi için hayati anlam taşımaktadır.

Google indeksine alınmayan bir web siteniz veya sayfanız var ise web sitenizdeki dahili bağlantı sorunlarını çözmenizi tavsiye ederiz. Web site içeriklerinizin daima birbirlerini referans eder şekilde dizayn edilmesi, hem site içi kullanıcı hareketleri için önemlidir, hem de mevcut içeriklerin Google Botları tarafından daha rahat anlaşılmasını sağlar.

Bu sebeptendir ki, web sitenize giriş yaptığınız tüm içeriklerin birbirleri ile ilişkilerinin olduğu bir ağ kurmalısınız. Örneğin, 3 ay önce bir konu hakkında paylaştığınız makaleyi referans göstererek yeni makaleniz içerisinde link çıkmanız iyi bir fikirdir.

Bu hem mevcut makaleniz için, hem de eski makaleniz için çok kıymetlidir.

5-Google, Web Sitenizi Dizinden Kaldırabilir

Çok karşılaşılan bir durum olmasa da, bazı web siteleri, Google da daha başarılı olabilmek adına kopya içerikler ve yasaklı link işlemleri yapabilirler. Fakat Google algoritmaları o kadar gelişmiştir ki, bu eski numaraları artık Google yutmamaktadır. Google da başarabilmeniz için dürüst olmanız gerekir ve bunu yapmadığınız takdirde, dürüst müsünüz değil misiniz, Google bunu takip edecek düzeydedir ve dürüst değilseniz, ağız cezalar ile karşılaşabilirsiniz.

Bu cezalardan biri de Google botlarının tarama yapmasına rağmen, web sitenizin ilgili anahtar kelimelerde çıkmaması veya sayfalarınızın sıralamalarda indeks almamasıdır. Hiçbir web site sahibi, dünyanın en popüler web sitesinde, böyle bir ceza almak istemez. Bu yüzden, tekrarlanan içeriklerden, kalitesiz ve seo amaçlı yapılan sayfalardan, kurgu şeklinde tasarlanmış iç ve dış linklerden daima kaçmalısınız.

Google devamlı geliştirilen ve özellikle vurguluyoruz ki, kendini geliştirebilen bir zekaya sahiptir. Son yapılan Google Bert güncellemesi de bu kendi kendine gelişimin bir kanıtıdır. Böyle gelişmiş bir robotu kandırmaya çalışmak, web sitesi sahiplerinin en son yapması hatta hiç yapmaması gereken bir denemdir.

6-Sitenizi Google Botları ve Kullanıcılar İçin Optimize Etmediniz

Bu konu oldukça önemlidir. Bazı işletme sahipleri, web site başarısının sadece seo kaynaklı olduğunu düşünür ve yatırımlarını sadece seo ve reklam konusunda yaparlar. Oldukça büyük bir hatadır ve bu yolda giden birçok işletme sonuç olarak büyük zararlar ile karşılaşmıştır.

Google bizden mükemmel web siteleri istiyor ama bunu yanlış anlamamak gerek. Google bizden, kullanıcılar için mükemmel web siteleri istiyor.

Google’ın 1. Kuralı, kullanıcılarına en kaliteliyi sunmaktır. Bu, Google internette arama motoru olarak çalışmaya başladığı tarihten beri böyledir ve tüm operasyonlarını, geliştirmelerini bu kural üzerine kurmuştur. Eğer kullanıcılar Google ile bir arama yapıyorlar ve kalitesiz içerikle karşılaşıyorlarsa, bu sorun tamamen Google sorumluluğundadır ve bunu Google çok önemsiyor.

Buradan şunu çıkartabiliriz;

Bir web siteniz var ve devamlı Google seo için uğraşıyorsunuz. Google botları web sitenize gelsin, tarama yapsın diye uğraşıyorsunuz. Dahili bağlantılar ile içeriklerinizi birbirine bağlıyorsunuz. Ve daha onlarca belki yüzlerce seo çalışması yapıyorsunuz. Fakat tüm bunları yaparken bir şeyi unutuyorsunuz, kullanıcı deneyimi.

İçeriklerinizi Kullanıcı Deneyimi Açısından Geliştirin

• Ürettiğiniz içerikler kullanıcılarınızı mutlu ediyor mu?
• Attığınız başlıklar ile içerikler örtüşüyor mu?
• İçeriklerinizin bulunduğu sayfalarda oturum süresi ve devamında sayfa deneyimleri nasıl?
• Geçmişte ziyarette bulunmuş bir kullanıcı yeniden sitenize geliyor mu?

Gibi onlarca soru sorulabilir. İşte Google bizden seo kriterleri altında istediği görevler içerisinde aslında kullanıcı deneyimini artırmayı hedefliyor.

Bizden, Google botları için içerikler hazırlamamızı değil.

Eğer web sitenizi sadece Google botları ve seo kriterleri açısından optimize ettiyseniz, yanlış yoldasınız demektir. İnternet siteniz indeks almıyorsa, Google Botları web sitenize zamanında gelmiyorsa, sizde ve paylaşımlarınızda bir sorun olabilir. Doğal olmalı ve kullanıcılarınız için gerçekten değerli içerikler sunmalısınız.

Sadece anahtar kelimelerden zengin bir içerik yerine, gerçekten araştırma yapıp, kullanıcılarınıza konu hakkında gerçek bilgiler veren içerikler paylaşmanızı öneririz. Bu şekilde çalışma yaptığınız sürece, Google zaten doğal olarak sizin web sitenizi devamlı tarayacak, kaliteli içerikleriniz olduğu için, asli görevi olduğundan, bunu kullanıcılarınıza götürmeye çalışacaktır. Bu sayede de web site sıralamanız Google da çok iyi yerlere gelecektir.

7-Sadece Görselden Zengin Bir Web Sitesi

Okuma oranı düşük ülkelerde, görsel üzerine yazılan yazılar meşhurdur. Ülkemizde de bazı içerik üreticileri bu hataya düşüyor ve web sitelerinde, özellikle web tasarım aşamasında görsel ağırlıklı içerik oluşturarak, yazılarını daha çok görseller içerisine saklıyorlar. Bu hem kullanıcı açısından hem de Google Botları açısından kötü bir deneyimdir. Google, yüksek miktarda yazı içeren hatta imla kurallarına dikkat edilmiş yazılar seven bir arama motorudur. Çünkü kullanıcıların bu yazıları gerektiğinde almasını ister, paylaşmasını ve yararlanmasını ister. Görsellerle bu faydayı nasıl sağlayabilirsiniz?

Google Botları Web Sitenize Nasıl Çağırırsınız?

Web’de her site devamlı güncellenmeyebilir. Ayda, yılda bir içerik paylaşıyor olabilir veya sayfa ekliyor olabilirsiniz. Bu gibi web sitelerini Google pek sevmez. Birkaç kez Google Botları tarafından taranır ve değişiklik olmadığı anlaşıldığında artık ziyaretlerin arası açılır. Bir haber sitesine her dakika uğrayan Google Botu, web sitenizdeki bu durağanlık sebebi ile belki aylarca uğramaz. Hal böyle olunca, paylaşılan içerikte web sitenizde atıl bir şekilde kalır ve Google indeksine alınmaz. Bunu tetiklemenin bazı yolları var. Fakat tavsiyemiz, her zaman içerik paylaşmanız ve Google Botlarının web sitenizi doğal olarak gelip taramasıdır. Bu yol içinde devamlı içerik üretmeniz gerekir ve bunu yapmıyorsanız, zaten sıralamalarda başarılı olabilmeniz zordur. Şimdi web sitenize Google Botlarını çekmenin birkaç yolunu paylaşacağız. Fakat bu yolların hiçbirisi, arama motorundaki sıralamanızı yükseltmez. Sadece Google Botlarının web sitenize gelmesini ve yeni içeriği Google indeksine taşımalarına sebep olur.

1-Google Url Denetimi

Google’ın sunmuş olduğu ücretsiz bir hizmettir. Üye olarak web sitenizi ekleyebilir ve istatistik almaya başlayabilirsiniz. Ayrıca yazı başında da belirttiğimiz gibi web sitenizin bir site haritasını da Google arama konsolu ile taratmanızı tavsiye ederiz. Bu sayede web sitenizi Google’a daima taratmış olursunuz.

Yeni oluşturduğunuz yazı veya sayfalar için ise tekli url denetimi yapabilir ve dizine eklenmesini isteyebilirsiniz. Bu özelliğin geçmişteki adı Google gibi getir’di. Bilenler hatırlayacaktır. Artık özelliğin ismi url denetimi ve Google gibi getir ile aynı gibi gözükse de daha gelişmiş ve hızlı diyebiliriz.

Tabi bunlar her ne kadar Google’ın servisi olsa da, yeni eklenen web sayfalarınızı Google botları tarafından doğal olarak indekslenmesi her zaman daha iyidir. Bunu yapabilmek içinde devamlı güncel ve kaliteli içerikler paylaşmanız gerekir.

2-Sosyal Medya Siteleri

Facebook grubuna ait sosyal medya platformlarında özellikle İnstagram’da link paylaşmak yasak olsa da, birçok sosyal medya sitesinde link paylaşımı hala serbest ve bu paylaşımlar çok önemli. İşletmenizin web sitesine eklemeler yaptığınızda veya güncellemeler ile kullanıcılarınıza yeni içerikler sunduğunuzda, bu sayfaları sosyal medya sitelerinde paylaşmanızı öneririz. Zira sosyal medya siteler, devamlı Google botları tarafından ziyaret edildiğinden, içerik linkiniz Google botları tarafından hemen fark edilecek ve taranacaktır. Google url denetimi sonrasında en doğal ve en basit şekilde botları web sitenize çağırmanın yolu budur.

3-Devamlı İçerik Girişi

Google botlarını, web sitenize devamlı getirmenin diğer bir etkili yolu da budur. Her gün hatta gün içerisinde birkaç kez içerik paylaşımı yapmak, Google botlarının dikkatini çeker. İlk başlarda yavaş indeks alsa da web siteniz, bu tempoya alışan botlar sayesinde, artık günlük hatta içeriklerinizin giriş sıklığına göre saatlik bile taranabilir.

İşte bu taranma şekli, en doğal olanıdır. Tavsiye ettiğimiz, seo açısından en önemli Google botu çağırma şekli budur.

Bu sayede devamlı içerik üretmiş olur hem de web sitenizi daima güncel tutmuş olursunuz. Kullanıcılarınız açısından da bu durum çok değerlidir. Zira hangi kullanıcı kıymetli içeriklere ve daima güncel olan bir web sitesine ilgi duymaz ki?

Google Botları Açısından Web Site Hızınız

Kullanıcı deneyimi açısından web site hızı çok önemlidir. Yavaş bir internet sitesi ile kimse zaman kaybetmez. Veriler, yavaş web sitelerinden çıkış oranlarının daha ilk sayfada daha yüksek olduğunu söylemektedir. Buna göre, hosting veya yazılım bakımından optimize edilmemiş web siteleri de, Google botları tarafından taranmayabilir. Web sitelerinden, Google’ın istediği ortalama bir hız vardır ve bu hızı karşılayamayan web siteleri indekse alınmayabilir.

Bunu anlamanın en basit yolu ise Google PageSpeed Insights kullanmaktır. Bu detaylı ve ücretsiz araç ile web site hızınızı ölçebilir neden yavaş olduğunu net bir şekilde görebilir ve optimize etmeye hemen başlayabilirsiniz.

Eğer web sitenizin indeks sorunu gerçekten hız kaynaklı ise bu sorunları çözdükten kısa bir süre sonra Google gerekeni yapacak ve web sitenizin içeriğine göre, sıralamadaki yerini verecektir.

Netice Olarak

Google botları, bir web sitesini ziyaret etmiyorsa, web sitesi ya güncel değildir, ya da Google açısından, web sitesinde birçok sorun olabilir. Bu detaylı makalemiz ile web sitenizdeki sorunları umarız çözebilirsiniz. Çözdüğünüz takdirde, Google sizi mükafatlandırır ve gereken sıralamaya getirir. Fakat bazı durumlarda, yapılan işlemler çok hatalıdır ve toparlanması için uzman denetimi gerekebilir. Bu gibi durumlarda, müşterilerimize destek olmakta ve web sitelerinde detaylı seo analizi yapmaktayız. Bu gibi talepleriniz için, YcrSOFT destek ekibi ile irtibata geçerek, web siteniz için yardım talebinde bulunabilirsiniz.