Yapay Zeka Optimizasyonu İçin Yeni Metrik: Harmonic Centrality

Yapay zeka modelleri tüm web üzerinde eğitiliyor. Artık bu devasa veri setindeki alan adı otoritenizi ölçebileceğiniz ve yapay zeka görünürlüğünü optimize etmek için kullanabileceğiniz yeni bir metriğimiz var.

Çoğu büyük dil modeli (LLM), Common Crawl adı verilen devasa bir veri kümesi üzerinde eğitilir. Araştırmalara göre, güncel dil modellerinin büyük bir çoğunluğu bu arşivin filtrelenmiş versiyonlarını kullanmaktadır. Örneğin, popüler modellerin eğitim verilerinin %80'inden fazlası bu arşivden gelir.

Ancak Common Crawl her web sitesini eşit şekilde taramaz. Belirli alan adlarına öncelik verirken Harmonic Centrality (Harmonik Merkezilik) adı verilen bir metrik kullanır. Bu, yapay zeka optimizasyonunun bilinmeyen gizli katmanıdır. Harika bir içeriğiniz, mükemmel güncelliğiniz ve net bir site yapınız olabilir. Fakat Harmonic Centrality sıralamanız düşükse, Common Crawl sitenizin çok daha az bir kısmını kaydeder. Yapay zeka modelleri içeriğinizin daha küçük bir bölümüyle eğitilir ve sonuç olarak markanızın yapay zeka aramalarındaki görünürlüğü ciddi şekilde zarar görür.

Common Crawl Nedir?

Common Crawl, 2007 yılından bu yana web'i arşivleyen kâr amacı gütmeyen bir kuruluştur. Her ay halka açık milyarlarca web sayfasını tarar ve petabaytlarla ölçülen devasa bir arşivde depolar.

Bu arşiv sadece araştırmacılar için değildir; modern yapay zekanın temelini oluşturur. OpenAI, Google, Anthropic ve Meta gibi dev şirketler modellerini eğitmek için bu verileri kullanır. ChatGPT'ye bir soru sorduğunuzda ve cevabı kendi eğitim verilerinden bildiğinde, bu bilgi büyük ihtimalle Common Crawl'dan gelmiştir.

Arşivin boyutu oldukça çarpıcıdır: - Aylık sürümlerdeki alan adı sayısı: 94 ile 163 milyon arası - Tüm dönemlerdeki toplam alan adı kaydı: 607 milyondan fazla - Arşiv boyutu: Petabaytlarca veri - Güncelleme sıklığı: Aylık

Yüz milyonlarca alan adını kapsayan Common Crawl, doğal olarak her şeyi eşit şekilde tarayamaz. Hangi sitelerin daha sık ve daha kapsamlı taranacağına karar vermesi gerekir. İşte bu karar aşamasında Harmonic Centrality metriği devreye girer.

Common Crawl Neyi Tarayacağına Nasıl Karar Veriyor?

Common Crawl, ana tarama arşivlerinin yanı sıra WebGraph verilerini de yayınlar. Bu veri seti, tüm web üzerindeki alan adları arasındaki bağlantı ilişkilerinin bir haritasını çıkarır. Bu harita üzerinden her alan adı için iki otorite metriği hesaplanır.

Harmonic Centrality bağlantısallığı ölçer. Bunu, sizin alan adınız ile web'deki diğer tüm alan adları arasındaki en kısa yolların haritalanması olarak düşünebilirsiniz. Güçlü Harmonic Centrality değerine sahip alan adları, birçok kısa yolun kesişme noktasında yer alır. Bu siteler son derece ulaşılabilir ve yüksek oranda bağlantılıdır. Metrik, izole edilmiş uç noktalar yerine bir ağ merkezi olarak işlev gören alan adlarını ödüllendirir.

PageRank ise onayı ve referansı ölçer. Gelen bağlantıları sayar, ancak bunları bağlantı veren sitenin otoritesine göre ağırlıklandırır. Güvenilir bir kaynaktan gelen tek bir bağlantı, bilinmeyen sitelerden gelen yüzlerce bağlantıdan daha değerlidir.

Common Crawl, tarama önceliğini belirlemek için Harmonic Centrality kullanır. HC sıralamanız (sayısal olarak) ne kadar düşükse, o kadar sık taranırsınız. Daha sık taranmak, aylık arşivlerde daha fazla sayfanızın yer alması demektir. Arşivlerde daha fazla sayfanızın bulunması, yapay zeka eğitim verilerinde daha yüksek temsil oranına sahip olmanızı sağlar. Bu da doğrudan daha yüksek yapay zeka görünürlüğü anlamına gelir.

Süreç bir zincirleme reaksiyon şeklinde işler: Daha fazla indeksleme, modellerin markanızı tanımasını ve güvenmesini sağlar. Güven ise, yapay zekanın yanıtlarında markanızı önerme olasılığını artırır. Bu durum, modellerin parametrik hafızasında marka için bir "temel aşinalık" oluşturur. Yapay zeka, herhangi bir gerçek zamanlı arama yapmadan önce markanızı halihazırda tanıyor hale gelir.

Düşük HC sırası, daha sık indekslenme demektir. Daha fazla indekslenme, eğitim verilerinde daha fazla içeriğinizin yer almasıdır. Bu da yapay zeka modellerinin markanızı anlamasını ve önermesini sağlar.

Yapay Zeka Arama Optimizasyonunun İki Yönü

Yapay zeka arama görünürlüğü, birbirine karıştırılmaması gereken iki ayrı aşamadan oluşur:

Çevrimiçi görünürlük (Online visibility): Gerçek zamanlı arama verileriyle ilgilidir. ChatGPT veya Perplexity bir soruyu yanıtlamak için canlı web'de arama yaptığında, içeriğiniz kaynak olarak gösterilecek mi? Bu durum tazeliğe, alaka düzeyine ve yapay zeka tarayıcılarının o an sayfalarınıza erişip erişemediğine bağlıdır.

Çevrimdışı görünürlük (Offline visibility): Eğitim verileriyle ilgilidir. Herhangi bir gerçek zamanlı arama gerçekleşmeden önce, modellerin parametrelerinde halihazırda yerleşik bir bilgi vardır. Markanız eğitim verilerinde sıkça geçiyorsa, model varlığınızdan zaten haberdardır.

Harmonic Centrality çevrimdışı görünürlüğünüzü ölçer. İçeriğinizin ne kadarının eğitim setlerine dahil edileceğini belirler. Ancak bu, canlı görünürlük takibinin yerini tutmaz; başarılı bir strateji için her ikisine de ihtiyacınız vardır.

Harmonic Centrality ve PageRank Arasındaki Fark

Geleneksel arama motoru optimizasyonunda Domain Rating (DR) gibi metrikler backlink otoritenizi ölçer ve canlı arama sıralamalarına yardımcı olur. Harmonic Centrality ise yapay zeka eğitim veri setlerindeki ağırlığınızı optimize eder. Kısacası DR çevrimiçi, HC ise çevrimdışı otorite içindir.

PageRank kimin size bağlantı verdiğine odaklanırken, Harmonic Centrality genel ağ içindeki konumunuza odaklanır.

Örneğin Wikipedia, yüksek PageRank değerine sahip olmasına rağmen, asıl gücünü web'in bağlantı topolojisindeki merkezi konumundan alır. Keza Cloudflare veya jsDelivr gibi altyapı siteleri, milyonlarca web sitesine gömülü oldukları için Harmonic Centrality açısından zirvededir. Yapay zeka görünürlüğünde bu metriklerin her ikisi de önemlidir; PageRank diğer sitelerin size güvendiğini gösterirken, Harmonic Centrality Common Crawl'un sitenizin ne kadarını kaydedeceğini belirler.

Eğitim Verilerinin Etkisine Dair Kanıtlar

HC sıralamanız yapay zeka görünürlüğünüzü gerçekten etkiliyor mu? Sektörel araştırmalar açıkça bu yöne işaret ediyor.

Yapılan kapsamlı araştırmalarda, yüz binlerce yapay zeka alıntısı incelendiğinde Reddit, Wikipedia, Google ve YouTube'un en sık kaynak gösterilen platformlar olduğu görülmüştür. Bu alan adlarının ortak özelliği, Common Crawl'un WebGraph haritasında en düşük (yani en iyi) HC sıralamalarına sahip olmalarıdır. En sık taranan, eğitim verilerinde en fazla içeriğe sahip olan bu siteler, yapay zeka yanıtlarında en çok karşımıza çıkan kaynaklardır. Aradaki korelasyon son derece nettir.

Model Bilgisinin Gecikmeli Doğası

Harmonic Centrality sıralamanızı bugün iyileştirseniz bile, yapay zeka modelleri bu değişikliği hemen yansıtmayacaktır. Büyük dil modellerinin eğitim verilerinde belirli bilgi kesinti tarihleri (knowledge cutoffs) bulunur:

• ChatGPT (GPT Serisi): Bilgi kesintisi öncesindeki verileri kullanır. Kesinti sonrası değişiklikler parametrik hafızada yer almaz.
• Gemini (Google): Genellikle daha yakın tarihli bilgi kesintisine sahiptir ve daha güncel Common Crawl verilerini içerir.

Common Crawl her ay yeni veri haritaları yayınlar. Ancak yapay zeka modellerinin bu yeni verileri özümsemesi zaman alır. Bugün otorite inşa ediyorsanız, bunun faydalarını mevcut modellerden ziyade gelecekteki sürümlerde görebilirsiniz. Bu yüzden, web grafiği otoritenizi güçlendirmek yapay zeka arama çağında uzun vadeli bir yatırım olarak değerlendirilmelidir.

Common Crawl Otoritenizi Nasıl Kontrol Edebilirsiniz?

WebGraph verilerini analiz edebileceğiniz ücretsiz araçlar bulunmaktadır. Herhangi bir alan adının Harmonic Centrality sıralamasını ve PageRank geçmişini dönemsel olarak inceleyebilirsiniz. Ayrıca Common Crawl'un kendi indeks sunucuları üzerinden sitenizin ne kadarının tarandığını da kontrol etmeniz mümkündür.

Kademe Sıralamaları Ne Anlama Geliyor?

HC sıralamasında sayının düşük olması daha iyidir.

• Elite (İlk 100): En sık taranan ve eğitim verilerinde maksimum temsile sahip alan adları.
• İlk 1 Bin: Çok yüksek tarama önceliği.
• İlk 10 Bin: Güçlü tarama önceliği.
• İlk 100 Bin: Orta düzey tarama önceliği.
• İlk 1 Milyon: Sınırlı tarama önceliği.
• Long Tail (1 Milyon Sonrası): Minimum tarama önceliği.

Eğer alan adınız uzun kuyrukta (long tail) yer alıyorsa görünmez bir tavanla karşı karşıyasınız demektir. İçeriğiniz ve güncelliğiniz mükemmel olsa bile, tarama önceliğiniz düşük olduğu için yapay zeka marka görünürlüğünüz sınırlı kalacaktır.

Bu Durum Yapay Zeka Optimizasyonu İçin Ne İfade Ediyor?

Bağlantı İnşası Stratejilerindeki Değişim Geleneksel bağlantı inşası hacme odaklanırdı. Yapay zeka görünürlüğü için ise bağlantılarınızın hacminden ziyade kimden geldiği önemlidir. Web'in çekirdeğinde yer alan iyi bağlantılı bir siteden alınan tek bir bağlantı, ağın kenarlarında kalmış izole sitelerden alınan yüzlerce bağlantıdan çok daha etkilidir.

Yeni Bir Metriğin Takibi Geleneksel SEO araçları şu anda Harmonic Centrality metriklerini standart olarak ölçmüyor. Ancak yapay zeka SEO'sunun hızla benimsenmesiyle, gelecekte tüm platformların bu veriyi görünürlük analizlerine entegre etmesi kaçınılmazdır.

Uzun Vadeli Otorite İnşası Sonuçlarını haftalar içinde görebildiğiniz geleneksel SEO'nun aksine, yapay zeka modellerinin eğitilmesi zaman aldığından bu yeni metrik uzun vadeli bir oyundur. Bugün web grafiğindeki konumunuzu iyileştirmek için yapacağınız çalışmalar, markanızın yapay zeka tarafından yıllarca nasıl algılanacağını şekillendirecektir.

Bu Metriği Göz Ardı Etmeyin Eğer güçlü içeriklerinize rağmen sektörünüzdeki yapay zeka sohbetlerinde adınız geçmiyorsa, sorunun kaynağı Harmonic Centrality sıralamanız olabilir. Rakiplerinizle durumunuzu karşılaştırarak bu yeni ölçüm sistemini bir kaldıraç olarak kullanabilirsiniz.

Yapay Zeka Optimizasyonu İçin Temel Çıkarımlar

Common Crawl'un İşlevi: - Her ay milyarlarca sayfayı arşivler. - Neredeyse her büyük dil modelinin temel eğitim verisini oluşturur. - Taramaları önceliklendirmek için Harmonic Centrality kullanır.

Harmonic Centrality'nin Ölçtüğü Şeyler: - Web grafiği topolojisindeki konumunuz. - Diğer merkezileşmiş alan adlarına olan "yakınlığınız". - Arşivlerdeki tarama önceliğiniz.

Sürecin İşleyişi: 1. Düşük HC Sırası = Daha sık indekslenme. 2. Sık İndekslenme = Modellerin içeriğinizin daha büyük bir kısmıyla eğitilmesi. 3. Fazla Eğitim Verisi = Modellerin markanızı tanıması ve güvenmesi. 4. Yüksek Güven = Yapay zeka yanıtlarında önerilme oranında artış.

Nasıl İyileştirilir: - Sadece bağlantı hacmine değil, ağ topolojisine odaklanın. - HC sırası düşük (iyi bağlantılı) alan adlarından bağlantı alın. - Bilgi kesintisi tarihlerini göz önünde bulundurarak uzun vadeli bir strateji kurgulayın.

İndeksle ve Sırala Döneminden, Eğit ve Getir Dönemine

Arama motoru çağının modeli "indeksle ve sırala" üzerine kuruluydu. Yeni nesil yapay zeka modeli ise "eğit ve getir" (train and retrieve) prensibiyle çalışıyor. Tarama listesinde yeterince yoksanız, modelin içinde de olamazsınız.

Harmonic Centrality, içeriğinizin ne kadarının bu yeni dönemin temeline yerleşeceğini belirler. Geleceğin üretken arama stratejilerini kurgularken yalnızca canlı web sonuçlarına odaklanmak yerine, yapay zekanın beynine (eğitim verilerine) giden yolları inşa etmeye bugünden başlamalısınız.