Teknik

Eşleştirmede doğruluk mu, kapsama mı? %99,99 gerçekte ne demek?

Otel eşleştirmede doğruluk, otomatik verilen eşleşmelerin ne kadarının doğru olduğunu; kapsama, eşleşmesi gereken kayıtların ne kadarının gerçekten eşleştiğini gösterir. İkisi aynı anda en yükseğe çıkmaz: eşiği yükseltmek yanlış eşleşmeyi azaltır ama kapsamayı düşürür ve insan kontrolü kuyruğunu büyütür. "%99,99 doğruluk" beyanı, hangi test setinde ve hangi payda üzerinden ölçüldüğü bilinmeden yorumlanamaz.

Yazar
hotelmapping.org Editör Ekibi
Son güncelleme:
9 dk okuma

Kısa cevap

Otel eşleştirme sağlayıcılarının tanıtım metinlerinde sık görülen rakamlardan biri “%99,99 doğruluk”tur. Bu rakam etkileyici görünür, ama tek başına bir eşleştirme hizmetinin ne kadar işe yarayacağını söylemez. Çünkü eşleştirmenin kalitesi tek bir sayıyla değil, birbirine bağlı üç sayıyla anlatılır:

  • Doğruluk: Otomatik verilen eşleşmelerin ne kadarı doğru? Tersi, yanlış eşleşme oranıdır.
  • Kapsama: Gerçekte aynı otele ait olan kayıtların ne kadarı gerçekten eşleştirildi?
  • İnsan kontrolü oranı: Kayıtların ne kadarı otomatik karara bağlanamayıp bir uzmanın kontrolüne düştü?

Bu üç sayı birlikte hareket eder. Birini iyileştirmek için yapılan ayar, çoğu zaman diğer ikisinden birini kötüleştirir. Bu makalede bu dengeyi, eşik seçiminin üç sayıyı nasıl değiştirdiğini ve yüksek doğruluk beyanlarını değerlendirirken sorulması gereken soruları anlatıyoruz. Otel eşleştirmenin genel işleyişi için önce otel eşleştirme rehberine bakabilirsiniz.

Doğruluk, kapsama ve insan kontrolü: üç ayrı soru

Bir eşleştirme motoru her tedarikçi kaydı için üç karardan birini verir: kaydı mevcut bir otele bağlar, bir uzmana sorar ya da kayıt için yeni bir otel kimliği açar. Her kararın doğru veya yanlış olma ihtimali vardır ve hataların bedeli birbirinden farklıdır.

Sonuç Ne oldu? Hangi metriği etkiler? Acenteye etkisi
Doğru eşleşme Aynı otelin iki kaydı birbirine bağlandı Doğruluk ve kapsama Fiyatlar doğru otelde karşılaştırılır
Yanlış eşleşme Farklı iki otel aynı kimliğe bağlandı Doğruluğu düşürür Müşteriye bir otel satılır, rezervasyon başka bir otele gider
Kaçan eşleşme Aynı otelin kaydı yeni bir kimlik aldı Kapsamayı düşürür Aynı otel listede iki kez görünür (mükerrer kayıt)
İnsan kontrolü Skor belirsiz bölgede kaldı, kayıt uzmana gitti İnsan kontrolü oranını artırır Doğru karar verilir, ama zaman ve emek gerekir

Yanlış eşleşme genellikle en pahalı hatadır. Müşteri bir otel için ödeme yapar, rezervasyon başka bir tesise iletilir ve sorun çoğu zaman otelin resepsiyonunda ortaya çıkar. Kaçan eşleşme daha sessizdir: aynı otel listede iki farklı adla, iki farklı fiyatla görünür. Bu da dönüşümü düşürür ve fiyat karşılaştırmasını bozar. Mükerrer kayıtların nasıl temizlendiğini mükerrer kayıt temizleme maddesinde, acenteye maliyetini mükerrer otel maliyeti makalesinde anlatıyoruz.

İnsan kontrolü ise bir hata değil, bir maliyettir. Belirsiz kayıtları bir uzmana göstermek iki hatayı da azaltır, ama her kayıt için zaman gerekir ve yeni bir tedarikçi dosyasının eşleşmesi gecikir.

Neden ikisi birden en yükseğe çıkmaz?

Eşleştirme motoru her aday çift için bir eşleşme skoru üretir: iki kaydın aynı otel olma olasılığını gösteren 0 ile 1 arasında bir değer. Kararı bu skorun hangi eşiğin üstünde kaldığı belirler.

Eşiği yükseltirseniz yalnız çok emin olunan kayıtlar otomatik eşleşir. Yanlış eşleşme azalır, doğruluk yükselir. Ama skoru biraz daha düşük kalan doğru eşleşmeler de otomatik karar dışında kalır: ya kontrol kuyruğuna gider ya da yeni kimlik alıp mükerrer kayda dönüşür. Eşiği düşürürseniz tersi olur: kapsama artar, ama arada yanlış eşleşmeler de içeri girer.

Bu yüzden “doğruluğumuz %99,99” cümlesi, “kapsamamız ne kadar?” sorusu cevaplanmadan eksik kalır. Hiçbir kaydı eşleştirmeyen bir sistem hiç yanlış eşleşme yapmaz; teknik olarak hatasızdır, ama hiçbir işe yaramaz.

Eşik seçimi üç sayıyı nasıl değiştirir?

hotelmapping.org’da plan edilen karar kuralı iki eşikten oluşur: skor 0,97 ve üstüyse otomatik eşleşme, 0,80 ile 0,97 arasındaysa insan kontrolü, 0,80 altındaysa yeni HM ID. Eşikler, elle etiketlenmiş bir test setine göre ayarlanır. Bu iki eşiğin ve onlara alternatif ayarların etkisini bir hesap örneğiyle göstermek mümkündür.

Hesap örneği (tamamen varsayımsal)

Aşağıdaki rakamlar örnektir. Hiçbir gerçek ölçüme, sağlayıcıya veya müşteriye ait değildir; yalnız eşik seçiminin etkisini göstermek için kurgulanmıştır.

Elimizde etiketli 10.000 tedarikçi kaydı olsun. Bunların 9.000’inin veritabanında gerçek bir karşılığı var, 1.000’i ise henüz hiçbir kaynakta bulunmayan yeni oteller. İnsan kontrolüne giden kayıtlarda uzmanın doğru karar verdiğini varsayıyoruz. Aynı kayıtlar dört farklı ayarla işlendiğinde tablo şöyle olabilir:

Senaryo Ayar Otomatik doğruluk Otomatik kapsama Kontrol sonrası kapsama İnsan kontrolü oranı Yanlış eşleşme Kaçan eşleşme (mükerrer)
A Tek eşik 0,90, insan kontrolü yok %99,50 %97,3 %97,3 %0 44 214
B 0,97 / 0,80 %99,90 %89,9 %97,6 %7,5 8 210
C 0,99 / 0,80 %99,99 %77,8 %97,7 %18,5 1 210
D Tek eşik 0,99, insan kontrolü yok %99,99 %77,8 %77,8 %0 1 2.000

Tablodan dört sonuç çıkıyor:

  1. C ve D senaryolarında doğruluk aynıdır: %99,99. Ama D senaryosunda 2.000 otel mükerrer kalır; karşılığı olan otellerin yaklaşık beşte biri listede iki kez görünür. Aynı doğruluk rakamı, birbirinden çok farklı iki hizmeti anlatabilir.
  2. C senaryosu %99,99 doğruluğu insan emeğiyle satın alır. Kayıtların %18,5’i uzmana gider. 10.000 kayıtlık bir dosyada bu 1.850 kayıt demektir. Yeni bir tedarikçi eklendiğinde dosyanın tamamen eşleşmesi günler sürebilir.
  3. A senaryosu hızlı ve geniştir, ama 44 yanlış eşleşme bırakır. Her biri, müşterinin başka bir otele gönderilmesi riskidir.
  4. Alt eşik (0,80) kaçan eşleşmeleri belirler. B ve C senaryolarında üst eşik değişse de mükerrer kalan kayıt sayısı aynıdır (210). Mükerrer kaydı azaltmak için alt eşiği düşürmek gerekir; bu da kontrol kuyruğunu daha da büyütür.

Örnekteki B senaryosu, hotelmapping.org’un plan ettiği eşiklere karşılık gelir. Bu örnekte insan kontrolü oranı %7,5 çıkıyor; yani planlanan %5 hedefinin üstünde. Bu durum, eşik ayarının tek başına yetmediğini de gösterir. Kontrol kuyruğunu küçültmenin asıl yolu, modelin belirsiz bölgeye düşen kayıt sayısını azaltmaktır: daha iyi normalleştirme, daha temiz koordinat, telefon ve web adresi gibi ek sinyaller. Eşik, aynı eğri üzerinde nerede durduğunuzu seçer; daha iyi bir model ise eğrinin kendisini iyileştirir.

Ölçüm raporu nasıl görünmeli?

Bir kalite ölçümü, yalnız sonuç yüzdesini değil, o yüzdenin hesaplandığı sayıları da göstermelidir. Aşağıdaki JSON, yukarıdaki B senaryosunun bir ölçüm raporunda nasıl yer alabileceğini gösterir. Alan adları ve değerler örnektir; hotelmapping.org’un kesinleşmiş bir rapor biçimi değildir.

{
  "example": true,
  "test_set": {
    "name": "ornek-akdeniz-2026",
    "records": 10000,
    "records_with_counterpart": 9000,
    "labeling": "iki uzman, anlaşmazlıkta üçüncü uzman",
    "markets": ["antalya", "mugla", "istanbul"]
  },
  "thresholds": { "auto_match": 0.97, "review": 0.80 },
  "decisions": {
    "auto_match": { "count": 8100, "correct": 8092, "wrong": 8 },
    "review": { "count": 750, "matched_after_review": 690, "new_id_after_review": 60 },
    "new_id": { "count": 1150, "missed_counterpart": 210 }
  },
  "metrics": {
    "precision_auto": 0.9990,
    "coverage_auto": 0.8991,
    "coverage_after_review": 0.9758,
    "review_share": 0.075
  },
  "by_market": [
    { "market": "antalya", "auto_match": 3400, "wrong": 6, "precision_auto": 0.9982 },
    { "market": "other", "auto_match": 4700, "wrong": 2, "precision_auto": 0.9996 }
  ]
}

by_market bölümüne dikkat edin. Toplamda %99,90 olan doğruluk, Antalya kayıtlarında %99,82’ye düşer; 8 yanlış eşleşmenin 6’sı bu pazardadır. Aynı adı taşıyan çok sayıda resort, birbirine yakın konumlar ve çok dilli adlar, bir bölgeyi diğerlerinden zor hale getirir. Ortalama rakam bu farkı gizler.

“%99,99 doğruluk” beyanını nasıl sorgulamalı?

Yüksek bir doğruluk rakamı gördüğünüzde aşağıdaki soruları sormak, rakamın neyi anlattığını ortaya çıkarır. Bu sorular, hotelmapping.org dahil her sağlayıcı için geçerlidir.

1. Hangi test setiyle ölçüldü?

Rakamın arkasında elle etiketlenmiş bir test seti olmalıdır. Kaç kayıt veya çift etiketlendi? Kayıtlar rastgele mi seçildi, yoksa eşleşmesi kolay zincir oteller mi ağırlıkta? Test seti, modelin eğitildiği veriden ayrı mı tutuldu? Etiketleme kaç kişi tarafından ve hangi kurala göre yapıldı?

Test setinin büyüklüğü de önemlidir. Bir test setinde hiç hata çıkmasa bile, bu oranın kesin olarak kanıtlandığı anlamına gelmez. İstatistikte sık kullanılan “üçler kuralı”na göre, n kayıtta hiç hata görülmediğinde gerçek hata oranının üst sınırı yaklaşık 3/n olarak alınır (%95 güven düzeyinde). 5.000 otomatik eşleşmede sıfır hata, hata oranının yaklaşık %0,06’nın altında olduğunu gösterir; yani en fazla “%99,94 ve üstü” denebilir. %99,99’u bu yöntemle göstermek için yaklaşık 30.000 otomatik eşleşmenin hatasız çıkması gerekir.

2. Hangi pazarda ölçüldü?

Global bir ortalama, sizin sattığınız bölgelerdeki durumu göstermeyebilir. Şehir otelleri ve büyük zincirler genellikle daha kolay eşleşir; Akdeniz resort bölgeleri, apart ve butik oteller daha zordur. Antalya, Muğla, Dubai veya Mısır gibi bölgeler için ayrı rakam isteyin. Rakam yalnız tek bir dilin adlarıyla mı ölçüldü, yoksa Rusça ve Arapça adlar da test setinde var mı?

3. Hangi payda üzerinden hesaplandı?

Bu, en sık gözden kaçan sorudur. Doğruluk üç farklı biçimde hesaplanabilir ve üçü de çok farklı rakamlar verir:

  • Otomatik eşleşmeler üzerinden: Doğru eşleşme sayısı / tüm otomatik eşleşmeler. Bu makaledeki tanım budur.
  • Tüm kayıtlar üzerinden: Doğru kararlar / tüm kayıtlar. Doğru verilen “yeni otel” kararları da paya eklendiği için rakam yükselir.
  • Tüm aday çiftler üzerinden: Doğru kararlar / karşılaştırılan tüm çiftler. Karşılaştırılan çiftlerin neredeyse tamamı zaten farklı otellerdir. 1.000.000 aday çiftten yalnız 9.000’i gerçek eşleşmeyse, hiçbir şeyi eşleştirmeyen bir sistem bile %99,1 “doğru karar” oranına ulaşır.

Payda belirtilmemişse rakamı karşılaştırmak mümkün değildir.

4. Yalnız otomatik eşleşmeler mi, tüm eşleşmeler mi?

Bazı rakamlar insan kontrolünden geçmiş eşleşmeleri de içerir. Bu durumda yüksek doğruluk, modelin değil uzman ekibin başarısıdır. Bu kötü bir şey değildir, ama farklı bir şeydir: insan kontrolü zaman alır ve yeni tedarikçi dosyalarının ne kadar sürede eşleşeceğini belirler. Otomatik eşleşmelerin doğruluğunu ve insan kontrolü oranını ayrı ayrı sorun.

5. Aynı eşikte kapsama ve kontrol oranı ne?

Doğruluk rakamı, aynı eşikte ölçülmüş kapsama ve insan kontrolü oranıyla birlikte verilmelidir. Hesap örneğindeki D senaryosu, %99,99 doğruluğun %77,8 kapsamayla birlikte gelebileceğini gösteriyor. Bir sağlayıcı yalnız doğruluğu paylaşıyorsa diğer iki rakamı ayrıca isteyin.

6. Kendi verinizle denendi mi?

En güvenilir ölçüm, kendi tedarikçi verinizden alınmış bir örnekle yapılan denemedir. Sattığınız bölgelerden birkaç yüz kaydı kendiniz etiketleyin ve sağlayıcının sonucunu bu etiketlerle karşılaştırın. Bu yöntem, ilan edilen genel rakamdan çok daha fazlasını söyler. Bir sağlayıcı seçerken sorulacak diğer sorular için hotel mapping API seçerken 12 soru makalesine bakabilirsiniz.

Hangi metriğe öncelik vermeli?

Doğru denge, eşleştirilmiş veriyi ne için kullandığınıza bağlıdır:

  • Rezervasyon alan acenteler ve tur operatörleri için yanlış eşleşme en pahalı hatadır. Burada doğruluğu öne almak ve belirsiz kayıtları insan kontrolüne göndermek mantıklıdır.
  • Fiyat karşılaştırması yapan siteler için hem doğruluk hem kapsama önemlidir. Yanlış eşleşme yanlış fiyat karşılaştırmasına, kaçan eşleşme ise eksik fiyat listesine yol açar.
  • Raporlama ve analiz için kapsama daha önemli olabilir; tek tük yanlış eşleşme toplam istatistiği fazla değiştirmez.

Hangisini seçerseniz seçin, kararın her eşleşme için görünür olması gerekir. hotelmapping.org’un API v1 yanıtlarında her eşleşmenin güven skoru confidence, verilen karar ise decision alanında döner. Böylece kendi iş kuralınızla daha sıkı bir eşik uygulayabilirsiniz. Ayrıntılar için eşleştirme API sayfasına bakabilirsiniz.

hotelmapping.org bu rakamları nasıl ölçecek?

Otel eşleştirme ürününün kalitesi, en az 5.000 elle etiketlenmiş otel çiftinden oluşan bir test setiyle her sürümde ölçülecek. Test setinde özellikle Antalya, Muğla, İstanbul, Dubai ve Mısır kayıtları yer alacak. Raporlanacak metrikler bu makalede anlatılan üç sayıdır: doğruluk (yanlış eşleşme oranı), kapsama (eşleştirilen kayıt oranı) ve insan kontrolüne düşen kayıt oranı.

Bugün yayımlanmış bir ölçüm sonucu yoktur. Ölçülmüş değerler test seti tamamlandığında, ölçüldükleri payda ve pazar bilgisiyle birlikte kapsam sayfasında yayımlanacaktır. Sitede yalnız bu ölçümle doğrulanan rakamlara yer vereceğiz.

Özet

Doğruluk, kapsama ve insan kontrolü oranı aynı eşik ayarının üç farklı yüzüdür. Eşiği yükseltmek yanlış eşleşmeyi azaltır, ama ya mükerrer kaydı ya da kontrol kuyruğunu büyütür. “%99,99 doğruluk” gibi bir rakam ancak test seti, pazar, payda ve otomatik eşleşme ayrımı bilindiğinde ve aynı eşikteki kapsama rakamıyla birlikte anlam taşır. Bir sağlayıcıyı değerlendirirken üç rakamı birlikte isteyin ve mümkünse kendi verinizle deneyin.

Sık sorulan sorular

Doğruluk ile kapsama aynı şey mi?

Hayır. Doğruluk, verilen eşleşmelerin ne kadarının doğru olduğunu ölçer; kapsama, eşleşmesi gereken kayıtların ne kadarının eşleştirildiğini ölçer. Hiç eşleşme vermeyen bir sistem hiç yanlış da yapmaz, ama kapsaması sıfırdır. Bu yüzden iki rakam her zaman birlikte ve aynı eşik için verilmelidir.

%99,99 doğruluk beyanı yanlış mı demektir?

Yanlış olmak zorunda değildir, ama tek başına eksiktir. Rakamın hangi test setinde, hangi pazarda, hangi payda üzerinden ve yalnız otomatik eşleşmeler için mi ölçüldüğü bilinmeden ne anlattığı anlaşılamaz. Aynı eşikteki kapsama ve insan kontrolü oranı da sorulmalıdır.

Eşik değerlerini kendim değiştirebilir miyim?

API v1 yanıtlarında her eşleşmenin güven skoru confidence alanında döner. Bu skoru kullanarak kendi sisteminizde daha sıkı bir kural uygulayabilirsiniz; ör. yalnız 0,99 üstünü otomatik kabul etmek. Müşteri bazında eşik ayarının hizmet tarafında sunulup sunulmayacağı henüz kesinleşmedi.

hotelmapping.org'un ölçülmüş doğruluk ve kapsama oranı nedir?

Henüz yayımlanmış bir ölçüm yok. Plan, en az 5.000 elle etiketlenmiş otel çiftiyle ölçüm yapmak ve sonucu kapsam sayfasında yayımlamaktır.

hotelmapping.org Editör Ekibi

DIJI.TECH otel verisi ekibi

Otel eşleştirme, tedarikçi entegrasyonu ve seyahat yazılımı alanında çalışan DIJI.TECH ekibi.