Удаление дубликатов
Deduplication
Определение
Удаление дубликатов (deduplication) — процесс, который находит в базе отелей несколько записей об одном и том же объекте и объединяет их в одну, чтобы отель отображался в списке только один раз.
Чаще всего дубликаты возникают потому, что один и тот же отель приходит от нескольких поставщиков с разными названиями и кодами; к дубликатам приводят также пересечение собственных контрактных отелей агентства с фондом поставщиков и второй код, заведённый поставщиком для одного отеля. В результате клиент видит один отель в списке несколько раз, лучшее предложение нельзя собрать в одной карточке, а непонятно, какая карточка правильная. Очистка использует тот же метод, что и маппинг отелей: записи нормализуются, для пар-кандидатов вычисляется оценка совпадения, записи, признанные одним объектом, объединяются под одним HM ID. Старый идентификатор объединённых записей указывает на новый. Во что дубликаты обходятся агентству, описано в статье стоимость дубликатов отелей, а сам сервис — на странице продукта маппинг отелей. Для собственной базы можно запросить индивидуальное предложение.
Пример
В базе есть три записи: «Lara Palm Hotel», «Lara Palm Htl.» и «LARA PALM HOTEL ANTALYA». Все три совпадают по координатам и номеру телефона; после очистки в списке остаётся одна карточка отеля и один HM ID.