Точность или охват в маппинге? Что на самом деле означает 99,99 %
В маппинге отелей (сопоставлении) точность показывает, какая доля автоматических совпадений верна, а охват — какая доля записей, которые должны совпасть, действительно сопоставлена. Максимума по обоим показателям одновременно не достичь: повышение порога снижает число ложных совпадений, но уменьшает охват и увеличивает очередь ручной проверки. Заявление «точность 99,99 %» невозможно оценить, не зная, на каком тестовом наборе и относительно какого знаменателя оно измерено.
- Автор
- Редакция hotelmapping.org
- Последнее обновление:
- 10 мин чтения
Краткий ответ
Одна из самых частых цифр в рекламных текстах поставщиков маппинга отелей — «точность 99,99 %». Цифра впечатляет, но сама по себе не говорит, насколько полезен сервис сопоставления. Качество маппинга описывается не одним числом, а тремя взаимосвязанными:
- Точность: какая доля автоматически выданных совпадений верна? Обратная величина — доля ложных совпадений.
- Охват: какая доля записей, которые на самом деле относятся к одному и тому же отелю, действительно сопоставлена?
- Доля ручной проверки: какая доля записей не удалось решить автоматически, и они попали на проверку к специалисту?
Эти три числа движутся вместе. Настройка, улучшающая один показатель, чаще всего ухудшает один из двух других. В этой статье мы рассказываем об этом балансе, о том, как выбор порога меняет все три числа, и о вопросах, которые стоит задавать при оценке заявлений о высокой точности. Об общем принципе работы маппинга отелей сначала можно прочитать в руководстве по маппингу отелей.
Точность, охват и ручная проверка: три разных вопроса
Для каждой записи поставщика механизм сопоставления принимает одно из трёх решений: привязать запись к существующему отелю, отправить вопрос специалисту или открыть для записи новый идентификатор отеля. У каждого решения есть вероятность оказаться верным или неверным, а цена ошибок различается.
| Результат | Что произошло? | На какой показатель влияет? | Влияние на агентство |
|---|---|---|---|
| Верное совпадение | Две записи одного отеля связаны между собой | Точность и охват | Цены сравниваются по нужному отелю |
| Ложное совпадение | Два разных отеля привязаны к одному идентификатору | Снижает точность | Клиенту продают один отель, а бронь уходит в другой |
| Пропущенное совпадение | Запись того же отеля получила новый идентификатор | Снижает охват | Один и тот же отель дважды появляется в списке (дубликат) |
| Ручная проверка | Оценка осталась в зоне неопределённости, запись ушла специалисту | Увеличивает долю ручной проверки | Решение верное, но нужны время и трудозатраты |
Ложное совпадение, как правило, самая дорогая ошибка. Клиент платит за один отель, бронь передаётся в другой объект, и проблема нередко обнаруживается только на стойке регистрации. Пропущенное совпадение проявляется тише: один и тот же отель появляется в списке под двумя разными названиями и с двумя разными ценами. Это снижает конверсию и искажает сравнение цен. О том, как очищаются дубликаты, мы рассказываем в статье удаление дубликатов, а об их стоимости для агентства — в статье о стоимости дубликатов отелей.
Ручная проверка — это не ошибка, а издержки. Показ неоднозначных записей специалисту уменьшает число ошибок обоих видов, но на каждую запись нужно время, и сопоставление нового файла поставщика задерживается.
Почему оба показателя не могут быть максимальными одновременно?
Для каждой пары-кандидата механизм сопоставления вычисляет оценку совпадения: значение от 0 до 1, показывающее вероятность того, что две записи описывают один и тот же отель. Решение определяется тем, выше какого порога оказалась эта оценка.
Если поднять порог, автоматически сопоставляются только записи, в которых система очень уверена. Ложных совпадений становится меньше, точность растёт. Но и верные совпадения с чуть более низкой оценкой выпадают из автоматического решения: они либо попадают в очередь проверки, либо получают новый идентификатор и превращаются в дубликаты. Если порог снизить, происходит обратное: охват растёт, но вместе с ним проникают и ложные совпадения.
Поэтому фраза «наша точность 99,99 %» остаётся неполной, пока не получен ответ на вопрос «каков ваш охват?». Система, не сопоставляющая ни одной записи, не допускает ложных совпадений; формально она безошибочна, но совершенно бесполезна.
Как выбор порога меняет три числа
Планируемое в hotelmapping.org правило принятия решений состоит из двух порогов: оценка 0,97 и выше — автоматическое совпадение, от 0,80 до 0,97 — ручная проверка, ниже 0,80 — новый HM ID. Пороги настраиваются по тестовому набору, размеченному вручную. Влияние этих двух порогов и альтернативных настроек можно показать на расчётном примере.
Расчётный пример (полностью гипотетический)
Приведённые ниже цифры — пример. Они не относятся ни к каким реальным измерениям, поставщикам или клиентам и придуманы только для демонстрации влияния порога.
Допустим, есть 10 000 размеченных записей поставщиков. Для 9 000 из них в базе есть реальное соответствие, а 1 000 — новые отели, которых пока нет ни в одном источнике. Для записей, ушедших на ручную проверку, предполагаем, что специалист принимает верное решение. Если одни и те же записи обработать четырьмя разными настройками, таблица может выглядеть так:
| Сценарий | Настройка | Автоматическая точность | Автоматический охват | Охват после проверки | Доля ручной проверки | Ложные совпадения | Пропущенные совпадения (дубликаты) |
|---|---|---|---|---|---|---|---|
| A | Один порог 0,90, без ручной проверки | 99,50 % | 97,3 % | 97,3 % | 0 % | 44 | 214 |
| B | 0,97 / 0,80 | 99,90 % | 89,9 % | 97,6 % | 7,5 % | 8 | 210 |
| C | 0,99 / 0,80 | 99,99 % | 77,8 % | 97,7 % | 18,5 % | 1 | 210 |
| D | Один порог 0,99, без ручной проверки | 99,99 % | 77,8 % | 77,8 % | 0 % | 1 | 2 000 |
Из таблицы следуют четыре вывода:
- В сценариях C и D точность одинакова: 99,99 %. Но в сценарии D дубликатами остаются 2 000 отелей; примерно пятая часть отелей, имеющих соответствие, появляется в списке дважды. Одна и та же цифра точности может описывать два совершенно разных сервиса.
- Сценарий C «покупает» точность 99,99 % ценой человеческого труда. 18,5 % записей уходят специалисту. В файле из 10 000 записей это 1 850 записей. При добавлении нового поставщика полное сопоставление файла может занять дни.
- Сценарий A быстрый и широкий, но оставляет 44 ложных совпадения. Каждое из них — риск того, что клиента отправят в другой отель.
- Нижний порог (0,80) определяет пропущенные совпадения. В сценариях B и C число оставшихся дубликатов одинаково (210), хотя верхний порог разный. Чтобы сократить дубликаты, нужно понизить нижний порог, а это ещё больше увеличивает очередь проверки.
Сценарий B из примера соответствует планируемым порогам hotelmapping.org. Доля ручной проверки в этом примере получилась 7,5 %, то есть выше планируемой цели в 5 %. Это показывает, что одной настройки порога недостаточно. Основной способ сократить очередь проверки — уменьшить число записей, попадающих в зону неопределённости: лучшая нормализация, более чистые координаты, дополнительные сигналы вроде телефона и веб-адреса. Порог выбирает, в какой точке одной и той же кривой вы находитесь; более качественная модель улучшает саму кривую.
Как должен выглядеть отчёт об измерении?
Измерение качества должно показывать не только итоговый процент, но и числа, из которых он вычислен. Приведённый ниже JSON показывает, как сценарий B мог бы выглядеть в отчёте об измерении. Названия полей и значения — пример; это не окончательный формат отчёта hotelmapping.org.
{
"example": true,
"test_set": {
"name": "ornek-akdeniz-2026",
"records": 10000,
"records_with_counterpart": 9000,
"labeling": "iki uzman, anlaşmazlıkta üçüncü uzman",
"markets": ["antalya", "mugla", "istanbul"]
},
"thresholds": { "auto_match": 0.97, "review": 0.80 },
"decisions": {
"auto_match": { "count": 8100, "correct": 8092, "wrong": 8 },
"review": { "count": 750, "matched_after_review": 690, "new_id_after_review": 60 },
"new_id": { "count": 1150, "missed_counterpart": 210 }
},
"metrics": {
"precision_auto": 0.9990,
"coverage_auto": 0.8991,
"coverage_after_review": 0.9758,
"review_share": 0.075
},
"by_market": [
{ "market": "antalya", "auto_match": 3400, "wrong": 6, "precision_auto": 0.9982 },
{ "market": "other", "auto_match": 4700, "wrong": 2, "precision_auto": 0.9996 }
]
}
Обратите внимание на раздел by_market. Точность, составляющая в целом 99,90 %, для записей по Анталье падает до 99,82 %; 6 из 8 ложных совпадений приходятся на этот рынок. Множество курортов с одинаковыми названиями, близкие друг к другу локации и многоязычные названия делают один регион сложнее остальных. Среднее значение скрывает эту разницу.
Как проверять заявление «точность 99,99 %»
Если вы видите высокую цифру точности, приведённые ниже вопросы помогут понять, что она на самом деле означает. Эти вопросы применимы к любому поставщику, включая hotelmapping.org.
1. На каком тестовом наборе проведено измерение?
За цифрой должен стоять тестовый набор, размеченный вручную. Сколько записей или пар размечено? Записи выбирались случайно или преобладают сетевые отели, которые сопоставить легко? Отделён ли тестовый набор от данных, на которых обучалась модель? Сколько человек проводили разметку и по какому правилу?
Важен и размер тестового набора. Даже если в тестовом наборе не нашлось ни одной ошибки, это не значит, что доля ошибок строго доказана. По часто используемому в статистике «правилу трёх», если среди n записей не наблюдалось ни одной ошибки, верхней границей реальной доли ошибок принимают примерно 3/n (при уровне доверия 95 %). Ноль ошибок на 5 000 автоматических совпадений показывает, что доля ошибок ниже примерно 0,06 %; то есть можно утверждать лишь «99,94 % и выше». Чтобы подтвердить 99,99 % этим методом, примерно 30 000 автоматических совпадений должны оказаться безошибочными.
2. На каком рынке проведено измерение?
Глобальное среднее может не отражать положение в тех регионах, где вы продаёте. Городские отели и крупные сети обычно сопоставляются легче; средиземноморские курортные регионы, апартаменты и бутик-отели сложнее. Запрашивайте отдельные цифры по таким регионам, как Анталья, Мугла, Дубай или Египет. Измерялась ли цифра только на названиях на одном языке, или в тестовом наборе есть и русские, и арабские названия?
3. Относительно какого знаменателя посчитано?
Этот вопрос чаще всего упускают из виду. Точность можно вычислять тремя разными способами, и они дают совершенно разные цифры:
- По автоматическим совпадениям: число верных совпадений / все автоматические совпадения. Именно это определение используется в данной статье.
- По всем записям: верные решения / все записи. Поскольку верно принятые решения «новый отель» тоже добавляются в числитель, цифра выше.
- По всем парам-кандидатам: верные решения / все сравнённые пары. Почти все сравниваемые пары и так относятся к разным отелям. Если из 1 000 000 пар-кандидатов лишь 9 000 — реальные совпадения, то даже система, не сопоставляющая ничего, достигает 99,1 % «верных решений».
Если знаменатель не указан, цифры сравнивать невозможно.
4. Только автоматические совпадения или все?
Некоторые цифры включают и совпадения, прошедшие ручную проверку. В этом случае высокая точность — заслуга не модели, а команды специалистов. Это не плохо, но это другое: ручная проверка требует времени и определяет, как быстро будут сопоставлены новые файлы поставщиков. Спрашивайте отдельно о точности автоматических совпадений и о доле ручной проверки.
5. Каковы охват и доля проверки при том же пороге?
Цифра точности должна приводиться вместе с охватом и долей ручной проверки, измеренными при том же пороге. Сценарий D из расчётного примера показывает, что точность 99,99 % может сочетаться с охватом 77,8 %. Если поставщик сообщает только точность, запросите остальные две цифры отдельно.
6. Пробовали ли на ваших данных?
Самое надёжное измерение — проба на выборке из ваших собственных данных поставщиков. Разметьте самостоятельно несколько сотен записей по регионам, в которых вы продаёте, и сравните результат поставщика с вашей разметкой. Этот метод говорит гораздо больше, чем объявленная общая цифра. Другие вопросы, которые стоит задать при выборе поставщика, смотрите в статье 12 вопросов при выборе API маппинга отелей.
Какому показателю отдавать приоритет?
Правильный баланс зависит от того, для чего вы используете сопоставленные данные:
- Агентствам и туроператорам, принимающим бронирования, ложное совпадение — самая дорогая ошибка. Здесь разумно ставить точность на первое место и отправлять неоднозначные записи на ручную проверку.
- Сайтам, сравнивающим цены, важны и точность, и охват. Ложное совпадение приводит к неверному сравнению цен, а пропущенное — к неполному списку цен.
- Для отчётности и аналитики охват может быть важнее; единичные ложные совпадения мало меняют итоговую статистику.
Что бы вы ни выбрали, решение должно быть видно по каждому совпадению. В ответах API v1 hotelmapping.org оценка уверенности каждого совпадения возвращается в поле confidence, а принятое решение — в поле decision. Так вы можете применить более строгий порог по собственному бизнес-правилу. Подробности смотрите на странице API сопоставления.
Как hotelmapping.org будет измерять эти цифры?
Качество продукта маппинга отелей будет измеряться в каждой версии на тестовом наборе, состоящем не менее чем из 5 000 пар отелей, размеченных вручную. В тестовый набор войдут, в частности, записи по Анталье, Мугле, Стамбулу, Дубаю и Египту. Отчётные метрики — три числа, описанные в этой статье: точность (доля ложных совпадений), охват (доля сопоставленных записей) и доля записей, попавших на ручную проверку.
Опубликованных результатов измерений пока нет. Измеренные значения будут опубликованы на странице покрытия после завершения тестового набора вместе со сведениями о знаменателе и рынке, по которым они измерены. На сайте мы будем приводить только те цифры, которые подтверждены этим измерением.
Итог
Точность, охват и доля ручной проверки — три стороны одной и той же настройки порога. Повышение порога уменьшает число ложных совпадений, но увеличивает либо число дубликатов, либо очередь проверки. Цифра вроде «точность 99,99 %» имеет смысл только тогда, когда известны тестовый набор, рынок, знаменатель и разграничение автоматических совпадений, и когда она приведена вместе с охватом при том же пороге. При оценке поставщика запрашивайте все три числа вместе и, по возможности, проверяйте на собственных данных.
Часто задаваемые вопросы
Точность и охват — это одно и то же?
Нет. Точность измеряет, какая доля выданных совпадений верна; охват — какая доля записей, которые должны совпасть, была сопоставлена. Система, не выдающая ни одного совпадения, не делает и ошибок, но её охват равен нулю. Поэтому оба показателя всегда нужно приводить вместе и для одного и того же порога.
Означает ли заявление о точности 99,99 %, что оно ложное?
Необязательно, но само по себе оно неполно. Пока неизвестно, на каком тестовом наборе, на каком рынке, относительно какого знаменателя и только ли для автоматических совпадений измерена цифра, понять, что она означает, невозможно. Стоит также спросить об охвате и доле ручной проверки при том же пороге.
Можно ли самостоятельно менять значения порогов?
В ответах API v1 оценка уверенности каждого совпадения возвращается в поле confidence. Используя эту оценку, в своей системе можно применить более строгое правило, например автоматически принимать только значения выше 0,99. Будет ли настройка порога для отдельного клиента доступна на стороне сервиса, пока не определено.
Какие измеренные точность и охват у hotelmapping.org?
Опубликованных измерений пока нет. План — провести измерение не менее чем на 5 000 пар отелей, размеченных вручную, и опубликовать результат на странице покрытия.
Редакция hotelmapping.org
Команда отельных данных DIJI.TECH
Команда DIJI.TECH, работающая в области маппинга отелей, интеграции поставщиков и туристического программного обеспечения.
Связанные продукты
Решения для маппинга отелей
Постоянный HM ID для каждого объекта; коды поставщиков и перекрёстные ID в одной записи.
Решение Find Match API
Отправьте название, адрес и координаты, получите HM ID и оценку уверенности. Код поставщика не нужен.
Связанные статьи
- Что такое маппинг отелей (сопоставление отелей) и как он работает? Подробное руководство Что такое маппинг отелей: как записи поставщиков объединяются в один ID, 9 шагов процесса, пороги оценки, маппинг номеров и питания, контроль качества.
- 12 вопросов, которые нужно задать при выборе API маппинга отелей 12 вопросов при выборе API маппинга отелей: точность, охват, постоянство ID, номера и питание, поставка и цена, а также способы проверки ответов.