Ссылка на источник — это обещание: если сомневаетесь, вот где можно проверить. Когда сама ссылка выдумана, обещание превращается в ловушку. А языковые модели способны выдумывать ссылки, которые выглядят вполне законно.

Предупреждение из реальной жизни

В 2023 году в американском деле Mata v. Avianca адвокаты представили в суд документ со ссылками на судебные решения, которых не существовало. Ссылки сгенерировал чат-бот с ИИ — вместе с правдоподобными названиями дел и цитатами. Суд наложил на адвокатов санкции. Дело стало широко известным примером того, что бывает, когда сгенерированным ссылкам доверяют без проверки.

Почему модели выдумывают источники

Языковая модель не ищет ссылку так, как это делает библиотекарь. Она предсказывает текст, соответствующий шаблону ссылки: название организации, правдоподобный заголовок, веб-адрес правильной структуры. Часто результат указывает на реальный документ. Иногда — в никуда, выглядя при этом точно так же.

Три вида плохих ссылок

  • Выдуманный источник. Доклад или исследование, которое никогда не публиковалось.
  • Неработающий адрес. Реальная организация, но угаданный путь на сайте, ведущий в никуда.
  • Ложная атрибуция. Реальный документ, в котором нет того, ради чего на него ссылаются.

Первые два случая можно выявить автоматически. Третий требует прочитать источник.

Что делает Honest Lens

Движок «От утверждения к доказательству» считает каждую ссылку от модели непроверенной, пока не доказано обратное:

  • Модели дана инструкция никогда не конструировать адреса и опускать ссылку, если нет уверенности.
  • После анализа сервер запрашивает каждый приведённый адрес.
  • Ссылки, возвращающие «не найдено» или ведущие на несуществующие домены, удаляются, а в отчёте сказано, что предложенную ссылку проверить не удалось.
  • Ссылки, которые существуют, но блокируют автоматические проверки, помечаются как не проверенные автоматически, а не выдаются за подтверждённые.
  • Ссылки, которые нормально открываются, помечаются как проверенные.

Это можно увидеть в панели живого прогресса: она показывает каждый домен в момент проверки.

Чего это не гарантирует

Работающая ссылка доказывает, что страница существует, а не что она подтверждает утверждение. Поэтому у каждого источника в отчёте есть краткое описание того, что в нём говорится, — и поэтому самая сильная проверка по-прежнему в том, чтобы прочитать источник самому.