هر ارجاع یک قول است: اگر شک دارید، اینجا می‌توانید بررسی کنید. وقتی خود ارجاع ساختگی باشد، این قول به دام تبدیل می‌شود. و مدل‌های زبانی می‌توانند ارجاع‌هایی بسازند که کاملاً معتبر به نظر می‌رسند.

هشداری از دنیای واقعی

در سال ۲۰۲۳، در پرونده‌ی Mata v. Avianca در ایالات متحده، وکلایی لایحه‌ای به دادگاه دادند که به احکامی قضایی استناد می‌کرد که وجود نداشتند. این ارجاع‌ها را یک چت‌بات هوش مصنوعی ساخته بود، همراه با نام پرونده‌ها و نقل‌قول‌هایی واقع‌نما. دادگاه وکلا را جریمه کرد. این پرونده به نمونه‌ای مشهور تبدیل شد از آنچه وقتی رخ می‌دهد که به ارجاع‌های ساخته‌شده بدون بررسی اعتماد شود.

چرا مدل‌ها منبع می‌سازند

یک مدل زبانی ارجاع را آن‌طور که یک کتابدار جستجو می‌کند پیدا نمی‌کند. متنی را پیش‌بینی می‌کند که با الگوی یک ارجاع جور دربیاید: نام یک مؤسسه، عنوانی باورپذیر، نشانی وبی با ساختار درست. اغلب نتیجه به سندی واقعی اشاره می‌کند. گاهی به هیچ‌جا اشاره نمی‌کند، در حالی که دقیقاً همان شکل را دارد.

سه نوع ارجاع بد

  • منبع ساختگی. گزارش یا پژوهشی که هرگز منتشر نشده است.
  • نشانی خراب. سازمانی واقعی، اما مسیری حدسی در نشانی که به جایی نمی‌رسد.
  • انتساب نادرست. سندی واقعی که چیزی را که به آن نسبت داده می‌شود نمی‌گوید.

دو مورد اول را می‌توان خودکار شناسایی کرد. سومی نیاز به خواندن منبع دارد.

Honest Lens چه می‌کند

موتور «ادعا تا شواهد» هر پیوندی را که مدل ارائه می‌دهد تا وقتی خلافش ثابت نشده، تأییدنشده می‌داند:

  • به مدل دستور داده شده که هرگز نشانی نسازد و اگر مطمئن نیست پیوند را حذف کند.
  • پس از تحلیل، سرور تک‌تک نشانی‌های استنادشده را درخواست می‌کند.
  • پیوندهایی که پیام «پیدا نشد» می‌دهند یا به دامنه‌هایی ناموجود اشاره می‌کنند حذف می‌شوند و گزارش می‌گوید پیوند پیشنهادی قابل تأیید نبود.
  • پیوندهایی که وجود دارند اما جلوی بررسی خودکار را می‌گیرند با برچسب به‌صورت خودکار تأیید نشد مشخص می‌شوند، نه اینکه تأییدشده جلوه کنند.
  • پیوندهایی که به‌طور عادی پاسخ می‌دهند با برچسب بررسی شد مشخص می‌شوند.

این روند را می‌توانید در پنل پیشرفت زنده ببینید که هر دامنه را در لحظه‌ی بررسی نشان می‌دهد.

آنچه تضمین نمی‌شود

یک پیوند سالم ثابت می‌کند صفحه وجود دارد، نه اینکه از ادعا پشتیبانی می‌کند. به همین دلیل هر منبع در گزارش همراه با توضیحی کوتاه درباره‌ی آنچه بیان می‌کند می‌آید، و به همین دلیل خواندن منبع توسط خود شما همچنان قوی‌ترین بررسی است.