Захист від галюцинацій

Що таке «галюцинація» і чому модель упевнено помиляється?

«Галюцинація» — це коли ШІ видає правдоподібну, але хибну відповідь, до того ж упевненим тоном. Мовна модель за своєю природою продовжує текст так, «як імовірніше звучить», а не «як є насправді». Тому сама по собі вона може вигадати факт, джерело чи цифру — і подати це без тіні сумніву.

Небезпека не в самій помилці, а в її переконливості: на вигляд вона не відрізняється від правди. Отже, захист — це не «попросити модель не брехати» (це не працює), а зовнішня система перевірки навколо моделі, яка ловить неперевірене до того, як воно дійде до користувача.

Як ви не даєте моделі вигадувати факти?

Ми заземлюємо відповідь на перевірені джерела. Система спершу знаходить релевантні документи у вашій базі, і відповідь будується з них — із зазначенням, звідки взято кожен факт. Модель не «пригадує», а працює з тим, що знайдено.

• Відповідь — із джерел, а не «з голови». Модель спирається на знайдені фрагменти вашої бази, а не на те, що запам’ятала під час навчання.
• Кожен факт — із посиланням. Твердження супроводжується джерелом, яке можна відкрити й перевірити.
• Немає опори — немає відповіді. Якщо підстави в базі немає, система каже «недостатньо даних», а не вигадує. «Не знаю» — це допустима і правильна відповідь.
• Завдання ставиться так, щоб його можна було перевірити. Ще до роботи формулюється, що вважати коректною відповіддю (критерії), — потім за ними й звіряємо.

Відповідь ШІ перевіряє сам ШІ?

Ні — і це ключовий момент. Той, хто виконує роботу, і той, хто її перевіряє, — різні агенти. Автор відповіді не ставить оцінку сам собі.

У нашому оркестраторі ролі розділено: виконавець генерує відповідь або дію, а незалежний контролер окремо збирає докази й судить за фактами, а не за принципом «вірю автору». Самопідтвердження — головне джерело галюцинацій, і ми усуваємо його архітектурно.

• Виконавець ≠ контролер. Перевірку веде інший агент, не зацікавлений у тому, щоб робота «виглядала готовою».
• Перевірка — на доказах. Контролер вимагає джерело або підтвердження, а не вірить твердженню на слово.
• Фінал — за критеріями. Результат звіряється із заздалегідь заданою специфікацією, а не оцінюється «на око».

А якщо помилка виглядає правдоподібно?

Найнебезпечніші помилки — ті, що звучать переконливо. Проти них працює змагальна перевірка: кілька незалежних перевіряльників не «підтверджують» відповідь, а намагаються її спростувати.

• Настанова на спростування. Перевіряльник цілеспрямовано шукає, де факт ламається, а не де він «начебто ок».
• Різні ракурси. Коректність, відповідність джерелу, відтворюваність — кожен перевіряльник дивиться зі свого боку, а не дублює інших.
• Проходить лише те, що встояло. Твердження приймається, тільки якщо витримало спроби його зламати (згода більшості). Не встояло — на доопрацювання або до людини.

Чому система не поспішає відповідати і як розуміє, що «готово»?

Головний ризик довгих завдань — передчасне «готово»: система видає перший правдоподібний результат і зупиняється. Наш оркестратор влаштований навпаки — він не довіряє першій відповіді.

• Пошук прогалин по колу. Після кожного кроку система питає: «що залишилося неперевіреним, чого бракує?» — і це запускає нове коло, доки не стане «сухо».
• «Готово» — лише за доказами. Фінальне приймання запускається, тільки коли зібрані докази підтверджують, що критерії виконано. Сам запит на закриття теж проходить перевірку.
• План і межі — заздалегідь. Завдання розкладається на план із явними критеріями, які можна перевірити, — є з чим звіряти результат, а не «довіряти відчуттю».

Усі ступені захисту — конвеєр перевірки

Захист від галюцинацій — це не одна стіна, а конвеєр із кількох ступенів. Відповідь проходить їх по черзі, і межа перевірки відокремлює «виробництво» відповіді від незалежного «контролю».

1. Постановка завдання і план

   Завдання розкладається на кроки з явними критеріями успіху, які можна перевірити, і з точками контролю. З’являється специфікація, за якою потім звіряють результат.

2. Заземлення на джерела

   Пошук (retrieval) у вашій перевіреній базі; відповідь будується зі знайдених фрагментів, із цитатами. Немає опори → «недостатньо даних» замість здогадки.

3. Чернетка виконавця

   Робочий агент генерує відповідь або дію. Це ще не результат, а кандидат, який обов’язково має пройти перевірку.

   — — — межа перевірки — — —

4. Незалежна перевірка

   Інший агент (або кілька) збирає докази і змагально намагається спростувати кожне твердження:

   • перевіряльник не бачив, «як зручніше автору», — він дивиться на факти;
   • спірні твердження перевіряються з різних ракурсів (коректність, джерело, відтворюваність);
   • рішення ухвалюється згодою більшості, а не одним голосом.

5. Пошук прогалин

   «Що залишилося неперевіреним, чого бракує?» → нове коло роботи, доки питання не вичерпано. Передчасне «готово» тут не проходить.

6. Видача, зупинка й аудит

   Фінал настає лише тоді, коли критерії виконано й підтверджено. Спірне позначається й передається людині, а не видається за істину; кожен факт простежується до джерела, а вихідні запити логуються.