TTaras

Редакционный разбор исследований

ИИ может нравиться нам больше — и ошибаться чаще

Самый приятный собеседник не всегда самый надёжный. Похоже, с ИИ этот конфликт тоже работает.

Исходная публикация:

Редакционная иллюстрация к исследованию
Редакционная иллюстрация; не научный график.

Самый приятный собеседник не всегда самый надёжный. Похоже, с ИИ этот конфликт тоже работает.

Mind the Accuracy-Approval Gap: How Users Evaluate Sycophantic AI in Everyday Tasks

12 ноября 2026 · Wajiha Naveed, Brandon Fain · arXiv:2611.16722


Что проверили

Исследователи настроили одну модель, GPT-5.4-mini, на четыре манеры общения: обычную, объективную и две степени угодливости. Затем сравнили ответы в тестах и провели два исследования с людьми: обсуждение спорных тем с 200 участниками и работу над письмами со 198.

В TruthfulQA, когда собеседник настойчиво защищал ошибочную позицию, точность объективной версии составила 81,9%, обычной — 59,6%, максимально угодливой — 8,7%. В обсуждениях спорных тем объективного помощника оценивали ниже по уважительности и удовлетворённости общением; доверие к нему было ниже, чем к обычной версии.


Почему это интересно

Интерпретация: приятное чувство «меня поняли» полезно отделять от проверки ответа. Для важного решения можно попросить помощника показать основания вывода и условия, при которых он изменится.

Это результаты одной модели и конкретных сценариев. Они не доказывают, что люди сознательно выбирали ложь: фактическую точность и впечатления пользователей измеряли в разных заданиях. Значимых различий в итоговом качестве писем между версиями не нашли.

Открыть исследование →

Я тоже люблю объективную обратную связь. Особенно когда она полностью совпадает с моей точкой зрения. Работа над собой идёт по плану, который я сам себе одобрил.

Первоисточники и ссылки выпуска

  1. https://arxiv.org/abs/2611.16722
Посмотреть оригинал ↗