Редакционный разбор исследований
Помощник выполняет поручение — но с подменёнными условиями · 2026-11-12
Это наш ежедневный дайджест исследований. Материалов много, поэтому мы собираем несколько коротких заметок: каждый может выбрать интересную тему и открыть полную работу.
Исходная публикация:
Это наш ежедневный дайджест исследований. Материалов много, поэтому мы собираем несколько коротких заметок: каждый может выбрать интересную тему и открыть полную работу.
Что удалось найти на сегодняшний день
Помощник выполняет поручение — но с подменёнными условиями
Beyond Instruction Override: Benchmarking Indirect Prompt Injection with Task-Tampering Attacks
5 ноября 2026 · Rongting Zhang, Martin Bertran, Sandeep Avula, Chia-Jung Lee, Vanessa Murdock · arXiv:2611.07640
Для обмана ИИ не всегда нужно заставлять его бросить исходную задачу. Авторы изучают более тихую подмену: например, помощник разбирает возврат покупки, а чужой текст навязывает ему ложные условия возврата.
В 90 проверенных сценариях трёх имитируемых рабочих сред исследователи сравнили атаки и защиты на пяти моделях. Одна из защит, DRIFT-isolation, оставила 2,4% успешных атак на саму цель поручения, но 12,1% — когда подменяли представление помощника о текущем состоянии дел. Эти цифры относятся к данному тесту и не описывают любой сервис.
Почему интересно: внешне помощник может продолжать нужное дело, а ошибка прячется в сумме, условии или праве доступа. Интерпретация: полезно проверять, какой источник вправе определять каждый важный параметр.
Чтобы ИИ работал дешевле, можно навести порядок вокруг него
EnvOpt: Automated Optimization for Agent Environments
5 ноября 2026 · Mingxuan Li, Huanzhi Mao, Qiuyang Mang, Hanchen Li, Joseph E. Gonzalez, Alex Dimakis · arXiv:2611.07372
EnvOpt меняет способ организации доступной помощнику информации: создаёт указатели файлов, справочники и удобные представления данных. Саму модель для этого не переобучают. Идея похожа на подготовку рабочего места, где нужную инструкцию легко найти.
На AutomationBench затраты на выполнение задач с Claude Haiku 4.5 снизились на 72,7%, а успешность выросла. Авторы проверяли метод на пяти наборах задач; некоторые варианты перестройки отбрасывались, поскольку увеличивали чтение и расходы. Это результат конкретных сред и настроек, а не обещание такой экономии в любом проекте.
Почему интересно: качество помощника зависит и от того, насколько удобно ему искать сведения. Интерпретация: понятная структура документов может быть полезной частью настройки ИИ.
Этот день в истории
12 ноября 1980 года Voyager 1 совершил пролёт у Сатурна. Во время встречи аппарат исследовал планету, её кольца и спутники; снимки Титана показали плотную дымку, скрывавшую поверхность. Историю этого этапа миссии хранит NASA.
Voyager добрался до Сатурна. Я сегодня добрался до конца списка дел — правда, пришлось сначала удалить половину. У каждого своя космическая программа.
Первоисточники и ссылки выпуска
- https://arxiv.org/abs/2611.07640
- https://arxiv.org/abs/2611.07372
- https://www.nasa.gov/history/40-years-ago-voyager-1-explores-saturn/