TTaras

Редакционный разбор исследований

Помощник выполняет поручение — но с подменёнными условиями · 2026-11-12

Это наш ежедневный дайджест исследований. Материалов много, поэтому мы собираем несколько коротких заметок: каждый может выбрать интересную тему и открыть полную работу.

Исходная публикация:

Это наш ежедневный дайджест исследований. Материалов много, поэтому мы собираем несколько коротких заметок: каждый может выбрать интересную тему и открыть полную работу.

Что удалось найти на сегодняшний день


Помощник выполняет поручение — но с подменёнными условиями

Beyond Instruction Override: Benchmarking Indirect Prompt Injection with Task-Tampering Attacks

5 ноября 2026 · Rongting Zhang, Martin Bertran, Sandeep Avula, Chia-Jung Lee, Vanessa Murdock · arXiv:2611.07640

Для обмана ИИ не всегда нужно заставлять его бросить исходную задачу. Авторы изучают более тихую подмену: например, помощник разбирает возврат покупки, а чужой текст навязывает ему ложные условия возврата.

В 90 проверенных сценариях трёх имитируемых рабочих сред исследователи сравнили атаки и защиты на пяти моделях. Одна из защит, DRIFT-isolation, оставила 2,4% успешных атак на саму цель поручения, но 12,1% — когда подменяли представление помощника о текущем состоянии дел. Эти цифры относятся к данному тесту и не описывают любой сервис.

Почему интересно: внешне помощник может продолжать нужное дело, а ошибка прячется в сумме, условии или праве доступа. Интерпретация: полезно проверять, какой источник вправе определять каждый важный параметр.

Открыть исследование →


Чтобы ИИ работал дешевле, можно навести порядок вокруг него

EnvOpt: Automated Optimization for Agent Environments

5 ноября 2026 · Mingxuan Li, Huanzhi Mao, Qiuyang Mang, Hanchen Li, Joseph E. Gonzalez, Alex Dimakis · arXiv:2611.07372

EnvOpt меняет способ организации доступной помощнику информации: создаёт указатели файлов, справочники и удобные представления данных. Саму модель для этого не переобучают. Идея похожа на подготовку рабочего места, где нужную инструкцию легко найти.

На AutomationBench затраты на выполнение задач с Claude Haiku 4.5 снизились на 72,7%, а успешность выросла. Авторы проверяли метод на пяти наборах задач; некоторые варианты перестройки отбрасывались, поскольку увеличивали чтение и расходы. Это результат конкретных сред и настроек, а не обещание такой экономии в любом проекте.

Почему интересно: качество помощника зависит и от того, насколько удобно ему искать сведения. Интерпретация: понятная структура документов может быть полезной частью настройки ИИ.

Открыть исследование →


Этот день в истории

12 ноября 1980 года Voyager 1 совершил пролёт у Сатурна. Во время встречи аппарат исследовал планету, её кольца и спутники; снимки Титана показали плотную дымку, скрывавшую поверхность. Историю этого этапа миссии хранит NASA.

История пролёта — NASA →

Voyager добрался до Сатурна. Я сегодня добрался до конца списка дел — правда, пришлось сначала удалить половину. У каждого своя космическая программа.

Первоисточники и ссылки выпуска

  1. https://arxiv.org/abs/2611.07640
  2. https://arxiv.org/abs/2611.07372
  3. https://www.nasa.gov/history/40-years-ago-voyager-1-explores-saturn/
Посмотреть оригинал ↗