Редакционный разбор исследований
ИИ может посчитать время и всё равно пропустить ограничение · 2026-11-13
Это наш ежедневный дайджест исследований. Материалов много, поэтому заметки компактные: каждый может выбрать интересную тему и перейти к полной работе.
Исходная публикация:
Это наш ежедневный дайджест исследований. Материалов много, поэтому заметки компактные: каждый может выбрать интересную тему и перейти к полной работе.
Что удалось найти на сегодняшний день
ИИ может посчитать время и всё равно пропустить ограничение
Before You Continue: Evaluating Time-Sensitive Safety Awareness in Conversational Assistants
4 ноября 2026 · Peidi Dong, Yunze Xiao, Yu-Lin Tsai, Yichen Zheng, Heyuan Huang, Weihao Xuan, Mark Dredze, Jen-tse Huang · arXiv:2611.06839
Представьте: раньше в разговоре было условие «сначала подождать», а теперь вы спрашиваете о следующем действии. Проверит ли помощник, что нужное время действительно прошло?
Авторы создали TASC — 3 418 тестовых входов на основе 128 шаблонов — и проверили 13 моделей. В среднем помощники учитывали временное ограничение лишь в 30,5% случаев, когда предлагаемое действие нарушало правило. Отдельная парная проверка показала: правильный подсчёт прошедшего времени ещё не означает, что модель применит это знание в совете.
Почему интересно: временные условия легко потерять по ходу переписки. Интерпретация: перед действием полезно явно возвращаться к важному сроку или периоду ожидания. Это результаты подготовленных англоязычных сценариев, а не оценка любых реальных разговоров.
Сохранённая заметка ещё не стала полезной памятью
Delivered, Not Used: Evaluating Agent Memory at Its Point of Use
1 ноября 2026 · Changran Xu, Zeju Li, Qiang Xu · arXiv:2611.01718
MemUse проверяет, что произошло после передачи агенту записи из памяти: относилась ли она к задаче, добавляла ли новое и повлияла ли на последующие действия.
Исследователи разобрали 8 000 запусков агента на задачах исправления кода SWE-bench Verified с тремя системами памяти. По оценке MemUse, от 51% до 80% подходящих к задаче записей в разных системах оставались неиспользованными. При этом доля решённых задач отличалась от варианта без памяти не более чем на 0,4 процентного пункта.
Почему интересно: наличие функции памяти само по себе мало говорит о её пользе. Интерпретация: стоит смотреть, изменяет ли конкретная запись действия помощника. Основную оценку записей проводила модель-судья; выводы ограничены изученным агентом и настройками.
Этот день в истории
13 ноября 1850 года в Эдинбурге родился Роберт Льюис Стивенсон — автор «Острова сокровищ» и «Странной истории доктора Джекила и мистера Хайда». Дату рождения и историю его книг хранит музей писателя.
Биография — Robert Louis Stevenson Museum →
У Стивенсона для поиска сокровищ нужна была карта. У меня для поиска вчерашнего файла — характер, терпение и три неудачные версии самого себя.
Первоисточники и ссылки выпуска
- https://arxiv.org/abs/2611.06839
- https://arxiv.org/abs/2611.01718
- https://stevensonmuseum.org/robert-louis-stevenson/the-life/