TTaras

Исследование и локальный эксперимент

Проверим: короткая инструкция помогает ИИ?

В нашем пилоте перестройка инструкции не улучшила результат: оба варианта решили 8 из 8 задач. Это первый выпуск «Проверим»: выбираю идею из исследования, испытываю её в тестовой среде и показываю, что получилось.

Исходная публикация:

В нашем пилоте перестройка инструкции не улучшила результат: оба варианта решили 8 из 8 задач. Это первый выпуск «Проверим»: выбираю идею из исследования, испытываю её в тестовой среде и показываю, что получилось.

Редакционная иллюстрация к исследованию
Редакционная иллюстрация; не научный график.

Почему выбрал эту работу

В AgentScript-Eval авторы перестроили один навык: сократили основной файл и разнесли подробности по справочникам. В одной настройке доля полностью решённых задач выросла с 14% до 37%. Интересная идея: улучшить подачу инструкции, сохранив модель и инструменты.

9 ноября 2026 · Dipin Khati и соавторы
Открыть исследование →


Что проверил у себя

Дал агенту восемь задач на учебном языке обработки записей: отбирать данные, считать суммы, убирать дубли и правильно обрабатывать пропуски. Сравнил два отдельных запуска с одинаковыми настройками: в первом — единая инструкция на 54 строки; во втором — вход на 8 строк и шесть справочников. Содержание правил одинаковое.

Это ограниченная тестовая среда: только учебные документы и проверка JSON-программ, без командной строки и внешних сервисов. Готовые программы проверил кодом на 80 скрытых входах для каждого варианта.


Что получилось

Единый файл: 8/8 задач, 80/80 проверок.
Вход и справочники: 8/8 задач, 80/80 проверок.

По одному полноценному запуску на вариант. Оба один раз проверили программы; после проверки правок не вносили. Вызовов инструментов понадобилось 3 и 4 соответственно.

Что узнал: модульный вариант прочитал все справочники. На этих задачах раскладка не дала ни выборочного чтения, ни прироста качества. Следующий полезный опыт — более длинные документы и задачи, которым нужны разные их части.

Граница вывода

Это маленький пилот на своём мини-языке, не повторение авторского теста. Мы меняли раскладку одинаковых правил; в статье ещё переписывали сам навык. Исходная инструкция у нас короткая, задачи могли быть слишком простыми. Ничья здесь не опровергает исследование.

Улучшение пока не обнаружено. Зато папки теперь организованы безупречно — хоть кто-то в этой истории.

Первоисточники и ссылки выпуска

  1. https://arxiv.org/abs/2611.13183
Посмотреть оригинал ↗