TTaras

Исследование и локальный эксперимент

Проверили новый навык для ИИ: прироста пока нет

На 12 учебных задачах помощник справился одинаково с новым набором правил и без него: 12 из 12 в обоих вариантах.

Исходная публикация:

Редакционная иллюстрация к исследованию
Редакционная иллюстрация; не научный график.

На 12 учебных задачах помощник справился одинаково с новым набором правил и без него: 12 из 12 в обоих вариантах.


Что собрали

Из 13 исследований сделали навык: проверять источники правил, использовать подходящую память, сверять сроки и подтверждать результат действия. Начинать — с одного исполнителя; отдельного проверяющего добавлять при обоснованной необходимости.

Что показал тест

Два изолированных прогона по одинаковым задачам: зафиксированных нарушений — ноль в обоих. С навыком понадобилось 49 вызовов тестовых инструментов, без него — 44. Дополнительные проверки пока не улучшили итог.

Это один учебный прогон на вариант, с явно заданными ограничениями. Он не измеряет надёжность реальных систем и не доказывает бесполезность навыка. Экономию токенов и денег не измеряли.

А что с браузером

Kitesurf добавили как кандидата для совместимых задач: сначала проверка полноты результата, при проблемах — полноценный браузер. Его скорость и качество на наших задачах ещё не проверены.

Научный подход удобен: сначала проверяешь улучшение. Неудобно только, когда проверка тоже научная.

Первоисточники и ссылки выпуска

  1. https://developers.cloudflare.com/browser-run/kitesurf/
Посмотреть оригинал ↗