«Рваная граница» ИИ: почему одна и та же модель делает вас и сильнее, и слабее

Эксперимент Гарвардской школы бизнеса и BCG показал: на одних задачах GPT-4 заметно улучшал работу консультантов, а на других мог ухудшать результат.

Ноутбук и рабочие материалы

Одна из самых полезных идей ранних исследований генеративного ИИ — «рваная технологическая граница». Она описывает ситуацию, в которой внешне похожие задачи оказываются по разные стороны возможностей модели. В эксперименте с консультантами BCG участники с доступом к GPT-4 быстрее и лучше справлялись с набором задач, находившихся «внутри границы» возможностей системы.

Где ИИ действительно помогает

По материалам Института ИИ Гарвардской школы бизнеса, на задачах внутри этой границы использование GPT-4 увеличивало скорость более чем на четверть, повышало оценку качества и помогало завершить больше подзадач. Но другая часть эксперимента была специально построена так, чтобы модель уверенно вела пользователя в неверном направлении. Там слепое доверие ИИ могло ухудшать результат. В этом и состоит практическая ценность концепции: нельзя оценить инструмент один раз и считать, что его качество одинаково во всех задачах.

Где уверенность становится ловушкой

Исследование проводилось с конкретной версией GPT-4 и конкретной группой профессионалов. Модели меняются, интерфейсы меняются, сотрудники учатся. Поэтому проценты не стоит превращать в вечную характеристику технологии. Но структурный вывод остаётся: человеку нужно понимать не только «как написать промпт», но и где проверка ответа дороже самого ответа, где ошибка видна сразу, а где может пройти незаметно.

Как думать о границе возможностей

Полезная рабочая привычка — составить карту задач команды по двум осям: насколько ИИ помогает их выполнить и насколько легко проверить результат. Для задач с быстрым контролем можно смелее автоматизировать черновики. Для задач с высокой ценой ошибки и слабой проверяемостью нужен более строгий режим: источники, двойная проверка, эксперты и иногда сознательный отказ от ИИ. Это гораздо взрослее, чем единое правило «использовать всегда» или «запретить полностью».

Источники

Как работать на неровной технологической границеИнститут ИИ Гарвардской школы бизнеса · 21.09.2023