NN/G: Ключевой навык дизайна в эпоху AI: критика

Большинство материалов о AI в дизайне посвящено выбору инструментов. Эта статья исследователя Nielsen Norman Group Адама Элмана от июня 2026 года фокусируется на другой проблеме, с которой большинство дизайн-команд до сих пор не разобрались: как оценивать результаты AI, если эти результаты меняются при каждом запуске.

Центральный аргумент прост. Традиционные дизайн-спецификации работают, потому что описывают точные действия в детерминированных системах. Генеративный AI разрушает эту логику: вывод каждый раз разный, а значит, спецификация не может сказать, хорош или плох конкретный результат. Нужно что-то другое.

Ответ Элмана — критика. Не неформальный отзыв коллег, а структурированная оценка по объективным критериям, которые формулируются до того, как смотреть на вывод модели. Эти критерии должны опираться на пользовательские исследования и дизайн-намерения, а не на эстетические предпочтения, и быть достаточно конкретными для последовательного применения разными специалистами.

Цикл «судья — оценка — итерация»

Статья описывает трёхэтапный процесс. На этапе судьи команда формулирует критерии приемлемости ответа, исходя из реальных потребностей пользователей, которые фича должна закрывать. На этапе оценки эти критерии применяются к реальным выводам модели — сначала вручную, а затем, когда масштаб требует, через LLM, обученный оценивать ответы по установленным критериям. На этапе итерации результаты оценки возвращаются в работу: уточняются промпты, дообучается модель или обновляются критерии, когда граничные случаи выявляют пробелы.

Элман даёт конкретные технические ориентиры: F1-score 0,8 при калибровке LLM-судьи на основе примеров с человеческой разметкой, разбивка сложных критериев на отдельные компоненты для масштабируемости, непрерывный мониторинг регрессий — потому что изменение в одной части системы может вызвать неожиданные сбои в другой.

Для кого

Статья адресована UX- и продуктовым дизайнерам, уже работающим с генеративными AI-фичами, а не командам на этапе исследования. Она предполагает знакомство с тем, как AI-фичи разрабатываются. Фреймворк узкий и методологический — он точно отвечает на один конкретный вопрос.

Наибольшую пользу получат дизайн-команды, которые уже выпустили AI-фичи и обнаружили, что неформальные циклы проверки недостаточны. Командам, которые ещё только решают, использовать ли AI вообще, он, вероятно, будет преждевременным.