Синтетические респонденты в UX-исследованиях: что они умеют и где ошибаются

Команда изучает онлайн-обучение. NN/g (Nielsen Norman Group) взяла три исследования, которые уже провела с живыми людьми, и повторила их с «участниками», сгенерированными ИИ. Живые слушатели курсов часто бросали обучение на середине. Синтетические сообщили, что прошли всё до конца. Живые участники не пользовались форумами курса и называли их натянутыми. Синтетические форумы хвалили.

Такие ответы выглядят убедительно и читаются как настоящие интервью. Поэтому вопрос не в том, умеет ли языковая модель говорить как респондент. Она умеет. Вопрос в том, какие выводы из этих ответов безопасны. Ниже — что известно о синтетических респондентах по исследованиям 2023–2025 годов и как использовать их, не обманывая себя.

Это языковая модель, которой дали роль человека: возраст, профессию, привычки, иногда — длинную «биографию». Ей задают вопросы анкеты или проводят с ней интервью, а ответы анализируют как данные. Встречаются разные названия: «синтетические пользователи» (synthetic users), «цифровые двойники» (digital twins), «кремниевые выборки» (silicon samples). Различия в деталях, а суть одна: ответ порождает модель, а не человек, который жил с вашим продуктом.

Сервисы строят на этом продукты. Synthetic Users — самообслуживаемая платформа для продуктовых и UX-команд: вы описываете аудиторию, сервис проводит «интервью» и собирает отчёт с темами и цитатами. Можно загрузить собственные транскрипты и обращения в поддержку, чтобы «участники» опирались на ваши данные. Для качественного исследования сервис советует 10–12 участников, цена — от 2 до 60 долларов за интервью. Simile строит симуляции на данных о реальных людях и заявляет, что регулярно сверяет результаты с оценками живых респондентов. Обе цифры — заявления самих компаний: Synthetic Users, например, пишет о «паритете» с людьми в 85–92%, но методику сравнения на сайте не раскрывает.

Первая работа, которую обычно цитируют сторонники метода, — статья Лизы Аргайл с соавторами из Университета Бригама Янга (Argyle et al., Political Analysis, 2023). Авторы взяли GPT-3 и подставляли в него социально-демографические «истории» реальных участников крупных опросов в США. Модель воспроизводила распределения ответов разных групп намного точнее, чем ожидалось. Авторы назвали это «алгоритмической точностью» (algorithmic fidelity) и предложили использовать «кремниевые выборки» для проверки гипотез до дорогого опроса людей. Заметьте границы: речь об американской политике, о группах, а не об отдельном человеке, и о предварительной проверке.

Стэнфордская группа Джун Сон Пак (Park et al., 2024) пошла дальше: построила ИИ-агентов по двухчасовым интервью с 1052 американцами. Агенты предсказывали ответы человека на вопросы General Social Survey с точностью 83% от того, насколько точно человек повторял собственные ответы через две недели. Агенты, построенные только на демографии, дали 74%. Лучший результат получен там, где у модели есть подробные данные о конкретном человеке. Об универсальном «среднем пользователе» из промпта он ничего не говорит.

Работы-критики показывают, где метод ломается. Бисби и соавторы (Political Analysis, 2024) просили ChatGPT оценить 11 социально-политических групп от лица разных персон и сравнили с опросом ANES 2016–2020. Средние почти совпали. Но разброс ответов оказался заметно уже, чем у людей, около 48% коэффициентов регрессии значимо отличались от реальных, результат менялся от мелких правок формулировки промпта, а один и тот же запрос в апреле, июне и июле 2023 года давал разные ответы. Авторы связывают это с необъявленными обновлениями модели.

Анджелина Ван с коллегами (препринт, принятый в Nature Machine Intelligence, 2024–2025) опросила 3200 человек из 16 демографических групп и сравнила их с четырьмя моделями. Для ряда групп модели изображали их так, как видят посторонние, а не так, как о себе говорят сами участники. Ответы к тому же были менее разнообразными: на сотню попыток GPT-4 и GPT-3.5 использовали только около трёх из пяти вариантов ответа. Работа Чжоу и соавторов (2024) добавляет: ChatGPT завышал долю чернокожих респондентов и людей с высшим образованием, а ответы выстраивались в слишком ровную «колоколообразную» форму.

Мария Росала и Кейт Моран (NN/g, июнь 2024) повторили три своих исследования с ChatGPT и сервисом Synthetic Users. Их выводы вписываются в академическую картину. Синтетические пользователи, по их наблюдению, заботятся обо всём сразу: модель выдала семь факторов вовлечённости в курс и не объяснила, какой из них важнее. Идея доставки образцов дроном получила вежливые расплывчатые похвалы, потому что, как сказано в статье, ИИ любит угождать и любая идея кажется ему хорошей.

Была и удача: описание типичного дня медицинского представителя, сгенерированное моделью, близко совпало с тем, что рассказали настоящие респонденты. Возможное объяснение: про такую роль написано много, а про ваш продукт и ваших клиентов — нет. Авторы NN/g рекомендуют использовать синтетические данные для предварительного изучения темы, генерации гипотез и пилота гайда, но не для проверки идей. Выдавать их за результаты исследования с реальными людьми они называют неэтичным.

Главный риск — не в плохом качестве ответов, а в ложной уверенности. Синтетический отчёт приходит за час, выглядит аккуратно и подтверждает ожидания. Ошибки при этом никто не видит, пока продукт не встретится с реальными пользователями.

Возражение «лучше, чем ничего» тоже не снимает проблему. По словам авторов NN/g, синтетическое исследование чему-то научить может, но без живых данных ошибки не поймать, а команда рискует успокоиться и до людей не дойти. Особенно уязвимы организации с низкой исследовательской зрелостью: там отчёт от модели охотно принимают за настоящее исследование. Поведение — то, что люди делают, а не то, что говорят, — модель не наблюдает вовсе: она видела только тексты о поведении.

Если хотите попробовать, используйте простые правила.

1. Назовите роль. Заранее решите: это разведка и репетиция, а не источник решений. Запишите это в начале документа.
2. Дайте модели ваши данные. Транскрипты, обращения в поддержку, результаты прошлых интервью. Общий портрет «тридцатилетнего менеджера» даёт общие ответы.
3. Просите возражения. Вместо «понравится ли вам идея» спрашивайте, что может помешать и когда вы бросите этим пользоваться.
4. Прогоните несколько раз и с разными формулировками. Если вывод меняется от перестановки слов, ему нельзя доверять.
5. Отмечайте происхождение. В отчёте всегда помечайте, что синтетическое, а что получено от людей.
6. Проверьте на людях. Каждую гипотезу из синтетики превратите в вопрос для 5–8 живых интервью.