Отчёт: LLM-репликация эксперимента ЦБ

Concordia (линейная) и AgentSociety (с социальным контекстом)

1. Выборка из датасета

Из датасета «Экономические ожидания» (N=2067, 843 переменных) отобрано 250 респондентов.

Критерии отбора

2. Concordia: линейная репликация

Переменная	Вопрос из анкеты	Значения в .sav	Конвертация в текст
`sex` col #11	Ваш пол	1 = Мужской, 2 = Женский	Прямая подстановка
`age` col #12	Ваш возраст (полное число лет)	17–89, M=43.6	Число лет
`q003` col #13	Каково Ваше основное занятие?	1=Неработающий пенсионер, 2=Работающий пенсионер, 3=Неработающий студент, 4=Работающий студент, 5=Безработный, 6=Декрет, 7=Работаю в найме, 8=Предприниматель, 9=Самозанятый, 10=Другое	Value label из .sav
`q030` col #217	Как долго Вы могли бы прожить на имеющиеся сбережения при потере дохода?	1=до 1 мес., 2=1–3 мес., 3=3–6 мес., 4=6–12 мес., 5=более года	«Сбережений хватит на ...»
`q029` col #215	Удаётся ли Вам сберегать часть дохода?	1=Нет, расходую весь доход; 2=Периодически сберегаю, когда нужно накопить; 3=Стабильно сберегаю 10–20%; 4=Стабильно сберегаю 30%+	Value label из .sav
`finanx` col #316, вычисл.	Финансовая тревожность (агрегат)	Шкала 1–10, M=4.20	4 градации: ≤2.5 «спокойно» / ≤4 «умеренная тревога» / ≤5.5 «заметная» / >5.5 «сильная»
`q014` col #88	Как Вы планируете жизнь?	1=На несколько лет; 2=На несколько месяцев; 3=Пока не строю планов (нестабильность); 4=Никогда не строю, живу сегодняшним днём	Value label из .sav
`perceived_control` col #24	Всё в жизни зависит от вас самих vs от внешних обстоятельств	Шкала 0–10, M≈5.6	4 градации: ≤3 «мало зависит» / ≤5 «частично» / ≤7 «многое зависит» / >7 «сам определяет»
`material1–3` col #80–82	«Восхищаюсь людьми с дорогими вещами» / «Люблю предметы роскоши» / «Был бы счастливее, если бы мог покупать больше»	Шкала 1–7 каждый, берём среднее	3 градации: ≤2.5 «не важны» / ≤4 «умеренно» / >4 «очень важен»
`gen_trust1–3` col #26–28	«Большинству людей можно доверять» / «Люди выполняют обещания» / «Следует быть осторожными»	Шкала 1–5 каждый, берём среднее	4 градации: ≤2.5 «осторожен» / ≤4 «умеренно» / ≤5.5 «в целом доверяет» / >5.5 «высокое доверие»

#	Переменная	Пункт (точная формулировка из .sav)
1	`q032_001`	Оставить на текущем вкладе
2	`q032_002`	Снять для приобретения дорогостоящих услуг или товаров (техники, автомобиля и т.п.)
3	`q032_003`	Вложить в акции
4	`q032_004`	Вложить в облигации
5	`q032_005`	Вложить в золото
6	`q032_006`	Купить наличную иностранную валюту
7	`q032_007`	Купить криптовалюту
8	`q032_008`	Вложить в биржевой паевой инвестиционный фонд с ежемесячной выплатой дохода
9	`q032_009`	Купить жилую недвижимость
10	`q032_010`	Купить коммерческую недвижимость
11	`q032_011`	Снять для вложения в своё дело

Схема: профиль → стимул → LLM-ответ (1 запрос на агента). LLM: DeepSeek-V3. 250 агентов, 3 группы стимулов. Каждый агент получил тот же стимул, что его реальный прототип (a_b_c).

Средние по группам стимулов

Агрегатные метрики Concordia

Пункт	Стабильная	Повышение	Снижение	ANOVA LLM
Оставить на вкладе	4.42	5.89	4.37	5.76	4.54	5.08	33.5	<.001
Дорогостоящие покупки	3.01	1.87	3.24	1.57	3.51	2.20	25.1	<.001
Акции	2.82	2.88	2.95	2.70	2.87	3.33	9.9	<.001
Облигации	2.71	4.33	2.98	4.60	2.90	4.84	4.9	.008
Золото	3.08	4.48	3.39	4.85	3.11	4.83	5.2	.006
Валюта	2.74	4.36	2.99	5.22	2.66	4.52	12.6	<.001
Криптовалюта	2.00	1.34	2.44	1.38	2.29	1.22	2.6	.078
Биржевой ПИФ	2.73	4.35	2.87	4.02	2.90	4.63	7.6	.001
Жилая недвиж.	3.42	2.69	3.59	2.85	3.94	3.20	6.0	.003
Комм. недвиж.	2.65	1.91	2.84	1.89	2.89	2.22	3.7	.026
Своё дело	2.82	3.52	2.90	3.01	2.92	3.51	3.2	.041

Тимофей Александрович, завышение LLM - не обязательно ограничение платформы. В данном эксперименте (Concordia) агенту предъявлялись все вопросы опросника одномоментно. Вполне возможно, что агенты анализировали все варианты сразу, включали режим “финансового советника” и делали более рациональный выбор. Это можно пофиксить и предъявлять вопросы по одному.

ANOVA показала 0 значимых различий между группами у реальных респондентов и 10 из 11 у агентов. Вероятно, это объясняется тем, что для агента стимул занимает непропорционально большую долю контекста принятия решения, тогда как реальный человек фильтрует одну новость через жизненный опыт, привычки и т.д.

3. AgentSociety: линейная репликация (lite)

Схема: профиль → экономический контекст → стимул (message) → опрос q032. LLM: DeepSeek-V3. 250 агентов (85+82+83), все 3 группы стимулов. Те же ANSWERID, что в Concordia.

Отличие от Concordia: агенты размещены на карте Москвы, получают стимул через систему сообщений AS, отвечают через SurveyJS. Без «прожитого дня» — чистое сравнение платформ на одних и тех же данных.

Средние по группам стимулов

Агрегатные метрики AS

4. Сравнение Concordia vs AgentSociety

Сравнение по всем 3 группам (250 агентов), одни и те же ANSWERID.

Пункт	Стабильная	Повышение	Снижение
Оставить на вкладе	4.42	3.35	4.37	3.26	4.54	3.29
Дорогостоящие покупки	3.01	1.94	3.24	1.91	3.51	2.04
Акции	2.82	2.00	2.95	1.96	2.87	2.23
Облигации	2.71	2.65	2.98	2.39	2.90	2.82
Золото	3.08	2.68	3.39	2.59	3.11	2.76
Валюта	2.74	2.72	2.99	2.99	2.66	2.58
Криптовалюта	2.00	1.83	2.44	1.80	2.29	1.94
Биржевой ПИФ	2.73	2.23	2.87	2.07	2.90	2.45
Жилая недвиж.	3.42	1.96	3.59	1.91	3.94	2.24
Комм. недвиж.	2.65	1.78	2.84	1.61	2.89	1.89
Своё дело	2.82	2.51	2.90	2.40	2.92	2.75

Пункт	Реал.	Concordia	AS	\|Δ\| Conc.	\|Δ\| AS	Ближе
Оставить на вкладе	4.42	5.89	3.35	1.47	1.07	AS
Дорогостоящие покупки	3.01	1.87	1.94	1.14	1.07	AS
Акции	2.82	2.88	2.00	0.06	0.82	Conc
Облигации	2.71	4.33	2.65	1.62	0.06	AS
Золото	3.08	4.48	2.68	1.40	0.40	AS
Валюта	2.74	4.36	2.72	1.62	0.02	AS
Криптовалюта	2.00	1.34	1.83	0.66	0.17	AS
Биржевой ПИФ	2.73	4.35	2.23	1.62	0.49	AS
Жилая недвиж.	3.42	2.69	1.96	0.73	1.46	Conc
Комм. недвиж.	2.65	1.91	1.78	0.74	0.87	Conc
Своё дело	2.82	3.52	2.51	0.69	0.32	AS
Итого	Conc: 3 AS: 8

MAE: AS = 0.73, Concordia = 1.12. AgentSociety точнее в 1.5 раза по абсолютным отклонениям.

Корреляция r: AS = 0.55, Concordia = 0.49. AS также лучше по ранговой корреляции.

N	250
Возраст (M ± SD)	44.7 ± 13.5 (17–78)
Пол	М = 139 (56%), Ж = 111 (44%)
Финансовая тревожность (M ± SD)	4.20 ± 1.35
Распределение по группам	Стабильная: 85 / Повышение: 82 / Снижение: 83
Распределение по когортам q030	по 50 в каждой (1–5)

Корреляция групповых средних (33 точки)	r = 0.49, p = .004
Средняя MAE	1.12

Корреляция групповых средних (33 точки)	r = 0.55
Средняя MAE	0.73

LLM-репликация эксперимента «Ключевая ставка ЦБ»

1. Выборка из датасета

Критерии отбора

2. Concordia: линейная репликация

Средние по группам стимулов

Агрегатные метрики Concordia

3. AgentSociety: линейная репликация (lite)

Средние по группам стимулов

Агрегатные метрики AS

4. Сравнение Concordia vs AgentSociety

5. Выводы

Ограничения