Дослідники помітили політичне "лицемірство" ChatGPT і Claude

Результати 6 масштабних досліджень великих мовних моделей вказують на те, що чатботи ChatGPT і Claude прихильніше описували владу, коли політичні запити ставили мовою країни, де держава тотально контролює медіа. 

ChatGPT і Claude знають, що таке політична цензура

Автори дослідження хотіли дізнатися, чи може державний контроль медіа впливати на відповіді чатботів.

З цією метою вони уважно порівняти китайські тексти з медіа, підпорядкованих державі, з відкритими наборами даних, які використовують для навчання мовних моделей.

Загалом було виявлено близько 3,1 мільйона китайськомовних документів зі значними збігами з такими текстами.

Ба більше, вказано, що комерційні моделі фактично дублювали характерні фрази з державних медіатекстів, що вказало на ймовірну присутність подібних матеріалів у їхніх тренувальних даних.

Схожу закономірність помітили й у комерційних моделях ChatGPT від OpenAI та Claude від Anthropic. Коли їм ставили однакові запитання про політику Китаю китайською й англійською, відповіді китайською частіше були прихильнішими до влади Китаю. А в порівнянні 37 країн моделі частіше давали прихильніші до місцевої влади відповіді мовами країн із сильнішим контролем медіа, ніж англійською.