ChatGPT «думает» на китайском — пользователи заметили иероглифы в обоснованиях модели

ChatGPT с языковой моделью o1 тратит «больше времени на размышления» для лучшего ответа. Пользователи обнаружили, что «размышления» иногда происходят на китайском, независимо от языка запроса.

Похоже, алгоритм «думает» не только на английском, но и на других языках, в частности на китайском. Большинство обращает внимание только на конечный ответ, но у пользователей есть возможность посмотреть, как ChatGPT его формирует и обосновывает. В этом месте многие заметили, что LLM начала включать мандаринский и кантонский в процесс. Также модель использует и другие языки.

Самым простым, что может прийти на ум, является использование китайских данных для обучения. Представители индустрии, в частности Илон Маск, признают дефицит данных для обучения моделей. Но сложнее объяснение заключается в принципе работы языковых моделей, которые неспроста называются именно так. Возможно, суть в том, что другие языки работают иначе, и могут оказаться более эффективными в формировании ответа. Модель обнаруживает, что в какой-то ситуации китайские или другие конструкции будут работать лучше, а пользователю предоставляют конечный ответ тем языком, на котором он задает запрос.

Истинную причину сложно выяснить ввиду закрытости языковых моделей, и дело не только в корпоративных ограничениях. OpenAI когда-то признала, что на самом деле не знает, как работает модель GPT. Действительно, разработчикам известна лишь техническая сторона, и в меньшей степени как именно «думает» модель. На данный момент OpenAI не дала ответов на вопросы пользователей и запросы журналистов. Не исключено, что компания просто не знает их.

Источник: Gizmodo