Источник: Китайская Народная Республика на русском языке – People’s Republic of China in Russian –
Важный отказ от ответственности находится в нижней части этой статьи.
Source: People’s Republic of China – State Council News in Russian
Пекин, 29 декабря /Синьхуа/ — Представьте себе экзамен по химии, где вашими соперниками выступают не однокурсники, а самые совершенные искусственные интеллекты мира – GPT, Gemini, DeepSeek. Именно в такую необычную ситуацию попали 174 студента-химика Пекинского университета, который считается одним из двух лучших профильных вузов в Китае, а итоги этого виртуального турнира бросили вызов нашим представлениям о возможностях ИИ.
Факультет химии и молекулярной инженерии Пекинского университета на днях вместе с Вычислительным центром, факультетом компьютерных наук и Юаньпэйским колледжем того же университета представил новейшую разработку SUPERChem. И именно на основе этого инструмента был создан тот самый “экзаменационный вариант”, который использовался в описанном выше виртуальном противостоянии ИИ и человека.
ОСОБЫЙ ПРОМЕЖУТОЧНЫЙ ЭКЗАМЕН
Когда открываешь банк вопросов SUPERChem, сразу чувствуешь, как нарастает давление.
Тонкий анализ кристаллических структур, подробный вывод заключений о механизмах реакций, количественные расчеты физико-химических свойств… Эти 500 вопросов взяты не из общедоступного банка вопросов в интернете, а являются глубокой адаптацией сложных экзаменационных задач и материалов из передовых профессиональных публикаций.
Зачем нужно было тратить столько усилий на составление совершенно новых вопросов?
“Потому что большие модели слишком хорошо “зубрят текст”, – пояснили члены исследовательской команды. Большинство тестов, доступных в интернете, уже были “прочитаны” натренированными на огромных данных ИИ во время обучения. А химия – это как раз та дисциплина, где одной зубрежкой не обойтись. В ней сочетается строгая логическая дедукция и богатое пространственное воображение микромира. “Нам очень интересно, может ли одномерное предсказание следующего токена в больших языковых моделях решать сложные задачи, требующие умозаключения, в двухмерном или даже трехмерном пространстве”, – добавили исследователи.
Создать набор задач, которые ИИ “не видел” ранее и которые требуют от него подлинных способностей к рассуждению, – чрезвычайно сложно. Однако именно в этом заключается уникальное преимущество химического факультета Пекинского университета. Около сотни преподавателей и студентов, среди которых немало победителей олимпиад, объединились, чтобы разработать для ИИ экзамен с высоким порогом входа, делающий упор на рассуждения и защищенный от списывания. Они хотят проверить, действительно ли ИИ “понимает” химию.
РЕЗУЛЬТАТЫ ПОЕДИНКА
В этом тщательно спроектированном испытании человек проявил сложную научную интуицию. В качестве базового уровня студенты бакалавриата факультета химии Пекинского университета, участвовавшие в тесте, показали результативность правильных ответов на уровне 40,3 проц. в контексте оценки тестов. Эта цифра сама по себе говорит о высоком уровне сложности предложенных заданий.
А как же справился ИИ? Даже ведущие тестируемые модели показали результаты, лишь сопоставимые со средним уровнем студентов младших курсов.
Команду удивило то, что визуальная информация внесла путаницу. Язык химии – это графика: ключевые данные содержатся в схемах молекулярных структур и механизмов реакций. Однако у некоторых моделей при добавлении изображений точность не повысилась, а снизилась. Это показывает, что у современных ИИ по-прежнему существует явный когнитивный барьер в преобразовании визуальной информации в химическую семантику.
Даже при правильном выборе ответа ход рассуждения при решении может не выдержать тщательной проверки. Поэтому команда разработала подробные правила подсчета баллов для каждого задания. Под “микроскопом” SUPERChem с первого взгляда становится ясно, действительно ли ИИ понимает материал или лишь делает вид, что понимает.
Исследователи обнаружили, что цепочки рассуждений у ИИ часто прерываются на таких сложных задачах, как прогнозирование структуры продукта, определение механизма реакции или анализ взаимосвязи структуры и свойств. Современные продвинутые модели, обладая огромными объемами знаний, все же демонстрируют недостаточные возможности при решении сложных химических задач, требующих строгой логики и глубокого понимания.
МАЛЕНЬКИЙ ШАГ К ОБЩЕМУ ИИ
Создание SUPERChem восполнило существующий дефицит в инструментах оценки возможностей многомодального глубинного анализа в химической науке. Опубликованные результаты работы преследуют цель не демонстрации несовершенства ИИ, а стимулирования его дальнейшего развития. SUPERChem похож на дорожный знак, который напоминает нам, что предстоит пройти долгий путь, необходимый для превращения универсального чат-бота в компетентного научного помощника, способного устанавливать связи между строением и характеристиками веществ, а также сделать вывод по механизму химических реакций. Разработчики подчеркивают переход от простого “воспроизведения информации” к “осознанию законов физического мира”.
В настоящее время проект SUPERChem полностью работает с открытым исходным кодом. Команда надеется, что этот “экзамен”, состоявшийся в Пекинском университете, станет общим достоянием мирового научного и ИИ-сообщества и послужит катализатором для следующего витка технологических прорывов. Возможно, в ближайшем будущем, повторное использование этого набора задач позволит ИИ продемонстрировать идеальную работу. Это станет сюрпризом как для области химии, так и для сферы ИИ. -0-
Примите к сведению; Эта информация является необработанным контентом, полученным непосредственно от источника информации. Она представляет собой точный отчет о том, что утверждает источник, и не обязательно отражает позицию MIL-OSI или ее клиентов.
