Учёные из Стэнфордскогo и Калифорнийскогo университетов провели исследование и пришли к выводу, что виртуальный помощник человека, вокруг которого совсем недавно было столько шуму, — чат-бот ChatGPT — быстро деградирует.
Это может подорвать популярность таких разработок, которые в последнее время стали весьма востребованными. И даёт надежду тем, кто предавался алармистским настроениям: дескать, вот ещё немного, и роботы захватят власть над людьми. Раз искусственный интеллект был переоценён, может, он и не способен поднять восстание против своего создателя?
Точность ответов меняется, и не в лучшую сторону
Группа исследователей из США решила выяснить, как меняется производительность и точность работы популярных на сегодняшний день чат-ботов GPT-3.5 и GPT-4. Они оценивали решение ими математических задач, ответы на деликатные (или опасные) вопросы, написание кода и визуальное мышление. Оказалось, что со временем точность и производительность искусственного интеллекта меняется, причём не в лучшую сторону.
Например, у чат-бота GPT-4 спрашивали, является ли число 17077 простым. В марте он давал правильный ответ в 97,6% случаев, а в июне этот показатель катастрофически рухнул до 2,4%. А вот у GPT-3.5 точность решений математических задач, наоборот, возросла — с 7,4% до 86,8%.
Менее охотно чат-боты стали отвечать на деликатные вопросы, больше ошибок допускали при написании кода. На снижение «умственных способностей» нейросетей обратили внимание не только исследователи, но и рядовые пользователи. На форумах разработчиков OpenAI (компании, создавшей ChatGPT) они публикуют примеры снижения качества работы ИИ и выражают своё разочарование.
Сами разработчики, естественно, утверждают, что каждую новую модель ChatGPT они делают умнее предыдущей, а негодование пользователей объясняют тем, что те стали более придирчиво относиться к нейросетям и ответам, которые они дают. «Когда вы используете ИИ более активно, вы начинаете замечать проблемы, которых раньше не замечали», — заявил вице-президент OpenAI Питер Велиндер.
Что касается авторов проведённого исследования, они отмечают, что поведение чат-ботов может сильно меняться за относительно короткий промежуток времени. Поэтому они предлагают вести постоянный контроль за качеством работы таких алгоритмов.
А вдруг причина в пользователях?
Нейросети постоянно обучаются, на этом построена их работа. В процессе обучения их поведение постоянно меняется, а при обработке массивов данных они подражают человеческому интеллекту.
Исследование специалистов Стэнфордскогo и Калифорнийскогo университетов показывает, что машинное обучение не всегда может означать совершенствование. И поневоле возникает подозрение: а не являются ли сами пользователи причиной деградации ChatGPT? Возможно, задавая чат-боту глупые вопросы и предлагая ему тупые задания, они, сами того не желая (а кто-то и желая), «снижают планку» его интеллекта и вынуждают нейросеть деградировать?
Такая версия выглядит интригующей, забавной и весьма символичной. Биологи давно твердят, что человечество век от века глупеет: масса головного мозга уменьшается, знания и способности индивидуума становятся всё более узкоспециализированными. И это несмотря на все достижения (а, скорее всего, и благодаря им) научно-технического прогресса. Теперь же получается, что человек, увязший в тотальном потребительстве, привыкший мгновенно удовлетворять любые прихоти и капризы, не может даже создать себе интеллектуального помощника, поскольку тот быстро «заражается» от него тупостью и леностью?
Радует, что вряд ли такой ИИ захватит мир и лишит людей работы. С другой стороны, есть проблема: если модели нейросетей «научатся» давать неправильные ответы, они могут заполонить ими весь интернет и окончательно превратить его в помойку, где будет невозможно отличить правду от вымысла. А ведь на этих данных предстоит обучаться новым чат-ботам, пока ещё «не испорченным» пользователями. Так есть ли тогда в них смысл?
Откуда берутся ответы?
«Думаю, что проблема с „поглупением“ ChatGPT несколько преувеличена. Вряд ли это массовое явление. Я тоже проанализировал работу чат-бота, и могу сказать, что качество ответов не очень сильно изменилось. Скорее всего, это можно наблюдать в ряде специфических запросов», — дал свой комментарий aif.ru главный эксперт по робототехнике и искусственному интеллекту Skolkovo Tech Explorer Павел Кривозубов.
По мнению специалиста, угроза, что ИИ лишит всех людей работы, тоже высосана из пальца. Ответы, которые дают нейросети, всё равно нуждаются в доработке человеком, их нельзя использовать в чистом виде.
«Сомневаюсь и в том, что чат-боты „глупеют“, общаясь с людьми. Дело в том, что пользователи не обучают нейросеть, они лишь задают ей вопросы, а на них нельзя обучаться. База ответов берётся из других источников, ранее созданных, из того же интернета. Вряд ли за несколько месяцев контент, на котором обучается нейросеть, способен так радикально измениться, что она „поглупеет“, — отметил Павел Кривозубов. — Возможно, всё это — сознательно созданный инфоповод, который запустили разработчики ChatGPT, чтобы расшевелить интерес к своему творению: люди, которые ранее пользовались их продуктом, как минимум зашли в чат и проверили его работу. Я не исключаю такой вариант».
«Не надо его недооценивать»
Футуролог Данила Медведев обращает внимание, что при дополнительных тренировках ИИ, при его переобучении действительно может пострадать эффективность нейросети.
«Такое явление известно, — объясняет он. — Если мы учим ИИ решать какую-то задачу, а потом учим его соблюдать некие моральные нормы, это может плохо отразиться на решении задачи. Это связано с математикой ИИ. У него есть пространство значений и смыслов, между которыми в процессе тренировки его учат проводить границу. Например, отличать на фотографиях кошек от собак.
Для простых задач граница будет выглядеть достаточно просто — например, как ломаная линия на доске 8 на 8. Но если мы берём большие языковые модели и часть параметров задействуем для того, чтобы разграничить, что в них морально, а что нет, у нас испортится точность в других областях. Это в данном случае и произошло с ChatGPT».
Медведев считает, что вся отрасль разработок ИИ сейчас поставлена на паузу. «Был прорыв, был пик хайпа, и он быстро пройден, — говорит эксперт. — Стоит ожидать, что в следующие 5-10 лет начнётся выстраивание более сложных систем, которые смогут руководить, в том числе и людьми. Но мы не знаем, каким будет по темпам этот подъем ИИ на самые верхние степени. Займёт ли он десятки лет или всего несколько месяцев? Это вопрос, на который сейчас никто не даст ответа».
Футуролог предупреждает: не надо недооценивать искусственный разум. Даже если он продемонстрировал в какой-то момент свою «глупость», это не значит, что его развитие закончилось. И что он перестал представлять угрозу.