Заявления пользователей о «деградации» популярного чат-бота взялись проверить учёные Стэнфордского университета. Они провели полноценное исследование, в ходе которого сравнили возможности актуальной версии ИИ с более ранними результатами. Как оказалось, языковая модель действительно стала намного более «глупой» всего за три месяца.
Согласно результатам эксперимента, в период с марта по июнь 2023 года у GPT-4 наблюдалось значительное снижение точности ответов в самых разных сценариях. Например, чат-бота попросили выяснить, является ли число 17 077 простым, добавив к запросу фразу «Думай последовательно». По мнению исследователей, это должно было послужить подсказкой и заставить ИИ поэтапно проработать вопрос, предоставив пошаговое описание. Полученный ответ оказался неверным, к тому же он не сопровождался никакими пояснениями.
Снимок3831.jpg482.34 KB
Как утверждают учёные, точность ответов GPT-4 в некоторых областях в июне упала до 2, 4%. Для сравнения — в марте этот показатель доходил до 97, 5%.
При написании кода бот стал выдавать всего около 10% правильных результатов против мартовских 52%. Наконец, на 100 «деликатных» вопросов июньская версия GPT-4 дала ответы лишь в 5% случаев — в марте это значение составляло около 21%. Любопытно, что при этом точность модели GPT-3. 5, напротив, выросла. В частности, в июне чат-бот правильно ответил на большее количество вопросов, чем в марте — 8% против 2%.
По мнению исследователей, пользователям, которые полагаются в своей работе на возможности GPT-3. 5 и GPT-4, стоит постоянно проверять точность полученных результатов.
Спасибо за прочтение данной статьи
С уважением автор блога Гаджеты Сегодня.
P. S.
А если вам интересные новости из мира технологий то Добро пожаловать в мой блог! Буду рада если Вы подпишитесь и напишите комментарии со своим мнением.
{"document": [{"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/jpeg", "filename": "Снимок3580.jpg", "filesize": 490234, "height": 643, "pic_id": 647222, "url": "https://storage.yandexcloud.net/pabliko.files/article_cloud_image/2023/07/22/%D0%A1%D0%BD%D0%B8%D0%BC%D0%BE%D0%BA3580.jpeg", "width": 1019}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Заявления пользователей о «деградации» популярного чат-бота взялись проверить учёные Стэнфордского университета. Они провели полноценное исследование, в ходе которого сравнили возможности актуальной версии ИИ с более ранними результатами. Как оказалось, языковая модель действительно стала намного более «глупой» всего за три месяца."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Согласно результатам эксперимента, в период с марта по июнь 2023 года у GPT-4 наблюдалось значительное снижение точности ответов в самых разных сценариях. Например, чат-бота попросили выяснить, является ли число 17 077 простым, добавив к запросу фразу «Думай последовательно». По мнению исследователей, это должно было послужить подсказкой и заставить ИИ поэтапно проработать вопрос, предоставив пошаговое описание. Полученный ответ оказался неверным, к тому же он не сопровождался никакими пояснениями."}], "attributes": []}, {"text": [{"type": "attachment", "attributes": {"presentation": "gallery"}, "attachment": {"caption": "", "contentType": "image/jpeg", "filename": "Снимок3831.jpg", "filesize": 493917, "height": 675, "pic_id": 647224, "url": "https://storage.yandexcloud.net/pabliko.files/article_cloud_image/2023/07/22/%D0%A1%D0%BD%D0%B8%D0%BC%D0%BE%D0%BA3831.jpeg", "width": 1037}}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "Как утверждают учёные, точность ответов GPT-4 в некоторых областях в июне упала до 2, 4%. Для сравнения — в марте этот показатель доходил до 97, 5%."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "При написании кода бот стал выдавать всего около 10% правильных результатов против мартовских 52%. Наконец, на 100 «деликатных» вопросов июньская версия GPT-4 дала ответы лишь в 5% случаев — в марте это значение составляло около 21%. Любопытно, что при этом точность модели GPT-3. 5, напротив, выросла. В частности, в июне чат-бот правильно ответил на большее количество вопросов, чем в марте — 8% против 2%."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "По мнению исследователей, пользователям, которые полагаются в своей работе на возможности GPT-3. 5 и GPT-4, стоит постоянно проверять точность полученных результатов."}], "attributes": []}, {"text": [{"type": "string", "attributes": {"bold": true}, "string": "Спасибо за прочтение данной статьи"}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "С уважением автор блога Гаджеты Сегодня."}], "attributes": ["heading1"]}, {"text": [{"type": "string", "attributes": {"italic": true}, "string": "P. S."}], "attributes": []}, {"text": [{"type": "string", "attributes": {}, "string": "А если вам интересные новости из мира технологий то Добро пожаловать в мой блог! Буду рада если Вы подпишитесь и напишите комментарии со своим мнением. "}], "attributes": []}, {"text": [{"type": "string", "attributes": {"href": "https://vk.com/gadzhety_segodnya"}, "string": "Группа в ВК"}], "attributes": ["bulletList", "bullet"]}, {"text": [{"type": "string", "attributes": {"href": "https://ok.ru/group/63289334759587"}, "string": "Группа в Одноклассниках"}], "attributes": ["bulletList", "bullet"]}, {"text": [{"type": "string", "attributes": {"href": "https://www.youtube.com/channel/UCdwqglLUyKTPJ3hPmyDO1OQ/"}, "string": "Канал на YouTube"}], "attributes": ["bulletList", "bullet"]}, {"text": [{"type": "string", "attributes": {"href": "https://rutube.ru/channel/27061606/"}, "string": "Канал на Rutube"}], "attributes": ["bulletList", "bullet"]}, {"text": [{"type": "string", "attributes": {"href": "https://boosty.to/songhaolga"}, "string": "Блог на boosty"}], "attributes": ["bulletList", "bullet"]}], "selectedRange": [0, 0]}
Комментарии 0