Платная версия ChatGPT тупеет, считают эксперты - Форум о криптовалютах | Майнинг криптовалют | Торговля криптовалютой

RSS News · 21.07.2023, 07:46

Ученые из Стэнфордского университета и Калифорнийского университета в Беркли обнаружили, что качество ответов платной версии ChatGPT значительно ухудшилось за последние месяцы.

Они провели сравнительный анализ двух основных языковых моделей ChatGPT — GPT-4 и GPT-3,5 — на разных типах задач, связанных с математикой, кодированием, визуальным мышлением и деликатными вопросами.

Трое ученых — Матей Захария (Matei Zaharia), Лингяо Чен (Lingjiao Chen) и Джеймс Зоу (James Zou) — опубликовали научную работу под названием «Как меняется поведение ChatGPT с течением времени» (How is ChatGPT’s behavior changing over time). Они разработали специальные метрики для оценки качественных аспектов работы языковых моделей ChatGPT и применили их к GPT-4 и GPT-3,5.

Оказалось, что новейшая модель GPT-4, которая была представлена OpenAI две недели назад как самая продвинутая и функциональная ИИ-модель, не справляется даже такими запросами, как определение простых чисел. Ее точность в решении этой задачи снизилась с 97,6 % в марте до 2,4 % в июне. В то же время GPT-3,5, которая используется для обычного ChatGPT (бесплатная версия), показала улучшение качества ответов в некоторых задачах.

Качество генерации строчек кода заметно ухудшилось в последние несколько месяцев. Кроме того, в марте старая модель давала более развернутые объяснения, почему не может ответить на некоторые деликатные вопросы, например об этнической принадлежности людей.

Исследователи надеются продолжить свой проект в долгосрочной перспективе и следить за изменениями поведения ChatGPT. Они также призывают OpenAI быть более открытой и прозрачной в отношении качества своих ИИ-моделей и регулярно проводить и публиковать свои собственные тесты.

Это исследование вызвало беспокойство среди пользователей и клиентов ChatGPT, которые полагаются на этот ИИ для различных целей. ChatGPT — это популярный сервис, который позволяет общаться с ИИ на разных языках и получать разнообразные ответы. Однако если качество ответов ИИ будет продолжать падать, это может негативно сказаться на жизни и работе многих людей и организаций. Исследователи предупреждают: если вы используете в своей работе ChatGPT, вам необходимо внедрить процедуры контроля результатов, чтобы не получить от искусственного интеллекта неприятный сюрприз.

21.07.2023, 07:46	#1
RSS News Member Регистрация: 11.11.2015 Сообщений: 4,552	Платная версия ChatGPT тупеет, считают эксперты Ученые из Стэнфордского университета и Калифорнийского университета в Беркли обнаружили, что качество ответов платной версии ChatGPT значительно ухудшилось за последние месяцы. Они провели сравнительный анализ двух основных языковых моделей ChatGPT — GPT-4 и GPT-3,5 — на разных типах задач, связанных с математикой, кодированием, визуальным мышлением и деликатными вопросами. Трое ученых — Матей Захария (Matei Zaharia), Лингяо Чен (Lingjiao Chen) и Джеймс Зоу (James Zou) — опубликовали научную работу под названием «Как меняется поведение ChatGPT с течением времени» (How is ChatGPT’s behavior changing over time). Они разработали специальные метрики для оценки качественных аспектов работы языковых моделей ChatGPT и применили их к GPT-4 и GPT-3,5. Оказалось, что новейшая модель GPT-4, которая была представлена OpenAI две недели назад как самая продвинутая и функциональная ИИ-модель, не справляется даже такими запросами, как определение простых чисел. Ее точность в решении этой задачи снизилась с 97,6 % в марте до 2,4 % в июне. В то же время GPT-3,5, которая используется для обычного ChatGPT (бесплатная версия), показала улучшение качества ответов в некоторых задачах. Качество генерации строчек кода заметно ухудшилось в последние несколько месяцев. Кроме того, в марте старая модель давала более развернутые объяснения, почему не может ответить на некоторые деликатные вопросы, например об этнической принадлежности людей. Исследователи надеются продолжить свой проект в долгосрочной перспективе и следить за изменениями поведения ChatGPT. Они также призывают OpenAI быть более открытой и прозрачной в отношении качества своих ИИ-моделей и регулярно проводить и публиковать свои собственные тесты. Это исследование вызвало беспокойство среди пользователей и клиентов ChatGPT, которые полагаются на этот ИИ для различных целей. ChatGPT — это популярный сервис, который позволяет общаться с ИИ на разных языках и получать разнообразные ответы. Однако если качество ответов ИИ будет продолжать падать, это может негативно сказаться на жизни и работе многих людей и организаций. Исследователи предупреждают: если вы используете в своей работе ChatGPT, вам необходимо внедрить процедуры контроля результатов, чтобы не получить от искусственного интеллекта неприятный сюрприз.