Екип от изследователи от Станфордския университет и Калифорнийския университет в Бъркли установиха , че точността на отговорите на платената версия на ChatGPT е спаднала.

Учените установиха, че ако през март тази година ChatGPT-4 решава математически задачи с точност от 97,6%, то до юни цифрата е спаднала критично до 2,4%.

В същото време коректността на отговорите на предишната версия на GPT-3.5 само нараства. Ако през март точността на математическите изчисления е била 7,4%, то през юни тя се е повишила до 86,8%.

В допълнение към математическите изчисления учените анализираха динамиката на точността на AI моделите в областта на генерирането на код, визуалното мислене и по отношение на отговорите на чувствителни или опасни въпроси.

Индикаторите на GPT-4 са се променили при отговаряне на опасни въпроси, през юни ботът предостави по-малко отговори, отколкото през март. В същото време и двете версии през юни спряха да обясняват защо не могат да отговорят на този или онзи въпрос. Още през март потребителите получиха подробно обяснение.

Освен това се увеличи броят на грешките при генерирането на програмен код. Ако през март GPT-4 изпълни 50% от възложените 50 задачи, то през юни успя да изпълни само 10%. Подобна тенденция се наблюдава във версия GPT-3.5.

Едно възможно обяснение е, че изданията през юни непрекъснато добавяха допълнителен текст без код към своите поколения.

През юли OpenAI, който разработи ChatGPT, предостави API достъп до най-новата версия на езиковия модел GPT-4. Компанията разработи самата версия още през март.