През последните години програмистите все повече се обръщат към чатботове за помощ, като ChatGPT на OpenAI . Това е удар за Q&A услугата Stack Overflow, която беше принудена да освободи близо 30% от персонала си миналата година.
Въпреки това, според проучване на университета Purdue , представено на конференцията Computer-Human Interaction, ChatGPT не е най-добрият помощник. Оказа се, че повече от половината му програмни отговори са неверни.
Учените взеха над 517 въпроса от Stack Overflow, зададоха ги на ChatGPT и анализираха отговорите му. Ето какво откриха.
- 52% от отговорите съдържат дезинформация.
- 77% са по-многословни от човешките отговори.
- 78% са в една или друга степен несъвместими с човешките реакции.
Изследователите също анкетираха 12 програмисти и установиха, че те предпочитат ChatGPT в 35% от времето и не забелязват грешки в отговорите му в 39% от времето. Възможна причина е стилът на комуникация на чатбота.
Езиков анализ на 2000 произволно избрани ChatGPT отговора установи, че те са „по-формални и аналитични“ и също така отразяват „по-малко негативни настроения“.
„Последващи полуструктурирани интервюта разкриха, че учтивият език, ясно формулираните отговори от учебника и изчерпателността са някои от основните причини, поради които отговорите на ChatGPT изглеждат по-убедителни, карайки участниците да свалят бдителността си и да пренебрегнат дезинформацията“, пишат изследователите.
Резултатите показват, че ChatGPT все още има сериозни недостатъци. Това обаче е малка утеха за хората, уволнени от Stack Overflow, както и за програмистите, които трябва да коригират грешките, направени от AI в техния код .
