Пулман, штат Вашингтон – Нове дослідження, яке веде професор Університету штату Вашингтон Месут Ціцек, показало, що ChatGPT може бути як неточним, так і непослідовним, коли його запитують про правдивість наукових гіпотез. У дослідженні було використано більше 700 гіпотез з наукових статей, а кожен запит повторювали 10 разів. У 2024 році AI дав правильні відповіді у 76,5% випадків, а у 2025 році точність підвищилася до 80%. Однак коли учні врахували випадковий вибір (оскільки правильна відповідь у питанні ‘правда/неправда’ має 50% шанс на вірність), AI виявився лише приблизно на 60% кращим за випадковий вибір у обох роках – що вчені описали як близьке до низького ‘D’ у порівнянні з високою надійністю. Дослідження показало, що ChatGPT найбільше зазнав труднощів, коли правильна відповідь була неправильною, правильно визначаючи фальшиві гіпотези лише в 16,4% випадків. Учні також виявили непослідовність у повторених запитах: з 10 однакових запитів AI точно визначав лише 73% тверджень. ‘Ми не просто говоримо про точність, ми говоримо про непослідовність, бо якщо ви запитуєте однакове питання знову й знову, ви отримуєте різні відповіді’, – сказав Ціцек. ‘Ми використали 10 запитів з однаковим питанням. Всі були ідентичними. Він відповів ‘правда’. Потім сказав ‘неправда’. ‘Правда’, ‘неправда’, ‘неправда’, ‘правда’. Були випадки, коли було п’ять правдивих, п’ять неправдивих’, – додав він. Дослідження опубліковано в журналі Rutgers Business Review. Учні зазначили, що результати підкреслюють необхідність скептицизму та обережності при використанні AI для критичних завдань, особливо тих, що вимагають нюансу або складного мислення. Вони також зазначили, що здатність AI створювати гладку мову не відповідає його здатності аналізувати складні питання, а поява штучного загального інтелекту, який може справжньо ‘думати’, може виявитися більш віддаленою, ніж у деяких прогнозують. ‘Поточні інструменти AI не розуміють світ так, як ми – вони не мають ‘мозку”, – сказав Ціцек. ‘Вони просто запам’ятовують, і можуть надати вам деякий відгук, але не розуміють, про що говорять’.
поділитися в твіттері: ChatGPT Неправдоподібні та непослідовні відповіді застерігає професор Університету штату Вашингтон