В недавнем исследовании, опубликованном в журнале PLoS ONE, ученые выяснили, может ли популярная нейросеть ChatGPT отвечать на часто задаваемые вопросы о диабете. И могут ли люди отличить ответ искусственного интеллекта от ответа врача. Об этом пишет Medportal.
Искусственный интеллект (ИИ), особенно ChatGPT, привлек значительное внимание благодаря своим потенциальным клиническим применениям. Исследования показали, что люди более восприимчивы к решениям на основе ИИ для сценариев с низким уровнем риска. Ученые считают, что это требует дополнительных исследований по пониманию и использованию крупных языковых моделей, таких как ChatGPT, в регулярном клиническом лечении. В настоящем исследовании ученые из Дании оценили опыт ChatGPT в области диабета, особенно его способность отвечать на часто задаваемые вопросы, связанные с этим заболеванием.
Они выясняли, могут ли участники исследования, которые имеют представление о диабете, отличить ответы реальных людей от ответов, написанных ChatGPT, на распространенные вопросы о диабете. Также ученые оценили, какие категории людей скорее обнаруживают ответы, генерируемые ChatGPT.
Исследование представляло из себя закрытый компьютерный опрос на основе теста Тьюринга среди всех сотрудников Диабетического центра Стено в Орхусе (SDCA). Опрос включал 10 вопросов с двумя типами ответов: один был создан людьми, а другой – ChatGPT. Участники должны были распознать ответ, сгенерированный ИИ. В вопросах рассматривались патофизиологические процессы, терапия, осложнения, физическая активность и питание при диабете. Исследование проводилось с 23 по 27 января 2023 года.
Из 311 приглашенных человек 183 завершили опрос (59% ответов), при этом 70% (n=129) были женщинами, 64% слышали о ChatGPT ранее, 19% использовали его и 58% (n=107) в прошлом общался с пациентами с диабетом в качестве практикующих врачей. По 10 вопросам доля правильных ответов (когда участники определяли ответ ИИ) колебалась от 38% до 74%.
В среднем уастники правильно идентифицировали ответы, сгенерированные ChatGPT, в 60% случаев. Мужчины и женщины имели 64% и 58% шансов точно распознать реакцию искусственного интеллекта соответственно. Лица, имевшие в прошлом контакт с больными диабетом, в 61% случаев безошибочно распознавали ответы ИИ, по сравнению с 57% для тех, кто ранее не контактировал с пациентами с диабетом.
В целом, данная работа служит начальным исследованием возможностей и ограничений ChatGPT в предоставлении ориентированных на пациента рекомендаций по лечению хронических заболеваний, в частности диабета. Хотя ChatGPT продемонстрировал некоторый потенциал для точных ответов на часто задаваемые вопросы, проблемы, связанные с дезинформацией и отсутствием детальных, персонализированных советов, были очевидны.
Поскольку большие языковые модели все чаще пересекаются со здравоохранением, необходимы тщательные исследования для оценки их безопасности, эффективности и этических аспектов ухода за пациентами, подчеркивающие необходимость создания надежной нормативной базы и постоянного надзора.