Исследование показало, что в реальных медицинских беседах АИ, как ЧатгПТ, плохо работает, несмотря на хорошие результаты тестов. Study finds AI like ChatGPT performs poorly in real medical conversations despite scoring well on tests.

Исследователи Гарвардской медицинской школы и Стэнфордского университета установили, что, хотя модели АИ, такие как ЧатгПТ, хорошо работают на стандартных медицинских тестах, их эффективность в реальных медицинских разговорах ограничена. Researchers from Harvard Medical School and Stanford University found that while AI models like ChatGPT perform well on standardized medical tests, their effectiveness in real-world medical conversations is limited. В исследовании использовалась новая система оценки под названием CRAFT-MD, которая имитирует клиническое взаимодействие в реальном мире. The study used a new evaluation framework called CRAFT-MD, which simulates real-world clinical interactions. Модели АИ боролись со сбором информации о пациентах и проведением точных диагнозов, подчеркивая необходимость более реалистичных методов тестирования, прежде чем эти инструменты будут использоваться в клинических условиях. The AI models struggled with collecting patient information and making accurate diagnoses, highlighting the need for more realistic testing methods before these tools are used in clinical settings.