Нейросети могут ошибаться в количестве лекарств в десятки раз: Runet проверил, как ChatGPT, Gemini и Grok читают врачебные рецепты

Редакция Runet провела эксперимент, чтобы выяснить, способны ли популярные нейросети расшифровывать рукописные рецепты российских врачей и насколько безопасно доверять полученным результатам. Для проверки использовали девять настоящих рецептов, которые предложили прочитать ChatGPT, Gemini и Grok. Оказалось, что искусственный интеллект довольно успешно распознает названия лекарств, но способен серьезно ошибаться в количестве таблеток, схемах приема и дополнительных указаниях врача. В отдельных случаях расхождения достигали десятков раз.

Как проходил эксперимент

Для исследования отобрали девять рукописных рецептов, выписанных российскими врачами. Среди них были как относительно разборчивые назначения, так и документы с трудно читаемым почерком, сокращениями, латинскими названиями препаратов и печатями, частично перекрывающими текст.

Каждую фотографию передавали трем популярным нейросетям — ChatGPT, Gemini и Grok. Их просили расшифровать содержание документа: название препарата, дозировку, количество таблеток, способ приема и другие указания врача.

Полученные ответы сравнивали с контрольными расшифровками оригиналов. Для чистоты эксперимента первоначальные ответы моделей фиксировались до получения результатов других участников. Один дополнительный рецепт исключили из исследования, поскольку для него не удалось получить независимый ответ одной из нейросетей.

Всего в итоговое сравнение вошли девять рецептов. Семь из них были выписаны одним врачом, еще два — другими специалистами.

Лекарства распознают хорошо, а вот с цифрами возникают проблемы

Оказалось, что современные универсальные нейросети действительно умеют читать даже сложные рукописные назначения. Для этого не требуется специально обученная медицинская система — достаточно обычного ИИ-сервиса с возможностью анализа фотографий.

С названиями лекарств модели справились достаточно успешно. ChatGPT и Gemini правильно распознали препараты во всех девяти случаях, Grok — в восьми. Дозировки отдельных таблеток все три нейросети определили правильно во всех девяти рецептах.

Однако при распознавании количества таблеток результаты оказались совершенно другими.

В одном из рецептов было указано 2160 таблеток. При его расшифровке одна нейросеть определила количество правильно, вторая написала 216, а третья — всего 60. Таким образом, разница между правильным количеством и одним из ошибочных ответов достигла 36 раз.

В другом случае вместо 720 таблеток одна из моделей указала 30. Подобные расхождения повторялись и на других документах.

Результаты сравнения

В таблице приведено число правильно распознанных параметров по первоначальным ответам. Один рецепт не содержал общего количества таблеток, поэтому в соответствующей категории оценивались восемь документов. Условие ежемесячной выдачи по 60 таблеток присутствовало в шести рецептах.

По итогам этой небольшой подборки Gemini наиболее точно распознавал количество таблеток. Однако и у него обнаружилась другая проблема — неполное чтение дополнительных инструкций.

Самые опасные ошибки — в схеме приема

Неправильно определить количество таблеток неприятно, но гораздо опаснее ошибиться в способе применения препарата.

Во время эксперимента нейросети несколько раз меняли фактически назначенную врачом схему лечения.

Например, в одном рецепте было написано принимать две таблетки на ночь. Одна из моделей вместо этого указала одну таблетку три раза в день. Таким образом, нейросеть изменила не только время приема, но и общую суточную дозу.

В других случаях две таблетки превращались в одну. При этом нейросеть могла правильно определить и название лекарства, и его дозировку, но ошибиться именно в инструкции.

Это особенно опасно, поскольку пользователь, увидев правильно распознанное название препарата, может решить, что и остальная информация прочитана без ошибок.

Нейросети иногда не читают текст, а пытаются его додумать

Еще одна интересная проблема обнаружилась при расшифровке дополнительных указаний врача.

В нескольких рецептах было написано, что пациенту необходимо ежемесячно выдавать определенное количество таблеток. Однако нейросети нередко пропускали эту информацию.

Вместо дословного прочтения одна из моделей неоднократно рассчитывала примерную продолжительность лечения исходя из общего количества таблеток и ежедневной дозировки. Например, если в рецепте было 720 таблеток с указанием принимать две ежедневно, ИИ делал вывод о курсе продолжительностью 360 дней.

Математически такой расчет понятен. Но он не доказывает, что именно это написал врач.

Получается, нейросеть может выдавать логически обоснованную интерпретацию вместо точной расшифровки рукописного текста. Причем пользователь не всегда способен понять, где модель действительно прочитала документ, а где достроила недостающую информацию.

Даже фамилию одного врача нейросети не смогли прочитать правильно

Отдельно редакция проверила распознавание фамилий врачей.

Особенно показательными оказались семь рецептов, выписанных одним специалистом. Несмотря на повторение одной и той же фамилии на разных документах, ни одна из трех нейросетей ни разу не смогла правильно ее воспроизвести.

При этом модели зачастую уверенно называли другие фамилии. Одна из них даже неоднократно указывала полные имя и отчество, утверждая, что прочитала эти сведения на печати врача.

Таким образом, искусственный интеллект способен убедительно воспроизводить ошибочные персональные данные, не предупреждая пользователя о возможной неточности.

Скорость ответа не гарантирует точности

В ходе эксперимента обнаружились и значительные различия во времени обработки документов.

По наблюдениям организаторов, Gemini обычно выдавал расшифровку практически моментально. Grok также нередко отвечал за несколько секунд, но одна из попыток заняла 22 минуты после ранее прерванного девятиминутного ожидания.

При этом скорость не гарантировала правильного прочтения: быстрые ответы тоже содержали ошибки в количестве таблеток и инструкциях по применению.

Поскольку все три системы не проверялись с помощью единого автоматического секундомера и в одинаковых технических условиях, редакция не составляла официальный рейтинг скорости.

Можно ли доверять нейросетям медицинские документы?

Эксперимент показал, что современные ИИ-сервисы действительно способны распознавать российские рукописные рецепты. Они довольно успешно справляются даже с латинскими названиями препаратов, врачебными сокращениями и сложным почерком.

Однако проблема заключается в том, что правильное распознавание названия лекарства совершенно не гарантирует правильного прочтения остальных данных.

Нейросеть может ошибиться в количестве таблеток в десятки раз, изменить схему приема, пропустить важные условия выдачи препарата или предложить неправильное название лекарства. И не всегда она предупреждает об этом пользователя.

При этом результаты эксперимента нельзя считать полноценной оценкой надежности всех трех систем. Проверялись всего девять рецептов, большинство из которых были выписаны одним врачом. Модели работали в продолжающихся диалогах, поэтому предыдущие примеры могли влиять на последующие ответы. Контрольные расшифровки уточнялись в ходе эксперимента, но отдельную независимую медицинскую экспертизу всех документов не проводили.

Главный вывод Runet: использовать нейросети для предварительной расшифровки врачебного почерка уже можно, но принимать лекарства исключительно на основании такого прочтения опасно.

Особенно важно перепроверять название препарата, дозировку, количество и способ приема у врача или фармацевта.

Ведь самая серьезная проблема искусственного интеллекта в этой ситуации не в том, что он не способен прочитать рецепт, а в том, что он может прочитать его неправильно и при этом совершенно убедительно представить ошибочный результат как достоверный.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.