Доверие к ИИ в медицине важнее автономности: что показывает практика

Врач отделения интенсивной терапии с 20-летним стажем и CMO компании Regard Дэвид Кирк считает главной угрозой не автономный ИИ, а клиники, внедряющие его только ради эффективности: автономность должна быть пропорциональна риску.

От скептика до CMO: «дополнительная пара глаз» Дэвида Кирка

ИИ уже применяется в клинической работе: помогает врачам обрабатывать информацию, вести административные задачи и находить закономерности в данных пациентов. По мере расширения этих возможностей на диагностику и лечение ставки растут, и вопрос о том, сколько контроля должен сохранить человек, превращается из философского в операционный (MedCity News, 30 сентября 2026).

Дэвид Кирк, более 20 лет работающий врачом отделения интенсивной терапии, до недавнего времени относился к ИИ скептически. Сейчас он занимает должность CMO (chief medical officer) в нью-йоркской компании Regard и рассматривает ИИ как необходимый инструмент для управления объёмом информации в ежедневной работе с пациентами.

> «Иметь дополнительную пару глаз, которая способна просеять огромные массивы информации и выявить закономерности, иначе ускользающие от внимания, — настолько мощная возможность, что не использовать её сейчас просто неэтично», — говорит Кирк.

При этом речь не идёт о передаче системе ответственности за клиническое решение. Ценность Кирк видит в комбинации: эффективная обработка данных машиной плюс реальный опыт врача и знание конкретного пациента как личности.

«Human-in-the-loop» упрощает: автономность пропорциональна риску

По мере внедрения всё более автономных систем отрасль использует формулировку human-in-the-loop («человек в контуре») как универсальное успокоение. Кирк считает, что этот термин огрубляет реальную механику клинического надзора.

Его формула: степень автономии должна быть прямо пропорциональна степени риска.

Медицина уже работает по такой логике. Медсёстры, фармацевты и другие члены команды одновременно уполномочены принимать отдельные решения самостоятельно и обязаны вмешаться, когда что-то идёт не так, а не слепо исполнять назначения врача. По Кирку, ИИ должен встраиваться именно в эту существующую культуру командного надзора, а не создавать параллельный контур.

> «По мере развития ИИ в поддержке здравоохранения возможность любого члена команды подать сигнал тревоги должна быть защищена и поощряться».

Практический вывод для клиники: право на предупреждение — это не только интерфейсная кнопка, но и организационная гарантия, что сотруднику ничего не будет за то, что он остановил работу системы.

Главный риск — не автономия, а ИИ ради эффективности и регуляторной нагрузки

Более срочная опасность, по Кирку, — не система, забирающая медицину у человека, а организации, использующие ИИ прежде всего для повышения эффективности, регуляторной отчётности и наращивания сложности.

> «Существует чрезвычайно высокий риск, что ИИ будет использоваться в основном для максимизации эффективности, увеличения регуляторной нагрузки и умножения сложности. Здравоохранение всегда потребует, чтобы люди заботились о людях, но сегодня те, кто работает в медицине, слишком погребены под канцелярской работой, чтобы это происходило комфортно. ИИ мог бы радикально восстановить способность врачей и пациентов выстраивать доверительные отношения, но мы должны сделать это приоритетом».

При наличии адекватных guardrails и командного надзора ИИ может вернуть врачам время на работу, которую невозможно автоматизировать:

• человеческий контакт с пациентом;
• суждение, основанное на опыте;
• построение доверия.

Чем ближе ИИ подходит к клиническому решению, тем аккуратнее нужно проектировать безопасные границы и следить, чтобы система поддерживала человеческую сторону медицины, а не мешала ей.

Управление ИИ начинается до внедрения: вопросы Анане и Уоррена

Второй материал MedCity News — вебинар по Healthcare AI Readiness Index с участием CIO компании Cotiviti Шона Уоррена и Томасины Анане (Alliance of Community Health Plans), 7 октября 2026 года — уточняет, как выглядит governance на практике.

Анане формулирует три вопроса, которые должны быть заданы задолго до деплоя:

1. Какие данные реально задействованы?
2. На какое решение влияет ИИ?
3. Что происходит, когда вывод оказывается ошибочным?

По её словам, governance должен стартовать до внедрения и эволюционировать вместе со сценарием использования, а не оформляться один раз.

Уоррен усиливает акцент на эксплуатации: «Внедрение — это не финишная черта. Это постоянные последующие проверки, постоянные проверки безопасности, human-in-the-loop и человеческий надзор с наблюдаемостью». Его ключевая формулировка: когда в среду добавляют ИИ, уметь понимать, что этот ИИ делает, становится «в десять раз важнее». Практический чек-лист из его выступления: есть ли guardrails вокруг того, что ИИ делает в вашей среде; есть ли возможность отменить его действие; есть ли возможность отследить и трассировать каждую транзакцию.

Среди поднятых тем — критерии перехода сценария от пилота к корпоративному внедрению, достаточность разовых анкет от вендоров (point-in-time questionnaires), причины теневого использования ИИ (shadow AI) и тезис, что классические средства кибербезопасности необходимы, но недостаточны.

От алгоритма к постели: валидация, внедрение и мониторинг (Мира Сантош)

Доктор Мира Сантош, конвинер TIS-H Clinical AI Summit 2026 и консультант-анестезиолог Gleneagles Hospital Mumbai (Express Healthcare, октябрь 2026), формулирует барьер прямо: хороший пилот и впечатляющая точность алгоритма — не то же самое, что клиническая готовность.

Её аргументы о валидации:

• пациент в клинике редко похож на пациента из обучающей выборки: множественные заболевания, неполный анамнез, меняющаяся физиология;
• клиническое решение редко опирается на один признак — осмотр, исследования, история, ответ на лечение и суждение комбинируются, часто под давлением времени;
• при выводе ИИ нужно знать, тестировался ли инструмент на похожих пациентах, стабилен ли он в конкретном месте применения, где он ошибается, есть ли группы с иной производительностью и помогает ли его информация принять более безопасное решение.

Отдельная претензия — к последовательности разработки. Клиницистов часто подключают уже после того, как продукт построен, и просят его протестировать. Сантош настаивает на обратном порядке: отправная точка — клиническая проблема, а не технология в поисках применения. Роль врачей не должна ограничиваться статусом конечных пользователей.

По её словам, алгоритм — техническая часть, а сложная работа начинается при выводе инструмента в реальную практику:

1. Интегрируется ли он с существующими системами?
2. Кто должен реагировать на его вывод?
3. Что происходит, когда технология недоступна?
4. Что делать, когда вывод ИИ и оценка врача расходятся?
5. Кто обучает пользователей, мониторит производительность и отвечает за поддержку?

«Это звучит как вопросы внедрения, но в здравоохранении это ещё и вопросы безопасности пациентов», — подчёркивает она.

Успешный пилот — не финиш. Сантош требует видимого и измеримого результата (диагностическая точность, время оборота, безопасность пациентов, нагрузка на врача, использование ресурсов, качество помощи) и постоянного наблюдения после внедрения, потому что популяции пациентов, процессы и данные меняются. Инструмент, показавший себя при запуске, нельзя считать полезным по умолчанию.

Наконец, governance: клинике нужна ясность, какие данные используются, где хранятся, у кого есть доступ и какова намеченная роль системы. Ответственность за пациента должна оставаться однозначной — ИИ поддерживает решение, но не размывает, кто за него отвечает. Приватность, прозрачность и защита данных закладываются до внедрения, а не добавляются позже как compliance-упражнение.

Применимость для РФ

Переносится напрямую. Принцип «автономность пропорциональна риску» — организационный, а не регуляторный, он ложится во внутренний регламент клиники. Защищённое право любого члена команды на сигнал тревоги тоже реализуется локально. Требования клинической валидации на своей популяции и наблюдения за инструментом после внедрения универсальны.

Не переносится из-за регуляторики. US-контур governance (HIPAA и институциональные процедуры одобрения) не имеет прямого аналога: данные о здоровье в РФ — спецкатегория персональных данных по 152-ФЗ, с требованиями к локализации, согласиям и разграничению доступа. Теневое использование публичных LLM-сервисов в клинике — не только репутационный, но и правовой риск: передача ПДн пациентов без выполнения требований 152-ФЗ недопустима. Отдельно — ст. 24 ФЗ-38 «О рекламе»: любые формулировки о клинических результатах и преимуществах ИИ-функций в продвижении клиники требуют юридической проверки.

Не переносится из-за инфраструктуры. Вопросы интеграции из списка Сантош в РФ становятся первоочередными: клиники часто работают в разнородных МИС с разным уровнем открытости, и «вынос инструмента за пределы рабочего процесса» — типовой сценарий. Мониторинг дрейфа модели и трассировка выводов требуют инфраструктуры логирования, которой располагает не каждая клиника.

Итог для владельца клиники: приоритетный вопрос — не «какая модель точнее», а «кто отвечает за решение, что происходит при ошибке и как мы узнаем, что производительность изменилась».

Читайте также

• Ответственность за ошибки ИИ в медицине: врач или клиника — кто отвечает за ошибку ИИ — врач или клиника
• Индекс готовности к ИИ в медицине 2026: внедрение растёт быстрее управления — индекс готовности: где клиники отстают в управлении ИИ
• ИИ-агенты в здравоохранении: почему клиники не готовы к цифровым коллегам — почему клиники пока не готовы к ИИ-коллегам

FAQ

Q: Что такое human-in-the-loop и почему это понятие критикуют? A: Это модель, при которой человек сохраняет контроль над выводом ИИ. Дэвид Кирк (Regard) считает, что термин огрубляет реальность: на практике нужна не абстрактная «петля», а командный надзор, где любой сотрудник вправе вмешаться. Его принцип — автономность пропорциональна риску.

Q: В чём главное опасение доктора Кирка? A: Не в автономном ИИ, захватывающем медицину, а в организациях, которые используют ИИ преимущественно для эффективности, роста регуляторной нагрузки и сложности, оставляя врачей в канцелярской работе.

Q: Когда должна начинаться система управления ИИ в клинике? A: По Томасине Анане (Alliance of Community Health Plans) — задолго до внедрения, с последующей эволюцией под каждый сценарий использования. Разовое оформление политики до запуска задачу не решает.

Q: Что проверять до внедрения ИИ-инструмента в клинике? A: По Шону Уоррену (Cotiviti): guardrails вокруг действий ИИ, возможность отменить его действие и способность трассировать каждую транзакцию. Дополнительно — тестирование на похожей популяции, интеграция с МИС и ответ на вопрос, кто реагирует на вывод системы.

Q: Что такое теневой ИИ (shadow AI)? A: Использование ИИ-сервисов сотрудниками в обход одобренных клиникой систем. В вебинаре MedCity News это названо одной из ключевых тем governance; в РФ такой сценарий дополнительно создаёт риск нарушения 152-ФЗ при попадании в сервис данных пациентов.

Q: Успешный пилот — основание для масштабирования? A: Нет. По Мире Сантош клиническая готовность измеряется не точностью модели, а измеримым влиянием на исход (точность диагностики, время оборота, безопасность, нагрузка на врача) и сохраняется только при постоянном мониторинге после внедрения.

Источник: MedCity News, 30 сентября 2026 Дополнительно: MedCity News, «Constant Vigilance is the Watchword for Healthcare AI Governance», 07.10.2026; Express Healthcare (India), «From algorithm to bedside», октябрь 2026