Качество данных стоматологических ЭМК: сравнение структурированных диагнозов и свободного текста

Согласие форматов и односторонние расхождения по стадии пародонтита

Материал демонстрирует явное противоречие: внутри одной записи структурированный и свободный форматы часто совпадают, а когда расходятся — несоответствие обычно одностороннее: структурированные поля чаще фиксируют более лёгкую стадию, чем текстовая заметка.

Это создаёт основание для двух типичных ошибок чтения: считать, что структурированные поля по определению хуже свободного текста, или что высокая согласованность двух форматов подтверждает их правильность.

Нельзя смешивать наблюдение в изученной модели и клиническое доказательство: первое описывает частоты совпадений и направленность расхождений, второе требует независимой оценки эталоном.

Переход к разбору дизайна исследования необходим, потому что понимание, где именно возникают расхождения и в какую сторону они смещены, определяет, как интерпретировать согласие форматов в практической и аналитической работе.

Дизайн исследования, ключевые числа и границы вывода

Ретроспективный анализ охватил 4542 пародонтологических визита за 2021 год в двух академических стоматологических центрах на единой платформе ЭМК и с общим словарём данных. Структурированные диагнозы извлекали через SQL‑запросы, свободнотекстовые записи интерпретировала модель RoBERTa; около 20% записей перепроверили два пародонтолога и сформировали согласованный экспертный эталон.

Авторы отмечают высокую взаимную согласованность между структурированными полями и текстом, однако точность каждого формата по сравнению с экспертным эталоном составила примерно 50%. Форматы расходились в 14,8% визитов; в 8,4% различие между полем и текстом достигало двух и более стадий; в большинстве расхождений (67,9%) структурированное поле указывало более лёгкую стадию. Материал представлен как нерецензированный препринт, а первичные ЭМК‑данные не публикуются из‑за риска повторной идентификации.

Ограничение эталонной подвыборки оказывает конкретное влияние на обобщаемость: поскольку эталон доступен лишь для примерно 20% записей и исходные данные недоступны для независимой проверки, оценки точности (~50%) и характер направленности расхождений нельзя с уверенностью распространить на всю когорту из 4542 визитов. Расширение экспертной проверки и доступ к первичным записям необходимы для проверки того, сохранятся ли наблюдаемые показатели точности и направленность смещений при анализе полной совокупности.

Аналитическая отчётность: текущие числа дают сигнал о риске систематического занижения стадии в структурированном поле, но требуют дальнейшей валидации перед масштабной экстраполяцией.

Клиническая интерпретация: результаты информативны для оценки качества данных, но их применимость к другим центрам и всей популяции визитов ограничена отсутствием полной эталонной валидации и закрытостью первичных данных.

Рабочие развилки для аналитика, руководителя и пародонтолога

Аналитик, агрегирующий стадии из структурированных полей и свободного текста, может использовать оба источника, но должен учитывать: высокая межформатная согласованность не равна подтверждению эталона, и выявленные расхождения (включая случаи с разницей в две и более стадий) могут изменить итоговые распределения при расширенной экспертной валидации.

Руководитель клиники при оценке полноты документации должен учитывать широкий диапазон заполнения и наличие визитов без диагноза в одном или обоих форматах; частота отсутствующих записей влияет на доверие к сводной статистике и требует проверки содержания отдельных записей для корректной интерпретации.

Пародонтолог, анализируя отдельную запись, вправе сопоставлять оба формата, но не следует распространять вывод по одной карточке на весь реестр без дополнительной экспертной валидации и понимания направленности расхождений между полями и текстом.

Вопросы к проверке экспертного эталона, конечной точки и переносимости данных

Как именно процесс извлечения меток RoBERTa из свободного текста соотносится с SQL‑извлечением структурированных диагнозов и какие ограничения этого метода влияют на прямое сравнение двух форматов?

Какая конечная точка использовалась в сравнении — значение структурированного поля, метка RoBERTa или консенсус экспертов — и насколько выбор конечной точки меняет оценку «точности» каждого формата?

Как факт выборочной экспертной валидации примерно на 20% записей влияет на надёжность оценки точности форматов и на устойчивость вывода о высокой межформатной согласованности?

В какой мере нерецензированный статус препринта и недоступность первичных ЭМК‑данных ограничивают возможность независимой проверки заявленных различий между SQL‑извлечениями и текстовым парсингом?

Какие конкретные элементы первичных ЭМК‑записей и метаданные, если бы они были доступны, могли бы изменить сравнительную оценку структурированных полей и извлечения из текста?

Что теперь известно о стадии пародонтита в ЭМК

Исследование показало: структурированные поля и свободный текст часто совпадают внутри записей, но точность каждого формата относительно экспертного эталона ограничена. Материал опубликован как нерецензированный препринт, а первичные данные ЭМК не доступны для внешней проверки.

Из этих результатов не следует считать, что автоматически извлекаемые стадии из ЭМК достоверны или что наблюдаемая межформатная согласованность подтверждает их правильность; для изменения уверенности необходима независимая экспертная валидация и доступ к исходным записям.

Вопросы о выборке, полноте, расхождениях и доступе к данным

Источник

Исходный материал — первоисточник