A Diagnostic Expert System for Structured Reports, Quality Assessment, and Training of Residents in Sonography

Abstract.

Background:

The quality of medical reports on diagnostic procedures has a considerable impact on the quality of medical care. Handwritten or otherwise unstructured reports tend to be incomplete, whereas structured questionnaires are of limited flexibility and not considered case-adequate. Thus, medical reports of this kind may promote an incomplete and misleading documentation and, therefore, be problematic with respect to their reliability.

Methods:

SonoConsult (SC), an expert system for structured and case-adequate documentation of sonographic findings with an additional diagnostic component, was evaluated with respect to user acceptance and suitability for enhancing the quality of reports and supporting sonographic beginners. The expectations and the attitudes of the users toward the program were evaluated by anonymous questionnaires. The documentation of findings and the diagnostic conclusions in 103 free text reports made by experienced examiners were evaluated by subjecting their information to a subsequent input into SC. Free text reports were checked for information that was asked by SC but not mentioned in the reports. In a series of 150 cases, the system diagnoses were blinded during input of findings into SC-questionnaires and the examiners’ diagnostic conclusions were compared with the uncovered SC-diagnoses with respect to forgotten diagnoses.

Results:

The structured and data-driven acquisition of information by the program was well accepted by the users. However, only a medium interest in the system-delivered diagnoses was noted. The program-generated reports were characterized by a more detailed description of the findings and a higher number of diagnoses in comparison to the unstructured reports before introduction of SC as the only documentation system. When unaware of the system diagnoses, information was entered into the questionnaires, and SC generated some diagnoses which were not mentioned by the examiners in their conclusions. The possibility to inspect the system diagnoses led to an enhancement of the number of diagnoses the examiners mentioned in their conclusions. By contrast, the examiners meant that the influence of the program on their conclusions was minimal or dispensable. Beginners in sonography acknowledged that the program led them to perform a complete examination in an adequate sequence.

Conclusion:

An expert system for the data-driven, case-adequate information acquisition of abdominal ultrasound examinations may enhance the quality of the reports and, potentially, of the examinations at the same time. In addition, it may help beginners to learn a structured problem- and finding-adequate examination sequence.

Zusammenfassung.

Hintergrund:

Die Qualität von Befundberichten diagnostischer Untersuchungen hat wesentliche Auswirkungen auf die medizinische Versorgung Kranker. Handschriftliche oder sonstige unstrukturierte Berichte tendieren zu Unvollständigkeit, wohingegen strukturierte Erhebungsbögen nur beschränkt flexibel und nicht immer falladäquat sind. Medizinische Befundberichte dieser Art können eine lückenhafte und irreführende Dokumentation begünstigen und hinsichtlich ihrer Verlässlichkeit problematisch sein.

Methodik:

SonoConsult (SC), ein Expertensystem zur strukturierten falladäquaten Befunderhebung mit einer zusätzlichen diagnostischen Kompetenz in der Abdominalsonographie, wurde bezüglich seiner Akzeptanz und Eignung zur Steigerung der Befundqualität und zur Unterstützung sonographischer Anfänger evaluiert. Die Erwartungen an das Programm und die Einstellung der Nutzer zum Programm wurden durch anonyme Fragebögen erfasst. Die Inhalte von 103 Freitextberichten erfahrener Untersucher wurden in SC eingegeben und auf solche Befunde hin überprüft, die von SC erfragt wurden, aber nicht im Bericht erwähnt waren. In einer Serie von 150 Untersuchungen wurden die Systemdiagnosen während der Befundeingabe verblindet und die Diagnoseangaben der Untersucher mit den für die Evaluation sichtbar gemachten Diagnosen von SC verglichen.

Ergebnisse:

Die strukturierte und eingabeabhängige Befunderhebung durch das Programm wurde von den Nutzern akzeptiert. Die Systemdiagnosen waren jedoch nur von mittlerem Interesse. Die vom Programm generierten Befundberichte waren durchschnittlich detaillierter und enthielten mehr diagnostische Schlussfolgerungen als die unstrukturierten Befundberichte vor Einführung von SC als einzigem Dokumentationssystem. Auch bei strukturierter Befundeingabe ohne Kenntnis der Systemdiagnosen wurden von SC im Hintergrund Diagnosen generiert, die vom Untersucher nicht erwähnt wurden. Die Möglichkeit der Einsicht in die Systemdiagnosen führte zur Erhöhung der Zahl der von den Untersuchern in ihren Beurteilungen angegebenen Diagnosen. In Diskrepanz zu diesen Ergebnissen hielten die Untersucher jedoch subjektiv den Einfluss des Systems auf die Qualität der Beurteilungen in ihren Befundberichten für gering bis verzichtbar. Anfänger in der Sonographie bemerkten positiv, dass sie durch das Programm zu einer vollständigen Untersuchung in einer angemessenen Reihenfolge angehalten wurden.

Schlussfolgerung:

Ein Expertensystem zur eingabeabhängigen, falladäquaten Befunderhebung in der abdominellen Sonographie kann die Qualität der Befundberichte und möglicherweise gleichzeitig die der Untersuchungen erhöhen. Es kann zudem Anfängern helfen, eine problem- und falladäquate Untersuchungssequenz zu erlernen.