Können Sie dem medizinischen Rat von Bots vertrauen? Ärzte sind sich noch nicht sicher.

Babylon Health, dessen Kapital auf 2 Milliarden US-Dollar geschätzt wird, bietet einen Chatbot-Service an, der auf der Grundlage der beschriebenen Symptome medizinische Beratung bietet. Es wurde 1,7 Millionen Mal verwendet. Experten befürchten jedoch, dass es in der Werbung nicht genau so funktioniert, wie versprochen.

Hamish Fraser lernte Babylon Health zum ersten Mal im Jahr 2017 kennen, als er zusammen mit einem Kollegen für einen Artikel in Wired die Genauigkeit der Diagnosen mehrerer symptombasierter KI-Systeme überprüfte, die entwickelt wurden, um jedem mit einem Smartphone Ratschläge zu geben. Unter den Konkurrenten, bei denen häufig auftretende Krankheiten wie Asthma und Gürtelrose erkannt wurden, war der Babylon Health Symptom Checker am schlimmsten. Fraser, der damals als Inspektor für Gesundheitsinformatik an der Leeds University in England arbeitete, kam zu dem Schluss, dass Unternehmen ihre Dienstleistungen ernsthaft verbessern müssen, um den Markt nicht zu verlassen.

"In diesem Moment hatte ich keine Vorurteile für einen von ihnen, und ich kannte einfach keine einzige, also hatte ich keinen Zweck, mich mit jemandem zu treffen, und ich dachte: Nda, das ist kein sehr gutes Ergebnis. sagt Fraser, der jetzt an der Brown University arbeitet. "Ich dachte, sie würden verschwinden." Aber wie falsch ich lag. "

Seit der Veröffentlichung dieses Artikels hat sich viel geändert. Seit Beginn des Jahres 2018 ist Babylon Health mit Sitz in London von 300 auf fast 1.500 Mitarbeiter angewachsen. Das Unternehmen hat einen Wert von 2 Milliarden US-Dollar und behauptet, "bezahlbare und erschwingliche medizinische Dienstleistungen für alle Menschen auf der Erde bereitzustellen". In England führt Babylon Health die fünftgrößte medizinische Praxis unter Aufsicht eines nationalen Gesundheitssystems durch, das hauptsächlich von der Regierung finanziert wird. Dadurch können Patienten in der Nähe von London und Birmingham mit Ärzten per Video-Chat oder bei Bedarf in die Klinik kommen. Das Unternehmen behauptet, mehr als 700.000 digitale Patientengespräche mit Ärzten geführt zu haben, und plant, in Zukunft ähnliche Dienstleistungen in anderen britischen Städten anzubieten.

Babylon Health verspricht, Geld für immer teurere medizinische Leistungen zu sparen, indem AI zum Filtern von Patienten verwendet wird, sodass Zeit und Ressourcen nur für Menschen zur Verfügung stehen, die wirklich medizinische Hilfe benötigen. Laut Babylon Health in England und im Ausland wurde das Symptom-Screening-Programm mehr als 1,7 Millionen Mal in Ländern wie England, der Europäischen Union, Kanada, Südostasien und Saudi-Arabien angewendet. Bald will Babylon Health noch weiter expandieren und in die USA und nach China vordringen.

Schnelle Expansion kann ein Problem sein, weil "solche Technologien - und nicht nur Programme zum Testen von Symptomen, sondern auch andere digitale Interventionen - schnell gefördert und geändert werden können", sagt David Vaughn, der an der Universität von Manchester in England Vorlesungen über den Einsatz von KI im Gesundheitswesen hält. und arbeitete mit Fraser daran, solche Systeme für einen Artikel zu testen. "Sie können jedoch möglicherweise einen großen Unterschied bewirken", sagt Vaughn, und insbesondere Babylon Health ist "ein Beispiel für ein Unternehmen, das es geschafft hat, sehr schnell viel zu erreichen."

Eine derart rasche Entwicklung der Ereignisse wirft einige Fragen von Experten auf, die behaupten, Babylon Health habe es eilig, auf den Markt zu kommen, ohne ausreichende Nachweise für die Gesundheit seiner Produkte. Bisher gab es keine Expertenbewertungen ihrer Leistungen mit randomisierten Test- und Kontrollgruppen - Methoden, die der Goldstandard in der Medizin sind -, die zeigen, wie gut die KI unter realen Bedingungen mit realen Patienten zurechtkommt. Das Symptomtest-Programm von Babylon Health betrifft jedoch bereits täglich Tausende von Menschen und wird von den staatlichen Aufsichtsbehörden in den Ländern, in denen es Dienstleistungen anbietet, genehmigt.



"Sie haben es geschafft, die Genehmigung des nationalen Gesundheitssystems zu erhalten, ohne das Produkt an echten Patienten zu testen, ohne Tests durch Dritte zu absolvieren - und das hält die Aufsichtsbehörden nicht davon ab", sagte Margaret McCartney, Allgemeinärztin aus Glasgow, Schottland, und Kritikerin bei Babylon Health . "Es scheint mir erstaunlich."

Babylon Health behauptet, die Anforderungen des nationalen Gesundheitssystems zu erfüllen, und erfüllt in allen Ländern, in denen der Dienst tätig ist, alle behördlichen Anforderungen. Das Unternehmen rekrutiert angeblich auch Universitätsforscher, um randomisierte Kontrollstudien zu organisieren. "Wir haben wichtige Schritte unternommen, um die Sicherheit und Wirksamkeit dieser Technologie zu testen und zu validieren", sagte Keith Grimes, Direktor für klinische Innovation bei Babylon Health. "Es ist einfach nicht in Form von klinischen Studien."

Einen Arzt anrufen Chatbot

Die Symptomprüfung von Babylon Health sieht aus wie ein Chatbot, mit dem Benutzer über eine App oder Website chatten. Wenn ein Benutzer seine Hauptsymptome in Form eines kurzen Satzes oder Satzes eingibt, stellt der Symptomprüfer Fragen zum möglichen Vorhandensein entsprechender Symptome. Infolgedessen ermittelt das Symptomprüfungsprogramm mögliche Ursachen und empfiehlt weitere Maßnahmen - eine Reserve für die Videokonsultation mit einem Therapeuten oder einen Krankenhausbesuch.



Die dem Symptomtest-Programm zugrunde liegende Technologie ist als Wissensgraph bekannt und funktioniert wie eine digitale Enzyklopädie der Medizin, in der die Beziehung zwischen verschiedenen Krankheiten, Symptomen und Zuständen dargestellt wird. Die Beziehung wird durch Millionen von Referenzpunkten aus Hunderten von medizinischen Quellen dargestellt und ständig aktualisiert. Ein Symptomprüfungsprogramm kann auch Aufzeichnungen von medizinischen Aufzeichnungen verwalten - einschließlich Daten, die während der Arbeit mit dem Programm gesammelt werden -, um mögliche Zusammenhänge zwischen Krankheiten verschiedener Benutzer zu identifizieren.

Das Wissensdiagramm kann durch Hinzufügen von Daten angepasst werden, um die Wahrscheinlichkeit verschiedener Krankheiten in bestimmten Bevölkerungsgruppen und geografischen Gebieten einzuschätzen.

Babylon Health schafft ein "Modell der Medizin, das nicht nur in Großbritannien und den USA, sondern weltweit anwendbar ist", sagt Saurabh Johri, ein leitender Wissenschaftler bei Babylon Health. Er sagt, das Modell sollte anpassbar sein, um "die lokalen Besonderheiten der Krankheit widerzuspiegeln. Wenn ein Patient in London über Erbrechen, Fieber und Durchfall klagt, ist die Wahrscheinlichkeit, dass er an Malaria leidet, geringer als in Ruanda."

Viele andere medizinische Unternehmen nutzen die im Bereich der künstlichen Intelligenz beliebte Technologie des maschinellen Lernens und ihre Option, wie z. B. Deep Learning, um Software zur Analyse von Patientendaten zu trainieren, um Symptome zu bestimmen und Diagnosen zu stellen. Solche Systeme durchsuchen riesige Mengen von medizinischen Rohdaten und können manchmal Software trainieren, um verborgene Muster und Beziehungen zwischen Referenzpunkten in Daten zu finden, die Menschen und unser medizinisches Wissen manchmal vermissen. Bei Babylon Health ist dies nicht der Fall. Die AI-Schätzungen spiegeln direkt das aktuelle medizinische Wissen und das menschliche Verständnis der Beziehung zwischen Symptomen und ihren Ursachen wider. Dabei wird nicht auf eine vielversprechende, aber manchmal unerklärliche Maschinenleistung gesetzt.

Bisher nutzte Babylon Health Deep Learning, um Patienten-Chat-Nachrichten mit einem Chatbot zu interpretieren. AI verwendet Deep Learning auch, um die rechenintensive Datensuche in der Wissensspalte zu beschleunigen, in der Sie alle möglichen Kombinationen von Symptomen, Krankheiten und Risikofaktoren überprüfen müssen, die für den jeweiligen Fall geeignet sind. Im Allgemeinen arbeitet Babylon Health AI jedoch hauptsächlich mit medizinischem Wissen, das von Menschen gesammelt wurde, und vertraut nicht darauf, dass die Maschine logische Beziehungen aufbaut.



Dieser Ansatz kann Vorteile haben. Einer der Nachteile des maschinellen und vertieften Lernens besteht darin, dass zum Lernen von Mustern große Mengen relevanter Trainingsdaten und Verarbeitungsleistung erforderlich sind. Je nach Land und Gesundheitssystem ist es nicht immer einfach, auf alle relevanten medizinischen Daten zuzugreifen, die zum Erlernen von Computersoftware erforderlich sind. Ein weiterer Nachteil dieses Ansatzes ist die Opazität. Mit maschinellen Lerntechnologien können Fachleute oft nicht genau verstehen, wie die Software die verschiedenen Bezugspunkte in den Daten verknüpft.

Der Babylon Health-Ansatz mit Transparenz ist besser. Das Unternehmen verwendet Modelle, die es Ärzten und Programmierern in Vollzeit ermöglichen, "unter die Haube zu schauen", sagt Johri und versteht, wie das Symptomtestprogramm zu einem Ergebnis gekommen ist.

Ergebnisse sind zweifelhaft

Trotz aller Vorteile hat sich Babylon Health noch nicht als verantwortungsbewusstes Modell erwiesen. Das Unternehmen versuchte, Kritiker mit Rechtsstreitigkeiten zum Schweigen zu bringen , und wurde von den britischen Regulierungsbehörden wegen "irreführender" Werbung gerügt . In einem Interview mit Wired UK und Forbes beschrieben die ehemaligen Mitarbeiter des Unternehmens eine Situation, in der die Unternehmenskultur im Widerspruch zu der Notwendigkeit steht, die Sicherheit und Wirksamkeit von KI im Gesundheitswesen streng zu testen. Forbes schrieb: „Interviews mit gegenwärtigen und ehemaligen Babylon Health-Mitarbeitern und unabhängigen Ärzten zeigen die weit verbreitete Besorgnis, dass das Unternehmen Software, die nicht gründlich getestet wurde, schnell einführte und dann die Wirksamkeit übertrieb“ (das Unternehmen protestiert aktiv gegen diese Aussagen).

Babylon Health beteiligte sich auch an öffentlichen Debatten und gab Erklärungen ab, die einige Kritiker später als irreführend bezeichneten. Am 27. Juni 2018 machte das Unternehmen die Medien auf sich aufmerksam und sagte während einer Live-Sendung am Royal College of Medicine in London, dass seine KI in der Lage sei, häufige Krankheiten zu diagnostizieren, die nicht schlechter seien als die von menschlichen Therapeuten. Diese Aussage basierte auf einer Unternehmensstudie, in der AI mit Diagnosen von sieben Ärzten verglichen wurde. Ebenfalls in der Studie wurde das Symptomtestprogramm anhand von Teilen der Fragen einer Prüfung zum Erwerb eines Allgemeinarztes in Großbritannien, einer Prüfung zur Mitgliedschaft am Royal College of General Practitioners sowie anhand historischer Aufzeichnungen einer unabhängigen Studie aus dem Jahr 2015 getestet, in der mehrere Programme zur Überprüfung von Symptomen evaluiert wurden.

Wissenschaftler und medizinische Organisationen zeigten sich jedoch bald besorgt. Das Royal College of General Practitioners , die British Association of Physicians und das Royal College of Physicians haben Erklärungen abgegeben, die die Behauptungen von Babylon Health in Frage stellen, während das Royal College of Physicians eine Präsentation des Unternehmens organisiert und die Durchführung der Studie unterstützt hat. Zunächst wurde in dieser Studie die KI nur auf einen Teil der Fragen für die Prüfung getestet, und das Programm wurde nicht an realen Personen in einem klinischen Umfeld getestet.

Fraser und Vaughn, die 2017 bei Wired UK geholfen haben, das Symptom-Screening-Programm zu testen, hatten ebenfalls Fragen zu dieser Studie, da es sich um eine kleine Anzahl von Ärzten handelte und nicht von unabhängigen Experten untersucht wurde. Das Paar beschloss, diese Studie näher zu studieren. In einem 2018 im The Lancet Magazine veröffentlichten Bericht gelangten sie zu dem Schluss, dass die Babylon Health-Studie keinen schlüssigen Beweis dafür liefert, dass ihr Symptom-Screening-Programm „in einer realistischen Situation eine bessere Leistung erbringt als Ärzte, und es ist wahrscheinlicher, dass dies der Fall ist es wird viel schlimmer kommen. "

Diese Ergebnisse wirken sich direkt auf echte Patienten aus. „Wenn Ihr Symptom-Screening-Programm vorsieht, dass Sie zu Hause bleiben und nicht zum Arzt gehen, hat eine solche Entscheidung Konsequenzen, wenn die erforderliche Hilfe verzögert oder nicht bereitgestellt wird“, sagt Enrico Coeira, Direktor des Zentrums für Medizinische Informatik an der McUyra University in Sydney, Australien und der Autor einer Arbeit aus dem Jahr 2018, die im Lancet-Magazin veröffentlicht wurde.

Noch vor einer Welle der Kritik hat Babylon Health mit der Stanford University Vorverhandlungen aufgenommen, um zusätzliche Pilotuntersuchungen durchzuführen, sagt Megan Mahoney, Stanford Clinical Researcher, Mitautorin von Babylon Health im Jahr 2018.

"Anscheinend kann KI ein gewisses Potenzial haben", erklärt Mahoney, "und wir haben die echte Verantwortung, ein neues Maß an Genauigkeit bei der Bewertung dieses Potenzials zu erreichen, da KI wirklich nützlich sein kann, um medizinische Dienstleistungen zu unterstützen und zu ergänzen." .

Mahoney beschrieb 2018 Babylon Health als "exzellent für die interne Forschung". Trotz ihres Optimismus warnte sie, dass sie es niemals gewagt hätte, diese KI in echte Gesundheitsdienste oder Arztpraxen zu integrieren, nur basierend auf den Ergebnissen dieser Studie.

Als das Undark-Magazin nach Streitigkeiten über diese Arbeit fragte, antwortete Babylon Health mit einer Aussage, die unter anderem lautete: "Einige Medien haben unsere Aussagen möglicherweise falsch interpretiert, aber wir bleiben bei unseren ersten Ergebnissen und wissenschaftlichen Beweisen." Dort wurde auch festgestellt, dass die Arbeit von 2018 „vorläufig“ ist, und die KI des Unternehmens mit einer „kleinen Stichprobe von Ärzten“ verglichen. Babylon Health verwies auch auf die Schlussfolgerung der Studie: „Es sind weitere Forschungsarbeiten erforderlich, bei denen größere Gruppen realer Menschen eingesetzt werden, um die Wirksamkeit dieser Systeme mit menschlichen Ärzten zu vergleichen.“

Berechnungen: Medizin des 21. Jahrhunderts

Selbst Babylon Health räumt ein, dass Voruntersuchungen nicht den Goldstandards der medizinischen Forschung entsprechen. Dies hinderte das Unternehmen - oder die Aufsichtsbehörden - jedoch nicht daran, den Patienten Zugang zu einem Symptomtestprogramm zu verschaffen.

Dieser Ansatz ist vergleichbar mit Versuchen an Menschen mit einem neuen Medikament ohne strenge Tests, sagt Isaac Cohan, ein biomedizinischer Informatikforscher an der Harvard Medical School. Und er fügt hinzu, dass die Berechnungen "als Medizin des 21. Jahrhunderts angesehen werden können - also lasst uns sie mit der gleichen Verantwortung behandeln."

Wenn Babylon Health randomisierte Kontrolltests durchführt, wird es laut Fraser viel dazu beitragen, das Vertrauen in seine Expansion auf dem amerikanischen und asiatischen Markt zu stärken. Das Unternehmen plant, in den kommenden Monaten ein Testprotokoll mit einer vorläufigen Begutachtung der Artikel an eine Zeitschrift zu senden, sagt Johri und fügt hinzu: „Wir werden diese Tests in Großbritannien durchführen und diskutieren dieses Problem auch mit Partnern in China und den USA.“

Gegenwärtige Vorschriften der US-amerikanischen Food and Drug Administration empfehlen eine Milde bei AI-basierten Symptom-Screening-Programmen, da die damit verbundenen Risiken geringer sind als bei anderen Gesundheitsdiensten. Das Management „beschloss, Symptomtestprogramme - und ähnliche Dienstleistungen - von der Aufsicht zu befreien, um Innovationen zu fördern“, sagt Fraser. "Sie scheinen jedoch die Möglichkeit zu haben, diesen Bereich viel stärker zu regulieren, wenn sie dies wünschen."

Bisher machen sich einige unabhängige Experten weiterhin Sorgen über die aktuelle Version des Symptom-Screening-Programms von Babylon Health. Anfang September kritisierte ein unabhängiger Berater des britischen nationalen Gesundheitssystems häufig Babylon Health auf Twitter unter dem Pseudonym Dr. Murphy zeigte das Vorhandensein einer möglichen sexuellen Voreingenommenheit im Symptom-Screening-Programm von Babylon Health.

Eine 59-jährige rauchende Frau, die über plötzliche Brustschmerzen und Schwindelgefühle klagte, diagnostizierte Depressionen oder eine Panikattacke als wahrscheinliche Diagnose. Für denselben Patienten, dessen Profil das männliche Geschlecht angab, wies das Symptomprogramm zusätzlich auf mögliche schwerwiegende Herzprobleme hin, empfahl einen Krankenhausbesuch oder rief einen Krankenwagen.

Anstatt wie bisher mit diesen Vorwürfen zu streiten, wählte Babylon Health einen versöhnlichen Kommunikationston für eine Antwort auf Twitter . In einem anschließenden Blog-Beitrag würdigte Babylon Health die Voreingenommenheit im Gesundheitswesen und setzte sich für die Wirksamkeit eines Programms zur Symptombekämpfung ein.

Das hat Dr. Murphy möchte, dass das Unternehmen an potenziellen Problemen mit seiner KI arbeitet: "Der gefährlichste von allen Ärzten ist jemand, der seine Fehler nicht sieht oder nicht aus ihnen lernt."