Czy AI diagnozuje lepiej niż lekarze?
Czasem przeglądam wieczorem nowe badania i zwykle kiwam głową: „fajnie, kolejny model, kolejny benchmark”. Tym razem kiwnąłem głową dwa razy.
Microsoft AI opublikował w „Science” wyniki testów swojego systemu diagnostycznego MAI-DxO. Na symulowanych, naprawdę trudnych przypadkach klinicznych system trafił w diagnozę w 83,2% przypadków. Lekarze rodzinni i interniści, pracujący samodzielnie z dostępem do pomocy naukowej – w 36%.
- AI
- Lekarze
Pokaż dane
| (%) | AI | Lekarze |
|---|---|---|
| Trudne przypadki | 83,2 | 36,1 |
| Zwykłe diagonzy | 80,3 | 46,8 |
Na rutynowych przypadkach przewaga też jest, choć mniejsza. Nie musisz być statystykiem, żeby zobaczyć różnicę. Ale zanim zaczniemy pakować szpitale do chmury, warto przyjrzeć się, co dokładnie zmierzono.
Jak to w ogóle działa?
MAI-DxO to nie jest kolejny mózg, czyli model językowy. To raczej warstwa sterująca, którą można nałożyć na dowolny duży model. System symuluje panel lekarzy – wirtualne konsylium. Jedni „lekarze” proponują rozpoznania, inni dobierają badania, jeszcze inni podważają dominującą hipotezę i pilnują kosztów. Brzmi znajomo? Tak, mniej więcej tak wygląda poranna odprawa na oddziale wewnętrznym, tylko bez kawy i bez narzekania na dyżury.
Co ciekawsze, test nie był typowym quizem medycznym. Zwykłe benchmarki podają modelowi gotową paczkę: wywiad, badania, wyniki – i pytają „co to jest?”. Tymczasem prawdziwa diagnostyka wygląda inaczej. Pacjent mówi: „boli mnie brzuch”, a lekarz musi zdecydować, o co zapytać, jakie badanie zlecić i kiedy przestać szukać.
I właśnie to przetestowano na 304 przypadkach z New England Journal of Medicine. System dostawał krótki opis przypadku i sam musiał zbierać informacje krok po kroku – zadawać pytania, zamawiać badania, aktualizować hipotezy. Przy okazji okazało się, że dobrał też tańszy zestaw badań niż lekarze.
Małe „ale”
Teraz ta część, którą Microsoft chętnie umieściłby w przypisie.
Trudne przypadki w praktyce nie trafiają do lekarza rodzinnego pracującego w pojedynkę. Trafiają do specjalistów albo całych zespołów konsultacyjnych. A tych w badaniu nie uwzględniono. Więc porównanie jest uczciwe metodologicznie – i jednocześnie trochę niesprawiedliwe wobec ludzi, którzy na co dzień zajmują się właśnie takimi zagadkami. To trochę jak wygrana mistrza szachów z kimś, kto gra rekreacyjnie. Prawdziwa, ale niewiele mówiąca o tym, jak zagrałaby druga strona.
Do tego dochodzi kwestia, którą redaktor „Science” trafnie ujął: pacjenci nie przychodzą do gabinetu z elegancko spisanym opisem przypadku. Przychodzą z chaosem, niedopowiedzeniami i „no, jakoś tak od tygodnia”. Symulacja to symulacja.
Dlaczego mimo to warto się tym zainteresować
Bo nawet po odjęciu wszystkich gwiazdek od wyniku zostaje coś istotnego.
Diagnostyka to proces – zbieranie informacji, stawianie hipotez, ich rewizja. Dotychczasowe testy AI pomijały dokładnie ten etap: umiały analizować gotowy opis, ale nikt nie sprawdzał, czy system umie prowadzić diagnostykę. Czy zadaje właściwe pytania. Czy nie zamawia wszystkiego po kolei „na wszelki wypadek”. Czy wie, kiedy już wystarczy.
MAI-DxO przeszedł ten test. I zrobił to taniej niż ludzie – co w medycynie nie jest szczegółem technicznym, tylko realną różnicą między badaniem dostępnym a niedostępnym.
Szef Microsoft AI nazwał wynik krokiem w stronę „medycznej superinteligencji”. Cóż, szefowie laboratoriów mają prawo do entuzjazmu – to część ich opisu pracy. Ja bym był ostrożniejszy z przymiotnikami, ale sam kierunek uważam za uzasadniony.
Moja skromna prognoza
Nie sądzę, żebym za kilka lat rozmawiał z komputerem zamiast z lekarzem. Sądzę natomiast, że za kilka lat mój lekarz będzie miał przy sobie narzędzie, które podpowie mu hipotezę, o której zapomniał, albo ostrzeże przed zbędnym badaniem. I że na trudnych przypadkach takie konsylium – ludzko-maszynowe – będzie działało lepiej niż każda z jego części osobno.
A jeśli ktoś ma problem z tym obrazem, przypomnę: konsylium lekarskie to też w gruncie rzeczy kilku specjalistów kłócących się o jedną diagnozę. AI po prostu robi to samo, tylko szybciej i bez przerw na obiad.
Że stawka w tej grze jest realna, a błędna diagnoza to nie abstrakcja ze statystyk, przekonała się Christina Applegate, znana z „Świata według Bundych” i „Już nie żyjesz”. O stwardnieniu rozsianym poinformowała w 2021 roku. Przez pięć lat żyła z diagnozą nieuleczalnej choroby. Teraz usłyszała, że to pomyłka. Jak można przez lata leczyć chorobę, której pacjent nie ma? I kto ponosi odpowiedzialność za taki błąd?
Dlatego pytanie na koniec jest proste: wolisz diagnozę postawioną z 36-procentową trafnością czy z 83-procentową? Ja swoją odpowiedź znam.
