ეს ნდობა არის თანამედროვე სამედიცინო ეკონომიკის საფუძველი. სწორედ ეს გვაძლევს საშუალებას, გავიკეთოთ ანესთეზია, ჩავაბაროთ ჩვენი ცნობიერება და ავტონომია უცნობებსა და მათ ინსტრუმენტებს. გვჯერა ზედამხედველობის. გვჯერა მარეგულირებლის. გვჯერა, რომ არსებობს შეკავებისა და გაწონასწორების მექანიზმები, ჩრდილოვანი ფიგურები მაღალ კაბინეტებში, რომელთა ერთადერთი საქმეა იმის უზრუნველყოფა, რომ მოწყობილობა, რომელიც ჩვენს სხეულში შედის, არ მოგვკლავს. მაგრამ რა ხდება, თუ ეს ტაძარი ცარიელია? რა ხდება, თუ 'შეკავება და გაწონასწორება' ლობისტებმა და 'ეფექტურობის' მანდატებმა გამოფიტეს? რა ხდება, თუ მანქანა, რომელიც სკალპელს მართავს, არ გიყურებთ როგორც ადამიანს, არამედ როგორც ალბათურ გეომეტრიულ ამოცანას ცდომილების მარჟით, რომელიც მიუღებელი იქნებოდა ვიდეო თამაშში, რომ არაფერი ვთქვათ ტვინის ქირურგიაზე?
ერინ რალფი ვარაუდობდა, რომ სისტემა მუშაობდა. ის ტეხასში ცხოვრობდა, ჰქონდა ქრონიკული სინუსების პრობლემა და სჭირდებოდა რუტინული პროცედურა. ეს იყო ოპერაცია, რომელსაც ექიმები 'პურსა და კარაქს' ეძახიან — სტანდარტული, პროგნოზირებადი, დაბალრისკიანი. ყოველწლიურად ათასობით ტარდება. მისი ქირურგი იყენებდა უახლესი ტექნოლოგიის ნავიგაციის სისტემას სახელად TruDi, რომელიც შექმნა Acclarent-მა, ჯანდაცვის გიგანტ Johnson & Johnson-ის შვილობილმა კომპანიამ. წარმოიდგინეთ ის, როგორც GPS ადამიანის თავის ქალისთვის. ის აგებს თქვენი თავის 3D რუკას, რათა ქირურგმა იცოდეს ზუსტად სად არის მისი ინსტრუმენტები, მილიმეტრის სიზუსტით. ის უნდა ყოფილიყო 'ღმერთის თვალი', რომელიც ხედავს ძვალსა და ქსოვილში.
ოპერაციის დროს, ეკრანი აჩვენებდა, რომ მოწყობილობა უსაფრთხო ზონაში იყო. ლურჯი წერტილი ციფრულ რუკაზე ზუსტად იქ იყო, სადაც უნდა ყოფილიყო, მის სინუსების რთულ დერეფნებში ნავიგაციისას. ხელოვნური ინტელექტი დარწმუნებული იყო. მან აანთო 'მწვანე შუქი'. მაგრამ რუკა ტყუილი იყო. მოწყობილობა გადახრილი იყო. ალგორითმი დეკალიბრირებული აღმოჩნდა. სანამ AI თავდაჯერებულად რთავდა უსაფრთხოების ინდიკატორებს, ფიზიკური ინსტრუმენტი ხვრეტდა ქაღალდივით თხელ ძვალს, რომელიც მის სინუსებს ტვინისგან ჰყოფდა. ერინს არ გაუღვიძია განკურნებულს. მან გაიღვიძა კოშმარში. მას აკლდა თავის ქალის ნაწილი. მას ჰქონდა ცერებროსპინალური სითხის გაჟონვა — ტვინის სითხე ცხვირიდან სდიოდა. მისი ცხოვრება ფაქტობრივად დაიშალა. დახრის მარტივი ქმედებაც კი შეიძლება სასიკვდილო ყოფილიყო. ნდობა, რომელიც მან 'უახლეს ტექნოლოგიაში' ჩადო, დასრულდა შუა საუკუნეების ტიპის დაზიანებით, რომელიც ფუტურისტულმა ინსტრუმენტმა მიაყენა.
და ის არ იყო ერთადერთი. ეს არ ყოფილა 'შემთხვევითი უბედური შემთხვევა'. სხვა პაციენტს, სხვა ოთახში, საძილე არტერია გადაეჭრა, რადგან იგივე 'GPS' მილიმეტრებით ცდებოდა. სისხლი საოპერაციო ოთახის კედლებს მიესხა. ქირურგმა, რომელსაც მანქანა ხელმძღვანელობდა, სხეულის ერთ-ერთი მთავარი საწვავის ხაზი გადაჭრა. ეს არ იყო ხარვეზი. ეს იყო გულგრილობით გამოწვეული სტატისტიკური გარდაუვალობა.
აი უფსკრული ბროშურასა და აუტოფსიას შორის. რაც არის: კომპანიები მოგვყიდიან 'ზუსტ მედიცინას' და 'AI-ით მხარდაჭერილ სრულყოფილებას'. ისინი პრემიუმ ფასს ადებენ ამ ინსტრუმენტებს, გვპირდებიან რა რისკის შემცირებას და პასუხისმგებლობის დონის დაწევას. ისინი ასაღებენ მათ, როგორც 'მეორე წყვილ თვალს', რომელიც არასდროს ახამხამებს. რაც შეიძლება იყოს: სამყარო, სადაც ამ ინსტრუმენტებს რეალურად მოეთხოვებათ სამედიცინო სტანდარტების დაკმაყოფილება, სადაც 'სიზუსტე' ნიშნავს 100%-ს და არა 'მეტწილად ახლოს'. მაგრამ ჩვენ იქ არ ვცხოვრობთ. როდესაც ერინ რალფი ოჯახმა უჩივლა, კომპანიამ არ თქვა მხოლოდ ის, რომ ეს ტექნიკური შეცდომა იყო. მათ თქვეს რაღაც ბევრად უფრო საზარელი. მათ განაცხადეს, რომ TruDi ნავიგაციის სისტემა იყო მხოლოდ 'მარკეტინგული ინსტრუმენტი'. წაიკითხეთ ეს თავიდან. მოწყობილობა, რომელიც ფოლადის სამართებელს მართავს ადამიანის თავში, მისი შემქმნელების თვალში, იყო სარეკლამო აქტივი.
სასამართლო პროცესზე გამოვლენილმა შიდა დოკუმენტებმა აჩვენა, რომ კომპანიამ სიზუსტის სამიზნე მხოლოდ 80%-ზე დააყენა. გაიაზრეთ ეს. სკოლაში, 80% არის B-მინუსი. ავიაციაში, 80% არის თვითმფრინავის ჩამოვარდნა ყოველ მეხუთე ფრენაზე. ტვინის ქირურგიაში, 80% სასიკვდილო განაჩენია. მათ ეს იცოდნენ. ქირურგმა, რომელიც მას იყენებდა, გააფრთხილა ისინი. მან უთხრა წარმომადგენლებს, რომ მოწყობილობა გადაიხარა. მათ ის დააიგნორეს. რატომ? იმიტომ, რომ კოდის გასწორება ფული ღირს, მოიცავს უკან გაწვევებს და აჩერებს გაყიდვების ციკლს. მაგრამ 'მომავლის' გაყიდვა მილიარდებს იძლევა. რაც არის: კორპორატიული კულტურა, სადაც 'საკმარისად კარგი' განისაზღვრება იურიდიული დაცვადობით და არა პაციენტის უსაფრთხოებით. რაც შეიძლება იყოს: კულტურა, სადაც ქირურგიაში გამოყენებული კოდი არის ღია წყარო (open-source), აუდიტირებული და ექვემდებარება იგივე სტანდარტებს, რასაც ბირთვული რეაქტორის კონტროლერი.
მე აქ არ ვარ იმისთვის, რომ გითხრათ, მოერიდოთ ქირურგიას. ბიოლოგია მარცხდება; ჩვენ გვჭირდება ექიმები. ჩვენ გვჭირდება მეცნიერება. მაგრამ მე აქ ვარ, რომ მოგცეთ 'წითელი აბი' 'სამედიცინო AI'-ის ოქროს ციებ-ცხელების შესახებ. თქვენ უნდა გესმოდეთ იმ მახის არქიტექტურა, რომელშიც შედიხართ. მარეგულირებელი, სააგენტო, რომელსაც ევალება თქვენი ხორცის დაცვა კორპორატიული სიხარბისგან, გამოშიგნეს. 'დერეგულაციისა' და 'ეფექტურობის' მასიური ბიძგის შედეგად, ამ AI მოდელების შემმოწმებლების რაოდენობა განახევრდა. ლოგიკა არის 'ინოვაცია ბიზნესის სიჩქარით'. მაგრამ მედიცინამ არ უნდა იმოძრაოს ბიზნესის სიჩქარით. ის უნდა იმოძრაოს უსაფრთხოების სიჩქარით.
იმავდროულად, დამტკიცებული AI მოწყობილობების რაოდენობა 1,357-მდე გაიზარდა. დათვალეთ. ნაკლები პოლიციელი, მეტი სიჩქარის გადამეტება. თქვენ აღარ ხართ პაციენტი; თქვენ ხართ ბეტა ტესტერი პროგრამული განახლებისთვის, რომელიც არ არის გამართული. 'შავი ყუთი' არ არის მხოლოდ მეტაფორა; ეს იურიდიული ფარია. როდესაც ალგორითმი შეცდომას უშვებს, ვის უჩივით? ექიმს? მან მანქანას დაუჯერა. საავადმყოფოს? მათ იყიდეს 'საუკეთესო' აღჭურვილობა. მწარმოებელს? ისინი მას 'მარკეტინგულ ინსტრუმენტს' უწოდებენ და უთითებენ მომხმარებლის შეთანხმებაზე, რომელიც არავინ წაიკითხა. ეს არის 21-ე საუკუნის 'ჭიქებით თამაში'. პასუხისმგებლობა ღრუბელში ქრება, მაგრამ დაზიანება თქვენს სხეულში რჩება.
სასამართლო პროცესი არ არის მხოლოდ ერინის; ის ჩვენია. ჩვენ შევდივართ 'ალგორითმული გაზლაითინგის' ეპოქაში. სისტემა გეტყვით, რომ მანქანა მართალია, მაშინაც კი, როცა სისხლი გდით. ჩვენ ამას ვხედავთ ფინანსებში, სადაც ალგორითმები უარს ამბობენ სესხებზე 'კორელაციების' საფუძველზე, რომლებსაც ვერ ხსნიან. ჩვენ ამას ვხედავთ დასაქმებაში, სადაც რეზიუმეებს ბოტები საკვანძო სიტყვების გამო უარყოფენ. და ახლა, ჩვენ ამას ვხედავთ ჯანდაცვაში. 'მარკეტინგული ინსტრუმენტის' დაცვა არის კორპორაციის საბოლოო იარაღი ინდივიდის წინააღმდეგ. ის პასუხისმგებლობისგან მიჯნავს ძალაუფლებას. მათ სურთ ძალაუფლება, რომ მართონ სკალპელი, მოითხოვონ ფული ხელმძღვანელობაში, დაიმკვიდრონ თავი ინოვატორებად. მაგრამ მათ სურთ ბილბორდის პასუხისმგებლობა. თუ ბილბორდი დაგეცემათ, ეს უბედური შემთხვევაა. თუ ბილბორდი შეცდომაში შეგიყვანთ, ეს 'გაბუქებაა'.
ეს არის პასუხისმგებლობის 'არაამქვეყნიური ველის' (Uncanny Valley) ეფექტი. თუ ადამიანი ქირურგი მთვრალია და გჭრით, ის ციხეში მიდის. ის კარგავს ლიცენზიას. მარცხს სახე აქვს. თუ AI კოორდინატების ჰალუცინაციას ახდენს და გჭრით, ეს არის 'მომხმარებლის შეცდომა' ან 'გადახრის მოსალოდნელი მარჟა'. ეს ასიმეტრია არის ჩვენი დეკადის განმსაზღვრელი კონფლიქტი. თქვენ ებრძვით მტერს, რომელსაც სისხლი არ სდის, არ სძინავს და არ ანაღვლებს თქვენი თავის ქალის მთლიანობა — მას მხოლოდ მისი სიზუსტის ქულის ზღვარი აინტერესებს, რომელიც, როგორც ახლა ვიცით, შეიძლება უფრო დაბალი იყოს, ვიდრე თქვენი სკოლის მათემატიკის ნიშანი. და ყველაზე საშიში ნაწილი? ექიმი შეიძლება მასთან შეკრული იყოს. ერინის საქმეში ქირურგს მიღებული ჰქონდა $550,000-ზე მეტი 'საკონსულტაციო გადასახადებში' მწარმოებლისგან. როდესაც ინსტრუმენტი დურგალს უხდის, დურგალი წყვეტს ინსტრუმენტის დადანაშაულებას.
განიხილეთ შემოჭრის მასშტაბი. ეს 1,357 მოწყობილობა არ არის მხოლოდ ქირურგიული რობოტები. ისინი არიან დიაგნოსტიკური AI, რომელიც კითხულობს რენტგენს. ისინი არიან დოზირების ალგორითმები, რომლებიც წყვეტენ, რამდენი ქიმიოთერაპია მიიღოთ. ისინი არიან მონიტორინგის სისტემები, რომლებიც წყვეტენ, გაქვთ თუ არა გულის შეტევა ან უბრალოდ მოუნელებლობა. თითოეული მათგანი არის 'შავი ყუთი'. ჩვენ არ ვიცით სავარჯიშო მონაცემები (dataset). გაიწვრთნა ის თქვენნაირ პაციენტებზე? თუ გაიწვრთნა ჰომოგენურ მონაცემთა ნაკრებზე, რომელიც არ ითვალისწინებს თქვენს სქესს, რასას ან სპეციფიკურ ანატომიას? ჩვენ არ ვიცით მარცხის მაჩვენებლები, რადგან 'კომერციული საიდუმლო' მათ შემოწმებისგან იცავს. თქვენ შედიხართ დანაღმულ ველზე თვალახვეული, გიდის თანხლებით, რომელმაც ხელი მოაწერა უარყოფას, რომელიც მათ ათავისუფლებს ყოველგვარი პასუხისმგებლობისგან, თუ ნაღმს ფეხს დააბიჯებთ. რაც არის: სამედიცინო სისტემა, რომელიც მუშაობს 'ვაჭრობის საიდუმლოებებზე'. რაც შეიძლება იყოს: სისტემა, რომელიც მუშაობს 'ღია მტკიცებულებებზე'.
'ყველაფერი დაკარგულია' მომენტი არ არის მაშინ, როდესაც ოპერაცია მარცხდება. ეს არის მაშინ, როდესაც აცნობიერებთ, რომ უსაფრთხოების ბადე გაქრა. მარეგულირებელი ბრმაა. კორპორაცია ხელშეუხებელია. ექიმი დამოკიდებულია. თქვენ მარტო ხართ იმ ოთახში. 1,357 მოწყობილობა უკვე სისტემაშია. ისინი არიან MRI აპარატებში, რობოტულ ხელებში, დიაგნოსტიკურ პლანშეტებში. თქვენ ვერ ამოიღებთ მათ. ჩვენ ვერ დავბრუნდებით 1950-იანებში. ჯინი ბოთლიდან ამოვიდა და მას სკალპელი აქვს. ეს არის კრიზისი. თუ ჩვენ მივიღებთ 'მარკეტინგული ინსტრუმენტის' სიზუსტეს სიკვდილ-სიცოცხლის გადაწყვეტილებებისთვის, ჩვენ ვიღებთ იმას, რომ ჩვენ ვართ ერთჯერადი მოხმარების. ჩვენ ვხდებით ბიომეტრიული მონაცემთა წერტილები კვარტალურ შემოსავლების ანგარიშში.
'ხარვეზი' ხდება სიკვდილიანობის წამყვანი მიზეზი. და განსხვავებით კიბოსგან ან გულის დაავადებისგან, 'ხარვეზი' ადამიანის შექმნილია. ეს არის არჩევანი. ეს არის არჩევანი, მიენიჭოს პრიორიტეტი სიჩქარეს და არა უსაფრთხოებას, მოგებას და არა პაციენტებს, და 'ინოვაციას' და არა ეთიკას. თუ ჩვენ არ გავავლებთ ხაზს 'ტვინის ქირურგიასთან, რომელიც მოქმედებს როგორც მარკეტინგული ინსტრუმენტი', სად გავავლებთ მას? ავტონომიური მანქანები, რომლებიც ქვეითებს გადაუვლიან როგორც 'ბეტა ტესტი'? საპოლიციო AI, რომელიც არასწორ ადამიანებს აპატიმრებს როგორც 'ფუნქცია'? ბრძოლა ჩვენი სხეულების მთლიანობისთვის იწყება აქ, საოპერაციო ოთახში, '80%-იანი სიზუსტის' სტანდარტის წინააღმდეგ.
მაგრამ არსებობს გზა. TruDi-ს სკანდალის შედეგი არ ყოფილა მხოლოდ შეთანხმება; ეს იყო გამოცხადება. ჩვენ ახლა ვიცით კოდი. ჩვენ ვიცით 'მარკეტინგული ინსტრუმენტის' ტყუილი. ახალი რეალობა მოითხოვს ახალი ტიპის პაციენტს — 'აქტიურ ოპერატორს'. თქვენ აღარ შეგიძლიათ იყოთ ზრუნვის პასიური მიმღები. თქვენ უნდა იყოთ აუდიტორი. თქვენ უნდა ესვათ კითხვა: 'არის თუ არა ადამიანი ლუპში?' როდესაც დიაგნოზს სვამს AI, მოითხოვეთ ადამიანის მეორე აზრი. იკითხეთ: 'ეს ექიმმა გადაამოწმა, თუ მოდელმა გამოიტანა?' როდესაც რობოტული ქირურგია შემოგთავაზებენ, იკითხეთ უსაფრთხოების მექანიზმების შესახებ. იკითხეთ: 'რა ხდება, თუ ეკრანი გაშავდება? რა ხდება, თუ GPS გაფუჭდება?'
ტრანსფორმაცია ასეთია: თქვენ წყვეტთ 'მაგიის' ნდობას და იწყებთ 'მექანიკის' მოთხოვნას. ჩვენ ვწყვეტთ ალგორითმის გაღმერთებას და ვიწყებთ მის მართვას. ტექნოლოგია გვემსახურება ჩვენ, ან ის არ გვეხება. ეს არის ახალი შეთანხმება. თქვენ თავად უნდა შეამოწმოთ მარეგულირებლის მონაცემთა ბაზები. თქვენ უნდა მოძებნოთ თქვენი ქირურგის ფინანსური დეკლარაციები 'ღია გადახდების' (Open Payments) მონაცემთა ბაზაში. თქვენ უნდა გახდეთ საკუთარი სხეულის CEO, რადგან გარე CEO-მ უსაფრთხოების განყოფილება გაათავისუფლა. ეს არ ეხება ტექნოლოგიების წინააღმდეგობას. ეს ეხება პრო-ადამიანურ ანგარიშვალდებულებას. ეს ეხება 'შავი ყუთის' იძულებას, გახდეს 'შუშის ყუთი'.
ეს არ არის შიშის დათესვა. ეს არის ახალი საბაზისო დონე. თუ მომავალში შეხვალთ დახუჭული თვალებით, იმის იმედით, რომ 'მათ' ყველაფერი შეამოწმეს, თქვენ მოხალისე ხდებით, რომ იყოთ შემდეგი სტატისტიკა. 80%-იანი სტანდარტი მიუღებელია თქვენი სიცოცხლისთვის. შემდეგმა განახლებამ შეიძლება გამოასწოროს ბაგი, მაგრამ თქვენ ვერ 'გაცოცხლდებით' (respawn).
ქირურგმა, რომელიც TruDi-ს საქმეებში იყო ჩართული, მწარმოებლისგან მიიღო $550,000-ზე მეტი საკონსულტაციო გადასახადებში. ინტერესთა კონფლიქტი იყო ისეთივე ღრმა, როგორც ქირურგიული შეცდომა. ყოველთვის მიყევით ფულს. AI-ს ეპოქაში, ალგორითმი მიჰყვება თავისი შემქმნელის სტიმულებს და არა მისი სუბიექტის საჭიროებებს.
