AI models often give the right answers but point t — ინსაითი

სტენფორდის უნივერსიტეტის წამყვანმა მკვლევარმა, ჯეიმს ზუმ, კოლეგებთან ერთად გამოაქვეყნა ახალი ტექნიკური ნაშრომი ხელოვნური ინტელექტის მოდელების მიერ ინფორმაციის მოძიებისა და ციტირების სიზუსტეზე. მიღებული მონაცემების მიხედვით, თანამედროვე RAG სისტემები ხშირად სრულიად სწორ პასუხებს აგენერირებენ, თუმცა მათ არასწორ, სრულიად შეუსაბამო პირველწყაროებს მიაწერენ.

ექსპერიმენტის ფარგლებში სპეციალისტებმა დეტალურად შეამოწმეს წამყვანი პლატფორმები, მათ შორის OpenAI-ის GPT-4, Anthropic-ის Claude და Google-ის Gemini. ტესტირებამ აჩვენა, რომ შემთხვევათა მინიმუმ 30%-ში ხელოვნური ინტელექტი მიუთითებდა ისეთ წყაროებსა და დოკუმენტებზე, რომლებიც საერთოდ არ შეიცავდნენ დასმული პასუხის დასასაბუთებელ კონკრეტულ ფაქტებს. შედარებისთვის, წინა თაობის სისტემებში ეს მაჩვენებელი კიდევ უფრო არასტაბილური იყო. მიუხედავად ამისა, თავად პასუხების შინაარსობრივი სიზუსტე საკმაოდ მაღალ ნიშნულზე, დაახლოებით 85%-ზე ნარჩუნდებოდა. ეს მიანიშნებს მკვეთრ ტექნიკურ დისბალანსზე ტექსტის გენერაციასა და რეალურ ციტირებას შორის.

ეს ხარვეზი პირდაპირ ზრდის ფაქტობრივი შეცდომების გავრცელების რისკს კრიტიკულ სფეროებში, როგორიცაა სამედიცინო დიაგნოსტიკა და იურიდიული კონსულტაცია, სადაც მომხმარებლები ინფორმაციის გადამოწმებისთვის სრულად ენდობიან მოდელების მიერ გენერირებულ ბმულებს. შედეგები მკაფიოდ აჩვენებს, რომ მხოლოდ პასუხის სისწორე აღარ კმარა უსაფრთხო მუშაობისთვის და ინდუსტრიამ სასწრაფოდ უნდა შეიმუშაოს ვერიფიკაციის ახალი სტანდარტები ნეირონული ქსელების დატრენინგების და შემდგომი პრაქტიკული გამოყენების ეტაპებზე.