Insights

🧭 ახალმა ბენჩმარკმა Taste-Bench დაადგინა, რომ AI აგენტებს გრძელვადიან გადაწყვეტილებებში სუსტი ინტუიცია აქვს

კორპორაცია Microsoft-ისა და ჰონგ-კონგის საქალაქო უნივერსიტეტის მკვლევართა ჯგუფმა 2026 წლის 18 ოქტომბერს წარადგინა ახალი შეფასების სისტემა Taste-Bench-ი, რომელიც ხელოვნური ინტელექტის აგენტების სტრატეგიულ განსჯას ზომავს. კვლევამ დაადგინა, რომ თანამედროვე მოდელებს კარგად გამოსდით მოკლე ინსტრუქციების შესრულება, თუმცა უჭირთ გრძელვადიანი არქიტექტურული არჩევანის გაკეთება. კვლევის წამყვანმა ავტორმა ამ უნარს პირობითად გადაწყვეტილების გემოვნება უწოდა და განმარტა, რომ რთული პროგრამული პროექტის მართვისას აგენტი მუდმივად დგას გზაჯვარედინზე. ასეთ მომენტებში სისტემამ უნდა გადაწყვიტოს, გააგრძელოს არსებული გეგმა თუ შეცვალოს მიდგომა, სანამ არასწორი მიმართულება საათობით დროსა და გამოთვლით რესურსს დააკარგვინებს. ტესტირების ბაზა შეიქმნა რეალური აგენტური სესიების ჩანაწერებზე დაყრდნობით, რომლებიც აღებულია SWE-bench Pro-სა და კვლევითი ორგანიზაცია METR-ის MALT-ის მონაცემთა ნაკრებიდან. სამეცნიერო გუნდმა გააანალიზა წარმატებული და წარუმატებელი მცდელობები, რათა ეპოვა ზუსტი წერტილები, სადაც აგენტების გზები გაიყო. საბოლოო ბენჩმარკი მოიცავს 502 ორვარიანტიან შეკითხვას, სადაც თითოეული ამოცანა მოდელს 2-ჯერ, სტანდარტული და შებრუნებული თანმიმდევრობით ეძლევა. პასუხი სწორად ითვლება მხოლოდ მაშინ, თუ მოდელი ორივე ჯერზე იდენტურ სტრატეგიას აირჩევს, რის გამოც შემთხვევითი გამოცნობის ალბათობა 25%-ს შეადგენს. ავტორთა ჯგუფმა გამოსცადა 14 წამყვანი მოდელი Claude-ის, GPT-ის, Grok-ის, DeepSeek-ის, GLM-ის, MiniMax-ისა და Mistral-ის ოჯახებიდან. საუკეთესო შედეგი აჩვენა მოდელმა GPT-5.6 Sol-მა, რომელმაც საშუალოდ 59.7% დააგროვა, ხოლო მეორე ადგილზე გავიდა GPT-5.5 მოდელი 59.5%-იანი მაჩვენებლით. „ზოგადი მსჯელობის სიმძლავრე საკმარისი არ არის სწორი სტრატეგიული არჩევანის გასაკეთებლად,“ - განაცხადა კვლევითმა ჯგუფმა გამოქვეყნებულ ნაშრომში. მისი თქმით, დაბალი შედეგები აჩვენებს, რომ ტექნიკური ცოდნა ავტომატურად არ ნიშნავს სამუშაო პროცესის სწორად დაგეგმვის უნარს. დეტალურმა ანალიზმა გამოავლინა, რომ როდესაც სწორი არჩევანის მინიშნება უკვე ჩანს წინა ნაბიჯების ისტორიაში, მოდელების საშუალო სიზუსტე 62.3%-ს აღწევს. ხოლო იმ შემთხვევებში, როდესაც გადაწყვეტილების სისწორე მხოლოდ მომდევნო ხანგრძლივი მუშაობის შემდეგ ხდება ნათელი, სიზუსტე კატასტროფულად ეცემა და 21%-მდე მცირდება. ეს ვარდნა მოწმობს, რომ დღევანდელი აგენტები ძირითადად რეაქციულ რეჟიმში მოქმედებს და მხოლოდ უკვე ხილულ ფაქტებს ეყრდნობა. კვლევის ჯგუფმა აღნიშნა, რომ სისტემებს უჭირთ წინასწარ განჭვრიტონ, რომელი ჰიპოთეზა მიიყვანს პროექტს ჩიხში რამდენიმე ათეული ნაბიჯის შემდეგ. პრობლემის გადასაჭრელად მეცნიერებმა ჩაატარეს ექსპერიმენტი, სადაც ძლიერ მასწავლებელ მოდელს გააანალიზებინეს როგორც წარმატებული, ისე ჩავარდნილი სესიების სრული ისტორია. მიღებული შეფასებების საფუძველზე კი გაწვრთნეს შედარებით კომპაქტური სტუდენტი მოდელი Qwen3.6-27B. შედეგად, გაწვრთნილი სტუდენტი მოდელის სიზუსტე უცნობ ამოცანებზე 30%-დან 47.9%-მდე გაიზარდა, რაც ცხადყოფს, რომ სტრატეგიული ხედვის სწავლება მიზნობრივი მონაცემებით შესაძლებელია. ანგარიშის ავტორმა დაადასტურა, რომ კონტრასტული მაგალითების გარეშე მოდელები იგივე შეცდომებს იმეორებს. პრაქტიკული სარგებლის შესამოწმებლად გუნდმა აიღო SWE-bench Pro-ს 41 რთული დავალება და მთავარ შემსრულებელ აგენტს გზაჯვარედინებზე დაუმატა სტუდენტი მოდელის მოკლე რჩევები. ამ მეთოდმა დავალებების წარმატებით დასრულების მაჩვენებელი 14.6%-დან 33.7%-მდე გაზარდა, მაშინ როცა იდეალური ორაკულის მინიშნებებით ჭერი 39%-ს შეადგენდა. მკვლევართა დაკვირვებით, დამხმარე მრჩეველი მოდელის გამოყენება ამცირებს ფუჭი კოდის წერისა და განმეორებითი ტესტირების ციკლებს, რაც პირდაპირ ზოგავს გამოთვლით ბიუჯეტს. როდესაც აგენტი დროულად ამჩნევს არქიტექტურულ ჩიხს, ის გაცილებით სწრაფად უბრუნდება მუშა გადაწყვეტას. კვლევა განსაკუთრებით მნიშვნელოვანია იმ ფონზე, როდესაც ახალი თაობის აგენტები, მათ შორის MirrorCode-ზე 19 დღის განმავლობაში უწყვეტად მომუშავე სისტემები, სულ უფრო ხანგრძლივ ციკლებზე გადადიან. Taste-Bench-ი დეველოპერებს აძლევს ინსტრუმენტს, რომლითაც აგენტების სტრატეგიულ ინტუიციას რეალურ ამოქმედებამდე გაზომავენ. ავტორებმა ღია წვდომაში განათავსეს როგორც თავად შეფასების კოდი, ისე სასწავლო მონაცემთა ნაკრები, რათა სხვა ლაბორატორიებმაც შეძლონ საკუთარი აგენტების გამოცდა. სპეციალისტების მოლოდინით, მომავალში მცირე მრჩეველი მოდელების ჩაშენება კოდირების პლატფორმების სტანდარტულ კომპონენტად იქცევა.