ეს ნოუთბუქი არის AI დამწყებთათვის სასწავლო პროგრამა-დან.
ექსპერიმენტი CLIP-ით
კლიპი OpenAI-დან გამოქვეყნებულია საჯაროდ, ასე რომ თქვენ შეგიძლიათ სცადოთ მისი გამოყენება სხვადასხვა ამოცანებისთვის, მათ შორის ნულოვანი სურათების კლასიფიკაციისთვის. გაითვალისწინეთ, რომ რესურსების მხრივ საკმაოდ გაუმაძღარია!
იტვირთება…ჩვენ ჯერ დავრწმუნდებით, რომ შეგვიძლია გამოვიყენოთ GPU, თუ ის ხელმისაწვდომია, და შემდეგ ჩავტვირთოთ CLIP მოდელი.
იტვირთება…მოდით ასევე მივიღოთ კატების სურათების ქვეჯგუფი Oxford-IIIT მონაცემთა ნაკრები-დან:
იტვირთება…ნულოვანი კადრი გამოსახულების კლასიფიკაცია
მთავარი, რისი გაკეთებაც CLIP-ს შეუძლია, არის სურათის შეხამება ტექსტურ მოთხოვნასთან. ასე რომ, თუ ჩვენ ავიღებთ, ვთქვათ, კატის სურათს და შემდეგ ვცდილობთ მის შეხამებას ტექსტური მითითებებით "კატა", "პინგვინი", "დათვი" - პირველს სავარაუდოდ უფრო მაღალი ალბათობა ექნება. ამრიგად, შეგვიძლია დავასკვნათ, რომ საქმე გვაქვს კატასთან. ჩვენ არ გვჭირდება მოდელის მომზადება, რადგან ის უკვე წინასწარ იყო გაწვრთნილი უზარმაზარ მონაცემთა ბაზაზე - ამიტომ მას უწოდებენ zero-shot.
იტვირთება…გამოტანა
Label probs: [[0. 0. 1.]]
ინტელექტუალური გამოსახულების ძებნა
წინა მაგალითში იყო ერთი სურათი 3 ტექსტური მოთხოვნა. ჩვენ შეგვიძლია გამოვიყენოთ CLIP სხვა კონტექსტში, მაგ. ჩვენ შეგვიძლია გადავიღოთ კატის მრავალი სურათი, შემდეგ კი შევარჩიოთ სურათი, რომელიც საუკეთესოდ შეესაბამება ტექსტურ აღწერილობას:
იტვირთება…გამოტანა
Img Index: 97
<matplotlib.image.AxesImage at 0x2f58593b310>
Takeaway
წინასწარ გაწვრთნილი CLIP მოდელი შეიძლება გამოყენებულ იქნას ისეთი ამოცანების შესასრულებლად, როგორიცაა გამოსახულების კლასიფიკაცია საერთო ობიექტებზე დომენის სპეციფიკური ტრენინგის გარეშე. ასევე, საშუალებას იძლევა უფრო მოქნილი კლასიფიკაცია/გამოსახულების ძებნა, სურათზე ობიექტების სივრცითი კონფიგურაციის გათვალისწინებით.
CLIP-ის კიდევ ერთი საინტერესო გამოყენებისთვის, მოძებნეთ VQGAN+CLIP.