ჩვენ ადრე ვისწავლეთ Object Detection-ის შესახებ, რომელიც საშუალებას გვაძლევს აღმოვაჩინოთ ობიექტები სურათზე მათი შეზღუდული უჯრების წინასწარმეტყველებით. თუმცა, ზოგიერთი ამოცანისთვის ჩვენ გვჭირდება არა მხოლოდ შეზღუდვის ყუთები, არამედ უფრო ზუსტი ობიექტის ლოკალიზაცია. ამ ამოცანას ეწოდება სეგმენტაცია.
სალექციო ვიქტორინა
სეგმენტაცია შეიძლება ჩაითვალოს პიქსელების კლასიფიკაციად, ხოლო თითოეული სურათის პიქსელისთვის უნდა ვიწინასწარმეტყველოთ მისი კლასი (ფონი არის ერთ-ერთი კლასი). არსებობს ორი ძირითადი სეგმენტაციის ალგორითმი:
- სემანტიკური სეგმენტაცია მხოლოდ პიქსელის კლასს ეუბნება და არ განასხვავებს ერთი და იმავე კლასის სხვადასხვა ობიექტს
- ინსტანციის სეგმენტაცია ყოფს კლასებს სხვადასხვა ინსტანციებად.
მაგალითად, სეგმენტაცია, ეს ცხვრები სხვადასხვა ობიექტებია, მაგრამ სემანტიკური სეგმენტაციისთვის ყველა ცხვარი წარმოდგენილია ერთი კლასით.
სურათი ეს ბლოგის პოსტი-დან
არსებობს სხვადასხვა ნერვული არქიტექტურა სეგმენტაციისთვის, მაგრამ მათ ყველას აქვთ იგივე სტრუქტურა. გარკვეულწილად, ის ჰგავს ავტოინკოდერს, რომლის შესახებაც ადრე შეიტყვეთ, მაგრამ ორიგინალური გამოსახულების დეკონსტრუქციის ნაცვლად, ჩვენი მიზანია ნიღბის დეკონსტრუქცია. ამრიგად, სეგმენტაციის ქსელს აქვს შემდეგი ნაწილები:
- Encoder ამონაწერი თვისებები შეყვანის სურათი
- დეკოდერი გარდაქმნის ამ ფუნქციებს ნიღბის გამოსახულებად, არხების იგივე ზომითა და რაოდენობით, რომლებიც შეესაბამება კლასების რაოდენობას.
სურათი ამ პუბლიკაციას-დან
განსაკუთრებით უნდა აღვნიშნოთ დანაკარგის ფუნქცია, რომელიც გამოიყენება სეგმენტაციისთვის. კლასიკური ავტოენკოდერების გამოყენებისას, ჩვენ უნდა გავზომოთ მსგავსება ორ სურათს შორის და ამისათვის შეგვიძლია გამოვიყენოთ საშუალო კვადრატული შეცდომა (MSE). სეგმენტაციისას, სამიზნე ნიღბის გამოსახულებაში თითოეული პიქსელი წარმოადგენს კლასის ნომერს (one-hot კოდირებული მესამე განზომილების გასწვრივ), ამიტომ ჩვენ უნდა გამოვიყენოთ კლასიფიკაციისთვის დამახასიათებელი დანაკარგის ფუნქციები - ჯვარედინი ენტროპიის დაკარგვა, საშუალოდ ყველა პიქსელზე. თუ ნიღაბი ორობითია - გამოიყენება ორობითი ჯვარედინი ენტროპიის დაკარგვა (BCE).
ერთჯერადი დაშიფვრა არის გზა კლასის ლეიბლის დაშიფვრის ვექტორში კლასების რაოდენობის ტოლი. შეხედეთ ამ სტატიას ამ ტექნიკას.
სეგმენტაცია სამედიცინო ვიზუალიზაციისთვის
ამ გაკვეთილზე ჩვენ დავინახავთ სეგმენტაციის მოქმედებას ქსელის სწავლებით, რათა ამოიცნოს ადამიანის ნევუსები (ასევე ცნობილია როგორც ხალები) სამედიცინო სურათებზე. ჩვენ გამოვიყენებთ PH2 დერმოსკოპიის სურათების მონაცემთა ბაზას, როგორც გამოსახულების წყარო. ეს მონაცემთა ნაკრები შეიცავს სამი კლასის 200 სურათს: ტიპიური ნევუსი, ატიპიური ნევუსი და მელანომა. ყველა სურათი ასევე შეიცავს შესაბამის ნიღაბს, რომელიც გამოკვეთს ნევუსს.
ეს ტექნიკა განსაკუთრებით შესაფერისია ამ ტიპის სამედიცინო გამოსახულებისთვის, მაგრამ რა სხვა აპლიკაციები შეგიძლიათ წარმოიდგინოთ რეალურ სამყაროში?
სურათი PH2 მონაცემთა ბაზიდან
ჩვენ მოვამზადებთ მოდელს ნებისმიერი ნევუსის სეგმენტირებისთვის მისი ფონიდან.
სავარჯიშოები: სემანტიკური სეგმენტაცია
გახსენით ქვემოთ მოცემული ნოუთბუქები, რომ გაიგოთ მეტი სხვადასხვა სემანტიკური სეგმენტაციის არქიტექტურის შესახებ, ივარჯიშოთ მათთან მუშაობაში და ნახოთ ისინი მოქმედებაში.
- სემანტიკური სეგმენტაციის პიტორჩი
- სემანტიკური სეგმენტაცია TensorFlow
ლექციის შემდგომი ვიქტორინა
დასკვნა
სეგმენტაცია არის ძალიან მძლავრი ტექნიკა გამოსახულების კლასიფიკაციისთვის, რომელიც გადადის საზღვრებს მიღმა პიქსელის დონის კლასიფიკაციამდე. ეს არის ტექნიკა, რომელიც გამოიყენება სამედიცინო ვიზუალიზაციაში, სხვა აპლიკაციებთან ერთად.
გამოწვევა
სხეულის სეგმენტაცია მხოლოდ ერთ-ერთი საერთო დავალებაა, რომლის შესრულებაც შეგვიძლია ადამიანების გამოსახულებით. სხვა მნიშვნელოვანი ამოცანები მოიცავს ჩონჩხის გამოვლენას და პოზის ამოცნობას. სცადეთ OpenPose ბიბლიოთეკა, რათა ნახოთ, როგორ შეიძლება გამოყენებულ იქნას პოზის ამოცნობა.
მიმოხილვა და თვითშესწავლა
ეს ვიკიპედიის სტატია გთავაზობთ კარგ მიმოხილვას ამ ტექნიკის სხვადასხვა აპლიკაციების შესახებ. შეიტყვეთ მეტი საკუთარ თავზე ინსტანციის სეგმენტაციის და პანოპტიკური სეგმენტაციის ქვედომენების შესახებ კვლევის ამ სფეროში.