მონაცემების მიღება

შინაური ცხოველის სახეების # კლასიფიკაცია

ლაბორატორიული დავალება AI დამწყებთათვის სასწავლო პროგრამა-დან.

ამ დავალებაში გავამახვილებთ ყურადღებას შედარებით მარტივ კლასიფიკაციის ამოცანაზე - შინაური ცხოველის სახეების კლასიფიკაციაზე. ჩვენ გამოვიყენებთ Oxford-IIIT Pet Dataset-ს, რომელიც შეიცავს 37 სხვადასხვა ჯიშის ძაღლებისა და კატების სურათებს. დავიწყოთ მონაცემთა ნაკრების ჩამოტვირთვისა და ვიზუალიზაციით.

შენიშვნა: Oxford-IIIT შინაური ცხოველების მონაცემთა ნაკრები შეიცავს შინაური ცხოველების სრულ სურათებს. სურათები დალაგდება ჯიშის მიხედვით ამოღებულ საქაღალდეში.

ჩვენ განვსაზღვრავთ ზოგად ფუნქციას სიიდან სურათების სერიის საჩვენებლად:

ახლა მოდით გადავხედოთ კლასის ყველა ქვედირექტორიას და დავხატოთ თითოეული კლასის პირველი რამდენიმე სურათი:

მოდით ასევე განვსაზღვროთ კლასების რაოდენობა ჩვენს მონაცემთა ბაზაში:

მონაცემთა ნაკრების მომზადება ღრმა სწავლისთვის

ჩვენი ნერვული ქსელის სწავლების დასაწყებად, ჩვენ უნდა გადავიყვანოთ ყველა სურათი ტენსორებად და ასევე შევქმნათ ეტიკეტების შესაბამისი ტენსორები (კლასის ნომრები). Most neural network frameworks contain simple tools for dealing with images:

• In Tensorflow, use tf.keras.preprocessing.image_dataset_from_directory
• In PyTorch, use torchvision.datasets.ImageFolder

როგორც ზემოთ მოყვანილი სურათებიდან ხედავთ, ყველა მათგანი ახლოსაა კვადრატულ გამოსახულების თანაფარდობასთან, ამიტომ ჩვენ უნდა შევცვალოთ ყველა სურათის ზომა კვადრატულ ზომამდე. ასევე, ჩვენ შეგვიძლია სურათების ორგანიზება მინი პატჩებში.

ახლა ჩვენ უნდა გავყოთ მონაცემთა ბაზა მატარებლისა და ტესტის ნაწილებად:

ახლა მოდით დავბეჭდოთ ტენსორების ზომა ჩვენს მონაცემთა ბაზაში. თუ ყველაფერი სწორად გააკეთე, სასწავლო ელემენტების ზომა უნდა იყოს

• (batch_size,image_size,image_size,3) Tensorflow-სთვის, batch_size,3,image_size,image_size PyTorch-ისთვის
• batch_size ლეიბლებისთვის

ეტიკეტები უნდა შეიცავდეს კლასების რაოდენობას.

განსაზღვრეთ ნერვული ქსელი

For image classification, you should probably define a convolutional neural network with several layers. რას მივაქციოთ თვალი:

• Keep in mind the pyramid architecture, i.e. number of filters should increase as you go deeper
• არ დაგავიწყდეთ აქტივაციის ფუნქციები ფენებს შორის (ReLU) და Max Pooling
• საბოლოო კლასიფიკატორი შეიძლება იყოს ფარული შრეებით ან მის გარეშე, მაგრამ გამომავალი ნეირონების რაოდენობა უნდა იყოს კლასების რაოდენობის ტოლი.

მნიშვნელოვანი ის არის, რომ სწორად მივიღოთ აქტივაციის ფუნქცია ბოლო ფენაზე + დაკარგვის ფუნქცია:

• Tensorflow-ში შეგიძლიათ გამოიყენოთ softmax როგორც გააქტიურება და sparse_categorical_crossentropy როგორც დაკარგვა. განსხვავება იშვიათ კატეგორიულ ჯვარედინი ენტროპიასა და არასპარსს შორის არის ის, რომ პირველი მოელის გამომავალს, როგორც კლასის რაოდენობას და არა როგორც one-hot ვექტორს.
• PyTorch-ში შეგიძლიათ გქონდეთ საბოლოო ფენა აქტივაციის ფუნქციის გარეშე და გამოიყენოთ CrossEntropyLoss დაკარგვის ფუნქცია. ეს ფუნქცია ავტომატურად მოქმედებს softmax-ზე.

ავარჯიშეთ ნერვული ქსელი

ახლა ჩვენ მზად ვართ გავავარჯიშოთ ნერვული ქსელი. ტრენინგის დროს, გთხოვთ, შეაგროვოთ მატარებლის სიზუსტე და ტესტის მონაცემები თითოეულ ეპოქაზე და შემდეგ დახაზოთ სიზუსტე, რათა ნახოთ, არის თუ არა გადაჭარბებული მორგება.

ტრენინგის დასაჩქარებლად, თქვენ უნდა გამოიყენოთ GPU, თუ ეს შესაძლებელია. მიუხედავად იმისა, რომ TensorFlow/Keras ავტომატურად გამოიყენებს GPU-ს, PyTorch-ში თქვენ უნდა გადაიტანოთ როგორც მოდელი, ასევე მონაცემები GPU-ზე ტრენინგის დროს .to() მეთოდის გამოყენებით, რათა ისარგებლოთ GPU აჩქარებით.

რას იტყვით ზედმეტად მორგებაზე? რა შეიძლება გაკეთდეს მოდელის სიზუსტის გასაუმჯობესებლად

სურვილისამებრ: გამოთვალეთ Top3 სიზუსტე

ამ სავარჯიშოში ჩვენ საქმე გვქონდა კლასიფიკაციასთან საკმაოდ მაღალი რაოდენობის კლასებთან (35), ამიტომ ჩვენი შედეგი - დაახლოებით 50% ვალიდაციის სიზუსტე - საკმაოდ კარგია. სტანდარტულ ImageNet მონაცემთა ბაზას აქვს კიდევ უფრო მეტი - 1000 კლასი.

ასეთ შემთხვევებში ძნელია იმის უზრუნველყოფა, რომ მოდელი ყოველთვის სწორად პროგნოზირებს კლასს. არის შემთხვევები, როდესაც ორი ჯიში ძალიან ჰგავს ერთმანეთს და მოდელი აბრუნებს ძალიან მსგავს ალბათობას (მაგ., 0.45 და 0.43). თუ გავზომავთ სტანდარტულ სიზუსტეს, ეს ჩაითვლება არასწორ შემთხვევად, მიუხედავად იმისა, რომ მოდელმა ძალიან მცირე შეცდომა დაუშვა. ჩვენ ხშირად ვზომავთ სხვა მეტრიკას - სიზუსტეს მოდელის 3 ყველაზე სავარაუდო პროგნოზის ფარგლებში.

ჩვენ მიგვაჩნია, რომ შემთხვევა ზუსტია, თუ სამიზნე ეტიკეტი შეიცავს ტოპ 3 მოდელის პროგნოზს.

სატესტო მონაცემთა ნაკრების ტოპ-3 სიზუსტის გამოსათვლელად, თქვენ ხელით უნდა გადახვიდეთ მონაცემთა ბაზაში, გამოიყენოთ ნერვული ქსელი პროგნოზის მისაღებად და შემდეგ გააკეთოთ გამოთვლები. რამდენიმე მინიშნება:

• Tensorflow-ში გამოიყენეთ tf.nn.in_top_k ფუნქცია, რომ ნახოთ predictions (მოდელის გამომავალი) არის თუ არა top-k-ში (გაატარეთ k=3 პარამეტრად), targets-ის მიმართ. ეს ფუნქცია აბრუნებს ლოგიკური მნიშვნელობების ტენსორს, რომელიც შეიძლება გარდაიქმნას int-ად tf.cast-ის გამოყენებით და შემდეგ დაგროვდეს tf.reduce_sum-ის გამოყენებით.
• PyTorch-ში შეგიძლიათ გამოიყენოთ torch.topk ფუნქცია უფრო მაღალი ალბათობით კლასების ინდექსების მისაღებად და შემდეგ ნახოთ, ეკუთვნის თუ არა მათ სწორი კლასი. იხილეთ ეს დამატებითი მინიშნებებისთვის.

სურვილისამებრ: Build Cats vs. ძაღლების კლასიფიკაცია

ჩვენ ასევე გვინდა ვნახოთ, რამდენად ზუსტი იქნება ჩვენი ორობითი კატების და ძაღლების კლასიფიკაცია იმავე თარიღის მიხედვით. ამისათვის ჩვენ უნდა დავარეგულიროთ ეტიკეტები: