Ερευνητές αναπτύσσουν αλγόριθμο που παράγει αυτόματα απαντήσεις σε ερωτήσεις πολλαπλής επιλογής

Ομάδα ερευνητών από το Πολιτειακό Πανεπιστήμιο της Pennsylvania (Penn State) έχει αναπτύξει έναν τρόπο να κάνει ευκολότερη, για τους δασκάλους, τη δημιουργία των ερωτήσεων πολλαπλής επιλογής για τις εξετάσεις, ακόμη πιο προκλητικές νοητικά για τους συμμετέχοντες στις εξετάσεις. Χρησιμοποιώντας μοντέλα κατάταξης μηχανικής μάθησης, οι ερευνητές πρότειναν μια μέθοδο που δημιουργεί αυτόματα «παραπλανητές» (distractors), που είναι οι εναλλακτικές επιλογές που χρησιμοποιούνται για να παραπλανήσουν τους σπουδαστές από τη σωστή απάντηση σε μια ερώτηση πολλαπλής επιλογής.

Μεταξύ όλων των μεθόδων για τη δημιουργία καλών ερωτήσεων πολλαπλής επιλογής, η εύρεση λογικών παραπλανητών είναι το κρίσιμο ζήτημα και συνήθως η πιο χρονοβόρα διαδικασία, αναφέρουν οι ερευνητές στην μελέτη τους. Παρατηρώντας το «στέλεχος» (stem) μιας ερώτησης πολλαπλής επιλογής [είναι η πρόταση-κορμός της ερώτησης] και το κλειδί της [είναι η σωστή απάντηση], οι ερευνητές δημιούργησαν έναν αλγόριθμο που αυτόματα παράγει αληθοφανείς λανθασμένες απαντήσεις. Προσδιόρισαν έναν κατάλληλο παραπλανητή ως οντότητα σημασιολογικά σχετιζόμενη με το κλειδί και το στέλεχος, καθώς και ως οντότητα γραμματικά σωστή.

Μέλος της ερευνητικής ομάδας, ο Chen Liang, είπε ότι η προτεινόμενη μέθοδος ξεχωρίζει από τα υπάρχοντα μοντέλα για την παραγωγή απαντήσεων-παραπλανητών, όπως εκείνα που βασίζονται στην οντολογία και την ομοιότητα. Σε αυτές τις υπάρχουσες μεθόδους, οι παραπλανητές επιλέγονται από ένα σύνολο παραπλανητών που βασίζεται σε ένα σταθμισμένο συνδυασμό ομοιοτήτων, όπως φωνητικές ή συντακτικές ομοιότητες, συχνά με χρήση εμπειρικών κανόνων από τον δημιουργό της εξέτασης. «Οι προτεινόμενες από εμάς μέθοδοι διαφέρουν από τις [υπάρχουσες] μεθόδους στο ότι χρησιμοποιούμε μηχανική και βαθιά μάθηση για να μάθουμε την “άγνωστη” σχέση μεταξύ της ερώτησης και του “καλού” παραπλανητή από υπάρχουσες ερωτήσεις πολλαπλής επιλογής», ανέφερε. «Η ιδέα είναι να μάθουμε από μια μεγάλη ποσότητα πραγματικών ερωτήσεων πολλαπλής επιλογής αντί της χρήσης ευρετικών διαδικασιών όπως κάνουν οι υπάρχουσες μέθοδοι. Μέσω εμπειρικών πειραμάτων, μπορέσαμε να δείξουμε ότι τα προτεινόμενα, βασιζόμενα στη μάθηση, μοντέλα έχουν σημαντικά καλύτερες αποδόσεις από τα υφιστάμενα μοντέλα παραγωγής παραπλανητών».

Οι ερευνητές ελπίζουν ότι τα μοντέλα τους θα παράσχουν στους δασκάλους ένα εργαλείο για να δημιουργούν ενδιαφέρουσες ερωτήσεις πολλαπλής επιλογής. Ο στόχος είναι να ενσωματώσουν τη μέθοδο για να παραγάγουν ερωτήσεις πολλαπλής επιλογής ως ασκήσεις για κεφάλαια βιβλίου, σε ένα σύστημα δημιουργίας βιβλίου διευκολυνόμενο από υπολογιστή που ο Liang βοήθησε να αναπτυχθεί το 2016 και που η έρευνα θα συνεχίσει να το μαθαίνει πώς να παράγει ερωτήσεις δεδομένου ενός μεγάλου τμήματος κειμένου, όπως μια παράγραφος ή ένα κεφάλαιο.

Οι συνεργάτες της ομάδας των ερευνητών στην συνεργασία «Διδασκαλία και Μάθηση με Τεχνολογία» (TLT) αναπτύσσουν ένα εργαλείο οικοδόμησης ερωτήσεων για δασκάλους που εφαρμόζουν τους αλγορίθμους της ομάδας. Η πρόθεση για το εργαλείο είναι να ενσωματωθεί στα συστήματα του Penn State κάτι που θα επιτρέψει τους καθηγητές να δημιουργούν ερωτήσεις πολλαπλής επιλογής. Πιστεύεται ότι αυτό θα βοηθήσει τους δασκάλους να σχεδιάσουν εύκολα καλύτερες ερωτήσεις πολλαπλής επιλογής. Ενώ τα αποτελέσματα από τις συγκρίσεις της μεθόδου με τις άλλες προϋπάρχουσες μεθόδους παραγωγής παραπλανητών είναι ελπιδοφόρα, οι ερευνητές περιμένουν την εφαρμογή της τεχνικής τους – σε πραγματικές συνθήκες – από τους δασκάλους για την παραγωγή ερωτήσεων πολλαπλής επιλογής, για να αποκτήσουν πραγματική εικόνα για το πόσο καλή είναι η μέθοδός τους σε διάφορες αξιολογήσεις.

Όπως δήλωσε μέλος της ομάδας των ερευνητών: «Στόχος μας είναι να διερευνήσουμε περισσότερους τρόπους με τους οποίους η τεχνητή νοημοσύνη και η μηχανική μάθηση μπορούν να βοηθήσουν να βελτιωθεί και να υποστηριχθεί η εκπαίδευση. Από πολλές απόψεις αυτό είναι απλά η αρχή αυτού που μπορεί να γίνει».

Πηγή: Penn State

Περισσότερα στη δημοσίευση: Distractor Generation for Multiple Choice Questions Using Learning to Rank. (The paper was presented at the 13th Workshop on Innovative Use of NLP for Building Educational Applications at the 16th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies)