Home Notizie recenti Il nuovo algoritmo supera le domande del corso di matematica universitaria

Il nuovo algoritmo supera le domande del corso di matematica universitaria

31
0

Credito: Pixabay/CC0 di dominio pubblico

Il calcolo multivariabile, le equazioni differenziali, l’algebra lineare, argomenti che molti studenti del MIT possono affrontare senza fatica, hanno costantemente ostacolato i modelli di apprendimento automatico. I migliori modelli sono stati in grado di rispondere solo a domande di matematica a livello di scuola elementare o superiore e non sempre trovano le soluzioni corrette.

Ora, un team multidisciplinare di ricercatori del MIT e non solo, guidato da Iddo Drori, docente presso il Dipartimento di Ingegneria Elettrica e Informatica (EECS) del MIT, ha utilizzato un modello di rete neurale per risolvere in pochi secondi problemi di matematica a livello universitario a livello umano.

Il modello spiega anche automaticamente le soluzioni e genera rapidamente nuovi problemi nelle materie matematiche universitarie. Quando i ricercatori hanno mostrato queste domande generate dalla macchina agli studenti universitari, gli studenti non sono stati in grado di dire se le domande fossero state generate da un algoritmo o da un essere umano.

Questo lavoro potrebbe essere utilizzato per semplificare la generazione di contenuti per i corsi, che potrebbero essere particolarmente utili nei grandi corsi residenziali e nei massicci corsi online aperti (MOOC) che hanno migliaia di studenti. Il sistema potrebbe anche essere utilizzato come tutor automatizzato che mostra agli studenti i passaggi necessari per risolvere i problemi di matematica degli studenti universitari.

“Pensiamo che questo migliorerà l’istruzione superiore”, afferma Drori, l’autore principale del lavoro che è anche professore associato aggiunto presso il Dipartimento di Informatica della Columbia University e che si unirà alla facoltà della Boston University questa estate. “Aiuterà gli studenti a migliorare e aiuterà gli insegnanti a creare nuovi contenuti e potrebbe aiutare ad aumentare il livello di difficoltà in alcuni corsi. Ci permette anche di costruire un grafico di domande e corsi, che ci aiuta a capire la relazione tra i corsi e i loro prerequisiti, non solo contemplandoli storicamente, ma sulla base di dati”.

Il lavoro è una collaborazione tra studenti, ricercatori e docenti del MIT, della Columbia University, dell’Università di Harvard e dell’Università di Waterloo. L’autore senior è Gilbert Strang, professore di matematica al MIT. La ricerca appare questa settimana nel Atti dell’Accademia Nazionale delle Scienze.

Al momento “eureka”.

Drori, i suoi studenti e colleghi lavorano a questo progetto da quasi due anni. Stavano scoprendo che i modelli preaddestrati utilizzando solo il testo non potevano ottenere una precisione migliore dell’8% sui problemi di matematica delle scuole superiori e coloro che utilizzavano le reti neurali a grafo potrebbero rispondere alle domande del corso di apprendimento automatico ma ci vorrebbe una settimana per allenarsi.

Poi Drori ha avuto quello che descrive come un momento “eureka”: ha deciso di provare a prendere domande dai corsi di matematica offerti dal MIT e da uno della Columbia University che non erano mai stati visti prima da un modello, trasformandoli in compiti di programmazione e applicando tecniche noto come sintesi del programma e apprendimento a scatti. Trasformare una domanda in un’attività di programmazione potrebbe essere semplice come riscrivere la domanda “trova la distanza tra due punti” come “scrivere un programma che trovi la differenza tra due punti” o fornire alcune coppie di domande-programma come esempi.

Prima di alimentare queste attività di programmazione a una rete neurale, tuttavia, i ricercatori hanno aggiunto un nuovo passaggio che le ha consentito di superare di gran lunga i loro tentativi precedenti.

In passato, loro e altri che si sono avvicinati a questo problema hanno utilizzato una rete neurale, come GPT-3, che era preaddestrata solo sul testo, il che significa che è stato mostrato milioni di esempi di testo per apprendere gli schemi del linguaggio naturale. Questa volta, hanno utilizzato una rete neurale pre-addestrata sul testo che è stata anche “messa a punto” sul codice. Questa rete, chiamata Codex, è stata prodotta da OpenAI. L’ottimizzazione è essenzialmente un’altra fase di pre-addestramento che può migliorare le prestazioni di un modello di apprendimento automatico.

Il modello preaddestrato ha mostrato milioni di esempi di codice da repository online. Poiché i dati di addestramento di questo modello includevano milioni di parole in linguaggio naturale e milioni di righe di codice, apprende le relazioni tra parti di testo e parti di codice.

Molti problemi di matematica possono essere risolti utilizzando un grafo o un albero computazionale, ma è difficile trasformare un problema scritto nel testo in questo tipo di rappresentazione, spiega Drori. Poiché questo modello ha appreso le relazioni tra testo e codice, tuttavia, può trasformare una domanda di testo in codice, dati solo alcuni esempi di codice di domanda, e quindi eseguire il codice per rispondere al problema.

“Quando fai una domanda nel testo, è difficile per un modello di apprendimento automatico trovare una risposta, anche se la risposta potrebbe trovarsi nel testo”, afferma. “Questo lavoro riempie quel pezzo mancante dell’utilizzo del codice e della sintesi del programma”.

Questo lavoro è il primo a risolvere i problemi di matematica degli studenti universitari e sposta l’ago da una precisione dell’8% a oltre l’80%, aggiunge Drori.

Aggiunta di contesto

Trasformare le domande di matematica in compiti di programmazione non è sempre semplice, afferma Drori. Alcuni problemi richiedono ai ricercatori di aggiungere un contesto in modo che la rete neurale possa elaborare correttamente la domanda. Uno studente raccoglierebbe questo contesto durante il corso, ma una rete neurale non ha questa conoscenza di base a meno che i ricercatori non la specifichino.

Ad esempio, potrebbero dover chiarire che la “rete” nel testo di una domanda si riferisce a “reti neurali” piuttosto che a “reti di comunicazione”. Oppure potrebbero dover indicare al modello quale pacchetto di programmazione utilizzare. Potrebbero anche dover fornire determinate definizioni; in una domanda sulle mani di poker, potrebbe essere necessario dire al modello che ogni mazzo contiene 52 carte.

Alimentano automaticamente queste attività di programmazione, con il contesto e gli esempi inclusi, alla rete neurale pre-addestrata e ottimizzata, che emette un programma che di solito produce la risposta corretta. Era corretto per oltre l’80 percento delle domande.

I ricercatori hanno anche utilizzato il loro modello per generare domande, assegnando alla rete neurale una serie di problemi matematici su un argomento e poi chiedendole di crearne uno nuovo.

“In alcuni argomenti ci ha sorpreso. Ad esempio, c’erano domande sul rilevamento quantistico di linee orizzontali e verticali e ha generato nuove domande sul rilevamento quantistico di linee diagonali. Quindi, non sta solo generando nuove domande sostituendo i valori e variabili nelle domande esistenti”, afferma Drori.

Generato dall’uomo vs. domande generate dalla macchina

I ricercatori hanno testato le domande generate dalla macchina mostrandole agli studenti universitari. I ricercatori hanno dato agli studenti 10 domande da ogni corso di matematica in ordine casuale; cinque sono stati creati da esseri umani e cinque sono stati generati da macchine.

Gli studenti non sono stati in grado di dire se le domande generate dalla macchina fossero state prodotte da un algoritmo o da un essere umano e hanno assegnato alle domande generate dall’uomo e da quelle generate dalla macchina voti simili per livello di difficoltà e adeguatezza per il corso.

Drori si affretta a sottolineare che questo lavoro non intende sostituire i professori umani.

“L’automazione è ora all’80 percento, ma l’automazione non sarà mai accurata al 100 percento. Ogni volta che risolvi qualcosa, qualcuno si pone una domanda più difficile. Ma questo lavoro apre il campo alle persone per iniziare a risolvere domande sempre più difficili con l’apprendimento automatico .Pensiamo che avrà un grande impatto sull’istruzione superiore”, afferma.

Il team è entusiasta del successo del loro approccio e ha esteso il lavoro per gestire le prove matematiche, ma ci sono alcune limitazioni che intendono affrontare. Attualmente, il modello non è in grado di rispondere a domande con una componente visiva e non può risolvere problemi computazionalmente intrattabili a causa della complessità computazionale.

Oltre a superare questi ostacoli, stanno lavorando per scalare il modello fino a centinaia di corsi. Con queste centinaia di corsi, genereranno più dati che possono migliorare l’automazione e fornire informazioni dettagliate sulla progettazione e sui programmi di studio.


Articolo precedenteIl Bangladesh cerca 2 miliardi di dollari dalla Banca Mondiale, ADB per aumentare le riserve di forex
Articolo successivoEsplorare le sfumature dell’uso dell’IA nella produzione di notizie