Daniel Casarin – Imprenditore ed analista indipendente, si dedica al mondo della comunicazione, del marketing, del business design e della trasformazione digitale.
Il riconoscimento delle emozioni svolge un ruolo importante nell’apprendimento e nello sviluppo della capacità di prestare attenzione a ciò che è importante: i neonati umani mostrano segni di riconoscimento di espressioni affettive come approvazione e disapprovazione molto prima che acquisiscono il linguaggio.
L’emotion recognition è il processo di identificazioni delle emozioni umane che avviene tramite l’utilizzo di tecnologie digitali. Queste si basano su costrutti che partono dagli studi psicologici e che arrivano fino al calcolo computazionale.
La ricerca nella comprensione affettiva, infatti, è generata dalla ricerca psicologica sulla comprensione emotiva negli esseri umani : esistono risposte fisiologiche che variano nel tempo e che potrebbero potenzialmente essere combinate per favorire il riconoscimento degli stati emotivi.
Ma come funziona tutto questo? Pur non entrando in merito ad aspetti prettamente informatici di seguito proverò a chiarire l’evoluzione che dalle origini ad oggi ha portato alla creazione di questi strumenti di ultima generazione.
Nel dettaglio parleremo di:
Affective computing applications
Grazie all’utilizzo di sistemi e tecnologie digitali e di deep learning, l’uso di sensori e database dedicati, è possibile comprendere le emozioni umane, permettere ai computer di apprendere ed in ultima istanza simularle.
Dalla filosofia al digitale
La fusione delle teorie scientifiche sull’emozione con l’obiettivo pratico dell’ingegneria di sviluppare interfacce sensibili agli stati emotivi richiede una revisione della letteratura che contestualizzi gli obiettivi dell’ingegneria all’interno dei principi psicologici: le intuizioni raccolte da un secolo e mezzo di studi scientifici sulle emozioni umane diventano particolarmente utili per lo sviluppo di interfacce sensibili agli stati emotivi.
In particolar modo, durante la maggior parte del secolo scorso, la ricerca sulle emozioni è stata condotta da filosofi e psicologi, il cui lavoro si è basato su un piccolo insieme di “teorie sulle emozioni” che continuano a sostenere la ricerca in questo settore.
Anche se il riconoscimento automatico computerizzato è significativo per lo sviluppo di sistemi avanzati , la maggior parte dei sistemi di interazione uomo computer (HCI) non è ancora in grado di riconoscere gli stati emotivi umani. In ogni caso, ci siamo certamente vicini.
Le prime teorie sulle emozioni
Lo studio delle emozioni è stato caratterizzato per molti anni da una netta separazione fra mente e corpo. Affinché possa essere compreso il cambiamento di paradigma che portò la scienza alla riscoperta delle emozioni come parte integrante del processo cognitivo è necessario partire da un’impostazione di tipo filosofico che ci riporta agli inizi del XVII secolo.
In quegli anni Descartes, filosofo, matematico e scienziato, attirato dagli automi in mostra nella città di Parigi, associò il guasto del marchingegno alla malattia dell’essere umano e l’orologio fatto bene ad un uomo sano.
Da ciò nacque il concetto che oggi conosciamo come il dualismo di Cartesio, che scinde la mente e il corpo : in sintesi questa teoria considera il corpo determinato meccanicamente e lo pone al di sopra della mente.
Sulla scia di Descartes, scienziati e filosofi hanno continuato a guardare al pensiero come un’entità intangibile, non riuscendo poi a immaginare come una simile «realtà pensante» potesse trovarsi in relazione con il corpo (Capra, 2004).
Darwin fu il primo a esplorare scientificamente le emozioni attraverso l’osservazione delle manifestazioni corporee delle stesse nei suoi figli. Nel libro “L’espressione delle emozioni nell’uomo e negli animali “, del 1872, riportò che alcune espressioni del viso e del corpo degli esseri umani erano simili a quelle di altri animali. Secondo Darwin, infatti, i correlati comportamentali dell’esperienza emotiva sono il risultato di processi evolutivi.
Anche se fin dal diciannovesimo secolo i neurologi avevano scoperto l’intima connessione tra strutture cerebrali e funzioni mentali, rimaneva un mistero quale fosse la precisa relazione fra mente e cervello (Capra, 2004).
Alla fine dell’800 gli psicologi James e Lange definirono le emozioni come un riflesso soggettivo alle modificazioni:
Fisiologiche (ad esempio, tremori, sudorazione, modificazione della frequenza cardiaca)Comportamentali (come chiudere i pugni, combattere, darsi alla fuga), che seguono alla percezione di uno stimolo
Pertanto, secondo questi studi i vissuti emotivi sono dipendenti dai feedback sensoriali derivanti dalle risposte fisiologiche e comportamentali.
James e Lange hanno proposto quindi un modello che combinava (come Darwin) espressione e fisiologia, ma interpretava la percezione dei cambiamenti fisiologici come l’emozione stessa piuttosto che la sua espressione.
Le teorie del ‘900
Circa un secolo dopo, negli anni Sessanta e Settanta – l’epoca aurea del cognitivismo – le teorie delle emozioni si occupavano soprattutto degli antecedenti cognitivi dell’emozione, le cosiddette “valutazioni”.
I processi corporei erano visti essenzialmente come sottoprodotti della cognizione , e come troppo poco specifici per poter contribuire alla varietà dell’esperienza emotiva.
Anche se negli anni successivi, le concezioni di James non riuscirono a liberare psicologi e scienziati dall’influsso delle dottrine cartesiane, la sua influenza riemerse negli ultimi anni del ventesimo secolo (Capra, 2004).
La trilogia della mente
Nel 1980 Hilgard denominò la Trilogia della mente per indicare che ci sono tre parti separate ma interdipendenti che costituiscono la mente umana , ovvero:
Cognizione : corrisponde alla rappresentazione mentale della realtàEmozione : consiste nell’esperienza soggettiva di eccitazione, piacere e dispiacere e la sua espressione nel comportamentoConazione : ovvero, attivazione del comportamento e sua direzione verso un obiettivo, quindi desiderio (motivazione) e volontà (determinazione) di agire.
Tecnologie digitali ed emozioni: le origini
Proprio negli stessi anni, ricercatori come Turkle (1984) iniziarono a chiedersi come i computer potessero essere usati per studiare le emozioni. Programmi di ricerca sistematici su questo fronte iniziarono ad emergere all’inizio degli anni ’90.
Nel 1993 lo psicologo Scherer si occupò di implementare un modello computazionale dell’emozione. Questo modello considera l’emozione come un meccanismo di adattamento culturale e psicobiologico che consente a ciascun individuo di reagire in modo flessibile e dinamico alle contingenze ambientali. Secondo lo studioso queste sono caratteristiche necessarie per costruire un agente virtuale con la capacità di rispondere in modo appropriato all’espressione emotiva e mostrare emozioni simili a quelle umane.
Alcuni anni dopo, il famoso libro di Picard, Affective Computing ricerca di modi per migliorare le interfacce uomo-computer coordinando emozioni e cognizione con i vincoli e le richieste dei compiti.
Ricerche neurologiche
Le emozioni sono vitali per noi per funzionare come esseri umani che prendono decisioni razionali. Come afferma Picard (1993) credere nella “ragione pura” è un ululato logico: nella normale cognizione umana, pensiero e sentimento sono reciprocamente presenti. Sebbene il cervello limbico sia la “base” dell’emozione, non è l’unica parte del cervello impegnata nell’esperienza dell’emozione.
Corteccia e sistema limbico funzionano in modo strettamente intrecciato. A tal proposito il neurologo Damasio, nel suo libro L’errore di Descartes (1994), identifica diverse regioni non limbiche che influenzano l’emozione e definisce il suo ruolo nella ragione.
Studi su pazienti con danni al lobo frontale indicano che questi, quando devono prendere decisioni, trascorrono una quantità di tempo eccessiva rispetto a chi non presenta tali problematiche. In altre parole: non esiste una “ragione pura”, la ridotta capacità di provare emozioni produce una ridotta capacità di prendere decisioni.
Emozioni primarie e secondarie
L’evidenza neurologica conferma quindi che le emozioni sono essenziali per le prestazioni umane razionali. Un’utile distinzione per ordinare le emozioni generate non cognitivamente e cognitivamente è fatta da Damasio (1994) che distingue tra emozioni “primarie” e “secondarie”.
L’idea di Damasio è che, in primo luogo, ci siano alcune caratteristiche degli stimoli nel mondo a cui rispondiamo emotivamente e che esse attivino, in secondo luogo, un insieme corrispondente di sentimenti (e stati cognitivi).
Le emozioni “primarie” risiedono nel sistema limbico. Le emozioni “secondarie”, invece, sorgono più tardi nello sviluppo di un individuo, quando vengono identificate connessioni sistematiche tra le emozioni primarie e le categorie di oggetti e situazioni: per le emozioni secondarie, le strutture limbiche non sono sufficienti, sono coinvolte anche la corteccia prefrontale e somatosensoriale.
Ad esempio, un’emozione più basilare sarebbe la semplice tristezza, mentre un’emozione più saturata dal punto di vista cognitivo sarebbe qualcosa come il senso di colpa, dove di solito devi aver imparato qualcosa per poterla provare.
Sebbene sia stato a lungo riconosciuto che le emozioni forti possano portare a fare scelte sbagliate, il neuroscienziato Damasio ha dimostrato che una scarsa emozione potrebbe essere altrettanto problematica.
Aumenta il potenziale della tua azienda.
Consapevolezza ed emozioni
Tentare di comprendere le componenti dell’emozione e la sua generazione è complicato per molti fattori, uno dei quali riguarda il problema della descrizione delle emozioni.
Probabilmente per questo motivo fino agli anni ’90 la ricerca decisionale era stata dominata da un focus sulla cognizione: la capacità di pensare. Dagli anni ’90 in poi, ha sempre più incorporato il ruolo dell’affetto: la capacità di sentire.
Gli esseri umani sono spesso consci delle proprie emozioni e sappiamo dall’esperienza e dagli studi di laboratorio che la valutazione cognitiva può precedere la generazione delle emozioni ; di conseguenza, alcuni hanno sostenuto che la valutazione cognitiva è una condizione necessaria per l’eccitazione affettiva.
Tuttavia, questo punto di vista è confutato dalla grande quantità di prove empiriche che l’emozione possa essere suscitata anche senza una valutazione cognitiva.
Le teorie sono tutte valide
Russell e altri studiosi hanno sostenuto che le diverse teorie sulle emozioni sono diverse perché in realtà parlano di cose diverse, non necessariamente perché presentano posizioni diverse dello stesso concetto. Egli inoltre definisce l’affetto come uno stato neurofisiologico e coscientemente accessibile.
Leidelmeijer (1991) riassume diversi studi contrastanti ricordandoci che una situazione specifica non è ugualmente emotiva per tutte le persone e un individuo non sarà ugualmente emotivo in tutte le situazioni.
Pertanto, si ritiene che l’emozione coinvolga diversi meccanismi / componenti che includono:
Processi di valutazione , che sono coinvolti nell’attivazione di una risposta emotivaCambiamenti psicofisiologici , come aumento della frequenza cardiaca o attivazione dell’amigdalaEspressioni motorie , come espressioni facciali, cambiamenti vocali e gestiTendenze all’azione , come la preparazione alla lotta contro la fugaEsperienze soggettive , come sentimenti di rabbia auto-riferitiProcessi di regolazione/coping delle emozioni , come soppressione o rivalutazione.
A che punto siamo?
Un contributo chiave negli ultimi due decenni è stato quello di fornire prove contro l’idea che le emozioni siano sottocorticali e limbiche, mentre la cognizione è corticale. Questa nozione rafforzava la dicotomia cartesiana imperfetta tra pensieri e sentimenti.
Ci sono ora ampie prove che i substrati neurali della cognizione e dell’emozione si sovrappongono sostanzialmente. I processi cognitivi come la codifica e il recupero della memoria, il ragionamento causale, la deliberazione, la valutazione degli obiettivi e la pianificazione operano continuamente durante l’esperienza emotiva. Questa evidenza sottolinea l’importanza di considerare le componenti affettive di qualsiasi interazione uomo-computer.
Poiché l’interazione / collaborazione tra uomo e macchina (computer) esiste in una varietà di ambienti, sempre più ricercatori nel campo dell’ergonomia e dei sistemi intelligenti stanno cercando di migliorare l’efficienza e la flessibilità.
Questo richiede che il computer sia adattivo , fondamentale sia per comprendere con precisione le modalità di comunicazione umana, sia per attivare un feedback corretto.
Modelli emozionali: categorie discrete o variabili continue?
Un fattore chiave dell’adattabilità del computer è la sua capacità di comprendere le emozioni e il comportamento umano: le intenzioni umane possono essere espresse attraverso comportamenti verbali e non verbali in maniera diversa.
Lo studio delle emozioni ammette ora che queste includano processi cognitivi (come la percezione, l’attenzione e la valutazione), ma anche corporei (come l’eccitazione fisiologica, il comportamento, e l’espressione facciale e vocale).
Nonostante le estese ricerche accademiche nel corso di diversi decenni, non rimane un consenso universale su come classificare le emozioni.
Quindi, per evitare errori nel riconoscimento delle stesse e per progettare un set up affidabile è necessaria la comprensione della modellazione, dell’elaborazione e dell’espressione delle stesse.
Quante sono le emozioni?
Secondo la ricerca condotta da Feidakis, Daradoumis e Cabella (2011) dove viene presentata la classificazione delle emozioni basata su modelli fondamentali, esistono 66 emozioni che possono essere suddivise in due gruppi: 10 emozioni di base (rabbia, anticipazione, sfiducia, paura, felicità, gioia, amore, tristezza, sorpresa, fiducia) e 56 emozioni secondarie.
Valutare una quantità così grande di emozioni è estremamente difficile, soprattutto se sono necessari il riconoscimento e la valutazione automatizzati. Inoltre bisogna considerare che emozioni simili possono avere parametri sovrapposti.
Perciò gli psicologi tendono a classificare secondo due tipologie di modelli principali. La prima tipologia riguarda i modelli categoriali e divide le emozioni in categorie discrete; la seconda tipologia, alla base dei modelli dimensionali , invece, usa più dimensioni per etichettare le emozioni.
Discuteremo di seguito, nel dettaglio, tali modelli.
I modelli categoriali: la teoria delle emozioni di base
Tra i modelli categoriali delle emozioni troviamo la teoria delle emozioni di base di Ekman (1992) che trae origine dalle teorizzazioni darwiniane e, cioè, considera le emozioni come categorie discrete, oltre che correlate alla fisiologia, quindi misurabili.
Ekman, nei suoi studi ha proposto una serie di caratteristiche per categorizzare le emozioni di base:
Le emozioni nascono dall’istinto
È possibile mostrare le stesse emozioni nella stessa situazione
Le persone esprimono queste emozioni in modo simile
Le persone mostrano modelli fisiologici simili quando esprimono le stesse emozioni quindi, per le emozioni di base, i modelli fisiologici di persone diverse sono coerenti
Secondo Ekman e Friesen (1971) le sei emozioni di base negli esseri umani sono: felicità o gioia, tristezza, rabbia, paura, disgusto e sorpresa.
Ad ognuna corrisponde un’esperienza interiore unica che si palesa con manifestazioni esterne e schemi fisiologici distinti:
Interni , ad esempio attraverso il battito cardiacoEsterni , ad esempio attraverso il movimento dei muscoli facciali
La capacità di esprimere emozioni di base può, perciò, essere attribuita a una serie di funzioni fisiologiche e comunicative dell’evoluzione: il disgusto ad esempio, è spesso espresso da una certa espressione facciale caratterizzata dal “naso rugoso”.
A livello fisiologico questa espressione facciale limita l’inalazione di particelle maleodoranti, mentre, a livello comunicativo ha il potenziale di mettere in guardia gli altri, nel caso specifico dal cibo avariato e maleodorante.
Tutte le altre emozioni (come ad esempio stanchezza, ansia, soddisfazione, confusione e frustrazione, timidezza, senso di colpa, disprezzo) possono essere viste come una combinazione delle sei emozioni di base.
Il modello a ruota
Nel 1980, Plutchik sviluppa un’altra tassonomia per classificare le emozioni discrete. Ha proposto un modello a ruota , come nella figura, che include otto emozioni di base : dolore, stupore, terrore, ammirazione, estasi, vigilanza, rabbia e disgusto.
Questo modello descrive le emozioni in base all’intensità: le emozioni più forti sono al centro mentre le emozioni più deboli sono ai petali del fiore. Proprio come i colori, le emozioni di base possono essere mescolate per formare emozioni complesse.
Il modello sopra presentato non è indiscusso, un punto critico è che alcune lingue non hanno parole che identificano alcune emozioni di base. Ad esempio, in polacco non esiste una traduzione esatta della parola disgusto.
Inoltre, avendo utilizzato descrizioni di parole per le emozioni è difficile analizzare emozioni complesse, come alcune emozioni miste che sono difficili da esprimere con precisione a parole e che devono essere studiate quantitativamente.
I modelli dimensionali in cui le emozioni sono mappate in uno spazio multidimensionale mitigano questo difetto.
Le nevrosi del mondo moderno: intervista a Marco Terranova
La teoria dimensionale: emozioni come variabili continue
Con l’approfondimento della ricerca gli psicologi hanno scoperto che c’è una certa correlazione tra emozioni separate, come ad esempio piacere e simpatia, che rappresentano un certo grado di livello specifico.
D’altra parte, le emozioni con le stesse descrizioni possono avere intensità diverse. Ad esempio “felice” potrebbe essere descritto come “un po’ felice” o “molto felice”. Pertanto, gli psicologi hanno cercato di costruire modelli spaziali emozionali multidimensionali.
La teoria dimensionale sostiene che l’emozione umana ha una struttura multidimensionale e ogni dimensione è una caratteristica dell’emozione , in altre parole ogni stato emotivo può essere collocato come un punto in uno spazio multidimensionale. Invece di scegliere etichette o termini discreti, si può indicare la propria impressione su diverse scale a valori continui o discreti.
I ricercatori hanno proposto diversi approcci multidimensionali per la modellizzazione dell’emozione.
Il primo approccio dimensionale risale a Wundt (1863) che descrive le emozioni momentanee come un unico punto in uno spazio tridimensionale. Lo spazio emotivo di Wundt è attraversato dagli assi piacere-dispiacere, eccitazione-inibizione e tensione-rilassamento.
Un secolo dopo Russel (1980) ha postulato un modello bidimensionale ovvero il modello circumplex.
In questo modello gli stati affettivi sono rappresentati come punti discreti in uno spazio bidimensionale , attraversato dagli assi di valenza ed eccitazione. L’asse di valenza indica la percezione di quanto sia positivo o negativo lo stato affettivo attuale. Sull’asse dell’eccitazione, lo stato è valutato in termini di livello di attivazione , ad esempio, quanto ci si sente eccitati o snervati. I quattro quadranti del modello circumplex possono essere attribuiti a triste, rilassato, arrabbiato e felice.
Sebbene attraverso questo spazio si possa facilmente distinguere tra emozioni positive e negative, non è possibile riconoscere emozioni simili. Ad esempio, la paura e la rabbia sono entrambe all’interno della zona con valenza negativa e alta eccitazione.
Così, Mehrabian (1997) ha esteso il modello delle emozioni da 2D a 3D.
L’asse dimensionale aggiunto è chiamato dominanza e va da sottomesso a dominante, riflettendo la capacità di controllo dell’umano in una certa emozione. In questa dimensione rabbia e paura possono essere facilmente identificate poiché la rabbia è nell’asse dominante mentre la paura è nell’asse sottomesso.
Ci sono ancora molte questioni legate alla valutazione delle emozioni, in particolare la selezione dei metodi di misurazione e valutazione dei risultati, la selezione di hardware e software di misurazione.
Inoltre, la questione del riconoscimento e della valutazione delle emozioni rimane complicata dalla sua natura interdisciplinare: il riconoscimento delle emozioni e la valutazione della loro forza sono oggetto delle scienze psicologiche, mentre la misurazione e la valutazione dei parametri del corpo umano sono correlate alle scienze mediche, all’ingegneria delle misurazioni e all’analisi dei dati dei sensori.
Di seguito le basi teoriche relative al riconoscimento delle emozioni attraverso l’utilizzo di un sistema informatico.
Affective computing applications
Grazie all’utilizzo di sistemi e tecnologie digitali e di deep learning, l’uso di sensori e database dedicati, è possibile comprendere le emozioni umane, permettere ai computer di apprenderle ed in ultima istanza simularle.
Emotion recognition: introduzione metodologica
Sebbene una ricerca AC di successo dovrebbe vedere l’uomo e il computer come un unico sistema interagente, bisogna considerare che i punti focali della ricerca emotiva e dell’affective computing sono spesso diversi, il primo è centrato sull’essere umano e il secondo sul computer.
La ricerca è consapevole del fatto che in molti casi, non esiste una chiara mappatura uno a uno tra approccio AC e teoria delle emozioni, le differenze disciplinari devono ancora essere superate.
Ad ogni modo, il riconoscimento delle emozioni dal lato del sistema artificiale serve non solo all’efficacia della comunicazione tra computer e utente , ma serve anche a raggiungere un certo obiettivo, ovvero un’azione congiunta che è “qualsiasi forma di interazione sociale in cui due o più individui coordinano le loro azioni in spazio e tempo per provocare un cambiamento nell’ambiente”.
Questo è quello che sta succedendo tra il sistema artificiale e l’umano. Pertanto, l’azione congiunta dovrebbe essere migliorata dal lato del sistema artificiale adattandosi emotivamente all’umano.
Ciceri et al (2008) spiegano come il sistema dovrebbe essere costituito per un’azione orientata al successo nella gestione dell’azione congiunta tra uomo e computer e il suo adattamento emotivo: qualunque sia l’obiettivo sarà dipendente da entrambi i sistemi, quello artificiale e quello umano.
Di seguito alcuni metodi di rilevazione delle emozioni.
Emotion Recognition
L’emozione modula quasi tutte le modalità di comunicazione umana : scelta delle parole, tono della voce, espressione del viso, comportamenti gestuali, postura, temperatura cutanea e sudorazione, respirazione, tensione muscolare e altro ancora.
Esistono quindi molte risposte fisiologiche e comportamentali che favoriscono il riconoscimento degli stati emotivi degli individui.
Questi includono bio parametri come variabilità della frequenza cardiaca, pressione arteriosa diastolica e sistolica, pulsazione, dilatazione pupillare, respirazione, conduttanza cutanea e temperatura, parametri relativi ai movimenti gestuali, della postura, dei muscoli facciali, tono e intensità del suono della voce.
Stato dell’arte
Recentemente i sistemi intelligenti consapevoli delle emozioni sono stati utilizzati in varie aree come e-health, e-learning, sistemi di raccomandazione, smart home, smart city e sistemi di conversazione intelligenti (ad esempio, chatbot).
L’uso del riconoscimento automatico delle emozioni basato su computer ha un grande potenziale in vari sistemi intelligenti , inclusi i giochi online, il neuromarketing (valutazione del feedback dei clienti) e il monitoraggio della salute mentale.
In generale, la valutazione automatica delle emozioni (dall’inglese Automated Emotion Evaluation – AEE) è particolarmente importante in settori quali: robotica, marketing, istruzione e industria dell’intrattenimento.
Nel campo dell’HCI, l’obiettivo del riconoscimento / rilevamento delle emozioni è progettare e implementare sistemi intelligenti con HCI ottimizzato, che siano adattabili agli stati emotivi degli utenti .
Il settore sanitario è sempre più dipendente dalle applicazioni e dai dispositivi tecnologici. Pazienti che interagiscono con un avatar virtuale, in grado di leggere e sintonizzarsi a seconda dell’emozione dell’utente potrebbe migliorare la loro motivazione. Per quanto riguarda le applicazioni riabilitative questi strumenti potrebbero portare ad un recupero più rapido quindi ad una migliore qualità della vita.
Data l’importanza della salute mentale nelle società contemporanee, i ricercatori stanno ora trovando modi per riconoscere accuratamente le emozioni umane al fine di sviluppare schemi di intervento efficaci.
Come funziona?
Come afferma Picard (1995) lo stato emotivo non può essere osservato direttamente. Quello che viene rilevato, volontariamente o meno, è l’espressione emotiva dell’essere umano: questa espressione attraverso il sistema motorio aiuta gli altri individui ad indovinare lo stato emotivo dell’interlocutore.
Quindi, è possibile parlare di “riconoscimento delle emozioni”, ma questo dovrebbe essere interpretato come “misurazione delle osservazioni del comportamento motorio che corrispondono con alta probabilità ad un’emozione sottostante o ad una combinazione di emozioni”.
Secondo Calvo et al (2010) il rilevamento degli stati affettivi non deve essere perfetto, ma deve essere adattato rispetto al target. La rilevazione delle emozioni è, tuttavia, un problema molto impegnativo perché le emozioni sono costrutti (cioè quantità concettuali che non possono essere misurate direttamente) con confini sfumati e con sostanziali variazioni individuali di espressione ed esperienza.
I sensori di rilevamento
I sensori possono misurare diversi tipi di segnali e possono essere incorporati in dispositivi come pc, smartphone, smartwatch o wearable. Finora è stato svolto un lavoro significativo sul riconoscimento delle emozioni utilizzando dati audio (parlato e voce), visivi (espressioni facciali) e di movimento (postura del corpo e gesti).
Inoltre, negli ultimi anni, molti dispositivi indossabili sono dotati di una gamma di sensori in grado di monitorare segnali fisiologici, anche multimodali (es. frequenza cardiaca, risposta galvanica cutanea, ecc.) per il riconoscimento delle emozioni.
In generale, i metodi di riconoscimento delle emozioni potrebbero essere classificati in due gruppi principali:
Quelli che misurano i segnali interni del corpo corrispondenti agli indici fisiologici, come l’elettroencefalogramma (EEG), la temperatura (T), l’elettrocardiogramma (ECG), l’elettromiografia (EMG), la risposta galvanica della pelle (GSR) e la respirazione (RSP), l’elettrooculografia (EOG), la frequenza cardiaca e le sue variazioni e la frequenza respiratoria. Questi parametri sono più affidabili poiché difficilmente controllabili da parte del soggettoQuelli che misurano i segnali esterni , ovvero i segnali fisici umani, chiamati anche audiovisivi, come l’espressione facciale, la parola (sia a livello semantico che a livello acustico), la comunicazione gestuale, la postura, il movimento degli occhi. Questi sono stati studiati per anni e hanno il vantaggio di essere facilmente rilevati. Tuttavia, l’affidabilità non può essere garantita, poiché è relativamente facile per le persone controllare i segnali fisici come l’espressione facciale o il linguaggio per nascondere le loro emozioni reali, specialmente durante le comunicazioni sociali
In entrambi i casi, da un punto di vista teorico, il riconoscimento delle emozioni può essere visto come un problema di riconoscimento di segnali e pattern. Da un punto di vista pratico, il riconoscimento delle emozioni è un elemento costitutivo essenziale dell’affective computing , che aspira a sviluppare dispositivi in grado di rilevare, elaborare e interpretare gli stati emotivi umani nei diversi contesti.
“Il riconoscimento delle emozioni è un elemento costitutivo essenziale dell’affective computing, che aspira a sviluppare dispositivi in grado di rilevare, elaborare e interpretare gli stati emotivi umani nei diversi contesti.”
Sistema multimodale
Le emozioni sono processi psicofisiologici dinamici che avvengono in modo non verbale, il che rende l’identificazione emotiva complicata. I punti di vista che sostengono le emozioni come espressioni e incarnazioni suggeriscono che molteplici sistemi di risposta fisiologici e comportamentali siano attivati durante un episodio emotivo.
L’interazione diretta da uomo a uomo è, per definizione, un interazione multimodale in cui i partecipanti incontrano un flusso costante di espressioni facciali significative, gesti, posture del corpo, movimenti della testa, parole, costruzioni grammaticali e contorni prosodici.
Ad esempio, ci si aspetta che la rabbia si manifesti attraverso particolari espressioni facciali, vocali e corporee, e da cambiamenti nella fisiologia come l’aumento della frequenza cardiaca.
La potenzialità e la precisione delle tecnologie e dei sensori di rilevamento degli indici emozionali variano a seconda delle circostanze, in base alla tipologia di emozione rilevata e alla loro usabilità.
Inoltre, sono stati fatti tentativi per stabilire una relazione standard e fissa tra cambiamenti emotivi e segnali fisiologici rispetto ai vari tipi di segnali, caratteristiche e classificatori.
Tuttavia, si è riscontrato che è relativamente difficile riflettere con precisione i cambiamenti emotivi utilizzando un singolo segnale fisiologico. Ad esempio, i volti tendono ad essere la forma più visibile di comunicazione emotiva, ma sono anche i più facilmente controllabili in risposta a diverse situazioni sociali rispetto alla voce e ad altre modalità di espressione.
La vera comprensione affettiva sarà probabilmente raggiunta solo attraverso una combinazione di metodi al fine di aggirare i difetti di ciascun metodo. Un esempio schematico di sistema multimodale è mostrato nella Figura. Il riconoscimento delle emozioni che utilizza più segnali fisiologici potrebbe essere significativo sia nella ricerca che nelle applicazioni reali.
Le risposte di più sistemi che sono legati nello spazio e nel tempo durante un episodio emotivo sono essenzialmente il segno distintivo della teoria delle emozioni di base.
I sistemi multimodali, sono capaci non solo di migliorare i risultati del riconoscimento/comprensione degli stati emotivi, ma anche di simulare espressioni più vivide nell’interazione uomo-computer.
Pertanto, è molto probabile che il riconoscimento degli affetti sia accurato quando combina più tipi di segnali dell’utente e informazioni sul contesto, la situazione, gli obiettivi e le preferenze dell’utente.
D’Mello et al (2015) hanno sottolineato che i sistemi di riconoscimento delle emozioni che basano le loro decisioni su dati multimodali tendono ad essere quasi il 10% più accurati rispetto alle loro controparti unimodali.
Bibliografia
Abdullah, S. M. A., Ameen, S. Y. A., M. Sadeeq, M. A., & Zeebaree, S. (2021). Multimodal Emotion Recognition using Deep Learning . Journal of Applied Science and Technology Trends, 2(02), 52–58.
Breazeal, C. (2003). Emotion and sociable humanoid robots. International Journal of Human-Computer Studies, 59(1–2), 119–155.
Calvo, R. A., & D’Mello, S. (2010). Affect Detection: An Interdisciplinary Review of Models, Methods, and Their Applications . IEEE Transactions on Affective Computing, 1(1), 18–37.
Capra, F. (2004). La scienza della vita . BUR.
Colombetti, G., & Thompson, E. (2008). The Feeling Body: Toward an Enactive Approach to Emotion . Developmental Perspectives on Embodiment and Consciousness. Published.
Dalgleish, T., Dunn, B. D., & Mobbs, D. (2009). Affective Neuroscience: Past, Present, and Future . Emotion Review, 1(4), 355–368.
Damasio, A. R. (1994). Descartes’ Error and the Future of Human Life . Scientific American, 271(4), 144.
Damasio, A. (2003). Feelings of Emotion and the Self . Annals of the New York Academy of Sciences, 1001(1), 253–261.
Dzedzickis, A., Kaklauskas, A., & Bucinskas, V. (2020). Human Emotion Recognition: Review of Sensors and Methods . Sensors, 20(3), 592.
D’Mello, S. K., Kory, J. (2015). A Review and Meta-Analysis of Multimodal Affect Detection Systems . ACM Computing Surveys, 47(3), 1–36.
Egger, M., Ley, M., & Hanke, S. (2019). Emotion Recognition from Physiological Signal Analysis: A Review . Electronic Notes in Theoretical Computer Science, 343,
Ekman, P., Friesen, W. V. (1971). Constants across cultures in the face and emotion . Journal of Personality and Social Psychology, 17(2), 124–129.
Feidakis, M., Daradoumis, T., & Caballe, S. (2011). Endowing e-Learning Systems with Emotion Awareness . 2011 Third International Conference on Intelligent Networking and Collaborative Systems. Published.
Gratch, J. (2021). The field of Affective Computing: An interdisciplinary perspective . Transactions of the Japanese Society for Artificial Intelligence, 30(1).
Izard, C. E. (1993). Four systems for emotion activation: Cognitive and noncognitive processes . Psychological Review, 100(1), 68–90.
Leidelmeijer, K. (1991). Emotions: An experimental approach . Tilburg University Press.
Picard R. W. (1995). Affective computing (No. 321) . M.I.T Media Laboratory Perceptual Computing Section Technical.
Picard, R. W. (1997). Affective Computing . The MIT Press.
Picard, R. W., Vyzas, E., & Healey, J. (2001). Toward machine emotional intelligence: analysis of affective physiological state . IEEE Transactions on Pattern Analysis and
Richardson, S. (2020). Affective computing in the modern workplace . Business Information Review, 37(2), 78–85.
Schwark, J. D. (2015). Toward a Taxonomy of Affective Computing . International Journal of Human- Computer Interaction, 31(11), 761–768.
Schmidt, P., Reiss, A., Dürichen, R., & Laerhoven, K. V. (2019). Wearable-Based Affect Recognition—A Review . Sensors, 19(19), 4079.
Sebanz, N., Bekkering, H., & Knlblich, G. (2006). Joint action: bodies and minds moving together . Trends in Cognitive Sciences, 10(2), 70–76.
Shu, L., Xie, J., Yang, M., Li, Z., Li, Z., Liao, D., Xu, X., & Yang, X. (2018). A Review of Emotion Recognition Using Physiological Signals . Sensors, 18(7).
Tao, J., & Tan, T. (2005). Affective Computing: A Review. Affective Computing and Intelligent Interaction, 981–995.
Zhang, J., Yin, Z., Chen, P., & Nichele, S. (2020). Emotion recognition using multi-modal data and machine learning techniques: A tutorial and review . Information Fusion, 59, 103–126.
