mercoledì 16 maggio 2012

Progetto T-vedO

Ricostruzione Tridimensionale per non Vedenti di Opere d'arte pittoriche

Filosofia del progetto e obiettivi

Il progetto si pone l’obiettivo di sviluppare un sistema integrato di modellazione virtuale e prototipale in grado di trasformare opere d’arte pittoriche (dunque bidimensionali) in modelli 3D, sia virtuali che fisici, permettendone così la fruizione alle persone affette da disturbi alla vista (non vedenti  ed ipovedenti).
Comunemente le persone ritengono che l’arte sia una materia solo ed esclusivamente visiva. Per le persone non vedenti o con seri problemi alla vista, godere delle creazioni artistiche e degli heritage culturali non è sempre semplice dal momento che questi sono “mondi visivi” quasi sempre creati da e per le persone vedenti.
Anche se alcuni progressi sono stati fatti per rendere più universale la partecipazione all’arte, alla vita culturale in genere, i musei rimangono inevitabilmente indietro nel tempo.
L'accessibilità per le persone non vedenti, a differenza delle persone con i danni di mobilità, non dipende così tanto dalla capacità di fare fronte agli ostacoli nell'ambiente bensì dalla capacità di trovare  un orientamento in uno spazio sconosciuto. Questo risulta soddisfatto quando i requisiti di accesso sono considerati durante la fase iniziale della progettazione degli ambienti.
Oltre all’accessibilità fisica, i musei difettano seriamente di esposizioni, di spiegazioni e di programmi educativi in genere progettati appositamente per i non vedenti. L'assistenza umana è ancora il metodo più efficiente per l'orientamento in qualunque istituzione culturale. Le esposizioni sono off-limits per coloro che devono toccare per apprezzare i manufatti perché gli oggetti dell'esposizione sono troppo antichi, troppo preziosi per essere esaminati in modo tattile e perché i programmi educativi del museo non prendono in considerazione le persone non vedenti. Molti non vedenti sono pertanto riluttanti ad andare ai musei perché non si ritengono benvenuti. Questa sensazione è inoltre spesso accentuata, oltre che dalla mancanza di esposizioni adeguate, anche da personale non addestrato. La situazione è ancora più problematica per le persone non vedenti che vivono nelle piccole comunità. Anche nelle grandi città comunque sono veramente pochi quei musei che offrono un servizio efficace per gli ospiti non vedenti; alcuni esempi di musei ed istituzioni culturali che hanno migliorato l’accessibilità ai non vedenti incoraggiandone pertanto la partecipazione sono:

-      “The Museo Tattile Statale Omero” in Ancona  (Italy) che con i suoi 750 metri quadri di esibizione mostra un’ampia collezione di oggetti tattili in riproduzioni in scala di opere sculture e monumenti famosi, reperti archeologici ecc (come ad esempio il Pantheon)

-      “The Victoria and Albert Museum” in London (UK)  con un’ apposita sezione dedicata a persone sorde ed a persone non vedenti

-      Tactile Museum for the Blind” in Athens (Greece) che esibisce riproduzioni di artefatti originali o copie in scala di monumenti (come ad esempio la Venere di Milo)

-      “The Kids Museum” in San Francisco (USA) che presenta una mostra contemporanea di arte Messicana intitolata “The Soul in the Hands or El Alma en las Manos” .

Come riportato negli esempi sopraccitati la maggior parte degli oggetti tattili creati sono copie in scala di oggetti 3D come sculture, manufatti archeologici, bassorilievi, monumenti, ecc. Questi oggetti sono spesso riproduzioni artistiche eseguite da artigiani o artisti utilizzando materiali classici quali ad esempio gesso, creta, legno ecc.
Solo in alcuni casi sono state utilizzate tecniche avanzate come quelle del Reverse Engineering (RE) - ovvero tecniche che consentono, partendo dal modello fisico tridimensionale, di risalire alla sua descrizione matematica- e Prototipazione Rapida (RP) - ovvero tutti quei sistemi che, prescindendo dalla complessità costruttiva dell'oggetto, lo riproducono con tecniche additive, partendo da una sua definizione matematica specificata su un CAD tridimensionale ed utilizzando processi rapidi, flessibili e altamente automatizzati .  Con tali tecniche è quindi possibile matematizzare l'elemento, realizzare uno shading o generare un file STL idoneo alla successiva prototipazione rapida (RP).
Un esempio importante è il progetto “Toccare l’arte” iniziato nel 1982 e concluso nel 2004 nel Museo Egizio di Torino in cui sono state riprodotte alcune statuette egizie tramite scanner 3D e prototipazione rapida.
Attualmente infatti i sistemi di acquisizione di oggetti tridimensionali  hanno raggiunto una sofisticazione tale da riprodurre le geometrie di oggetti fisici tridimensionali complessi con elevata precisione e ripetibilità e dunque da essere applicati alla riproduzione di artefatti, senza ricorrere all’ausilio di artisti o artigiani che comunque eseguono una riproduzione personale e non una copia esatta dell’oggetto.
Se la diffusione di musei tattili per non vedenti di oggetti tridimensionali sta aumentando negli ultimi anni, non si può dire altrettanto per quel che riguarda le opere pittoriche. Uno dei pochi spazi museali adibiti all’esposizione di riproduzioni plastiche di opere d'arte pittoriche, con l’obiettivo di avvicinare il pubblico non vedente alla conoscenza delle arti visive non solo tridimensionali, è il “Museum of Tactile Antique and Modern Painting, Anteros” fondato dall’ Istituto Cavazza di Bologna nel Settembre 1999.
Sulla base dei presupposti di neurofisiologia dell'apprendimento, l'Associazione Scuola di Scultura Applicata di Bologna ha studiato, infatti, un metodo didattico volto a rendere accessibile ai non vedenti e ipovedenti la comunicazione visiva mediante percezione tattile e cognizione mentale delle forme di rappresentazione delle immagini. Il metodo si basa sulla lettura tattile di immagini artistiche tradotte da artisti in bassorilievi; questi ultimi, studiati e realizzati nel rispetto di rapporti spaziali che simulano l'esperienza visivo-prospettica, permettono al non vedente di entrare in contatto con un mondo dominato tanto da oggetti isolati quanto da vedute d'insieme. Nel trasformare la visione retinica in percezione aptica, i rilievi utilizzati, studiati e perfezionati nei loro caratteri costitutivi, si presentano con contorni e volumi destinati a sollecitare nel non vedente la cognizione mentale di una realtà rappresentata plasticamente.
A differenza dei musei tattili per arti visive tridimensionali, nel caso dei musei di arte pittorica non è stata inserita alcuna tecnologia avanzata al fine di rendere automatico o semiautomatico il processo di ricostruzione del bassorilievo tattile. Questo aspetto è dovuto anche al fatto che le soluzioni tecnologiche che prendono in considerazione la possibilità di creare un oggetto 3D a partire da un’immagine 2D sono poche e di basso livello. Inoltre queste soluzioni funzionano sufficientemente bene solo nel caso in cui l’immagine di partenza abbia particolari caratteristiche quali ad esempio punti di fuga, prospettiva, ecc. non presenti dunque in molte opere pittoriche. Alcuni studi sono stati fatti negli ultimi anni, fuori dalla comunità europea, con lo scopo di introdurre delle metodologie per creare modelli virtuali da fotografie ed ottenere pertanto tour virtuali nella scena rappresentata dalla fotografia stessa. I due studi di maggior interesse sono quelli di Horry Y. et al. (“Tour Into the picture: Using a Spidery Mesh Interface to Make Animation from a Single Image”) e di Hoiem D. et al. (“Automatic Photo Pop-up”) che hanno rivoluzionato l’approccio classico di creare un’animazione da una fotografia, un quadro, o un’immagine.  In questi studi sono stati realizzati metodi per estrarre la scena 3D analizzando i classici metodi utilizzati dagli animatori che, con un lavoro manuale, ottenevano l’immagine virtuale.  Tuttavia il modello della scena non è esattamente una struttura 3D, ma solamente una collezione di “tabelloni” disposti tridimensionalmente che permettono di “camminare” o “volare” attraverso le immagine dando visivamente la convinzione di essere in ambiente 3D. L’approccio utilizzato da Hoiem ad esempio è molto simile alla creazione delle illustrazioni “pop-up” nei libri dei bambini.
Questi approcci mostrano l’interesse della comunità scientifica a sviluppare nuove metodologie di costruzione di oggetti tridimensionali a partire da immagini bidimensionali, ma mostrano anche che, attualmente, nessun risultato ottenuto può essere applicato ai musei tattili di opera pittoriche. L’immagine viene infatti trasformata in strutture tridimensionali che danno solo visivamente la convinzione di essere in ambiente 3D e dunque, per ovvie ragioni, inutilizzabili.
L’obiettivo fondamentale del presente progetto è, pertanto, quello di colmare queste lacune realizzando un sistema integrato in grado di trasformare le opere d’arte bidimensionali in modelli tridimensionali fruibili anche alle persone affette da disturbi alla vista. Lo sviluppo della metodologia e del sistema di ricostruzione 3D permetterà il raggiungimento di obiettivi intermedi e complementari quali la possibilità di creare musei virtuali in cui l’utente comune possa esplorare la scena dipinta dall’autore oppure quella di creare delle metodologie e dei sistemi per il restauro virtuale 3D di opere d’arte.

Il progetto mira, in particolare, a sviluppare uno strumento integrato in grado di creare oggetti 3D (in bassorilievo o in forma di un scena tridimensionale) da dipinti o fotografie per mezzo di strumenti per la ricostruzione della scena tridimensionale basti sull’ image processing.
Da un lato, il nuovo approccio integrerà alcune tecniche note di elaborazione delle immagini (come ad esempio shape from shading, shape from colour, shape from motion, shape from silhouette,  texture etc)  con gli approcci innovativi proposti dalla Carnegie Mellon University e dal National Research Council of Canada. Dall’altro, il progetto sarà rivolto allo sviluppo di nuovi algoritmi per immagini senza prospettiva, senza  linee di fuga e vincoli topologici. Inoltre lo strumento sarà opportunamente progettato per i non vedenti e gli ipovedenti che parteciperanno alla definizione della struttura stessa dello strumento.
Più in dettaglio, la ricostruzione tridimensionale sarà ottenuta non solo dalla “traduzione” delle immagini bidimensionali per mezzo di nuovi o noti algoritmi ma anche della reale sensazione tattile percepita dall’utente finale. Per tale motivo possiamo affermare che la traduzione tridimensionale dell'immagine bidimensionale sarà una ricostruzione basata sulla conoscenza.
Gli elementi chiave del progetto sono pertanto:

-      il superamento dell'attuale stato dell'arte con l'obiettivo, in particolare, di sviluppare uno strumento dedicato ai non vedenti. L'obiettivo di questa attività è quello di migliorare il know-how sulle tecniche di elaborazione delle immagini nel campo specifico della ricostruzione tridimensionale da una singola immagine bidimensionale;

-      l’analisi delle esigenze degli utenti; questa attività verrà effettuato al fine di scoprire le priorità dell’utente finale ovvero le esigenze di non vedenti e ipovedenti. Tale fase permetterà la creazione di una modellazione 3D sulla base delle esigenze e dei vincoli specifici del target di riferimento, attraverso una combinazione di tecniche di osservazione fra le quali interviste, sondaggi, analisi dei manufatti e la consultazione con esperti del settore. L'obiettivo è quello di correlare ciò che le persone non vedenti sentono con il tatto con la percezione visiva 3D;

 -      la realizzazione dell’architettura del sistema di visione 2D; nella fase finale del progetto sarà lo strumento per creare un modello 3D a partire da qualsiasi immagine 2D, in qualsiasi condizione di luce ambientale, con qualsiasi risoluzione spaziale. L’obiettivo finale di questa fase sarà raggiunto per mezzo di un fase  intermedia in cui la ricostruzione in 3D verrà effettuata a partire da immagini acquisite in condizioni particolari e con un apparecchiatura particolare (in condizioni controllate di luce e con la migliore risoluzione). Sarà pertanto sviluppato un sistema di visione artificiale in grado di acquisire immagini accurate di dipinti o in grado di digitalizzare fotografie (come, ad esempio nel caso vecchie fotografie di cui non è disponibile il formato digitale). Il sistema di visione integrerà il sistema hardware (compresi i dispositivi di acquisizione delle immagini, illuminatori adeguati, ecc), con un’interfaccia software appositamente sviluppata;

-      lo sviluppo di algoritmi innovativi per la ricostruzione virtuale in 3D di scene 2D. Questa attività, che rappresenta il nucleo del progetto, si basa sull'applicazione di algoritmi innovativi di elaborazione dell'immagine, tecniche di visione artificiale, tecniche tipiche dell'intelligenza artificiale e della Computer Vision. L'elaborazione di questi algoritmi permetterà una “traduzione” automatica o semi-automatica in modelli tridimensionali di quadri artistici o fotografie. Più nel dettaglio, sarà sviluppato un sistema esperto in grado di analizzare le immagini, di estrarre i parametri matematici e di selezionare il miglior algoritmo per tradurre le immagini 2D in un modello 3D. Il sistema esperto riconoscerà se il problema può essere risolto con gli algoritmi noti in letteratura, con i nuovi algoritmi sviluppati o con sistemi ibridi dati dalla combinazione di più algoritmi;


-      la validazione degli algoritmi innovativi su qualsiasi tipo di immagini 2D e il benchmark con i sistemi  tradizionali non integrati; ovviamente benchmark dovrà essere eseguito solo ed esclusivamente con quella tipologia di immagini che possono essere gestite con i metodi esistenti allo stato dell’arte attuale. Come già detto il presente progetto mira a far fronte a qualsiasi tipo di immagini ed in particolare alle immagini pittoriche che non possono essere “tradotte” con le metodologie attuali;

 -      lo sviluppo di prototipi fisici, costruiti con tecniche di prototipazione rapida e con materiali appropriati, in modo che le opere d'arte possono essere maneggiate da persone ipovedenti e non vedenti. In particolare, partendo dai modelli 3D delle opere d'arte ottenuti con le metodologie sviluppate nelle precedenti attività e sfruttando le moderne tecnologie di prototipazione rapida, saranno ottenute rappresentazioni fisiche prevalentemente come bassorilievo prospettico ma anche come scena tridimensionale;

-      l’integrazione della metodologia sviluppata: tutti gli algoritmi sviluppati e i sistemi hardware sarannointegrati in un unico strumento utilizzabile da parte di musei, mostre o altre organizzazioni. Il gruppo di ricerca avrà il ruolo di integrare tutte le procedure sviluppate nel progetto in uno strumento prototipale utilizzabile anche da operatori non esperti, fornendo anche un’adeguata formazione di base;

-      il confronto tra la scena visiva rappresentata nell’opera d’arte pittorica o nella fotografia e la percezione tattile dei modelli tridimensionale fornita dagli utenti non vedenti e ipovedenti. Questa attività dovrà essere sviluppata in collaborazione con istituti per persone non vedenti o ipovedenti, come ad esempio  l’istituto Aurelio Nicolodi di Firenze al fine di verificare i processi cognitivi nella lettura tattile.

 -      la diffusione dei risultati del progetto: lo strumento sviluppato nel corso del progetto di ricerca sarà reso disponibile ai musei interessati, a mostre, ecc. largamente presenti a Firenze e nelle altre città della Regione Toscana. Inoltre saranno effettuati seminari e presentazioni dei lavori presso gli istituti per persone ipovedenti e non vedenti.
Data la natura trasversale del progetto, che, partendo dalla ricerca di base raggiunge uno stadio di trasferimento tecnologico (anche se prototipale), il soggetto coinvolto potrà promuovere e sostenere la diffusione della conoscenza e dei risultati della ricerca nonché le attività di trasferimento tecnologico e la diffusione dell’innovazione nell’ambito dei beni culturali.

Programma di lavoro proposto

Il Programma di Ricerca che si intende attuare verrà svolto nell’arco di 2 anni (24 mesi) e si compone di 8 Work Package (WP) ciascuno caratterizzato da un certo numero di attività (o task) che scandiscono i compiti da portare a termine. La struttura del progetto permette, infatti, di impiegare un approccio "step by step": ciascuna fase è strutturata in modo che i risultati raggiunti siano già spendibili per chi opera nella comunità scientifica.
In primo luogo saranno esaminate le esigenze degli utenti; questa attività preliminare verrà effettuato al fine di definire le priorità dell’utente finale ovvero le esigenze di non vedenti e ipovedenti. Tale fase permetterà di definire a quali caratteristiche devono sottostare i modelli fisici tridimensionali in modo che il processo cognitivo di lettura tattile sia adeguato. Attraverso una combinazione di tecniche di osservazione, fra le quali interviste, sondaggi, analisi dei manufatti e consultazione con esperti del settore, sarà possibile ottenere informazioni tali da garantire una ricostruzione leggibile (WP2).
In parallelo sarà effettuato un esame critico delle metodologie proposte nella letteratura che consentono l'interpretazione tridimensionale e la relativa rappresentazione virtuale di oggetti a partire da immagini singole. Saranno pertanto analizzate le possibilità ed i limiti degli approcci innovativi proposti ad esempio dalla Carnegie Mellon University e dal National Research Council of Canada.  Alcune di queste tecniche, nate per risolvere problematiche diverse da quella proposta nel presente piano di ricerca, saranno implementate e testate su una serie di casi di studio in modo da valutarne l'applicabilità (WP3). In questa fase saranno pertanto raccolte le immagini digitali dei suddetti casi studio, acquisendole con un sistema di visione artificiale appositamente creato. Tali immagini saranno ottenute, infatti, in condizioni particolari e con un apparecchiatura particolare (in condizioni controllate di luce e con la migliore risoluzione) in modo tale da eliminare la variabilità dovuta all’ambiente e al sistema di acquisizione.
A conclusione di queste attività saranno ideate nuove metodologie di ricostruzione che integrino i metodi proposti con tecniche tipiche dell'intelligenza artificiale e della Computer Vision, al fine di sviluppare algoritmi che superino i limiti di quelli esistenti. In particolare l'approccio seguito sarà quello di tentare lo sviluppo di sistemi ibridi capaci di reperire le informazioni sulla geometria dell'oggetto, utilizzando in modo integrato gli approcci esistenti e sistemi di intelligenza artificiale, in modo tale da permettere una “traduzione” automatica o semi-automatica in modelli tridimensionali virtuali di quadri artistici o fotografie. Per facilitare il riconoscimento delle immagini saranno utilizzate tecniche di riconoscimento basate su ombreggiature, texture e colori, ecc. (ad es. shape from shading, shape from colour, shape from motion, shape from silhouette,  texture, ecc.) (WP4). Questa è una fase critica per lo sviluppo dell’intero progetto dal momento che tali algoritmi prototipali forniranno una base sostanziale per il proseguimento dell’attività di ricerca. Se le performance degli algoritmi (non ancora completi) risulteranno soddisfacenti con quanto previsto in fase di specifica, il WP4 sarà completato mediante la messa a punto degli algoritmi stessi. In caso contrario vi sarà comunque spazio per intervenire in una loro parziale riprogettazione e riprogrammazione.
Le metodologie sviluppate saranno successivamente integrate in un unico sistema in grado di assolvere l'obiettivo di ricostruire il modello virtuale tridimensionale  a partire da immagine singola. La procedura sarà, inoltre, testata al fine di far emergere eventuali problematiche e limitazioni. Lo studio prenderà inizialmente in considerazione casi in cui vi siano elementi prospettici, linee di fuga e vincoli topologici che facilitano la ricostruzione. In particolare il sistema sarà inizialmente testato su fotografie che rappresentano in modo esatto la realtà. Successivamente il sistema sarà esteso ed applicato alle opera d’arte pittoriche che, per loro natura,  sono affette da errori di rappresentazione geometrica (proporzioni falsate, prospettiva non esatta etc.) (WP5).
A conclusioni della precedente attività sarà sviluppato uno strumento prototipale per creare un modello fisico tridimensionale (nella forma di bassorilievo prospettico o di scena tridimensionale) a partire da qualsiasi immagine bidimensionale, in qualsiasi condizione di luce ambientale, con qualsiasi risoluzione spaziale. Sarà pertanto sviluppato un sistema di visione artificiale in grado di acquisire immagini accurate di dipinti o di digitalizzare fotografie. Il sistema di visione integrerà il sistema hardware (compresi i dispositivi di acquisizione delle immagini, illuminatori adeguati, ecc), con un’interfaccia software appositamente studiata che operi in un ambiente di sviluppo (come ad esempio Matlab®). Tale strumento dovrà infine integrare un sistema di prototipazione rapida in grado di realizzare i modelli fisici a partire dal modello virtuale ottenuto con gli algoritmi precedentemente sviluppati (WP6).
Il prototipo sviluppato nel WP6 sarà utilizzato per realizzare una serie di “traduzioni” di opere d’arte e/o fotografie che saranno toccate da non vedenti e ipovedenti. Questa fase risulta di primaria importanza e sarà condotta in collaborazione con istituti specializzati al fine di verificare la bontà dei processi cognitivi nella lettura tattile (WP7). Se tali processi dovessero risultare insoddisfacenti vi sarà comunque spazio (Task 7.2) per intervenire in una parziale riprogettazione e riprogrammazione.
Particolare attenzione sarà, infine, posta alle fasi di coordinamento delle attività di progetto, di verifica del conseguimento dei risultati e di disseminazione degli stessi mediante le forme consuete a livello internazionale, nazionale e locale (WP8). Lo strumento sviluppato nel corso del progetto di ricerca sarà reso disponibile ai musei di pittura interessati, a mostre, ecc. presenti a Firenze e in altre città della Regione Toscana. Inoltre saranno effettuati seminari e presentazioni dei lavori presso gli istituti per persone ipovedenti e non vedenti.

Schematicamente, i WP individuati per lo svolgimento della Ricerca sono i seguenti:

WP1: Coordinamento, gestione e monitoraggio scientifico e tecnico
WP2: Definizioni delle esigenze degli utenti
WP3: Esame e implementazione tecniche ricostruzione esistenti
WP4: Sviluppo metodologie innovative
WP5: Ricostruzione da fotografie e da opere d’arte pittoriche
WP6: Sviluppo prototipale (hardware e software)
WP7: Test utenti finali
WP8: Disseminazione

Le attività dal Dipartimento di Meccanica e Tecnologie Industriali sono mostrate dettagliatamente nel Gantt.

Fonte:
http://www.t-vedo.net/home/articolo/it/83/p/1
http://www.t-vedo.net/home/articolo/it/83/p/2
 


Nessun commento:

Posta un commento