RICOSTRUZIONE DI INFORMAZIONI 3D A PARTIRE DA IMMAGINI BIDIMENSIONALI

13/01/2014

di Sebastiano Battiato e Fausto Galvan

[vc_row] [vc_column width=”5/6″]

Tra gli strumenti di indagine disponibili oggigiorno, cominciano a farsi strada anche metodi che permettono di estrapolare da una (o più) immagini informazioni relative alle dimensione di oggetti e/o persone fotografate. Alcuni di questi algoritmi rendono possibile ricostruire l’intera scena 3D ripresa dalla camera al momento dello scatto. Dopo una breve introduzione alla teoria matematica di riferimento verranno brevemente elencati alcuni risultati di rilievo già utilizzati ampiamente in ambito investigativo.

[/vc_column][vc_column width=”1/6″]

[/vc_column] [/vc_row]

1. Introduzione
Quando scattiamo una fotografia di certo non consideriamo che in quel momento oltre a catturare la scena che ci interessa, stiamo anche raccogliendo e fissando in modo indelebile un elevato numero di ulteriori informazioni, di cui l’immagine digitale è portatrice. Questi dati possono rivelarsi utili in altri contesti quali, ad esempio, quello investigativo dove, facendo uso di appositi strumenti informatici è possibile estrarre particolari a prima vista non disponibili e, sotto certe condizioni, persino ricostruire con notevole precisione la rappresentazione tridimensionale (3D) cui fa riferimento l’immagine bidimensionale di partenza.

2. La formazione dell’immagine in una fotocamera
Per comprendere come sia possibile estrarre tali informazioni dagli oggetti ripresi, è necessario introdurre alcune nozioni relative al processo di formazione dell’immagine.

– figura contenuta del PDF allegato –

Secondo il modello classico, (pinhole camera)(1) un punto X nel mondo 3D viene proiettato nel piano bidimensionale dell’immagine in un corrispondente punto x. Quest’ultimo è l’intersezione del piano immagine con il segmento di retta che unisce il centro ottico O della fotocamera ed il punto X della scena ripresa (Fig.1).
L’interpretazione algebrica di questa proiezione è sintetizzata dalla seguente equazione:
x=PX (1)

in cui P è un operatore matematico chiamato “matrice di proiezione”, una tabella i cui coefficienti dettano le regole per la trasformazione dei punti reali in punti dell’immagine.
Se siamo in grado di conoscere (o ricostruire in qualche modo) la matrice P abbiamo la possibilità di invertire l’effetto di questa trasformazione. In altre parole, partendo da un punto nell’immagine possiamo determinare la sua posizione all’interno della scena reale che l’immagine riproduce.

Nella pratica non sempre è possibile ricostruire completamente la matrice di proiezione, ma sotto certe condizioni, o nel caso in cui sia possibile reperire informazioni sulla fotocamera che ha prodotto l’immagine (operazione di Calibrazione) e/o alcune misure degli oggetti ritratti nella foto, il numero di incognite per definire la matrice si riduce notevolmente. Un esempio si ha nel caso della c.d. Rettificazione, quando cioè l’oggetto fotografato è esso stesso 2D. In (2) è riportato un esempio di questa operazione applicata ad una immagine in cui si vogliono rendere leggibili le cifre di una targa automobilistica.

3. Estrazione di punti e linee di fuga
Nel caso si operi su oggetti tridimensionali, è necessario prima di tutto ottenere le misure reali di oggetti od elementi presenti nell’immagine. A questo scopo, si può ad esempio ritornare sul luogo in cui è stata catturata la foto per rilevare manualmente le dimensioni di una porta, di una finestra, o del muro di una casa, oppure ricavare queste informazioni da apposita documentazione.

Ma tali misure, da sole, non bastano ai nostri scopi. Nel caso più generale infatti, bisogna considerare l’effetto prospettiva, che distorce le dimensioni in funzione della distanza reale del piano di ripresa. Si ha quindi bisogno di effettuare una analisi più approfondita per estrarre dall’immagine una serie di caratteristiche note come punti e linee di fuga (Fig.2).
Esistono in letteratura numerosi algoritmi che permettono di stimare queste entità geometriche direttamente dall’immagine, senza bisogno di conoscerne i parametri intrinseci (cioè riguardanti i settaggi interni della fotocamera) od estrinseci (riguardanti il posizionamento della fotocamera relativamente alla scena)(3).

– figura contenuta del PDF allegato –

Nella ricerca di informazioni da immagini, talvolta possiamo spingerci ben oltre la semplice estrapolazione di singole misure. E’ possibile infatti, aumentando il numero di misure “reali” rilevate, estendere questi metodi fino ad arrivare a ricostruire l’intera scena 3D da cui l’immagine è tratta, ed anche la posizione della fotocamera al momento dello scatto. Un esempio è riportato in Fig.3 dove sono state usate come dimensioni di riferimento le altezze dell’intelaiatura della finestra principale, di una colonna, e le dimensioni dei due lati della base del portico(1).

– figura contenuta del PDF allegato –

E’ bene precisare che, come tutti i metodi di stima, i procedimenti appena esposti sono soggetti ad errori che possono derivare da più fonti: la errata raccolta delle misure di riferimento, un’immagine affetta da distorsioni (es. distorsione prodotta dalle lenti), una posizione del soggetto non perfettamente verticale, ecc. In generale comunque, si riesce ad ottenere stime sufficientemente corrette e soprattutto il cui margine di errore risulta noto e misurabile.

4. Ricostruzione mediante più immagini
Nel caso in cui siano disponibili più immagini della stessa scena ottenute da più camere che riprendono simultaneamente lo stesso luogo, o estrapolate da una singola fotocamera in movimento, possiamo ricavare buoni risultati in ordine alla ricostruzione della scena ricorrendo alla stereopsi computazionale, cioè a quella serie di algoritmi che consentono di ottenere informazioni sulla profondità (quindi sulla struttura tridimensionale) di una scena mediante l’uso di immagini che inquadrano una scena da due differenti posizioni(4), un procedimento che ricorda da vicino quello utilizzato dal sistema visivo umano.

5. Applicazioni nello studio della storia dell’arte
I metodi sopra descritti possono trovare applicazioni in numerosi campi. Uno di questi, legato allo studio della storia dell’arte, ha permesso di ricostruire gli ambienti riprodotti in famosi dipinti. Un esempio è riportato in Fig. 4 nel caso di “La lezione di musica” di J. Vermeer(1).

– figura contenuta del PDF allegato –

6. Applicazioni in ambito forense
Individuazione di immagini falsificate, in cui si cercano le discordanze tra caratteristiche geometriche in diverse parti della foto per evidenziare le eventuali manipolazioni(5);
Fotogrammetria e ricostruzione della scena del crimine, in cui da una o più immagini, si estraggono le misure dei particolari della scena (altezza persone, misure di mobili od oggetti, ecc..) o si crea un modello 3D di un ambiente teatro di un crimine per poter effettuare valutazioni più precise ed approfondite sulla dinamica dei fatti.

Per quanto riguarda la prima categoria, conoscendo la matrice di trasformazione proiettiva, che si semplifica notevolmente in caso di superfici piane come precedentemente sottolineato, l’immagine può essere rettificata ruotandola mediante l’applicazione della matrice inversa P-1. A questo punto le inconsistenze presenti in caso di immagini modificate possono essere rilevate, come illustrato nell’esempio di Fig. 5(6).

– figura contenuta del PDF allegato –

Nel caso di immagini raffiguranti soggetti umani è possibile provare la non originalità della foto utilizzando la stima del punto principale della fotocamera (la proiezione del centro ottico sul piano immagine). Nelle immagini autentiche infatti, da qualsiasi soggetto venga calcolato questo elemento risulterà vicino al centro della foto; nel caso invece in cui un soggetto sia stato inserito artificiosamente nell’immagine, il punto principale ad esso relativo si collocherà lontano dai punti riconducibili agli altri soggetti della scena, come è possibile apprezzare nella fig. 6. Tale anomalia può quindi essere usata come prova della non originalità dell’immagine(7).

Un esempio di applicazione dei metodi compresi nella seconda categoria si è avuto nelle indagini relative al “caso Garlasco”(8). Per capire se fosse stato possibile all’indagato percorrere un dato cammino senza sporcarsi le scarpe di sangue, si è ricostruito il pavimento di alcuni ambienti della casa utilizzando la versione rettificata (detta ortofoto) delle immagini scattate sul posto dal personale intervenuto.

7. Conclusioni
Per concludere non possiamo non citare la disponibilità in commercio di software per l’analisi di immagine ad uso forense. Tra questi segnaliamo Amped FIVE(9), il quale tra le varie features offre anche la possibilità, sotto certe ipotesi, di inferire misure e grandezze nello spazio 3D di una scena.
Nel web è presente il sito photsynth.net (sezione forensics crime scene) in cui è possibile uploadare alcune foto di una scena ed ottenere la ricostruzione 3D della scena stessa, in un ambiente navigabile, riuscendo inoltre ad ottenere la stima del punto di vista della fotocamera di acquisizione.

NOTE

A. Criminisi: “Single-view metrology: Algorithms and applications”, Pattern Recognition. Lecture Notes in Computer Science Vol. 2449, 224-239. Springer Berlin Heidelberg, (2002).
S. Battiato, F. Galvan: “Introduzione alla Image/Video Forensics”, Sicurezza e Giustizia n. I /MMXIII – pp. 42-43 (2013).
R. Szeliski: “Computer Vision. Algorithms and Applications”, Springer (2010).
A. Fusiello: “Visione computazionale. Tecniche di ricostruzione tridimensionale”. Franco Angeli, Milano, (2013).
L. Wu,Y. Wang: “Detecting Image Forgeries using Geometric Cues” capitolo in Computer Vision for Multimedia Applications: Methods and Solutions (2011).
H. Farid, M. Bravo: “Image forensic analyses that elude the human visual system” in: SPIE Symposium on Electronic Imaging, San Jose, CA (2010).
M.K. Johnson, H. Farid: “Detecting Photographic Composites of People”, 6th International Workshop on Digital Watermarking, Guangzhou, China, (2007).
Corso di Computer Forensics Università di Catania A.A. 2012/2013 (casi di studio): http://www.dmi.unict.it/~battiato/CF1213/Investigare%20su%20Immagini%20e%20Video_Casi%20di%20studio.pdf.
http://ampedsoftware.com/it/. ◊

Altri articoli di Sebastiano Battiato

Image/video forensics: theoretical background, methods and best practices. Part three – Tools for operational scenarios -
by Fausto Galvan and Sebastiano Battiato (N. III_MMXIX)
From the beginning of this century, Image/Video Forensics experts faced the need to extract the largest number of information from a digital visual content, developing a plethora of methods and algorithms. These approaches, which may concern the authentication of images or videos, the identification of the device in which the visual data was originated, or the alterations to which the document has been subjected, find applications both in the civil and criminal context. In a series of three papers, we provide first an introductory part about the powerful impact of images and videos in today’s reality, followed by a section where we highlight the differences between the analog and digital age in the formation of an image. Then we will define what is a digital evidence, and we will introduce Image/Video Forensics as a branch of the forensic sciences, highlighting its potential and limits. In the following, we will examine in detail some methods allowing to retrieve information from images when they are not readily available, and finally will provided a list of free and non-free software to face the daily challenges coming from processing images and videos for forensic purposes. The work ends with a list of publications containing the Best Practices in the field.

Image/video forensics: theoretical background, methods and best practices – Part two: From analog to digital world -
by Fausto Galvan and Sebastiano Battiato (N. I_MMXIX)
From the beginning of this century, Image/Video Forensics experts faced the need to extract the largest number of information from a digital visual content, developing a plethora of methods and algorithms. These approaches, which may concern the authentication of images or videos, the identification of the device in which the visual data was originated, or the alterations to which the document has been subjected, find applications both in the civil and criminal context. In a series of three papers, we provide first an introductory part about the powerful impact of images and videos in today’s reality, followed by a section where we highlight the differences between the analog and digital age in the formation of an image. Then we will define what is a digital evidence, and we will introduce Image/Video Forensics as a branch of the forensic sciences, highlighting its potential and limits. In the following, we will examine in detail some methods allowing to retrieve information from images when they are not readily available, and finally will provided a list of free and non-free software to face the daily challenges coming from processing images and videos for forensic purposes. The work ends with a list of publications containing the Best Practices in the field.

Image/video forensics: theoretical background, methods and best practices – Part one: Can we trust Images and Videos? -
by Fausto Galvan and Sebastiano Battiato (N. IV_MMXVIII)
From the beginning of this century, Image/Video Forensics experts faced the need to extract the largest number of information from a digital visual content, developing a plethora of methods and algorithms. These approaches, which may concern the authentication of images or videos, the identification of the device in which the visual data was originated, or the alterations to which the document has been subjected, find applications both in the civil and criminal context. In a series of three papers, we provide first an introductory part about the powerful impact of images and videos in today’s reality, followed by a section where we highlight the differences between the analog and digital age in the formation of an image. Then we will define what is a digital evidence, and we will introduce Image/Video Forensics as a branch of the forensic sciences, highlighting its potential and limits. In the following, we will examine in detail some methods allowing to retrieve information from images when they are not readily available, and finally will provided a list of free and non-free software to face the daily challenges coming from processing images and videos for forensic purposes. The work ends with a list of publications containing the Best Practices in the field.

RICOSTRUZIONE DI EVENTI E DI DINAMICHE ATTRAVERSO S.U.M.O., UN AVANZATO TOOL DI SIMULAZIONE DEL TRAFFICO URBANO -
di Sebastiano Battiato, Oliver Giudice, Antonino Barbaro Paratore (N. III_MMXVIII)
L’ausilio di strumenti di simulazione informatica permette una più completa e per quanto possibile esaustiva valutazione degli eventi grazie alla capacità intrinseca di tali strumenti di generare automaticamente centinaia di migliaia di eventi, al variare di tutte le combinazioni di variabili e situazioni incognite. A tale scopo in questo articolo si presenta il software opensource “Simulation of Urban Mobility” (SUMO).

Analisi vibrazionale avanzata (AVA): un algoritmo innovativo per l’esecuzione di intercettazioni ambientali -
di Francesco Rundo, Sebastiano Battiato, Sabrina Conoci e A. Luigi Di Stallo (N. I_MMXVIII)
Decreto legislativo 29 dicembre 2017, n. 216. Con decorrenza Gennaio 2018, entra in vigore la riforma della disciplina delle intercettazioni attuata con il decreto legislativo 29 dicembre 2017, n. 216: “Disposizioni in materia di intercettazioni di conversazioni o comunicazioni, in attuazione della delega di cui all’articolo 1, commi 82, 83 e 84, lettere a), b), c), d) ed e), della legge 23 giugno 2017, n. 103”. La riforma rafforza il ruolo delle intercettazioni come indispensabile strumento di indagine ed investigazione forense. Nell’ambito di questa riforma, gli autori intendono illustrare nel presente articolo, una innovativa pipeline di elaborazione dati che consente, sotto opportune ipotesi, la ricostruzione delle conversazioni tra due o piu’ soggetti, dal solo filmato video (a risoluzione e frame-rate tipici di uno dispositivo di acquisizione video di ultima generazione) senza avere accesso alla relativa traccia audio associata.

Sistemi “point of care” per le indagini genetiche in ambito forense -
di Sabrina Conoci, Salvatore Petralia, Francesco Rundo, Sebastiano Battiato (N. I_MMXVII)
Un’attenta disamina dei processi penali più recenti (alcuni dei quali divenuti “mediatici”) ha evidenziato il ruolo dirompente dell’analisi genetica e bio-molecolare nelle indagini investigative eseguite dagli inquirenti. Quando viene richiesta la repertazione di campioni biologici, le procedure adottate per il campionamento e successiva analisi delle tracce, devono rispettare standard di altissimo rigore scientifico grazie ai quali è poi possibile garantire l’accuratezza, la ripetibilità e l’assenza di contaminazione dovuta ad una non conforme procedura di repertazione o ad una errata catena di custodia del reperto. Nell’articolo che segue, gli autori illustreranno le potenzialità dei sistemi c.d. “Point of Care”(PoC) genetici” sia in riferimento all’indagine genetica in ambito forense che, in generale, come strumento per l’analisi in loco di reperti biologici rinvenuti nella scena di un crimine. Il “PoC genetico” può essere definito come sistema in grado di eseguire il processo diagnostico sample-in-answer-out senza intervento di un complesso laboratorio analitico. Esso è costituito in concreto dalla combinazione tra un sistema di detezione per il riconoscimento della composizione genetica e bio-molecolare del campione, da un sistema di trasduzione ottica od elettrica del segnale e da un sistema di post-processing dei dati, che si avvale di algortimi di interpretazione “immediata” delle rilevazioni acquisite, le quali produrrano in concreto report sulla profilazione del DNA campionato.

La stima dell’errore nella determinazione dell’altezza di un soggetto ripreso da un sistema di videosorveglianza -
di Sebastiano Battiato e Giovanni Tessitore (N. IV_MMXVI)
La diffusione dei sistemi di video-sorveglianza pubblici e privati rende frequente oggigiorno il caso in cui gli autori di un reato siano ripresi dalle telecamere di tali sistemi. La misura dell’altezza può essere un valido strumento per restringere la cerchia dei sospettati ed aiutare ad identificare i soggetti coinvolti. La stima dell’errore di misura deve sempre accompagnare le misure effettuate.

Medical image enhancement nei procedimenti giudiziari medico-legali in ambito oncologico -
di Francesco Rundo, Edoardo Tusa, Sebastiano Battiato (N. I_MMXVI)
La professione medica e sanitaria riveste un ruolo cruciale nel tessuto sociale ed economico del nostro Paese, attese peraltro le numerose vicende giudiziarie che hanno costretto, non da ultimo, il legislatore ad innovare nuovamente il quadro normativo che regolamenta e disciplina le azioni giudiziarie per errore medico. In questo quadro piuttosto complesso in cui si contrappongono gli interessi dei pazienti a quelli della professione medico-sanitaria è certamente attuale la figura del consulente tecnico (sia di parte che d’ufficio) che nei contenziosi medico-legali ha l’arduo compito di valutare con giudizio e rigore scientifico l’operato del professionista medico chiamato a rispondere del proprio operato. L’obiettivo del consulente tecnico è, dunque, quello di indirizzare opportunamente l’adito giudicante al fine di discriminare con ragionevole certezza l’errore volontario, doloso o colposo commesso dal professionista per imperizia, negligenza, superficialità ovvero per mancata adesione alle linee guida adottate dalla comunita scientifica, dagli scenari in cui nonostante il risultato avverso per il paziente questo non sia imputabile al professionista medico che ha , dunque, esercitato la sua professione al meglio delle proprie possibilità difettando, in concreto, il c.d. nesso eziologico. Nell’articolo proposto si mostreranno, attraverso la presentazione di un caso-studio in ambito oncologico, gli enormi vantaggi che la costituzione di un team di consulenza multi-disciplinare composto oltre che da medici, anche da ingegneri e matematici, può apportare nei contenziosi medico-legali sia in ambito civile che penale. Nello specifico, il team multi-disciplinare costituito dagli autori (medico-legale, ingegnere, informatico, matematico) attraverso un’analisi rigorosa delle immagini mediche riferite al caso presentato, messe peraltro in relazione con le linee guida adottate dalla comunita medica, ha sensibilmente elevato il livello di accuratezza scientifica della valutazione medico-legale del caso esaminato con l’ovvia conseguenza in relazione al peso probatorio che una tale analisi avrà in sede giudiziaria qualora il paziente decida di adire le vie legali.

VERIFICA DELL’ATTENDIBILITÀ DI UN ALIBI COSTITUITO DA IMMAGINI O VIDEO -
di Sebastiano Battiato e Fausto Galvan (N. II_MMXIV)
Tra le conseguenze che l’informatizzazione globale ha sul mondo delle investigazioni, vi è il sempre maggior utilizzo di strumenti digitali per la creazione di alibi. In questo contesto, le immagini e/o i video opportunamente modificati sono molto sfruttati. Al fine di rivelare le manipolazioni dei documenti visivi, oltre ai metodi forniti dalla Image Forensics “classica” vengono qui considerati, in una visione più globale del fenomeno falsificatorio, gli approcci che analizzano la possibile presenza di falsi originali. Alcuni esempi tratti da casi reali completano la trattazione.

LA VALIDITÀ PROBATORIA DELLE IMMAGINI E DEI VIDEO -
di Sebastiano Battiato e Fausto Galvan ( n.II_MMXIII )
Il numero di immagini in circolazione sul web, e non solo, è in costante aumento. Questo scenario ha un inevitabile riscontro in ambito forense: è sempre più improbabile che un evento delittuoso possa consumarsi senza che la scena del crimine o parte di essa, oppure l’autore del fatto, non vengano ripresi da un sistema di videosorveglianza. La relativa facilità con cui al giorno d’oggi l’uso di software di fotoritocco o di editing video, anche di facile reperimento, permette di “comporre” una immagine o “montare” una scena alterandone i contenuti originari impone che l’acquisizione ed il trattamento di immagini e video digitali sia regolato da “best practice” di riferimento.

Altri articoli di Fausto Galvan