I paesaggi sonori immaginari dell’Intelligenza Artificiale

Guardare una foto di un ambiente e immaginarne i suoni e i rumori che si potrebbero davvero sentire se in quel paesaggio ci si trovasse immersi veramente.
E’ una delle tante potenzialità della mente umana.
Per noi è davvero facile immaginare i suoni dando anche solo un’occhiata a un’immagine: lo scenario di una spiaggia può farci venire in mente il suono delle onde che si infrangon o potremmo sentire suoni di clacson e motori intasati quando guardiamo la foto di una strada trafficata,…

“Imaginary Soundscape” è un’installazione sonora basata sul web, incentrata su questo comportamento inconscio, in cui gli spettatori possono “camminare” liberamente su Google Street View e immergersi in paesaggi sonori immaginari generati con modelli di apprendimento profondi.

Questo lavoro si basa sul recente sviluppo della tecnica di recupero di informazioni cross-modal, come immagine-audio, testo-immagine, usando il deep learning.
Il sistema è stato addestrato con due modelli: un modello di riconoscimento dell’immagine ben definito e pre-formato che elabora i frame, mentre un’altra rete neurale convoluzionale legge l’audio analizzando lo spettrogramma, evolvendosi in modo che la distribuzione del suo output si sempre più vicino e abbinato al primo modello.
Una volta addestrate, le due reti permettono di recuperare il file audio più adatto per quella scena, utilizzando un enorme – e sempre più crescente – set di dati ambientali.

I paesaggi sonori generati dall’IA a volte ci stupiscono rispondendo esattamente alle nostre aspettative, ma occasionalmente ignorano il contesto culturale e geografico e falliscono la prova.
Queste differenze e questi errori ci inducono a pensare a come funziona l’immaginazione umana e a quanto complessa sia.
Ed è proprio questo uno deli obiettivi del team che ha messo in piedi questo esperimento di Intelligenza Artificiale.

Ci sono due modalità di accesso all’esperimento.
Il primo è quello di “camminare” all’interno di Street View.
Il secondo, secondo noi il più interessante, consente di caricare una propria immagine. In pochi secondi, il sistema delle reti neuronali riprodurrà i suoni che quell’immagine evoca.

“Imaginary Soundscape”
Concept/Machine Learning – Nao Tokui
Machine Learning/Sample Code – Yuma Kajihara
Web Development – Robin Jungers
UI Design/Programming – Shoya Dozono
Logo Design – Shoko Mitsuma
imaginarysoundscape.net
qosmo.jp

Articolo realizzato a cura di Redazione Cultura