6 juli 2018 19:28

MIT ontwikkelt AI-muziekapplicatie die individuele geluiden kan isoleren

MIT, het Massachussetts institute of Technology heeft een applicatie ontwikkeld waarbij je de instrumenten in de video van een muziekstuk kan identificeren en isoleren.

Dat doet de applicatie aan de hand van haar CSAIL-technologie, de Computer Science and Artificial Intelligence Laboratory. Door middel van die technologie kan je instrumenten in een video identificeren, en de geluiden isoleren die de instrumenten produceren.

Wanneer er verschillende instrumenten tegelijk spelen in een video, zal de applicatie PixelPlayer, je toelaten om die instrumenten te kiezen de jij wilt beluisteren. Het zal dan die instrumenten net iets luider afspelen en zal het volume van de andere instrumenten wat verzachten.

Deep learning

CSAIL trainde PixelPlayer door middel van deep learningtechnieken en door het meer dan 60 uur aan video’s toe te dienen waaruit het kon leren. Er is echter nog heel wat werk aan de winkel. Zo kan het slechts 20 instrumenten tegelijkertijd herkennen, en heeft het er nog steeds moeite mee om gelijkaardige instrumenten zoals een cello en een viool uit elkaar te houden.

Wanneer de technologie meer op punt komt te staan, kunnen ingenieurs zelfs historische beelden van concerten restaureren. CSAIL kan ook gebruikt worden om verschillende omgevingsgeluiden te herkennen, zoals geluiden van dieren, auto’s en toestellen.