Daca ati redat la infinit un videoclip pentru a asculta o parte dintr-o compozite proprie, veti indragi noul AI de la MIT. PixelPlayer, care provine de la Laboratorul de Informatică și Inteligență Artificială (CSAIL) al instituției, poate recunoaște instrumentele într-un videoclip, identifică cele specifice la nivel de pixeli și izolează sunetele pe care le produc.
Dacă există mai multe instrumente care canta in acelasi timp într-un videoclip, de exemplu, PixelPlayer vă va permite să alegeți cel pe care doriți să-l ascultați – acesta va reda sunetele care apar din acel instrument cel mai puternic și va reduce volumul pentru orice al instrument.
CSAIL a instruit PixelPlayer utilizând o tehnică de învățare adâncă auto-supravegheată și introducandu-i peste 60 de ore de videoclipuri pentru a învăța. Este încă departe de a fi perfect: se pot identifica doar sunetele a 20 de instrumente în acest moment și se confruntă încă cu probleme în a distinge instrumente similare.
Cu o dezvoltare ulterioară, ar putea deveni un instrument eficient de editare audio, oferind inginerilor o modalitate de a îmbunătăți sau de a restabili calitatea imaginilor vechi din concerte. De asemenea, ar putea fi folosit pentru a instrui roboții cu privire la modul de identificare a diferitelor sunete de mediu, cum ar fi cele produse de animale, vehicule și aparate.
