Tehisintellekti (AI) loodud muusika on juba reaalsuseks saanud. AI-tööriistad saavad nüüd luua muusikat ainult tekstiviipaga ja tulemused ületavad kõik ootused.
See aga ei tähenda, et tehisintellekti tööriistad saaksid otse muusikat luua. Selle asemel läbib muusika AI kujutise generaatorid, mis loovad muusika spektrogramme. Seejärel saate need spektrogrammid heliklippideks teisendada. Kas see tähendab, et tehisintellekti loodud muusika asendab tulevikus inimese loodud muusikat?
Pildipõhine AI õpetab arvutialgoritme kohtade ja objektide kujutisi ära tundma. Pärast seda kasutatakse algoritme sarnaste, kuid ainulaadsete piltide taasesitamiseks. DALL-E ja Stable Diffusion on head näited. Praegu saate panna need programmid renderdama kõike, mida soovite. Kõik läbi teksti!
Seega nimetatakse AI-tööriista, mis suudab spektrogramme luua, Riffusioniks. See on uusim tehisintellekti projekt ja oma olemuselt on see stabiilsel difusioonil (Stable Diffusion) põhinevate tekstist piltide generaator. Aga kuidas sai ta võimeliseks muusikat genereerima?
Riffusioni taga on robootik Heik Martiros ja tarkvaraarendaja Seth Forsgren. Nad tahtsid testida, kas kaasaegsed AI-programmid võiksid helivaldkonnas töötada. Nii algas Riffusioni muusikategemise teekond. Forsgren räägib tehnoloogiast järgmiselt: "Hake ja mina mängime koos väikeses bändis ja alustasime projektiga lihtsalt sellepärast, et armastame muusikat. Pärast seda, kui nägime Stable Diffusioni hämmastavaid tulemusi pildi loomisel, küsisime endalt, kuidas näeks välja difusioonimeetodi kasutamine muusika loomisel?
Selle väljaselgitamiseks treenis kaheliikmeline meeskond avatud lähtekoodiga stabiilset difusiooni spektrogrammikujutistel. Need ühendati tekstiga. Pärast seda sai programm teatud vihjete põhjal luua muusika spektrogramme.
Alguses ei teadnud nad, kas Stable Diffusion mudeliarhitektuur suudab luua piisava täpsusega spektrogrammi kujutist, et see heliks teisendada, kuid selgus, et see suudab seda ja rohkemgi veel. Martiros ja Forsgren avaldasid oma tulemused Riffusioni ametlikul veebisaidil. Alguses oli see hobiprojekt. Kuid nüüd saavad külastajad lisada oma tekstinäpunäiteid. See sunnib Riffusiooni spektrogrammi genereerima. Hiljem saavad külastajad seda heliklipina kasutada ja saidil esitada.
Selle etapi tulemused ei pruugi olla väga kvaliteetsed. Kuid see pole kindlasti nii hull, kui arvate.
Riffusion võib proovida esitada ka lugusid, mis sisaldavad räpp Eminemi stiilis ja K-Pop. Kuid laulusõnade genereerimise funktsioon pole nii hea. Teksti asemel kuulete meloodilist inimlikku jaburat. Aga kõige huvitavam on see, et see jaburus läheb ikka laulu tooniga kokku.
See tehnoloogia ei ole veel valmis asendama inimeste loodud muusikat. Kuid projekt näitas meile, et AI pilditöötlusalgoritmidel on endiselt suur potentsiaal. Peagi võib sellest saada muusikaautorite assistent. Ehk et saada inspiratsiooni laulu kirjutamiseks.
Saate aidata Ukrainal võidelda Vene sissetungijate vastu. Parim viis selleks on annetada raha Ukraina relvajõududele läbi Päästa elu või ametliku lehe kaudu NBU.
Huvitav ka: