Akkorder, takt, klang, rytme og harmoni – alle disse aspektene ved musikken gjør at den låter som den gjør. Men har du tenkt over hvorfor du liker akkurat den musikken du gjør?
– Musikk er ganske magisk, når du tenker over det. Når du lytter, kjenner du på mange følelser. Du forstår at det er et slags språk, men ser ikke hva som skjer. De fleste forstår ikke hva som egentlig foregår.
Det sier Olivier Lartillot, forsker ved RITMO Senter for tverrfaglig forskning på rytme, tid og bevegelse. Han ønsker å gjøre noe med nettopp dette. Derfor utvikler han nye digitale verktøy som han håper vil gjøre musikkens magi tilgjengelig for alle.
Først ut er norsk folkemusikk.
– Folkemusikken er så rik, og en skatt for norsk kultur. Likevel er det ikke så mange som hører på den. Hvis vi lager et verktøy som kan hjelpe folk å forstå musikken, kan folkemusikken kanskje få en renessanse i Norge, sier Lartillot.
Bedre musikkforståelse gir tilgang til mer mangfold
Olivier Lartillot mener teknologi kan utvide folks musikksmak gjennom bedre musikkforståelse.
– Ofte liker folk den musikken de hører hele tiden, og som de synes det er lett å forstå. Mens noen typer musikk virker mer komplisert, og derfor ikke like tilgjengelig, sier han.
– Hvis vi kan gi folk verktøy for å forstå musikken bedre, gir vi dem samtidig tilgang til mye ny musikk. Det vil være bra for den enkelte, men også for musikken i seg selv – for mangfoldet i hele det musikalske økosystemet.
Også musikkforskere mangler fullstendig kunnskap om musikken de studerer. Lartillot, som gjennom mange år har kombinert avansert musikkanalyse basert på kunstig intelligens med innsikter fra musikkvitenskap, kan bringe dem nærmere svarene de leter etter.
– Nå er vi snart kommet så langt at vi kan lage verktøy som forstår logikken i musikk, sier han.
Trener opp kunstig intelligens med hardingfele
Det beste verktøyet for musikkanalyse med datamaskiner per nå er kunstig intelligens og såkalt maskinlæring.
– Du trener maskinen ved å forklare den at dette er en viss type musikk og dette er tonene den skal kjenne igjen. Ved å «høre» eksempler, prøver maskinen å forstå hva som skjer. Etter å ha jobbet seg gjennom mange nok, kan den kjenne igjen toner automatisk.
Musikken maskinen skal klare å transkribere, er Nasjonalbibliotekets katalog med folkemusikk. Ifølge Lartillot er norsk folkemusikk og særlig hardingfela vanskelig materie for maskinen.
– Den store mengden eksempler som trengs, var i utgangspunktet ikke tilgjengelig. Derfor har vi bedt musikere, den profesjonelle felespilleren Olav Luksengård Mjelva og studenter fra Norges musikkhøgskole, om å spille for oss, og designet en programvare hvor de kunne se lydene visuelt og plassere notene for oss.
Lartillots kollega, postdoktor Anders Elowsson, bruker nå dette materialet til å lære maskinen hvordan den automatisk kan oppdage tonene hardingfela spiller.
– Dette er arbeid som kan ta hundrevis av timer, på store kraftige maskiner, forteller Lartillot.
Neste trinn, der de er nå, handler om å oppdage takt. Den er kompleks i felemusikk. Men når maskinen også har lært seg det, er et interaktivt verktøy i form av for eksempel en app innen rekkevidde.
MIRAGE Symposium #1: Computational Musicology
8. – 9. juni arrangerer MIRAGE et digitalt symposium. Her vil musikkteknologer presentere sine nyeste funn og prosjekter, og musikkvitere vil presentere sine behov for teknologisk støtte. Målet er å styrke dialogen mellom musikkteknologer og andre musikkforskere.
Webinaret er åpent for alle og krever ikke påmelding.
Visualisering hjelper musikkforståelse
Med appen Lartillot vil lage, vil du kunne bla i katalogen av folkemusikk og dra på oppdagelsesreise i musikken. Når du finner en slått eller et stev du liker, kan appen peke deg i retning av noe i samme landskap.
En av måtene du kan samhandle med musikken er ved å se den.
– Ser du et videoklipp, som spiller på flere sanser og setter i gang flere følelser, tror jeg det vil hjelpe mange å forstå folkemusikken bedre.
Resultatet er ikke på plass ennå, men Lartillot jobber med en god balanse mellom nok detaljer til å forstå mer enn ved å kun lytte, og for mange detaljer – noe han tror vil ta konsentrasjonen bort fra musikken.
– Det kan til og med være en slags gamifisering: en interaktiv app hvor du starter med enkel visualisering, og når du mestrer og forstår hva som skjer, får du etter hvert en mer kompleks versjon.
Den samme teknologien som vil bli til en app på smarttelefonen din, kan også brukes på scenen.
For øyeblikket forbereder Lartillot visualisering for en konsert hvor The Danish String Quartet skal spille Bachs fuger. Når de fire musikerne spiller seg gjennom temaene, vil du kunne se hvordan de forskjellige stemmene gjentar hvert tema på en stor skjerm over dem.
– Hypotesen min er at særlig utrente lyttere vil forstå mer om de også kan se hva som skjer. Temaene vil vises etter hverandre på skjermen, så når musikerne begynner å spille en ny repetisjon, vil du se sammenhengene.
Remix av gangar og pols
Appen han utvikler vil også kunne gi mer innsikt i folkemusikken gjennom at man kan leke seg med den og lage egne remixer.
– For meg var det en åpenbaring. Da jeg kunne legge beats over musikken, åpnet den seg og jeg så logikken. Da syntes jeg plutselig norsk folkemusikk ble mye mer interessant, sier Lartillot.
En slik app vil være gratis tilgjengelig for alle. En profesjonell DJ eller komponist, men også en vanlig lytter, kan finne frem et opptak med felemusikk fra 1940-tallet og legge elektroniske beats over.
– Fordi appen gjenkjenner tonene, kan man transformere og endre lyden, for eksempel med elektroniske beats eller el-gitarer. Det går an å lage musikk som høres helt ny ut, selv om det er samme struktur.
Enn så lenge vil det en slik app kunne brukes til spesifikk folkemusikk. På lengre sikt ønsker Lartillot å utvide kunnskapen til den kunstige intelligensen, slik at den kan brukes for all musikk.
Forskeren ser også en rekke andre bruksområder for appen.
– Fordi det handler om hvordan vi oppfatter detaljer i musikk, kan dette brukes i musikkterapi og i forskning på musikalsk kognisjon. Jeg håper også at musikkbransjen vil bruke teknologien og integrere den i sine strømmetjenester.
MIRAGE – Et integrert AI-basert system for avansert musikkanalyse er et forskningsprosjekt ved RITMO Senter for tverrfaglig forskning på rytme, tid og bevegelse. Målet er å videreutvikle datamaskiners evne til å lytte til og forstå musikk, noe som igjen gjør det mulig å utvikle teknologi som vil hjelpe mennesker med å forstå og verdsette musikk. Prosjektet er et samarbeid med musikkseksjonen ved Nasjonalbiblioteket og prosjektleder er Olivier Lartillot.
Les også om Soundtracer, et annet digitalt verktøy Lartillot har utviklet: