Multimodalt samspill

Click here for an English presentation of the article

På jakt etter multimodalt samspill i en animasjonsfilm laget av seks barnehagebarn

Dette er den norske tittelen på en vitenskapelig artikkel som jeg nylig har skrevet sammen med Trude Hoel. Artikkelen er den femte artikkelen som bygger på data fra PhD-en min og er publisert i tidsskriftet Video Journal of Education and Pedagogy.

I denne artikkelen analyserer vi en animasjonsfilm laget av seks barnehagebarn (4-5 åringer) og en barnehagelærer. Vi utforsker hva som kjennetegner samspillet mellom de visuelle og auditive modalitetene i animasjonsfilmen.

Klikk her for å se filmen og lese artikkelen.

Animasjonsfilm

Et sentralt kjennetegn ved en animasjonsfilm er kombinasjonen av ulike modaliteter: visuelle modaliteter (f.eks. bilder) og auditive modaliteter (f.eks. fortellerstemme og musikk). Med andre ord — i en animasjonsfilm uttrykkes fortellingen gjennom flere modaliteter, og alle disse modalitetene er like viktige i formidlingen av fortellingen.

Et annet sentralt kjennetegn ved en animasjonsfilm er sekvenser av stillbilder som skaper en illusjon av bevegelse, f.eks. en Duplo-figur som beveger seg. Men, det er ikke stillbildene i seg selv som er interessante — men bevegelsen som skapes slik at stillbildene blir til levende bilder.

Hver scene i animasjonsfilmen «To på rømmen» ble laget av to-tre barn og en barnehagelærer i appen Stop Motion Studio (Cateater LLC, 2017). Scenene ble deretter redigert sammen i iMovie (Apple, 2018). Fortellerstemmene er spilt inn av to barn og barnehagelæreren, og lagt til filmen etterpå.

I artikkelen analyserer vi animasjonsfilmen utifra to sentrale sosial-semiotiske multimodale perspektiver: multimodal orkestrering og multimodalt samspill (Jewitt, 2016; Kress, 2010). Analysen er en videreføring av analysen i artikkelen «En animert fortelling» (Undheim & Hoel, 2021).

Multimodal analyse

Figurenes handlinger formidles gjennom ulike modaliteter

I de fleste scenene trekkes oppmerksomheten mot de aktive figurene, gjennom deres handlinger (som er synlige i den visuelle modaliteten). Figurenes handlinger blir for det meste også beskrevet av fortellerstemmen (den auditive modaliteten), f.eks. i scene 3 (0:59-1:04) når trollet går gjennom skogen. I dette eksempelet formidles den samme handlingen gjennom både den visuelle og den auditive modaliteten.

Skjermbilde fra analysen av scene 5 (Undheim & Hoel, 2022, s. 19)

Noen ganger skjer det ting i filmen som blir forklart av fortellerstemmen, f.eks. at trærne beveger seg fordi det var så mye vind (i scene 3, 1:04-1:10). Dette er et eksempel på at den auditive modaliteten bidrar med noe mer, med noe som ikke kan formidles gjennom den visuelle modaliteten alene. Andre ganger indikerer fortellerstemmen hva som er i ferd med å skje før det vises, f.eks. i scene 5 (1:40-1:42) når prinsen kommer ridende mot huset for å redde Rapunsel. I disse eksemplene formidles handlingen på ulike måter av de ulike modalitetene.

Skjermbilde fra analysen av scene 5 (Undheim & Hoel, 2022, s. 22)

Andre ganger formidles deler av handlingen kun av en av modalitetene, f.eks. Rapunsel som står bak vinduet i scene 3. Rapunsel er tilstede i den visuelle modaliteten, men nevnes ikke av den auditive modaliteten. Dette kan være på grunn av filmens korte varighet, eller fordi barna ikke anså det som viktig å nevne Rapunsel da de tok opp lyd. Det kan også være et eksempel på «vis men ikke fortell» ved at barna spiller på den visuelle modalitetens affordanse (egenskap). Da barna tok opp fortellerstemmen, tok de rollen som observatører og kommenterte handlingen fra et tredjepersons perspektiv.

Sporadisk multimodalt samspill

Oppsummert kan vi si at det visuelle — bildene — er den mest sentrale modaliteten i denne animasjonsfilmen. Fortellerstemmen og bakgrunnsmusikken bidrar i liten grad til å utdype eller nyansere den visuelle modaliteten. Noen ganger kan det virke som modalitetene er satt sammen mer eller mindre tilfeldig, andre ganger virker det mer målrettet. Analysen viser at samspillet mellom de visuelle og auditive modalitetene i animasjonsfilmen kan beskrives som sporadisk; noen ganger er det samspill mellom modalitetene, og noen ganger er det ikke.

Under produksjonen ble de forskjellige modalitetene lagt til som lag — barna og barnehagelæreren konsentrerte seg om en modalitet om gangen. Først laget de animasjonssekvensene, så tok de opp fortellerstemmen, og til slutt la de på bakgrunnsmusikken. Denne måten å organisere den kreative prosessen på følger et lignende mønster som i andre studier (f.eks. Burn & Parker, 2003; Letnes, 2019). Selve fortellingen ble diktet av alle de seks barna, men de ulike animasjonssekvensene ble laget av forskjellige barn i gruppen. Underveis gjorde alle «sine» små justeringer, f.eks. å bestemme fra hvilken retning figurene skal komme inn i filmen.

Uansett, når de ulike modaliteten legges til som lag, uten å se dem i sammenheng med hverandre, er det vanskelig å skape et samspill der alle modalitetene formidler et helhetlig budskap gjennom hele filmen, og kanskje særlig siden filmen lages sammen med en gruppe 4-5 åringer.

Vi undrer oss over om den sekvensielle utformingen av de digitale appene som ble brukt i produksjonen av filmen kan ha bidratt til dette sporadiske samspillet mellom modalitetene.

Implikasjoner

Vårt søk etter tidligere studier viser at det er behov for mer kunnskap om stop-motion animasjonsfilmer laget sammen med barnehagebarn; inkludert studier som utforsker sluttproduktet – altså animasjonsfilmen.

Vi ønsker også å fremheve viktigheten av at barnehagelærere og barnehageforskere anerkjenner barnas multimodale produkt. For å kunne forstå det multimodale samspillet i det ferdige produktet, er det viktig å legge merke til og anerkjenne de valgene barna tar i løpet av prosessen.

Basert på barnas egne refleksjoner underveis i prosessen, er det tydelig at de har mange og rike erfaringer med multimodale tekster — som de tar med seg inn i arbeidet med animasjonsfilmen.

Kilder

Apple. (2018). iMovie (Version 2.2.5) [App]. App Store.
Burn, A., & Parker, D. (2003). Tiger’s Big Plan: Multimodality and the Moving Image. I C. Jewitt & G. Kress (Red.), Multimodal Literacy (s. 56–72). Peter Lang Publishing.
Cateater LLC. (2017). Stop Motion Studio (Version 8.4.1) [App]. https://www.cateater.com
Jewitt, C. (2016). Multimodal Analysis. I A. Georgakopoulou & T. Spilioti (Red.), The Routledge Handbook of Language and Digital Communication (s. 69–84). Routledge.
Kress, G. (2010). Multimodality: A Social Semiotic Approach to Contemporary Communication. Routledge.
Letnes, M.-A. (2019). Multimodal Media Production: Children’s Meaning Making WhenProducing Animation in a Play-Based Pedagogy. I C. Gray & I. Palaiologou (Red.), Early Learning in the Digital Age (s. 180–195). Sage.
Undheim, M., & Hoel, T. (2021). An Animated Story Created by a Group of Young Children. Journal of Early Childhood Literacy. https://doi.org/10.1177/1468798420988756

Lenker

Artikkelen

Undheim, Marianne & Hoel, Trude. (2022). In Pursuit of a Multimodal Ensemble in a Stop-motion Animation Movie Created by Six Young Children. Video Journal of Education and Pedagogy, 7(1). https://doi.org/10.1163/23644583-bja10035 (publisert som «Open access»)