Multimodalitet
| Har lest litt i boka "Generasjon.com" som jeg synes er spennende. Her behandler Elise Seip Tønnesen bla. sammensatte tekster og "multimodalitet". Det er litt vanskelig å få has på begrepet. Har trodd at begrepet betegner nesten det samme som multimedia; at en sammensatt tekst er en tekst som benytter ulike media. Vet at modalitet kommer av modus; måte. Her ser det for meg ut som om en trykt tekst kan være multimodal hvis den består av ulike sjangre eller om den benytter ulike medier som lyd, bilde, tekst og video. "Begrepet multimodalitet, derimot er primært semiotisk forankret. Det dreier seg om hvordan tegn i ulike uttrykksformer kan spille sammen i en tekst. .." "...Når vi ser på tekster som multimodale, fokuserer vi på hvordan de ulike tegnsystemene bidrar til den totale meningen teksten formidler". I en fotnote heter det: "Begrepet multimodalitet bygger på en tankegang om hver uttrykksform (semiotisk ressurs) som en modalitet." Det var så langt og før jeg søkte på nettet. Da kom jeg til JonBlogg (Jon Hoem). Han sier: "Multimodalitet er et interessant begrep som tar opp i seg at en "tekst" er bærer av mening på flere nivå, ikke bare det rent lingvistiske med relevans for alle medierte medier, ikke minst de "digitale". Et eksempler er CSS Zen Garden som jeg skrev om for noen dager siden. Det viser eksempler der den samme teksten (eksakt lik xHTML-kode) er presentert med vidt forskjellige design, utelukkende ved hjelp av stilsett. Dette er dermed en enkel synliggjøring av tekstens multimodalitet." Han henviser også til forelesningsnotater av Anders Marner: Vår tids medier har information i flera kanaler än tidigare, de är "multimodala". Television och film innehåller såväl ljud som rörlig bild. Datorn är ett medium som kan innehålla flera medier, kanske samtliga tidigare medier, beroende på hur den programmeras. Det tycks vara något av en regel att ett senare medium i någon mening också omfattar det tidigare mediet. Skriftspråket har talspråket som innehåll, fotografiet tog över bl.a. porträttkonstens funktion, filmen tog över teaterns funktion och innehåller fotografi, television kan visa film etc. Så langt er det litt uklart for meg hva jeg skal legge i begrepet multimodalitet. Noen kommentarer? |
posted by Atle Roijen @ 10:51 PM
3 Comments:
Ja, jeg er enig i at multimodalitet ikke er et enkelt begrep å forholde seg til!
Min vei inn til begrepet gikk via Kress & van Leeuwens klassiske (om enn litt famlende) bok "Multimodal Discourse. The modes and media of contemporary communication", som kom i 2001. Med et solid ståsted i sosialsemiotikken (begge forfattere er betydelige bidragsytere til teorien), definerer K&vL multimodalitet som "the use of several semiotic modes in the design of a
semiotic product or event, together with the particular way in which these modes are
combined." (s 20). Her kommer jo sammenblandingen med multimedia inn, fordi kombinasjon av ulike medier, som bilde, tekst og lyd, kan være en av mange måter å skape en multimodal tekst på. Forskjellen er, for å sitere Espen Ytreberg på et seminar om boken tilbake i 2005, at "modes" (modus/modi) er et innholdsbegrep, mens medium er et uttrykksbegrep.
Multimodalitet handler altså om meningsskaping - ved hjelp av mer enn én semiotisk ressurs (modus). Tar man f eks et bilde, gjør det svart/hvitt og tilfører støy, så har man skapt assosiasjoner til "gamle dager". Legg på stumfilmmusikk og assosiasjonen forsterkes, eller legg på hip hop musikk og komposisjonen får plutselig en helt annen mening (KvL nevner (bl.a.) tre måter modi kan kombineres på - de kan forsterke hverandre, utfylle hverandre eller være hierarkisk ordnet (at en modus dominerer en annen)). Det er dermed ikke kombinasjonen av medier i seg selv som (alene) skaper mening, men også hvordan det enkelte mediet brukes til å uttrykke eller forme noe.
Gunnar Liestøl har levert flere bidrag her. I sin doktoravhandling (1999) introduserte han meningsvarelaget ("meaningware"), som et tillegg til programvare- og maskinvarelaget. Det er i meningsvarelaget (innholds- og kommunikasjonslaget) at vi vil få en veldig utvikling og mangfold i digitale tekster, konvensjoner og sjangre, hevder Liestøl i en bok som er under utgivelse. Han bidrar også til en klargjøring av multimodalitet i sin artikkel "Sammensatte tekster - sammensatt kompetanse" (Digital kompetanse 1. årg/nr 4, s 278 og s 301).
Bruk av én eller noen få modi har nesten blitt en sjeldenhet (med unntak av noen genre, som en skjønnlitterær bok eller den typiske forelesning(?)), og dermed har multimodalitet blitt så aktuelt de siste årene, og til og med fått sin plass i læreplanene.
To andre doktoravhandlinger kan også nevnes, som Marit Holm Hopperstads "Når barn skaper mening med tegning" (NTNU, 2002), hvor hun har en grundig og oversiktlig teoretisk gjennomgang av meningsskaping. Svenske Fredrik Lindstrand forsvarte en avhandling om ungdom, videoproduksjon og læring i fjor, hvor han også bygger på sosialsemiotisk og multimodal teori (se http://www.hlsforlag.se/UserFiles/1/File/Pressreleaser/lindstrand_press.pdf).
Mvh Brit :-)
Tusen takk for tilbakemeldingen, Brit! Dette må jeg tygge på litt. Har akkurat vært i filosofen Wittgensteins land (se bloggen), så jeg må la dette hvile til i morgen. Det var uansett veldig "deilig" (rart ord, kanskje), men likevel deilig å lese det du har skrevet. Kanskje mitt Wittgenstein-innlegg og dette har litt med hverandre å gjøre: for å forstå begrepet multimodalitet, så må jeg delta i praksisen rundt begrepet. Gjennom å bruke begrepet vil jeg forstå det. Jeg kan ikke bare forstå begrepet i seg selv, for det er praksisen som konstituerer begrepet... Oau...
Nesten torsdagsklem fra
Atle
Nå har jeg tenkt litt... Det er det du sier i følgende avsnitt som gir mest mening for meg selv om det er problematisk:
"Tar man f eks et bilde, gjør det svart/hvitt og tilfører støy, så har man skapt assosiasjoner til "gamle dager". Legg på stumfilmmusikk og assosiasjonen forsterkes, eller legg på hip hop musikk og komposisjonen får plutselig en helt annen mening (KvL nevner (bl.a.) tre måter modi kan kombineres på - de kan forsterke hverandre, utfylle hverandre eller være hierarkisk ordnet (at en modus dominerer en annen)). Det er dermed ikke kombinasjonen av medier i seg selv som (alene) skaper mening, men også hvordan det enkelte mediet brukes til å uttrykke eller forme noe."
Det problematiske i dine eksempler og det samme med Jons eksempel hvor samme tekst blir fremstilt med ulik design (ulike stilark) er at vi jo egentlig snakker om ulike tekster… ikke en tekst med flere modus. Jeg ser jo hvordan teksten, innholdet endrer seg når vi bruker ulike virkemidler eller tegnsystemer og man kan snakke om ulike modus…
Er det et krav at de ulike modusene må forsterke, utfylle eller være hierarkiske… hva hvis de motvirker hverandre – klassisk musikk til en bildefortelling som uttrykker ungdom, fart og spenning – er det da ikke en multimodal tekst?
Er en tekst som bryter sjangergrenser og som dermed er sammensatt av flere tegnsystemer multimodal?
Atle
Post a Comment
<< Home