MULTIMODÁLNÍ KOMUNIKACE  (multimodální interakce)

Základní

Komunikace založená na využívání několika sémiotických systémů („modů“), např. mluveného jazyka a ↗gestiky nebo psaného jazyka a obrázků (grafické složky). Zatímco komunikace mezi předem naprogramovanými stroji může probíhat na základě jediného systému (kódu), mezilidská komunikace je založena zpravidla na kombinaci různorodých znakových systémů. Necháme-li stranou subtilnější případy nezaměřené sociální interakce (↗tělo v komunikaci), např. letmou výměnu pohledů mezi cizími lidmi v prostředku hromadné dopravy, je valná část mezilidské komunikace multimodální. Souvisí to jednak s multimodální percepcí, tj. vnímáním reality několika smysly zároveň, jednak s multimodální kognicí, tj. poznávací činností konstituující se pod vlivem jazyka, obraznosti a tělesné zkušenosti. Schopnost kombinovat za účelem komunikace prostředky sémioticky různorodé lze pozorovat tak u živočichů včetně živočišného řádu primátů (✍Liebal(ová) & Waller(ová) ad., 2013) a u malých dětí (✍McNeill, 1992; ✍Tomasello, 2008). Pro přirozeně multimodální charakter mezilidské komunikace tak lze argumentovat i z hlediska fylogenetického a ontogenetického.

Rozšiřující

Termín multimodalita se poprvé objevuje ve 20. letech 20. stol. v psychologii vnímání, kde označuje spoluúčast různých smyslových počitků, např. zrakových a sluchových, na celkové percepci vč. efektu vzájemného ovlivnění (✍van Leeuwen, 2014:549). S tímto pojetím klíčového termínu se setkáváme dodnes, a to v různých badatelských kontextech. Výraz multimodální zde funguje jako synonymum výrazu multisenzorický. Např. ve studii ✍Partan(ové) & Marlera (2005:231) o komunikaci zvířat je „multimodální (neboli multisenzorická) komunikace“ definována jako „komunikace pomocí složených signálů přijímaných prostřednictvím více než jednoho smyslového kanálu“. Důraz je v této studii kladen na výzkum způsobů, jakými jsou signály z různých smyslových kanálů integrovány; klíčovou roli zde hrají pojmy redundance (mezi prvky multimodálního signálu je vztah ekvivalence, příp. intenzifikace) a neredundance (mezi prvky multimodálního signálu je vztah nezávislosti, dominance, modulace n. emergence) (✍Partan(ová) & Marler, 1999; ✍Partan(ová) & Marler, 2005). I mezi odborníky na komunikaci zvířat se však najdou badatelé, kteří si uvědomují rozdíl mezi smyslovým kanálem a komunikačním (sémiotickým) modem. Argumenty pro toto pojmové rozlišení jsou následující: (1) stejný smyslový kanál může být využíván několika komunikačními mody (např. gestika a mimika shodně využívají zrakový kanál), (2) jeden komunikační modus můžeme definovat napříč několika smyslovými kanály, a rozlišit tak např. gesta vizuální, taktilní a auditivní (✍Liebal(ová) & Waller(ová) ad., 2013).

V lingvistice se termín multimodalita rozšířil v 90. letech 20. stol. díky pracím z tzv. sociální sémiotiky (nového oboru inspirovaného hallidayovskou funkční systémovou lingvistikou, viz ✍Hodge & Kress, 1988; ✍Kress & van Leeuwen, 2001; ✍van Leeuwen, 2005; ✍Kress, 2010). Jak uznávají sami proponenti tohoto výzkumného směru, termín multimodalita slouží k označení zkoumaného jevu, tj. integrovaného využití sémioticky různorodých komunikačních prostředků, a není tudíž spjat s konkrétním teoretickým rámcem (srov. např. ✍van Leeuwen, 2014:551). Termín multimodalita, m.k., resp. multimodální interakce, se používá i mimo rámec sociální sémiotiky, zejména v ↗kritické analýze diskurzu (✍Wodak(ová), 2004:202–203) a ↗konverzační analýze (✍Stivers(ová) & Sidnell, 2005; ✍Mortensen, 2013). Objevuje se ale i v dalších interakcionistických přístupech (✍Streeck & Goodwin ad., 2011) a rovněž v souvislosti s ↗etnografií komunikace (✍Dicks(ová) & Soyinka ad., 2006) a ↗etnometodologií (✍Mondada(ová), 2011). V č. lingvistické tradici se v návaznosti na Hausenblasův termín komunikát zpravidla hovoří o sémioticky heterogenním komunikátu, resp. komunikátu sémioticky smíšeném n. komplexním (✍Nekvapil & Zeman, 1987; ✍Macurová & Mareš, 1993; ✍Zeman, 1994; ✍Daneš, 1995; ✍Zeman, 2013).

Pro lepší pochopení m.k. je klíčový pojem sémiotického modu (semiotic mode) // komunikačního modu (communicative mode). Sémiotický/komunikační modus bývá charakterizován zpravidla výčtem: (a) v mluvené ↗jazykové interakci jsou za sémiotický modus obvykle považovány: mluvený jazyk, mimika, gestika, pohledy, tělesný postoj; (b) v psané jazykové interakci: psaný jazyk, tabulky, obrázky aj. Přesnější vymezení sémiotického modu je závislé na teoretickém rámci, v němž je tento pojem používán. ✍Kress (2010:79n.) definuje modus z perspektivy sociální sémiotiky jako sémiotický zdroj (resource), jejž tvoří svazek rysů reflektující jednak to, co daný znakový materiál dovoluje, jednak to, jak s těmito materiálními možnostmi a mezemi nakládá společenství uživatelů. Kress klade důraz na sociální povahu modu a jeho kulturní specifičnost: o tom, co je modus, rozhodují členové společenství; např. společenství designérů může rozvinout sémiotický potenciál fontu nebo barvy takovým způsobem, že se stanou plnohodnotnými sémiotickými mody (✍Kress (2010:87). V podobném duchu přistupuje k pojmu sémiotického/komunikačního modu také ✍Norris(ová) (2004), ✍Norris(ová) (2011), ✍Norris(ová) (2013a), ✍Norris(ová) (2013b), která navazuje na diskurzněanalytické práce ✍Scollona (2001). Modus je pro ni systémem jednání, který má svá pravidla a pravidelnosti a který je pro sociální aktéry rozpoznatelný, naučitelný a osvojitelný. Autorka zdůrazňuje, že systémy jednání jsou neodlučitelně spjaty se sociálními aktéry a s prostředky či kulturními nástroji, jež ke svému jednání aktéři využívají.

Z výše uvedeného je zřejmé, že otázka, co je sémiotický modus, zůstává otevřená, a to jak z hlediska teoretického (konceptuálního), tak z hlediska praktického (výzkumného). Záleží na teoretické preferenci výzkumníků, budou-li k modu přistupovat z perspektivy účastníků komunikace jako k „émickému“ konstruktu, nebo z perspektivy expertů/teoretiků jako ke konstruktu „etickému“ (viz ↗émický – etický). Oba výše uvedené příklady konceptualizace naznačují, že sémiotický modus lze uchopit jako fenomén „émický“ a že k jeho lepšímu poznání můžeme dospět empirickým výzkumem. Na druhou stranu je i v uvedených příkladech silně přítomen vliv expertního diskurzu, který výzkumníkům vnucuje rozhodovací kritéria pro to, co považovat za modus. ✍Kress (2010:87–88) např. uvádí, že kromě sociální perspektivy uplatňuje i perspektivu formální (teoretickou) vycházející z hallidayovské funkční systémové lingvistiky: za modus považuje pouze ty sémiotické zdroje, u nichž je zjevné, že jsou schopny plnit všechny tři sociálněsémiotické funkce: ideační, interpersonální a textovou.

Klíčovou otázkou m.k. je otázka synergie uplatněných sémiotických modů při konstruování smyslu komunikátu, tedy otázka, jak jsou mody integrovány do celku sdělení, jaké funkce navzájem plní. Nejprozkoumanější je z tohoto hlediska vztah mluveného jaz. a ↗gestikulace a vztah psaného jaz. a obrázků. V souvislosti s posledně jmenovaným vztahem lze zmínit vlivnou teorii ✍Barthesa (1977a:38–41), který navrhl rozlišit dvě funkce textu vůči obrázku: (1) funkci ukotvení má text tehdy, usměrňuje-li interpretaci polysémního obrázku, (2) funkci spřažení neboli relé má text tehdy, je-li mezi textem a obrázkem vztah komplementarity. V jiné práci ✍Barthes (1977b:25) připomíná tradiční pojem ilustrace: obrázek „vysvětluje či ‚realizuje‘ text“ (k tomu srov. ✍Daneš, 1995). Na Barthesovy práce navázali ✍Martinec & Salway (2005) vytvořením obecného systému pro popis vztahů mezi obrázky a texty. Jádrem jejich systému je stanovení relativního statusu obrazové a textové složky a určení logicko-sémantických vztahů mezi nimi. Obrázek a text mohou být na sobě nezávislé n. vůči sobě komplementární (obrázek a text mají v obou případech rovnocenný status) n. může být obrázek podřízen textu n. text podřízen obrázku (obrázek a text mají v obou případech nerovnocenný status). Z logicko-sémantických vztahů, jež autoři přebírají z Hallidayova popisu vztahů mezi větami v souvětí (viz např. ✍Halliday & Matthiessen, 2014), aplikují autoři na vztah obrázku a textu pojmy expanze (s podtypy elaborace, extenze a obohacení) a projekce (s podtypy reprodukce řeči n. myšlenky). Širší teoretický záběr má přehledový článek ✍Sarapik(ové) (2009). Také pro její taxonomii jsou důležité statusové vztahy mezi textem a obrázkem (vztah dominance n. rovnosti), přidává k nim však řadu kritérií dalších. (Ke vztahům mezi obrázky a texty viz též ✍Kibédi Varga, 1989; ✍Kibédi Varga, 1989, ✍Foret, 2010.)

Výzkum m.k. probíhá v různých badatelských kontextech, od informatiky po kognitivní vědu. V jazykovědě se empiricky zkoumá buď samotný multimodální komunikát, n. produkční a recepční procesy m.k. Ve výzkumu komunikačních procesů se uplatňují jak metody naturalistické (např. etnografický výzkum), tak experimentální (např. měření vizuální pozornosti pomocí snímačů očních pohybů, tzv. eyetracking, srov. ✍Holsanova & Holmqvist ad., 2006). Studie mohou být zaměřeny kvalitativně n. kvantitativně. Kvalitativní přístup založený na etnografickém výzkumu se využívá např. ve výzkumu ↗komunikačních žánrů (srov. ✍Kaderka, 2010, ✍Kaderka, 2013; ✍Kaderka & Havlík, 2010). Kvantitativní metody by bylo teoreticky možné uplatnit v korpusovém výzkumu m.k., ale zatím nejsou takové studie běžné (překážkou je absence vhodných korpusových nástrojů). Zájem o průzkum m.k. se přesto projevil v budování multimodálních jaz. korpusů. Historicky prvním multimodálním korpusem mluvené češtiny je korpus DIALOG (http://ujc.dialogy.cz/), který kromě konverzačněanalytických transkriptů (↗transkripce v konverzační analýze) obsahuje audiovizuální nahrávky diskusních pořadů českých televizí. Pro češtinu je dostupný i multimodální korpus psaného jaz.Korpus soukromé korespondence (✍Hladká a kol., 2005) –, který kromě přepisů obsahuje i fotokopie původních ručně psaných dopisů.

Co do počtu zapojených modů lze rozlišovat komunikaci bimodální, trimodálnímultimodální. Obvykle se ale výraz multimodální užívá jako střešní termín pokrývající všechny uvedené případy, tedy případy komunikace s využitím více než jednoho modu. Jinými slovy: multimodální funguje jako opozitní termín k termínu unimodální (multi- ve významu ‚více než jeden‘ má oporu v anglickém úzu, jak dokládají slovníky současné angličtiny britské i americké provenience).

Viz též ↗gestika, ↗gestikulace, ↗jazyková interakce, ↗tělo v komunikaci.

Literatura
  • Barthes, R. Rhetoric of the Image. In Barthes, R., Image – Music – Text, 1977a, 32–51.
  • Barthes, R. The Photographic Message. In Barthes, R., Image – Music – Text, 1977b, 15–31.
  • Daneš, F. Text a jeho ilustrace. SaS 56, 1995, 174–189.
  • Dicks, B. & B. Soyinka ad. Multimodal Ethnography. Qualitative Research 6, 2006, 77–96.
  • Foret, M. Mezi literárnem a výtvarnem: komiks jako obrazoslovní amalgám. ČL 58, 2010, 581–606.
  • Goodwin, Ch. Action and Embodiment within Situated Human Interaction. JP 32, 2000, 1489–1522.
  • Goodwin, Ch. Participation, Stance and Affect in the Organization of Activities. Discourse & Society 18, 2007, 53–73.
  • Halliday, M. A. K. & Ch. Matthiessen. Halliday’s Introduction to Functional Grammar, Fourth Edition, 2014.
  • Hladká, Z. a kol. Čeština v současné soukromé korespondenci: dopisy, e-maily, SMS, 2005.
  • Hodge, R. & G. Kress. Social Semiotics, 1988.
  • Holsanova, J. & K. Holmqvist ad. Entry Points and Reading Paths on Newspaper Spreads: Comparing a Semiotic Analysis with Eye-tracking Measurements. Visual Communication 5, 2006, 65–93.
  • Iedema, R. Multimodality, Resemiotization: Extending the Analysis of Discourse as Multi-semiotic Practice. Visual Communication 2, 2003, 29–57.
  • Kaderka, P. Slogany, obrazy, argumenty: nekomerční reklama v sociálním kontextu. PhD. dis., UK, Praha, 2010.
  • Kaderka, P. Tělesné postoje, gesta a pohledy v komunikaci. In Čmejrková, S. & J. Hoffmannová (eds.), Mluvená čeština: hledání funkčního rozpětí, 2011, 211–232.
  • Kaderka, P. Pragmatika situace. SaS 74, 2013, 13–40.
  • Kaderka, P. & M. Havlík. Vytváření televizních zpráv: pracovní postupy v systému žánrových norem. Sociologický časopis / Czech Sociological Review 46, 2010, 537–567.
  • Kibédi Varga, A. Criteria for Describing Word-and-Image Relations. Poetics Today 10, 1989, 31–53.
  • Kibédi Varga, A. Auf der Suche nach einer Metasprache für Texte und Bilder. Arcadia 37, 2002, 100–112.
  • Kress, G. Multimodality: A Social Semiotic Approach to Contemporary Communication, 2010.
  • Kress, G. & T. van Leeuwen. Multimodal Discourse: The Modes and Media of Contemporary Communication, 2001.
  • Lemke, J. Multiplying Meaning: Visual and Verbal Semiotics in Scientific Text. In Martin, J. R. & R. Veel (eds.), Reading Science: Critical and Functional Perspectives on Discourses of Science, 1998, 87–113.
  • LeVine, P. & R. Scollon. (eds.) Discourse and Technology: Multimodal Discourse Analysis, 2004.
  • Liebal, K. & B. M. Waller ad. Primate Communication: A Multimodal Approach, 2013.
  • Macurová, A. & P. Mareš. Text a komunikace: Jazyk v literárním díle a ve filmu, 1993.
  • Machin, D. Introduction: What is Multimodal Critical Discourse Studies? Critical Discourse Studies 10, 2013, 347–355.
  • Martinec, R. & A. Salway. A System for Image–Text Relations in New (and Old) Media. Visual Communication 4, 2005, 337–371.
  • McNeill, D. Hand and Mind: What Gestures Reveal about Thought, 1992.
  • Mondada, L. Understanding as an Embodied, Situated and Sequential Achievement in Interaction. JP 43, 2011, 542–552.
  • Mondada, L. Multimodal Interaction. In Müller, C. & A. Cienki ad. (eds.), Body – Language – Communication: An International Handbook on Multimodality in Human Interaction, Volume 1, 2013, 577–589.
  • Mortensen, K. Conversation Analysis and Multimodality. In Chapelle, C. A. (ed.), The Encyclopedia of Applied Linguistics, 2013, 1–8.
  • Nekvapil, J. & J. Zeman. Sémiotické poznámky ke vzniku českých písňových textů. SaS 48, 1987, 30–34.
  • Norris, S. Analyzing Multimodal Interaction: A Methodological Framework, 2004.
  • Norris, S. Identity in (Inter)action: Introducing Multimodal (Inter)action Analysis, 2011.
  • Norris, S. Multimodal (Inter)action Analysis: An Integrative Methodology. In Müller, C. & A. Cienki ad. (eds.), Body – Language – Communication: An International Handbook on Multimodality in Human Interaction, Volume 1, 2013a, 275–286.
  • Norris, S. What is a Mode? Smell, Olfactory Perception, and the Notion of Mode in Multimodal Mediated Theory. Multimodal Communication 2, 2013b, 155–169.
  • Partan, S. R. & P. Marler. Communication Goes Multimodal. Science 283, 1999, 1272–1273.
  • Partan, S. R. & P. Marler. Issues in the Classification of Multimodal Communication Signals. American Naturalist 166, 2005, 231–245.
  • Sarapik, V. Picture, Text, and Imagetext: Textual Polylogy. Semiotica 174, 2009, 277–308.
  • Scollon, R. Mediated Discourse: The Nexus of Practice, 2001.
  • Stivers, T. & J. Sidnell. Introduction: Multimodal Interaction. Semiotica 156, 2005, 1–20.
  • Stöckl, H. Typography: Body and Dress of a Text – A Signing Mode between Language and Image. Visual Communication 4, 2005, 204–214.
  • Streeck, J. & Ch. Goodwin ad. (eds.) Embodied Interaction: Language and the Body in the Material World, 2011.
  • Tomasello, M. Origins of Human Communication, 2008.
  • van Leeuwen, T. Introducing Social Semiotics, 2005.
  • van Leeuwen, T. Multimodality and Multimodal Research. In Margolis, E. & L. Pauwels (eds.), The SAGE Handbook of Visual Research Methods, 2014, 549–569.
  • Wodak, R. Critical Discourse Analysis. In Seale, C. & G. Gobo ad. (eds.), Qualitative Research Practice, 2014, 197–213.
  • Zeman, J. Funkce textu v komplexních komunikátech. In Gajda, S. & M. Balowski (eds.), Stylistyczne konfrontacje, 1994, 101–105.
  • Zeman, J. Verbální a neverbální prostředky v komunikaci mládeže, 2013.
Citace
Petr Kaderka (2017): MULTIMODÁLNÍ KOMUNIKACE. In: Petr Karlík, Marek Nekula, Jana Pleskalová (eds.), CzechEncy - Nový encyklopedický slovník češtiny.
URL: https://www.czechency.org/slovnik/MULTIMODÁLNÍ KOMUNIKACE (poslední přístup: 19. 12. 2018)

CzechEncy – Nový encyklopedický slovník češtiny

Všechna práva vyhrazena © Masarykova univerzita, Brno 2012–2018

Provozuje Centrum zpracování přirozeného jazyka