Лаборатория мультиканальной коммуникации

Лаборатория мультиканальной коммуникации создана в 2022 году для изучения устной речи и выявления закономерностей во всех ее проявлениях. В центре внимания оказываются не только вербальные — системные и дискурсивные — характеристики устной коммуникации, но и просодия, жесты и мимика, движение взгляда, поза и др. явления, которые образуют с вербальным компонентом неразрывное единство.

Задачи лаборатории

  • исследовать, какие модальности (вокальные и кинетические), каналы (вербальный, просодический, жестовый, окуломоторный) и средства (вербальные и невербальные) используют говорящие с той или иной степенью регулярности для достижения своих целей;
  • опираясь на предыдущие исследования, разрабатывать такие системы аннотации мультиканального дискурса, которые отражали бы наиболее важные параметры устной речи и, в то же время, были удобными для решения практических задач;
  • изучить и описать особенности речи на русском жестовом языке (РЖЯ), связанные с социолингвистическими характеристиками говорящих (пол, возраст, регион и др.);
  • расширить коллекцию имеющихся мультимодальных баз данных и корпусов (русский мультиканальный корпус; корпус русского жестового языка и др.)

Основные направления исследований

  • изучение формальных и функциональных свойств жестов, сопровождающих речь;
  • анализ варьирования кинетических и вокальных характеристик монологической и диалогической речи в зависимости от прагматических параметров общения;
  • исследование факторов и характера модификаций мануальных и немануальных компонентов в русском жестовом языке (РЖЯ); 
  • разработка систем аннотации мультиканальной коммуникации 

Избранные публикации

  • Ирисханова О.К. (ред.), Киосе М.И. (сост.). Полимодальные измерения дискурса. М.: Языки славянской культуры. 2021. 448 с.
  • Киосе М.И. Секреты интерпретации текста и изображения: конструирование и окулографический эксперимент. М.: Р.Валент, 2021. 
  • Коротаев Н.А. Конструкции с дискурсивными вставками в устной русской речи: базовые типы и просодические свойства // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог». Т. 27. 2021. С. 413–424.
  • Leonteva A.V., Agafonova O.V., Petrov A.A. Self-repair in aborted utterances: a multimodal analysis of simultaneous interpreting. Issues of Cognitive Linguistics 3, 2021. P. 59-66.
  • Khristoforova, E. & V. Kimmelman. Syntax of relativization in Russian Sign Language: Basic features. 2020. Voprosy Jazykoznaniia 6, 48-65.
  • Cienki A., Iriskhanova O.K. Patterns of multimodal behavior under cognitive load: an analysis of simultaneous interpretation from L2 to L1. Issues of Cognitive Linguistics 1, 2020. P.5-11.
  • Kibrik A. A., Korotaev N. A., Podlesskaya V. I. Russian spoken discourse: Local structure and prosody. Eds. S. Izre’el, H. Mello, A. Panunzi, T. Raso. In search of basic units of spoken language: A corpus-driven approach Studies in Corpus Linguistics. Amsterdam: John Benjamins, 2020.P. 37–76.
  • Kiose M.I. The interplay of syntactic and lexical salience and its effect on default figurative responses. Studies in Logic, Grammar and Rhetoric 61(74), 2020. P. 161–178.

Конференции

  • Ирисханова О.К. Прагматический потенциал жестов при решении спонтанных метаязыковых задач // 20–21.10.2021. Минск, Беларусь.  Международная научная конференция «Семантический потенциал языковых единиц и его реализация».
  • Ирисханова О.К. Co-speech gestures in professional contexts: a multimodal analysis of simultaneous interpretation // 13.11.2020. Оксфорд, Великобритания. International Multimodal Communication Centre (IMCC), Research Seminars 2020.
  • Киосе М.И. Fine-tuning for figurative language comprehension among secondary school children. Evidence from eye movement // 29–31.10.2020. София, Болгария. 5th International Conference Figurative Thought and Language.
  • Коротаев Н.А. On temporal alignment between speech and manual gesticulation: Two levels of coordination // 06–08.09.2019. Москва, Россия. 25th Architectures and Mechanisms of Language Processing Conference
  • Коротаев Н.А., Киммельман В.И. // Managing information structure in spoken and sign languages: formal properties and natural discourse organization 21–24.09.2019. Лейпциг, Германия. The 52nd Annual Meeting of the Societas Linguistica Europea.

Проекты лаборатории

Контакты