Просодика это в психологии: — , , :: Soulpsyhology.ru

Промежуточный срез знаний по психологии общения (автор О.Л. Гончарова)

ПРОМЕЖУТОЧНЫЙ СРЕЗ ЗНАНИЙ

ПО ПСИХОЛОГИИ ОБЩЕНИЯ

ТЕСТ №1

Вариант 1

1. Коммуникативная сторона общения – это:

а) обмен информацией между людьми

б) взаимодействие между людьми

в) восприятие друг друга

2. Эмоциональная выразительность способная придавать разный смысл одной и той же фразе – это:

а) жесты

б) мимика

в) интонация

3. Вербальные средства общения – это:

а) средства передачи отношения к партнеру по общению

б) средства передачи словесной информации

в) средства передачи словесной информации и отношения к партнеру

4. Что является предметом в деловом общении?

а) интересы

б) выгода

в) дело

5. Зрительно воспринимаемые движения другого человека, выполняющие выразительно-регулятивную функцию в общении – это:

а) кинесические средства

б) такесические средства

в) проксемические средства

6. Мимика – это:

а) движения руками и головой

б) движение мышц лица

в) эмоциональное состояние человека

7. Средства общения, связанные с голосом – это:

а) экстралингвистика

б) просодика и кинесика

в) просодика и экстралингвистика

8. Что относится к жестам-иллюстраторам?

а) образные картины изображения

б) направление взгляда

в) целенаправленные движения руками

9. Какие средства общения, связаны с пространственной ориентацией?

а) такесические

б) кинесические

в) проксемические

10. Социальное общение предполагает следующие расстояние между партнерами:

а) 45-120 см.

б) 120-400 см.

в) 400-750 см.

ПРОМЕЖУТОЧНЫЙ СРЕЗ ЗНАНИЙ

ПО ПСИХОЛОГИИ ОБЩЕНИЯ

ТЕСТ №1

Вариант 2

1. В каком общении на первом месте стоят вопросы дела?

а) светском

б) духовном

в) деловом

2. Система слов, выражений и правил их соединения в осмысленные высказывания, используемые для общения – это:

а) язык

б) жесты

в) интонация

3. Эффективная форма общения – это:

а) монолог

б) диалог

в) слушание

4. Интерактивная сторона общения – это:

а) взаимодействие между людьми

б) восприятие друг друга

в) обмен информацией между людьми

5. Разнообразные движения руками и головой – это:

а) поза

б) визуальный контакт

в) жесты

6. Общее название ритмико-интонационных сторон речи – это:

а) просодика

б) проксемика

в) экстралингвистика

7. Укажите тип ВНД, соответствующий сангвинику:

а) сильный – уравновешенный – подвижный

б) сильный – неуравновешенный – подвижный

в) сильный – уравновешенный – инертный

8. Укажите тип ВНД, соответствующий флегматику:

а) сильный – неуравновешенный – подвижный

б) сильный – уравновешенный – инертный

в) слабый – уравновешенный – инертный

9. Улыбка, кивок, направление взгляда, целенаправленные движения руками – это:

а) жесты-аффекторы

б) жесты-эмблемы

в) жесты-регуляторы

10. Персональное общение предполагает следующие расстояние между партнерами:

а) 0-45 см.

б) 45-120 см.

в) 120-400 см.

ПРОМЕЖУТОЧНЫЙ СРЕЗ ЗНАНИЙ

ПО ПСИХОЛОГИИ ОБЩЕНИЯ

ТЕСТ №1

Вариант 3

Психология общения – это:

а) раздел общей психологии, изучающий особенности трудовой деятельности человека

б) раздел общей психологии, изучающий психологическое обеспечение решения проблем организации в условиях рыночной системы хозяйствования

в) раздел общей психологии, предметом которого является психологическая специфика процессов общения

2. Жесты – это:

а) положение человеческого тела

б) разнообразные движения руками и головой

в) эмоциональное состояние человека

3. В чем состоит основная задача делового общения?

а) продуктивное сотрудничество

б) доверие друг к другу

в) взаимопонимание собеседника

4. Какое общение направлено на извлечение выгоды от собеседника?

а) формально-ролевое

б) манипулятивное

в) духовное

5. Какой характер общения, если партнеры расположены за столом по обе стороны угла?

а) дружеская беседа

б) оборонительный

в) независимая позиция

6. Какой характер общения, если партнеры расположены за столом по диагонали?

а) оборонительный

б) независимая позиция

в) дружеская беседа

7. Что относится к такесическим средствам общения?

а) поза, походка, жесты

б) мимика, взгляд, жесты

в) рукопожатие, похлопывание

8. Какие средства общения, связаны с тактильным воздействием?

а) кинесические

б) проксемические

в) такесические

9. Индивидуально-психологические особенности человека, определяющие динамику протекания его психических процессов – это:

а) характер

б) темперамент

в) черты характера

10. Высказывания без ориентации на собеседника – это:

а) диалог

б) аудирование

в) монолог

ПРОМЕЖУТОЧНЫЙ СРЕЗ ЗНАНИЙ

ПО ПСИХОЛОГИИ ОБЩЕНИЯ

ТЕСТ №1

Вариант 4

1. Процесс взаимодействия людей, социальных групп, общностей, в котором происходит обмен информацией:

а) сотрудничество

б) общение

в) обмен мнениями

2. Невербальные средства общения – это:

а) средства передачи словесной информации

б) средства передачи отношения к партнеру по общению

в) средства передачи словесной информации и отношения к партнеру

3. Какой характер общения, если партнеры расположены за столом напротив друг друга?

а) независимая позиция

б) дружеская беседа

в) оборонительный

4. Что относится к кинесическим средствам общения?

а) высота голоса, скорость речи, тембр голоса

б) мимика, взгляд, жесты

в) визуальный контакт, рукопожатие, похлопывание

5. Укажите тип ВНД, соответствующий холерику:

а) сильный – неуравновешенный – подвижный

б) сильный – уравновешенный – подвижный

в) сильный – уравновешенный – инертный

6. Укажите тип ВНД, соответствующий меланхолику:

а) слабый – уравновешенный – подвижный

б) сильный – уравновешенный – подвижный

в) слабый – неуравновешенный – инертный

7. Публичное общение предполагает следующие расстояние между партнерами:

а) 400-750 см.

б) 120-400 см.

в) 45-120 см.

8. Жесты, выражающие через движения тела и мышцы лица определенные эмоции – это:

а) жесты-регуляторы

б) жесты-иллюстраторы

в) жесты-аффекторы

9. Касания, поглаживание, перебирание отдельных предметов, находящихся под рукой – это:

а) жесты-иллюстраторы

б) жесты-эмблемы

в) жесты-адапторы

10. Динамические прикосновения в форме рукопожатия, похлопывания – это:

а) проксемические средства

б) кинесические средства

в) такесические средства

ОТВЕТЫ

ТЕСТ №1

Вариант 1

1. а

2. в

3. б

4. в

5. а

6. б

7. в

8. а

9. в

10. б

ТЕСТ №1

Вариант 2

1. в

2. а

3. б

4. а

5. в

6. а

7. а

8. б

9. в

10. б

ТЕСТ №1

Вариант 3

1. в

2. б

3. а

4. б

5. а

6. б

7. в

8. а

9. б

10. в

ТЕСТ №1

Вариант 4

1. б

2. б

3. в

4. б

5. а

6. в

7. а

8. в

9. б

10. в

КРИТЕРИИ ОЦЕНОК

ВАРИАНТ 1, 2, 3, 4
 

Оценка «отлично» ставится, если в тестовых заданиях не допущено ошибок;

Оценка «хорошо» ставится, если в тестовых заданиях допущено 1-2 ошибки;

Оценка «удовлетворительно» ставится, если в тестовых заданиях допущено 3-4 ошибки;

Оценка «неудовлетворительно» ставится, если в тестовых заданиях допущено 5 и более ошибок.

(PDF) Просодические и акустические индикаторы лжи в голосе

эмоционально нейтральном психологическом состоянии» [1, с. 24].

Эксперт, занимающийся выявлением индикаторов лжи в речи, должен иметь

в виду основные ошибки, допускаемые при верификации высказываний. Не

существует способа полностью избежать подобных ошибок, однако следует

принять все возможные меры предосторожности, чтобы снизить их вероятность

до минимума.

Во-первых, следует убедиться, что эксперт объективен, имеет нейтральное

отношение к испытуемому и находится в спокойном эмоциональном состоянии,

т. к. эмоциональное состояние реципиента имеет влияние на его оценку

эмоционального состояния другого коммуниканта [2].

П. Экман описал еще одну частую ошибку экспертов при верификации

высказываний, назвав ее «ошибкой Отелло». «Она случается тогда, когда

верификатор не верит правдивому, испытывающему стресс человеку. Любая из

эмоций, касающихся лжи и приводящих к утечке информации, может

испытываться и по другим причинам в те моменты, когда честного человека

подозревают во лжи. Правдивые люди часто боятся, что им не поверят, и страх,

испытываемый ими из-за этого, очень легко спутать с боязнью разоблачения

лжеца. Иные люди так сильно чувствуют себя виноватыми совершенно по

другим поводам, что это ощущение может всплыть в любой момент, особенно

если их заподозрили в обмане или в совершении чего-либо незаконного»

[3, с. 144].

Анализ речи человека позволяет обнаружить множество индикаторов

неискренности его высказываний. Лингвистическими факторами,

указывающими на реализацию ложных высказываний, могут быть оговорки,

уклончивые ответы, встречные вопросы, обвинения и тирады.

Неподготовленному человеку сложно лгать быстро, так как ему нужно

выиграть время, чтобы продумать дальнейшую линию поведения. В связи с

этим, речи лгущего коммуниканта свойственны уклончивые ответы, а также

встречные вопросы и обвинения. В то время как собеседник обдумывает и

произносит ответ на вопрос, у лгущего коммуниканта появляется время

подготовиться к собственному монологу.

Произнесение ложных высказываний также осложнено внутренней

раздвоенностью в сознании лгущего человека. Для него существует два

параллельных события, одно из которых хранится в его памяти, оно настоящее

и яркое, другое вымышленное, блеклое и часто непродуманное. При реализации

ложного высказывания коммуникант старается подавить яркий образ

действительного события блеклым выдуманным, что заставляет его путаться,

оговариваться и говорить с паузами.

Паузы являются наиболее распространенным признаком обмана. Частые и

продолжительные паузы, а также паузы, происходящие непосредственно перед

ответом на вопрос, всегда кажутся подозрительными. Паузы возникают, в

основном, по двум причинам: либо, если лгущий коммуникант не продумал

линию поведения и тянет время, либо из-за боязни разоблачения. Также человек

может слышать, как неправдоподобно звучит его речь, и бояться быть

пойманным, из-за чего возрастает количество пауз в его речи. Паузы,

заполненные различными горловыми прочистками и мычаниями, также

являются индикаторами неискренности собеседника. Некоторые исследования

Раздел 2. Междисциплинарность в исследовании коммуникативных взаимодействий

Невербальная коммуникация

%PDF-1.3 % 1886 0 obj > >> endobj 1881 0 obj >stream Acrobat Distiller 10.0.1 (Macintosh)UnknownPDF/X-1:2001PDF/X-1a:2001application/pdf

Морозов В. П.

Невербальная коммуникация

Учреждение Российской академии наук Институт психологии РАН 2011

2014-12-01T14:26:20+03:00Adobe InDesign CS5 (7. 0.3)2011-03-04T02:50:06+07:002014-12-01T14:26:20+03:00PDF/X-1a:2001PDF/X-1:2001PDF/X-1:2001uuid:eba88028-b9e9-4a84-a566-4921a82076b1uuid:ad119c3d-7103-46bf-875c-8976dbead3ccTruePrint endstream endobj 1898 0 obj > endobj 1899 0 obj > endobj 1821 0 obj > endobj 1822 0 obj > endobj 1902 0 obj > endobj 1833 0 obj > endobj 1844 0 obj > endobj 1855 0 obj > endobj 1866 0 obj > endobj 1877 0 obj > endobj 1878 0 obj > endobj 1879 0 obj > endobj 1880 0 obj > endobj 1702 0 obj > endobj 1705 0 obj > endobj 1708 0 obj > endobj 1711 0 obj > endobj 1714 0 obj > endobj 1722 0 obj > endobj 1725 0 obj > endobj 1732 0 obj > endobj 1734 0 obj >stream hޜXn8ѐP(qV Tɚf]afyI‡ VB8@r c>9{TX[w9[sWA}vGgϝrYY܄. 9VOԎڒ`Hz}e袣iq&Х.%MיmM=}|K|fS,p=]C;W|\K%»):E=&l;_\iU2>!Ό|m9c8Jpuʘn֕qLpdX86qm~

EpZOO%$qD޺̹{(RѓH󁧔$(˖

Умение общаться – основа успешной деятельности в ЖКХ

Умение общаться – основа успешной деятельности в ЖКХ

Вы узнаете, какие бывают типы и стили общения, какие факторы влияют на успешность общения и как понять другого человека. 

Общение является важнейшей потребностью человеческой личности и общества, поскольку человек – существо социальное. Невозможность общения может вызвать тоску и обусловить деградацию личности.
Все моральные качества и проблемы людей проявляются в общении. Для общения большое значение имеют общечеловеческие ценности: доброта, искренность, взаимопонимание, милосердие, потребность в дружбе, любви, духовность и душевность.
Само общение есть самостоятельная духовно-нравственная ценность.

Важнейшая ценность общения как человеческой деятельности заключается в субъект-субъектном отношении, то есть в отношении одного человека к другому на основе взаимного признания самоценности каждого.

Важнейшее условие общения – это признание за каждым человеком его уникальности и неповторимости, его права быть самим собой.

Инструментальное – это общение, которое преследует какую-то дополнительную цель, кроме получения удовлетворения от самого акта общения.
Содержанием делового общения является то, чем заняты люди, а не те проблемы, которые затрагивают их внутренний мир.
Личностное общение – общение с внутренним миром человека.
Кроме того, выделяют вербальное и невербальное общение.

Живая речь содержит в себе множество сведений, заключённых в так называемых невербальных элементах общения.

Среди них можно назвать следующие:

• Позы, жесты, мимика. В целом они воспринимаются как общая моторика различных частей тела (рук – жестикуляция, лица – мимика, позы – пантомима). Эта общая моторика отображает эмоциональные реакции человека;                                                                                       
• Паралингвистика или просодика – особенности произношения, тембр голоса, его высота и громкость, темп речи, паузы между словами, фразами, смех, плач, вздохи, речевые ошибки, особенности организации контакта;                                                                        
• Проксемика – положение в пространстве;           
• Визуальное общение — контакт глаз.

Невербальные средства общения чаще всего используются для установления эмоционального контакта с собеседником и поддержания этого контакта в процессе беседы, для фиксации того, насколько хорошо человек владеет собой, а также для получения информации о том, что люди в действительности думают о других.

С помощью невербальных средств можно:

• указать собеседнику на особенно важные моменты сообщения,
• интонационно дополнить содержание высказывания,
• выразить чувства говорящего по отношению к собеседнику.

Основными механизмами познания другого человека в процессе общения являются:

• Идентификация. Одним из самых простых способов понимания другого человека является уподобление себя ему. Человек пользуется таким приёмом, когда предположение о внутреннем состоянии партнёра по общению строится на основе попытки поставить себя на его место.
• Эмпатия – это способность к постижению эмоционального состояния другого человека в форме сопереживания. Имеется в виду не рациональное осмысление проблем другого человека, а скорее, эмоциональный отклик на его проблемы.
• Рефлексия – осмысление и анализ человеком своего внутреннего мира: знаний и эмоций, целей и мотивов, поступков и установок.
  А также понимание и оценка отношения окружающих.

Общение включает в себя определенные способы воздействия партнёров друг на друга.
К ним относятся: заражение, внушение, убеждение и подражание.

• Заражение. В самом общем виде его можно определить как бессознательную, невольную подверженность человека определенным психическим состояниям. Оно проявляется через передачу определенного эмоционального состояния или психического настроя.
• Внушение – это целенаправленное неаргументированное воздействие одного человека на другого.
• Убеждение построено на том, чтобы с помощью логического обоснования добиться согласия от человека, принимающего информацию. Убеждение представляет собой интеллектуальное воздействие на сознание личности через обращение к её собственному критическому суждению.
• Подражание. Его специфика, в отличие от заражения и внушения, состоит в том, что здесь осуществляется не простое принятие внешних черт поведения другого человека, а воспроизведение им черт и образов демонстрируемого поведения. Существуют два плана подражания: конкретному человеку или нормам поведения, выработанным группой.

Культура общения содержит в себе совокупность практических приёмов, механизмов и правил. Культурность общения позволяет индивиду не переносить конфликтные ситуации в профессионально-деятельной сфере на эмоционально-личностную область межличностных взаимодействий, понять смысл и мотивацию поступков оппонента, снизить или полностью ликвидировать излишний эмоциональный всплеск в отношениях.

Если исходить из того, что стиль общения – это готовность человека к той или иной ситуации, то можно говорить о трёх основных стилях:

• Для ритуального общения важно правильно распознать ситуацию общения, и представить себе, как себя в ней вести.
• Манипулятивное общение – это общение, при котором к партнёру относятся как к средству достижения внешних по отношению к нему целей. Собеседнику важно продемонстрировать только то,
  что поможет достижению цели.
• Гуманистическое общение – это в наибольшей степени личностное общение, позволяющее удовлетворить потребность в понимании, сочувствии, сопереживании.

По характеру и содержанию общение бывает формальным (деловое) и неформальным (светское, обыденное, бытовое).

Деловое общение – это процесс взаимосвязи и взаимодействия, в котором происходит обмен деятельностью, информацией и опытом, предполагающим достижение определенного результата, решение конкретной проблемы или реализацию определённой цели.

Деловое общение отличается от бытового тем, что в его процессе ставятся цель и конкретные задачи, которые требуют решения.

Ни в коем случае не следует:

• перебивать партнера, негативно оценивать его личность, подчёркивать разницу между собой и партнером, резко убыстрять темп беседы;
• избегать пространственной близости и не смотреть на партнера, пытаться обсуждать вопрос рационально, не обращая внимания на то, что партнер возбужден;
• не понимать или не желать понять психологическое состояние собеседника.

• Общение на равных.
• Отсутствие желания выяснять, кто прав, а кто виноват.
• Поиск компромиссных решений.
• Умение выстраивать успешные отношения.
• Умение принимать во внимание мнение другого человека.

Общение – это искусство, центральное и важнейшее звено в жизни большинства современных людей. Успешное общение – залог наших жизненных побед и достижений.

Диалог – это естественная среда человека. Однако, не каждый человек умеет контактировать с окружающими правильно.

Навыки общения психологи считают одним из самых важных факторов успешности человека. От того, как человек общается, зависит его карьера, наличие друзей, личная жизнь.

границ | Просодия в слуховой и визуальной областях: перспективы развития

Введение

Человеческий язык — интересный вход, поскольку его можно воспринимать как ушами, так и глазами. Например, понимание речи взрослыми в шумной и тихой обстановке улучшается, когда они имеют доступ к визуальным подсказкам, передаваемым лицом говорящего (Sumby and Pollack, 1954). В личном общении задействовано все тело, которое может служить информативным целям (Kelly and Barr, 1999 для обзора; Kendon, 2004).Люди во всем мире спонтанно жестикулируют во время разговора. Эти сопровождающие речь жесты, называемые « жесты совместной речи », настолько связаны с речью, что люди используют свои руки, даже когда их никто не видит (Corballis, 2002), а от рождения слепые люди жестикулируют при взаимодействии друг с другом (Iverson and Goldin-Meadow , 1998 и Goldin-Meadow, 1998). Жесты могут быть определены на основе артикулятора, который используется для их создания (голова, как при кивках или наклонах головы; рука, как при указании вручную, ручных ударах или знаковых жестах; лицо, как при устных жестах) или в выражениях лица, таких как движения бровей), в зависимости от того, сопровождаются ли они речью (жесты совместной речи), или в зависимости от того, является ли движение жестом непрерывным или дискретным (см. Wagner et al., 2014 для обзора). Другой порядок вещей — это функция, для которой они используются в языке и общении. Жесты могут выполнять дейктическую функцию или функцию выделения, они могут изображать и представлять семантические значения, они могут структурировать информацию в дискурсе и быть индикатором прагматических импликатур, которые необходимо использовать для успешного общения. Поскольку все эти уровни имеют параллели с просодическими свойствами речи, эти жесты также называют визуальными коррелятами просодии.

Теперь ясно, что жесты совместной речи выполняют несколько когнитивных функций. Некоторые исследования были сосредоточены на функциях, управляемых говорящим, предполагая, что жесты могут облегчить когнитивную нагрузку говорящего (Cook and Goldin-Meadow, 2006; Chu and Kita, 2011), способствовать обучению (Ping and Goldin-Meadow, 2010), помочь в концептуальном планировании информации и дискурса (Alibali et al., 2000; Cutica and Bucciarelli, 2008) и облегчить лексический доступ (Rauscher et al., 1996; Alibali et al., 2000). Другие подчеркивают, что жесты улучшают передачу информации, обеспечивая ее кросс-модальность, тем самым облегчая восприятие адресатами (De Ruiter et al. , 2012; Guellaï et al., 2014). Эти предложения учитывают использование взрослыми жестов совместной речи и сосредотачиваются на жестах, имеющих референтное значение в общении (дейктические и иконические движения рук). Тем не менее, они менее эффективны для объяснения паттернов развития, а также роли жестов, не имеющих отношения к референции, в общении (таких как мимика и ритмические «удары»).

В следующих разделах мы предлагаем изучить связи развития между речью и движениями тела (т.е., жесты руками и головой и мимика), сосредоточив внимание на одном конкретном лингвистическом аспекте, а именно на просодии. Просодические свойства речи включают в себя известность, фразовую организацию, типы речевых актов, эмоции, отношения и убеждения (например, Пьерумберт и Хиршберг, 1990; Ladd, 1996; Byrd and Saltzman, 2003; июнь, 2005). Растет количество исследований, показывающих, что просодия выражается не только через тональные и временные свойства речи, но также посредством движений тела, производимых рукой, головой или лицом (например,г. , Krahmer and Swerts, 2007; Cvejic et al., 2012; Guellaï et al., 2014). Обнаружено, что речевые и жестовые аспекты просодии тесно взаимосвязаны на временном, семантическом и прагматическом уровнях, и это верно не только для речи взрослых, но и для языкового развития.

Движения тела говорящего координируются во времени с просодической структурой речи, акцентами высоты тона и граничными тонами, служащими точками привязки для основных фаз в движениях тела (Hadar et al., 1983; De Ruiter, 1998; Leonard and Cummins, 2011; Esteve) -Gibert and Prieto, 2013; Ishi et al., 2014; Амбразайтис и Хаус, 2017; Esteve-Gibert et al., 2017a). На семантическом и прагматическом уровнях просодия и жесты могут иметь дейктический компонент, посредством которого говорящие выделяют определенные элементы речи (Levelt et al., 1985; Roustan and Dohen, 2010), они могут устранять неоднозначность синтаксических составляющих (Guellaï et al., 2014; Krivokapic et al., 2016) и взаимно влияют на обработку эмоций, убеждений и установок говорящего (Ekman, 1979; Kendon, 2004; Poggi et al. , 2013). В мультимодальном выражении просодии размер жеста может состоять из движений руки или головы, мимики или позы тела.Традиционно различные типы движений тела изучаются независимо (например, выражения лица привлекают больше внимания в литературе, посвященной эмоциям, в то время как движения рук были в центре внимания исследований референтной ценности жестов в языке). В данной статье мы будем называть эти различные типы движений «жестами», поскольку мы полагаем, что более интересно рассматривать их как единое целое, чтобы иметь полную картину взаимоотношений речи и жестов в развитии языка и коммуникации.

Временные аспекты интеграции аудиовизуальной речи в младенчестве

Младенцы должны понимать богатые мультисенсорные стимуляции, присутствующие в их повседневном опыте. Установлено, что с самых ранних стадий развития младенцы связывают фонетическую информацию с губ и голоса (Kuhl and Meltzoff, 1984; Aldridge et al., 1999; Patterson and Werker, 2003). В этих исследованиях младенцам были представлены видео, расположенные рядом, с изображением двух лиц, произносящих две гласные (т. е., / i / vs. / a /), при этом слыша только одну гласную (т.е. либо / i /, либо / a /). Считается, что младенцы способны обнаруживать аудиовизуальное соответствие, если они дольше смотрят на соответствующий стимул. Примечательно, что есть свидетельства того, что с рождения младенцы обнаруживают эквивалентную фонетическую информацию в губах и голосе (Aldridge et al., 1999). Слухово-визуальное фонетическое соответствие также показано через 2 месяца (Patterson and Werker, 2003), через 4 с половиной месяца (Patterson and Werker, 1999) и через 8 месяцев в зависимости от пола говорящего (Patterson and Werker, 2002). ).Когда гласные сокращаются до синусоидальных аналогов или простых тонов, младенцы больше не обнаруживают конгруэнтное видео (Kuhl et al., 1991). Взятые вместе, эти исследования, сосредоточенные на периоральных и лицевых сигналах, показывают, что у младенцев уже есть примитивы чтения по губам для отдельных звуков речи.

Что касается производства, то новорожденные подносят руки и предметы ко рту и изучают их орально, это поведение считается самыми ранними признаками связи устной и мануальной речи в развитии речи (Iverson and Thelen, 1999). Приблизительно в возрасте 6–7 месяцев младенцы начинают лепетать, ритмичное движение челюсти с закрытием-открытием, которое приводит к воспроизведению слогов (Oller, 2000; Vihman et al., 2009). В этом же возрасте младенцы начинают производить ритмичные движения рук, которые во времени совпадают с бормотанием голоса (Ejiri, 1998; Iverson and Fagan, 2004). Интересно, что акустическое качество лепета младенцев улучшается, когда младенцы сочетают эти вокализации с ритмическими движениями рук, поскольку слоги становятся короче и демонстрируют более короткие переходы формантной частоты (Ejiri and Masataka, 2001).

Выровненная по времени координация жестов и речи также присутствует на более поздних стадиях развития речи. В начале словообразования младенцы начинают сочетать вокализации с указывающими жестами, сигнализирующими о референтах в пространстве, и эти жесты и речевые измерения своевременно выравниваются, как у взрослых: акцентированный слог в речи совпадает с вершиной указывающего жеста (Мясник и Goldin-Meadow, 2000; Esteve-Gibert, Prieto, 2014). Позже, в возрасте 4–5 лет, мы наблюдаем появление двухфазных движений тела, которые не имеют никакого референтного значения и синхронизированы с акцентами высоты тона, которые дети используют, чтобы выделить конкретную информацию в предложении (Nicoladis et al., 1999; Капоне и МакГрегор, 2004; Эстев-Гиберт и др., 2017b; Мэтью и др., 2017). Эти движения обычно производятся рукой, рукой или головой и в литературе по жестам называются ударами (Kendon, 2004; McNeill, 2005; Wagner et al., 2014). Удары представляют собой четкое свидетельство ритмического увлечения между акустическим и визуальным измерениями языка, поскольку обнаружено, что говорящие обязательно изменяют акустические свойства речи, когда они производят эти движения тела (Krahmer and Swerts, 2007).Таким образом, просодическая структура, по-видимому, наблюдается на уровне речи и жестов, причем оба измерения точно выровнены во времени с ранних стадий развития языка.

Значение аудиовизуальной интеграции для изучения слов

Обращаясь к младенцам, взрослые обычно используют речевой регистр, который обычно называется Infant-Directed Speech (IDS). Этот речевой регистр был в центре внимания многочисленных исследований, поскольку он отражает особенности слуховой области.Для него характерны более низкая скорость речи и увеличенные колебания высоты звука по сравнению со взрослой управляемой речью (ADS) (например, Fernald and Simon, 1984; Grieser and Kuhl, 1988; Fisher and Tokura, 1995). Контрасты гласных и согласных более четко воспроизводятся в IDS, и это акустическое различие помогает младенцам строить свои фонемы (Kuhl et al., 1991; Werker et al., 2007; Cristia, 2011). Кроме того, более низкая скорость речи и свойства гласных помогают 21-месячным детям лучше учить и запоминать новые слова (Song et al., 2010; Ma et al., 2011).

Также было замечено, что IDS ассоциируется с преувеличенными лицевыми сигналами: обращаясь к младенцам, воспитатели обычно преувеличивают мимику и артикуляционные жесты губ для угловых гласных (Chong et al., 2003; Green et al., 2010). Утверждалось, что визуальная IDS привлекает внимание младенцев к говорящему и помогает им анализировать речевой поток (Kitamura and Burnham, 2003). Некоторые авторы исследовали чувствительность к временной синхронности визуальной просодии, используя непрерывную IDS (Blossom and Morgan, 2006).Они обнаружили, что младенцы в возрасте 10–11 месяцев используют визуальную просодию для извлечения информации о структуре языка при сопоставлении синхронных лиц и голосов. Совсем недавно было показано, что 8-месячные младенцы надежно обнаруживают соответствие между совпадающими слуховыми и визуальными отображениями говорящего лица на основе просодических движений (Kitamura et al., 2014), и что 9-месячные младенцы могут определить, действительно ли ручной дейктический жест согласован с соответствующим речевым сегментом (Esteve-Gibert et al., 2015). Используя парадигму интермодального согласования, Китамура и др. (2014) представили 8-месячных младенцев с двумя визуальными отображениями говорящих лиц (т. Е. Только движущимися точками) и одним высказыванием, которое соответствовало одной из двух конфигураций лица. Результаты показали, что младенцы надежно обнаруживают слуховые и зрительные конгруэнтности на дисплеях. Похоже, что эта способность проявляется на раннем этапе развития, поскольку новорожденные уже способны сопоставить отображение лица с соответствующим речевым потоком (Guellaï et al., 2016).

Еще одно измерение IDS — это телесные жесты лиц, осуществляющих уход, которые запускают и улучшают обработку речи. Действительно, воспитатели сопровождают речь дейктическими и знаковыми жестами, когда рассказывают младенцам об объектах и ​​действиях (Clark and Estigarribia, 2011; Esteve-Gibert et al., 2016), и выделяют референтную коммуникацию, маркируя объекты, перемещая их синхронно с речью ( Gogate et al., 2000; Джесси, Джонсон, 2016). Использование опекунами жестов совместной речи, по-видимому, улучшает восприимчивый словарный запас и навыки памяти у младенцев (Goodwyn et al., 2000; O’Neill et al., 2005; Заммит и Шафер, 2011; Игуалада и др., 2017). Игуалада и др. (2017) тестировали дошкольников в задании на изучение слов, в котором определенные слова в списке сопровождались жестом удара, и результаты показали, что слова, совпадающие с жестами, запоминаются лучше, чем слова без жестов.

Тем не менее, влияние жестов, управляемых младенцами (или «жестов») на развитие речи, остается нерешенной проблемой. Некоторые исследования показали, что малыши лучше усваивают слова, если взрослые сопровождают ярлыки объектов дейктическими и символическими жестами и направляют свой взгляд на объект (Booth et al., 2008; McGregor et al., 2009). Однако другие результаты не подтверждают эту гипотезу, некоторые результаты показывают отсутствие или очень небольшое влияние использования родителями дейктических и символических жестов на способность младенцев к обучению слов (Zammit and Schafer, 2011; Puccini and Liszkowski, 2012).

Мультимодальное развитие навыков дискурса и повествования

Интересным аспектом просодии является то, что она также может передавать информацию о синтаксисе (Nespor and Vogel, 1986, 2007; Langus et al., 2012).Например, можно манипулировать просодическими сигналами, чтобы влиять на то, как слушатели интерпретируют синтаксически неоднозначные предложения (Lehiste, 1973; Cooper, Paccia-Cooper, 1980; Price et al. , 1991; Carlson et al., 2001). Эти эффекты проявляются очень быстро во время понимания предложения (Marslen-Wilson et al., 1992; Warren et al., 1995; Nagel et al., 1996; Kjelgaard, Speer, 1999; Weber et al., 2006). В визуальной области так называемые жесты удара, похоже, также используются для обработки структуры речевого сигнала.В таких языках, как итальянский, английский, голландский или каталонский, ритмические жесты выровнены по времени с акцентами высоты тона и граничными тонами (Yasinnik et al., 2004; Krahmer and Swerts, 2007; Esteve-Gibert et al., 2017a; Krivokapic et al. ., 2017). Guellaï et al. (2014) показали, что спонтанные жесты, сопровождающие речь, могут восприниматься взрослыми как просодические маркеры. Это свидетельство идет в том же направлении, что и модель, основанная на израильском жестовом языке (ISL), показывающая, что положения тела совпадают с ритмическими ручными особенностями подписывающего потока, чтобы обозначить просодические границы (Nespor and Sandler, 1999; Sandler, 1999, 2005, 2011, 2012).

Спикеры используют просодические средства для выделения новой и важной информации в текущем дискурсе и для обозначения концептуальной структуры высказываний в повествовании (Swerts and Geluykens, 1994; Gussenhoven, 2004; Baumann and Grice, 2006; Ladd, 2008). Аналогичным образом обнаружено, что визуальные стратегии выполняют аналогичные функции. Артикуляционные и головные жесты улучшают восприятие контрастного фокуса (Dohen and Loevenbruck, 2009; Swerts and Krahmer, 2010; Kim et al., 2014; Prieto et al., 2015), а телесные жесты, такие как движения бровей и головы, производятся меньше. чаще как маркер темы, чем как маркер рема (Ambrazaitis and House, 2017).

Дети относительно поздно развивают дискурсивные и повествовательные навыки. Примерно в 5 лет дети используют маркеры дискурса, похожие на взрослые, зависимые предложения и сентенциональный фокус, чтобы описывать действия с последовательной структурой, и эти способности продолжают развиваться в течение следующих лет (Hudson and Shapiro, 1991; Berman and Slobin, 1994). ; Diessel, Tomasello, 2005; Kallay, Redford, 2016). Вопрос в том, возникают ли жестовые и просодические маркеры вместе с развитием синтаксических и лексических маркеров концептуальной структуры.Что касается жестов, то дети в возрасте от четырех до пяти лет используют жесты ударов, чтобы выделить конкретную информацию в предложении (Nicoladis et al., 1999; Capone and McGregor, 2004; Esteve-Gibert et al., 2017b; Mathew et al., 2017). ). В повествовании кажется, что дети больше жестикулируют, когда произносят более длинные предложения с большим количеством связок (Nicoladis et al., 1999; Graziano, 2011, 2014; Colletta et al., 2014), и они используют разные типы жестов в зависимости от возраста и возраста. тип дискурса, который они производят (Alamillo et al., 2013). Кроме того, они демонстрируют лучшие повествовательные навыки в игре по пересказу историй, если у них есть доступ к ручным жестам, обозначающим фокус информации и границы событий (Vilà-Giménez et al., 2017). Что касается речевой просодии, дети в возрасте пяти и шести лет используют соответствующие тональные акценты с правильным выравниванием, чтобы сигнализировать о новой информации в дискурсе (см. Chen, 2018 для обзора), а в повествованиях они отмечают границы событий с помощью высоты тона. направление и линейность (Kallay, Redford, 2016).Хотя результаты литературы о жестах, кажется, предполагают, что жестовая маркировка структуры дискурса напрямую коррелирует с развитием языковых навыков, результаты менее убедительны с точки зрения просодии речи. Каллай и Редфорд (2016) предполагают, что корреляция между развитием языковых навыков и развитием структуры дискурса может происходить на уровне локальных характеристик основного тона, в то время как более глобальные аспекты просодии дискурса, такие как крутизна наклона, сброс высоты тона или длительность паузы. может быть опосредовано неязыковыми факторами, такими как дыхание.

Мультимодальные сигналы в развитии эмоционального восприятия и производства

Навыки восприятия, связанные с эмоциями, развиваются в очень раннем младенчестве. Было обнаружено, что 5-месячные младенцы способны различать две разные эмоции на основе выражения лица говорящего и акустических свойств речи (Fernald, 1993; Grossmann et al. , 2006; Vaillant-Molina et al. ., 2013). Доказательства использования непрерывной речи обычно показывают, что младенцы полагаются на соответствие между слуховыми эмоциями (счастье, гнев) и соответствующими выражениями лица (Сокен и Пик, 1992; Уокер-Эндрюс, 1997).Что касается продуктивности, то младенцы в возрасте 4–5 месяцев выражают эмоции, такие как грусть или удовольствие, посредством мимики, а в возрасте 12 месяцев выражение их лица может сигнализировать о страхе, боли, удивлении или интересе (Sullivan and Lewis, 2003) . В аналогичном возрасте голосовые сигналы также отражают их эмоциональное состояние (Scheiner et al., 2002; Oller et al., 2013; Lindová et al., 2015).

Однако гораздо позже дети используют эту раннюю чувствительность к визуальным и акустическим характеристикам эмоций, чтобы понять аффективное состояние своего собеседника (Nelson and Russell, 2011; Quam and Swingley, 2012; Berman et al., 2016). Берман и др. (2016) разработали задачу, в которой 3- и 5-летние дети должны были сопоставить изображения счастливых и грустных лиц со счастливой и грустной речью, при этом явная (указывая) и неявная (взгляд глазами) ) ответы были измерены. Результаты показали, что только 5-летние дети могли явно сопоставить соответствующие акустические и визуальные сигналы эмоций, а в 3-летнем возрасте они могли сделать это только неявно для пары с отрицательной валентностью.

Еще более сложными для детей являются стимулы, в которых говорящий намеренно не совпадает с аудиовизуальными сигналами эмоций из контекстной и лексической информации с целью быть ироничным.В таких случаях дети в возрасте 5–6 лет склонны интерпретировать высказывание буквально, даже если просодические эмоции сигнализируют об иронии говорящего (Nakassis and Snedeker, 2002; Laval, Bert-Erboul, 2005; Aguert et al., 2013; Bosco et al., 2013), и только в том случае, если высказывание производится вместе с визуальными сигналами эмоции, дети могут вывести нелуквальный смысл (Gil et al., 2014; González-Fuente, 2017). Взятые вместе, все эти результаты показывают, что голосовые и визуальные сигналы эмоций распознаются и используются в очень раннем младенчестве, и что дети используют эти ранние навыки для обработки эмоций других людей, когда появляются более сложные когнитивные способности.

Акустические и визуальные маркеры намерений, установок и убеждений

Младенцы распознают и выражают свои социальные намерения и коммуникативные цели на очень раннем этапе развития, и для этого они используют просодические средства и жесты. Двенадцатимесячные младенцы полагаются на шаг, продолжительность и форму жеста (указание открытой ладонью, указательный палец и т. Д.), Чтобы понять, общается ли собеседник, чтобы запросить предмет, чтобы проинформировать опекуна. о его наличии или поделиться интересом к нему (Behne et al., 2012; Саккалу и Гаттис, 2012; Эстев-Гиберт и др., 2017c; Rohlfing et al., 2017). Например, 12-месячные младенцы используют форму указывающего жеста и информацию из контекста, чтобы понять, что их собеседник обращается к определенному объекту в пространстве с определенным социальным намерением (Behne et al., 2012). Интересно, что когда контекстные сигналы неоднозначны или неинформативны, 12-месячные младенцы используют форму указывающего жеста в сочетании с просодическими особенностями речи, чтобы сделать вывод о прагматических намерениях говорящего (Esteve-Gibert et al. , 2017c). Спустя несколько месяцев, примерно в возрасте 15 месяцев, младенцы распознают действие как случайное или преднамеренное только по просодическим особенностям речи собеседника (Sakkalou and Gattis, 2012).

На этих долексических стадиях развития языка просодия и жесты также позволяют младенцам выражать свои намерения по отношению к собеседнику. Мы знаем, что 12-месячные младенцы показывают жесты указателя в сторону объектов в пространстве с целью запроса или декларирования информации, интереса, отношения или действий (Tomasello et al., 2007; Ковач и др., 2014). Кажется, что не только указывающие жесты, но и просодические сигналы сопровождающих их вокализаций указывают на намерение младенца (Grünloh and Liszkowski, 2015; Aureli et al., 2017). Аурели и др. (2017), например, обнаружили, что, когда изучающие итальянский язык дети в возрасте от 12 до 18 месяцев намереваются произвести точки с декларативной функцией, интонация вокализации, сопровождающая эти точки, в основном падает, в то время как она повышается, чтобы сопровождать точки, нацеленные на спрашивать предметы у собеседника (таким образом, аналогично тому, что происходит во взрослой речи).

Убеждения и отношение говорящего к содержанию сообщения также передаются через голосовые и визуальные стратегии. Просодические сигналы, такие как скорость речи, уровень и направление голоса или качество голоса, а также жесты, такие как нахмурение бровей, наклон головы или пожимание плечами, надежно указывают на то, что говорящий неуверен, недоверчив или вежлив (Krahmer and Swerts, 2005; Dijkstra et al., 2006; Crespo Sendra et al., 2013). Детям необходимы сложные когнитивные умственные способности (так называемая «теория разума»), чтобы понимать и выражать эти значения на языке (Wellman, 1990; Perner, 1991; Gopnik, 1993).Вопросу о том, когда появляются эти способности, посвящено большое количество исследований. Некоторые исследователи предполагают, что только в возрасте от четырех до пяти лет у детей полностью развиты способности чтения мыслей, поскольку именно в этом возрасте они успешно справляются с задачами, основанными на ложных убеждениях (Wimmer and Perner, 1983; Baron-Cohen et al. , 1985). . Третьи утверждают, что младенцы раннего возраста демонстрируют когнитивные способности такого рода, когда используются менее требовательные к познанию задачи (Onishi and Baillargeon, 2005; Baillargeon et al., 2010; Kovács et al., 2010). Исследования, изучающие развитие просодических и жестовых сигналов для интерпретации убеждений и взглядов другого человека, показывают, что понимание веры детьми значительно возрастает в дошкольном возрасте. Например, в возрасте 3–5 лет дети с большей вероятностью обнаруживают убеждения говорящего о том, что он / она говорит, благодаря выражению лица говорящего, и, что интересно, более точными являются те, которые обладают более сложными навыками обоснования убеждений. (Армстронг и др., 2014). Обнаружено, что визуальная информация является более сильным сигналом для дошкольников, чем просодические сигналы неопределенности, даже если просодия является более сильным индикатором, чем лексическая информация (Moore et al., 1993; Hübscher et al., 2017). Что касается производства, дети сначала используют просодию, а не лексические сигналы, чтобы обозначить неуверенность в речи (Hübscher et al., 2016), а в возрасте 7–8 лет они сигнализируют о неуверенности с помощью мимики, например, приподнятых бровей, нахмуренных бровей или смешных рожиц, и с просодическими сигналами, такими как наполнители, задержки и высокая интонация (Krahmer and Swerts, 2005; Visser et al., 2014). Все вместе эти исследования показывают, что дети используют акустические и визуальные компоненты просодии перед лексическими маркерами, чтобы понять и сформировать убеждения и отношения на языке. Тем не менее, необходимы дополнительные исследования, чтобы разобраться, какое из этих просодических измерений (визуальное или акустическое) является первым, и зависит ли этот путь развития от когнитивных способностей ребенка и / или от конкретного исследуемого языкового значения.

Обсуждение

Настоящий обзор направлен на освещение недавних открытий в области интеграции речи в слуховой и зрительной областях с упором на просодический уровень. Хотя появляется все больше свидетельств связи между речью и жестами, мы не до конца понимаем относительный вес каждой модальности в понимании языка, и нам необходимо выяснить, имеет ли просодия параллельные формы и функции в акустической и визуальной областях. Ответить на эти вопросы может помочь развивающий подход.

Исследования развития могут помочь понять, являются ли жесты частью языковой системы говорящего. Существуют убедительные доказательства того, что младенцы и дети сначала используют модальность жестов для обозначения объектов в пространстве, прежде чем они используют для этого слова и сочетания слово-жест (Bates et al., 1979; Мясник и Голдин-Мидоу, 2000; Эстев-Гиберт и Прието, 2014). Фактически, количество референтов, указывающих жестами, является надежным признаком словарного запаса младенцев на более поздних стадиях (Rowe and Goldin-Meadow, 2009; Igualada et al., 2015), а количество сочетаний указывающих-речевых комбинаций в 18 месяцев возраста (когда указание и речь дают дополнительные значения) является надежным предиктором сложности предложения в возрасте 42 месяцев (Rowe and Goldin-Meadow, 2009). Мэтью и др. (2017) наблюдали, что 6-летние дети производят жесты «ритма» с функцией подчеркивания, но, что удивительно, слова, сопровождающие жест, не всегда имели акцент высоты тона, предполагая, что дети все еще учатся использовать речевую модальность для выделения элементов дискурса. , в то время как они, кажется, уже освоили жест.Хотя не все языковые функции появляются первыми в визуальной модальности (обратите внимание, например, что малыши сначала выражают действия с помощью глаголов и только позже могут представлять то же действие с помощью знаковых жестов, изображающих это действие; Özçaliskan et al., 2003), Вышеупомянутые результаты показывают, что младенцы и дети действительно используют жесты для языковых целей и что речь и жесты могут быть частью одной лингвистической и коммуникативной системы (Kendon, 1980; McNeill, 1992; Goldin-Meadow, 1998).

До сих пор остается открытым вопрос, почему одни лингвистические функции сначала выражаются посредством жестов, а некоторые другие впервые наблюдаются в акустическом измерении. Парладе и Иверсон (2011) предлагают динамический системный подход, чтобы справиться с тем фактом, что младенцы предпочитают использовать одну модальность перед другой для данной лингвистической функции на определенных этапах развития языка. По мнению этих авторов, в периоды, когда младенцы повышают свои навыки в одном коммуникативном поведении, может наблюдаться временный регресс в альтернативном коммуникативном поведении.Например, авторы обнаружили, что, когда словарный запас младенцев увеличивается, их производство мультимодальных коммуникативных форм поведения (то есть сочетания вокала, жестов и аффективного поведения) снижается. Позже, когда словарный запас стабилизируется, частота мультимодального коммуникативного поведения снова возрастает. Однако остается неясным, почему определенные языковые функции сначала проявляются через жест, а не через речь, и наоборот, а также какие моторные, когнитивные или коммуникативные факторы могут влиять на это поведение.

Исследования изображений мозга также могут помочь выявить возможность связи жестов и речи в языке. Действительно, у взрослых людей было показано, что слушание речи вызывает нервные реакции в моторной коре. Это было спорно интерпретировано как доказательство того, что звуки речи обрабатываются как артикуляционные движения (Pulvermüller and Fadiga, 2010). Недавно Biau et al. (2016) оценивали синхронность ударов по произвольным визуальным подсказкам, имеющим такие же ритмические и пространственные свойства, как жесты.Их результаты показали, что левая средняя височная и нижняя лобная кружочки были особенно чувствительны к речи, синхронизированной с ударами, по сравнению с произвольным парным зрением и речью. Следовательно, похоже, что совместные речевые жесты и восприятие речи реализуются через специализированную мозговую сеть, чувствительную к коммуникативному намерению, передаваемому всем телом говорящего.

Существует очень мало исследований, изучающих признаки развития голосово-моторных связей на нервном уровне, и большинство данных поступает из популяций с нарушениями развития и травмами головного мозга. Например, обнаружено, что у детей с перинатальным поражением головного мозга как более низкая скорость производства жестов, так и меньший словарный запас (Sauer et al., 2010). Другой способ определить связи между жестами и речью — изучить, как сенсомоторная обратная связь влияет на слухово-визуальную обработку речи, например, путем исследования того, влияет ли производство жестов на беглость речи младенцев. Если будет получено больше доказательств, показывающих, что жест и речь взаимно влияют друг на друга в языковом производстве, восприятии и понимании, это может свидетельствовать о том, что они являются частью языковой системы, а не только коммуникативными средствами, особенно в процессе развития.

Среди лингвистических аспектов, более четко раскрывающих связь жестов / речи, мы показали, что просодия имеет видный статус. Просодические цели — это точки привязки для совмещения ручных жестов и мимики, акценты высоты тона, привлекающие заметные фазы жестов, и границы просодических фраз, обрамляющие объем жестовых движений. Это верно и для взрослых (Hadar et al., 1983; De Ruiter, 1998; Leonard and Cummins, 2011; Esteve-Gibert, Prieto, 2013; Ferré, 2014; Ishi et al., 2014; Ambrazaitis and House, 2017; Esteve). -Gibert et al., 2017a), и, похоже, это справедливо и для младенцев и детей (Butcher, Goldin-Meadow, 2000; Esteve-Gibert, Prieto, 2014; Mathew et al., 2017). Хотя необходимы дополнительные исследования для изучения закономерностей этой временной связи в продуктах младенцев (особенно на этапах, когда эти просодические цели становятся подобными взрослым), исследования восприятия показывают, что младенцы чувствительны к выравниванию просодических и визуальных сигналов уже в 8 –9 месяцев (Kitamura et al., 2014; Esteve-Gibert et al., 2015). Было высказано предположение, что движущей силой этой временной связи является двунаправленное влияние между жестами и речевыми «импульсами» (т.пики в непрерывном ритме) (McNeill, 1992; Tuite, 1993; Iverson, Thelen, 1999; Port, 2003; Rusiewicz, Esteve-Gibert, 2018).

Просодия и жесты также пересекаются с точки зрения того, для каких лингвистических функций они используются. Младенцы используют визуальные корреляты просодии для сегментации речевого потока (например, Kitamura et al., 2014; Guellaï et al., 2016), чтобы организовать информацию на уровне дискурса (например, Nicoladis et al., 1999; Capone and McGregor, 2004; Мэтью и др., 2017), а также для выражения эмоций, намерений и убеждений (Салливан и Льюис, 2003; Эстев-Гиберт и Прието, 2014; Берман и др., 2016; Аурели и др., 2017; Гонсалес-Фуэнте, 2017). Дети чувствительны к тому факту, что визуальные сигналы передают соответствующее языковое значение, и экспериментальные данные показывают, что жесты обрабатываются раньше и точнее, чем просодические или лексические сигналы (Armstrong et al., 2014; Esteve-Gibert et al., 2017c; Hübscher et al. др., 2017). Если будущие исследования подтвердят, что младенцы и дети сначала обрабатывают с помощью визуальных сигналов то, что они позже учатся обрабатывать акустически, это будет означать, что жесты играют ключевую роль в развитии лингвистических категорий и что они не только предшествуют, но и служат основой для развития языка (см. Предложение по этому поводу в Hübscher et al., 2017). Более того, более подробно изучая, как визуальные и акустические сигналы просодии возникают, развиваются и взаимодействуют в процессе развития, мы сможем разработать модели, которые могут предсказывать и направлять вмешательство в случае развития атипичной речи. Рассмотренные здесь исследования показали, что жесты тесно связаны с просодией на формальном и функциональном уровнях и на разных этапах развития языка. Тем не менее, необходимы дальнейшие исследования, чтобы полностью прояснить происхождение этих ссылок и их значение для усвоения языка.

Авторские взносы

Все авторы в равной степени участвовали в обсуждении и написании рукописи. BG играет ведущую роль в разделе 1 (Введение), разделе 3 (Обучение словам) и разделе 7 (Обсуждение), в то время как NE-G играет ведущую роль в разделе 2 (Временные аспекты), разделе 4 (Навыки повествования). , раздел 5 (Эмоции) и раздел 6 (Намерения, отношения и убеждения).

Финансирование

Это исследование финансировалось постдокторским грантом FJCI-2015-26845 (Министерство экономики, промышленности и конкурентоспособности Испании) NE-G, а также Фондом Fyssen для BG.

Заявление о конфликте интересов

Авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могут быть истолкованы как потенциальный конфликт интересов.

Благодарности

Мы благодарим Пилар Прието, Майю Гратье и Алана Лангуса за их идеи и обсуждение исследований, представленных в этой статье.

Список литературы

Aguert, M., Laval, V., Lacroix, A., Gil, S., and Le Bigot, L.(2013). Вывести эмоции из речевой просодии: в пять лет не так-то просто. PLoS One 8: e83657. DOI: 10.1371 / journal.pone.0083657

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Аламилло А. Р., Коллетта Дж. М. и Гвидетти М. (2013). Жест и язык в повествованиях и объяснениях: влияние возраста и коммуникативной активности на развитие позднего мультимодального дискурса. J. Child Lang. 40, 511–538. DOI: 10.1017 / S0305000

0062

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Олдридж, М. А., Брага, Э. С., Уолтон, Г. Э., и Бауэр, Т. Г. Р. (1999). Интермодальное представление речи у новорожденных. Dev. Sci. 2, 42–46. DOI: 10.1111 / 1467-7687.00052

CrossRef Полный текст | Google Scholar

Алибали М. В., Кита С. и Янг А. Дж. (2000). Жест и процесс производства речи: мы думаем, значит, жестикулируем. Lang. Cogn. Процесс. 15, 593–613. DOI: 10.1080 / 016^0750040571

CrossRef Полный текст | Google Scholar

Амбразайтис, Г., и Хаус, Д. (2017). Мультимодальные выступы: изучение паттернов и использования акцентов основного тона, ударов головы и бровей в чтениях новостей шведского телевидения. Speech Commun. 95, 100–113. DOI: 10.1016 / j.specom.2017.08.008

CrossRef Полный текст | Google Scholar

Армстронг М., Эстев-Гиберт Н. и Прието П. (2014). «Приобретение мультимодальных сигналов к неверию», Труды 7-й Международной конференции по речевой просодии , Дублин, .

Google Scholar

Аурели Т. , Спинелли М., Фасоло М., Гарито М. К., Перуккини П. и Д’Одорико Л. (2017). Развитие указывающе-голосовой связи в первой половине второго года жизни. Младенчество 22, 801–818. doi: 10.1111 / infa.12181

CrossRef Полный текст | Google Scholar

Барон-Коэн, С., Лесли, А. М., и Фрит, У. (1985). Есть ли у аутичного ребенка «теория разума»? Познание 21, 37–46.

Google Scholar

Бейтс, Э., Бениньи, Л., Бретертон, И., Камайони, Л., и Вольтерра, В. (1979). Появление символов: познание и общение в младенчестве. Нью-Йорк, Нью-Йорк: Academic Press.

Google Scholar

Бене Т., Лишковски У., Карпентер М. и Томаселло М. (2012). Понимание и выработка указаний у двенадцатимесячных детей. руб. J. Dev. Psychol. 30, 359–375. DOI: 10.1111 / j.2044-835X.2011.02043.x

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Берман, Дж.М. Дж., Чемберс, К. Г., Грэм, С. А. (2016). Координация голосовой и лицевой эмоциональной информации у дошкольников в реальном времени. J. Exp. Детская психол. 142, 391–399. DOI: 10.1016 / j.jecp.2015.09.014

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Берман Р. А., Слобин Д. И. (1994). Связь событий в повествовании: кросслингвистическое исследование развития. Хиллсдейл, Нью-Джерси: Эрлбаум.

Google Scholar

Биау, Э., Фернандес, Л.М., Холле, Х., Авила, К., Сото-Фарако, С. (2016). Жесты рук как визуальная просодия: СМЕШАННАЯ реакция на аудиовизуальное выравнивание модулируется коммуникативной природой стимулов. Нейроизображение 132, 129–137. DOI: 10.1016 / j.neuroimage.2016.02.018

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Блоссом, М., и Морган, Дж. Л. (2006). «Говорит ли лицо то, что говорят уста? Исследование чувствительности младенцев к визуальной просодии », в материалах Proceedings of the 30th Annual Boston University Conference on Language Development , Somerville, MA.

Google Scholar

Бут, А. Э., МакГрегор, К. К., и Рольфинг, К. Л. (2008). Социопрагматика и внимание: вклад в обучение слов с помощью жестов у детей ясельного возраста. Lang. Учить. Dev. 4, 179–202. DOI: 10.1080 / 15475440802143091

CrossRef Полный текст | Google Scholar

Боско, Ф. М., Ангелери, Р., Колле, Л., Сакко, К., и Бара, Б. Г. (2013). Коммуникативные способности у детей: оценка через различные явления и выразительные средства. J. Child Lang. 40, 741–778. DOI: 10.1017 / S03050000081

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Мясник, К., и Голдин-Мидоу, С. (2000). «Жест и переход от речи из одного слова к речи из двух: когда рука и рот соединяются», в Language and Gesture , ed. Д. Макнил (Чикаго, Иллинойс: издательство Кембриджского университета), 235–257.

Google Scholar

Берд Д. и Зальцман Э. (2003). Эластичная фраза: моделирование динамики приграничного удлинения. J. Phon. 31, 149–180. DOI: 10. 1016 / S0095-4470 (02) 00085-2

CrossRef Полный текст | Google Scholar

Капоне, Н. К., и МакГрегор, К. К. (2004). Развитие жестов: обзор клинической и исследовательской практики. J. Speech Lang. Слышать. Res. 47, 173–186. DOI: 10,1044 / 1092-4388 (2004/015)

CrossRef Полный текст | Google Scholar

Карлсон К., Клифтон К. и Фрейзер Л. (2001). Просодические границы при прикреплении придатков. Дж.Mem. Lang. 45, 58–81. DOI: 10.1006 / jmla.2000.2762

CrossRef Полный текст | Google Scholar

Чен, А. (2018). «Правильно сосредоточьтесь на языках: приобретение просодической фокус-маркировки в производстве», в «Развитие просодии в освоении первого языка» , ред. П. Прието и Н. Эстев-Гиберт (Амстердам: Джон Бенджаминс).

Чонг, С.С.Ф., Веркер, Дж. Ф., Рассел, Дж. А. и Кэрролл, Дж. М. (2003). Три выражения лица матери обращаются к своим младенцам. Infant Child Dev. 12, 211–232. DOI: 10.1002 / icd.286

CrossRef Полный текст | Google Scholar

Кларк, Э. В., Эстигаррибия, Б. (2011). Используйте речь и жесты, чтобы знакомить маленьких детей с новыми предметами. Жест 11, 1–23. DOI: 10.1075 / gest.11.1.01cla

CrossRef Полный текст | Google Scholar

Colletta, J.-M., Guidetti, M., Capirci, O., Cristilli, C., Demir, O.E., Kunene-Nicolas, R.N., et al. (2014). Влияние возраста и языка на производство жестов совместной речи: исследование французских, американских и итальянских детских рассказов. J. Child Lang. 42, 122–145. DOI: 10.1017 / S03050000585

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Кук, С. М., и Голдин-Мидоу, С. (2006). Роль жеста в обучении: используют ли дети руки, чтобы изменить свое мнение? J. Cogn. Dev. 7, 211–232. DOI: 10.1207 / s15327647jcd0702_4

CrossRef Полный текст | Google Scholar

Купер У. Э. и Пачча-Купер Дж. (1980). Синтаксис и речь. Кембридж, Массачусетс: Издательство Гарвардского университета.DOI: 10.4159 / harvard.9780674283947

CrossRef Полный текст | Google Scholar

Corballis, M. C. (2002). Из рук в уста: истоки языка. Princeton, NJ: Princeton University Press.

Google Scholar

Креспо Сендра, В., Каланд, К., Свертс, М., и Прието, П. (2013). Восприятие недоверия: роль интонации и мимики. J. Pragmat. 47, 1–13. DOI: 10.1016 / j.pragma.2012.08.008

CrossRef Полный текст | Google Scholar

Кутика, I.и Буччарелли М. (2008). Глубокое против неглубокого: эффекты жестов совместной речи при обучении на основе дискурса. Cogn. Sci. 32, 921–935. DOI: 10.1080 / 03640210802222039

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Cvejic, E., Kim, J., and Davis, C. (2012). Распознавание просодии в модальностях, участках лица и говорящих: изучение чувствительности воспринимающих к различным реализациям визуальной просодии. Познание 122, 442–453. DOI: 10.1016 / j.cognition.2011.11.013

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Де Руйтер, Дж. П. (1998). Жесты и речь. Докторская диссертация, Katholieke Universiteit, Неймеген.

Google Scholar

Де Руйтер, Дж. П., Бангертер, А., и Дингс, П. (2012). Взаимодействие между жестом и речью в создании отсылающих выражений: исследование гипотезы компромисса. Верх. Cogn. Sci. 4, 232–248.DOI: 10.1111 / j.1756-8765.2012.01183.x

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Диссель, Х., Томаселло, М. (2005). Новый взгляд на приобретение относительных придаточных предложений. Язык 81, 1–25. DOI: 10.1353 / lan.2005.0169

CrossRef Полный текст | Google Scholar

Дейкстра, К., Крамер, Э., и Свертс, М. (2006). «Манипулирование неопределенностью: вклад различных аудиовизуальных просодических сигналов в восприятие уверенности», Труды Международной конференции по речевой просодии , Дрезден.

Google Scholar

Доэн, М., Лёвенбрюк, Х. (2009). Взаимодействие слуха и зрения для восприятия просодической контрастивной фокусировки. Lang. Речь 52, 177–206. DOI: 10.1177 / 00238303166

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Эджири К. и Масатака Н. (2001). Сочетание довербального вокального поведения и двигательной активности в раннем младенчестве. Dev. Sci. 4, 6–11. DOI: 10.1111 / 1467-7687.00147

CrossRef Полный текст

Экман, П.(1979). «О бровях: эмоциональные и разговорные сигналы», в Этология человека: требования и ограничения новой дисциплины , ред. М. фон Кранах, К. Фоппа, В. Лепенис и Д. Плоог (Кембридж: издательство Кембриджского университета), 169–202.

Google Scholar

Эстев-Гиберт, Н., Боррас-Комес, Дж., Асор, Э., Свертс, М., и Прието, П. (2017a). Хронометраж движений головы: роль просодических голов и ребер. J. Acoust. Soc. Являюсь. 141, 4727–4739. DOI: 10.1121 / 1.4986649

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Эстев-Гиберт, Н., Лёвенбрюк, Х., Доэн, М., и Д’Империо, М. (2017b). «Использование просодии и жестов для создания контрастирующего фокуса у франкоязычных 4- и 5-летних детей», Труды семинара по абстракции, разнообразию и динамике речи , Мюнхен.

Эстев-Гиберт, Н., Лишковски, У., и Прието, П. (2016). «Просодические и жестовые признаки различают намерение указывающих жестов в ориентированном на ребенка общении», в книге «Междисциплинарные подходы к интонационной грамматике в иберо-романском стиле », ред. М.Э. Армстронг, Н. Хенриксен и М. Д. М. Ванрелл (Амстердам: Джон Бенджаминс), 251–275.

Google Scholar

Эстев-Гиберт, Н., Прието, П. (2013). Просодическая структура формирует временную реализацию интонации и жестов рук. J. Speech Lang. Слышать. Res. 56, 850–864. DOI: 10,1044 / 1092-4388 (2012 / 12-0049)

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Эстев-Гиберт, Н., Прието, П. (2014). Младенцы временно координируют сочетания жестов и речи до того, как произнесут свои первые слова. Speech Commun. 57, 301–316. DOI: 10.1016 / j.specom.2013.06.006

CrossRef Полный текст | Google Scholar

Эстев-Гиберт, Н., Прието, П., и Лишковски, У. (2017c). Двенадцатимесячные дети понимают социальные намерения на основе просодии и формы жестов. Младенчество 22, 108–129. doi: 10.1111 / infa.12146

CrossRef Полный текст | Google Scholar

Эстев-Гиберт, Н., Прието, П., и Понс, Ф. (2015). Девятимесячные младенцы чувствительны к временному выравниванию просодических выступов и жестов. Infant Behav. Dev. 38, 126–129. DOI: 10.1016 / j.infbeh.2014.12.016

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Фернальд А. и Саймон Т. (1984). Расширены интонационные контуры в речи матери новорожденному. Dev. Psychol. 20, 104–113. DOI: 10.1037 / 0012-1649.20.1.104

CrossRef Полный текст | Google Scholar

Ферре, Г. (2014). Мультимодальный подход к маркировке в разговорной французской речи. Speech Commun. 57, 268–282.DOI: 10.1016 / j.specom.2013.06.002

CrossRef Полный текст | Google Scholar

Фишер К. и Токура Х. (1995). Дано-новый контракт в речи младенцам. J. Mem. Lang. 34, 287–310. DOI: 10.1006 / jmla.1995.1013

CrossRef Полный текст | Google Scholar

Гиль С., Агерт М., Ле Биго Л., Лакруа А. и Лаваль В. (2014). Понимание детьми эмоционального состояния других. Внутр. J. Behav. Dev. 38, 539–549. DOI: 10.1177 / 0165025414535123

CrossRef Полный текст | Google Scholar

Гогате, Л.Дж., Бахрик, Л. Э., и Уотсон, Дж. Д. (2000). Исследование мультимодального мотореза: роль временной синхронизации между словесными ярлыками и жестами. Child Dev. 71, 878–894. DOI: 10.1111 / 1467-8624.00197

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Голдин-Мидоу, С. (1998). Развитие жестов и речи как интегрированной системы. Сан-Франциско, Калифорния: Джосси-Басс.

Google Scholar

Гонсалес-Фуэнте, С. (2017). Аудиовизуальная просодия и словесная ирония. к.т.н. диссертация, Университет Помпеу Фабра, Барселона.

Google Scholar

Гудвин, С. В., Акредоло, Л. П., и Браун, К. А. (2000). Влияние символических жестов на раннее языковое развитие. J. Невербальное поведение. 24, 81–103. DOI: 10.1023 / A: 1006653828895

CrossRef Полный текст | Google Scholar

Гопник А. (1993). Как мы познаем наш разум: иллюзия знания интенциональности от первого лица. Behav. Brain Sci. 16, 1–15. DOI: 10.1017 / S0140525X00028636

CrossRef Полный текст | Google Scholar

Грациано, М. (2011). «Развитие двух прагматических жестов так называемой« семьи с открытой ладонью на спине »у итальянских детей», в г. От жеста в разговоре до видимого действия как высказывания: Очерки в честь Адама Кендона , ред. М. Сейфеддинипур и М. Гуллберг (Амстердам: издательство John Benjamins Publishing Company), 311–330.

Google Scholar

Грациано, М.(2014). «Жесты в Южной Европе: детские прагматические жесты в Италии», в Body-Language-Communication , ред. К. Мюллер, А. Ченки, Э. Фрике, С. Ладевиг, Д. Макнейл и С. Тессендорф (Берлин: Де Грюйтер), 1253–1258.

Google Scholar

Грин, Дж. Р., Нип, И. С., Уилсон, Э. М., Мефферд, А. С., Юнусова, Ю. (2010). Преувеличенные движения губ во время детской речи. J. Speech Lang. Слышать. Res. 53, 1529–1542. DOI: 10,1044 / 1092-4388 (2010 / 09-0005)

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Гризер, Д.Л. и Кул П. К. (1988). Материнская речь младенцам на тональном языке: поддержка универсальных просодических черт в моферезе. Dev. Psychol. 24, 14–20. DOI: 10.1037 / 0012-1649.24.1.14

CrossRef Полный текст | Google Scholar

Гроссманн Т., Стриано Т. и Фридеричи А. Д. (2006). Межмодальная интеграция эмоциональной информации от лица и голоса в мозгу младенца. Dev. Sci. 9, 309–315. DOI: 10.1111 / j.1467-7687.2006.00494.x

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Гуэллаи, Б., Стрири, А., Шопен, А., Райдер, Д., и Китамура, К. (2016). Чувствительность новорожденных к визуальным аспектам детской речи: данные точечных отображений говорящих лиц. J. Exp. Psychol. Гм. Восприятие. Выполнять. 42, 1275–1281. DOI: 10.1037 / xhp0000208

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Гуссенховен, К. (2004). Фонология тона и интонации. Кембридж: Издательство Кембриджского университета. DOI: 10.1017 / CBO9780511616983

CrossRef Полный текст | Google Scholar

Адар, У., Штайнер Т.Дж., Грант Э.С. и Роуз Ф.С. (1983). Кинематика движений головы, сопровождающих речь во время разговора. Hum. Mov. Sci. 2, 35–46. DOI: 10.1016 / 0167-9457 (83)

-0

CrossRef Полный текст | Google Scholar

Hübscher, I., Esteve-Gibert, N., Igualada, A., and Prieto, P. (2017). Интонация и жесты как средства самонастройки при неуверенности говорящего. Первый язык. 37, 24–41.

Google Scholar

Hübscher, I., Винче, Л., и Прието, П. (2016). «Эпистемическое значение впервые передается через жест, лицо и просодию» в плакате на семинаре по аудиовизуальной обработке речи и изучению языка , Университет Помпеу Фабра, Барселона.

Google Scholar

Хадсон, Дж., И Шапиро, Л. (1991). «От знания к рассказу: развитие детских сценариев, историй и личных повествований», в книге «Развитие повествовательной структуры », редакторы А. МакКейб и К. Петерсон (Хиллсдейл, штат Нью-Джерси: Lawrence Erlbaum Associates), 89–136.

PubMed Аннотация | Google Scholar

Игуалада А., Бош Л. и Прието П. (2015). Развитие речи в 18 месяцев связано с коммуникативными стратегиями в 12 месяцев. Infant Behav. Dev. 39, 42–52. DOI: 10.1016 / j.infbeh.2015.02.004

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Игуалада А., Эстев-Гиберт Н. и Прието П. (2017). Ударные жесты улучшают запоминание слов у детей от 3 до 5 лет. J. Exp. Детская психол. 156, 99–112. DOI: 10.1016 / j.jecp.2016.11.017

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Иши, К. Т., Исигуро, Х., Хагита, Н. (2014). Анализ взаимосвязи между событиями движения головы и речью в диалоговых беседах. Speech Commun. 57, 233–243. DOI: 10.1016 / j.specom.2013.06.008

CrossRef Полный текст | Google Scholar

Айверсон, Дж. М., и Телен, Э. (1999). Рука, рот и мозг. J. Сознание.Stud. 6, 19–40.

Google Scholar

Джесси, А., Джонсон, Э. К. (2016). Аудиовизуальное сопоставление жестов совместной речи с речью поддерживает усвоение слов у 2-летних детей. J. Exp. Детская психол. 145, 1–10. DOI: 10.1016 / j.jecp.2015.12.002

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Jun, S.-A. (2005). «Просодический типолог», в Просодическая типология: фонология интонации и фразировки , изд. С.-А. Джун (Oxford: Oxford University Press), 430–458.DOI: 10.1093 / acprof: oso / 9780199249633.003.0016

CrossRef Полный текст

Каллай Дж. И Редфорд М. А. (2016). «Лонгитюдное исследование детской интонации в повествовательной речи», Труды 17-й ежегодной конференции Международной ассоциации речевой коммуникации , Сан-Франциско, Калифорния. DOI: 10.21437 / Interspeech.2016-1396

CrossRef Полный текст | Google Scholar

Келли, С., и Барр, Д. (1999). Протянуть руку прагматическому пониманию: роль речи и жеста в понимании и памяти. J. Mem. Lang. 40, 577–592. DOI: 10.1006 / jmla.1999.2634

CrossRef Полный текст | Google Scholar

Кендон, А. (1980). «Жестикуляция и речь: два аспекта процесса произнесения», в Взаимосвязь вербальной и невербальной коммуникации , изд. М. Р. Ки (Гаага: Mouton De Gruyter), 207–227.

Google Scholar

Кендон, А. (2004). Жест: видимое действие как высказывание. Кембридж: Издательство Кембриджского университета.DOI: 10.1017 / CBO9780511807572

CrossRef Полный текст | Google Scholar

Ким Дж., Цвейч Э. и Дэвис К. (2014). Отслеживание бровей и жестов головы, связанных с устной просодией. Speech Commun. 57, 317–330. DOI: 10.1016 / j.specom.2013.06.003

CrossRef Полный текст | Google Scholar

Китамура К. и Бернхэм Д. (2003). Высота и коммуникативное намерение в речи матери: поправки на возраст и пол в первый год. Младенчество 4, 85–110.DOI: 10.1207 / S15327078IN0401_5

CrossRef Полный текст | Google Scholar

Китамура, К., Гуэллаи, Б., и Ким, Дж. (2014). Моторез на глаз и на слух: младенцы воспринимают визуальную просодию в точечных отображениях говорящих голов. PLoS One 9: e111467. DOI: 10.1371 / journal.pone.0111467

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Кьельгаард М. М. и Шпеер С. Р. (1999). Просодическое содействие и вмешательство в разрешение временной синтаксической закрывающей двусмысленности. J. Mem. Lang. 40, 153–194. DOI: 10.1006 / jmla.1998.2620

CrossRef Полный текст | Google Scholar

Ковач А. М., Таузин Т., Теглас Э., Гергей Г. и Чибра Г. (2014). Указывая как эпистемический запрос: дети в возрасте 12 месяцев указывают на получение новой информации. Младенчество 19, 543–557. doi: 10.1111 / infa.12060

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Ковач, Á. М., Теглас, Э., Эндресс, А. Д. (2010). Социальный смысл: восприимчивость к чужим убеждениям в человеческих младенцах и взрослых. Наука 330, 1830–1834. DOI: 10.1126 / science.11

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Крамер Э. и Свертс М. (2007). Влияние визуальных ритмов на просодическую известность: акустический анализ, слуховое восприятие и визуальное восприятие. J. Mem. Lang. 57, 396–414. DOI: 10.1016 / j.jml.2007.06.005

CrossRef Полный текст | Google Scholar

Кривокапич, Дж., Тиде, М. К., и Тайрон, М. Э. (2017). Кинематическое исследование просодической структуры в артикуляционных и мануальных жестах: результаты нового метода сбора данных. Lab. Фонол. 8, 1–26. DOI: 10.5334 / labphon.75

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Кривокапич Дж., Тиде М. К., Тайрон М. Э. и Гольденберг Д. (2016). «Координация речи и мануальных жестов в задаче указания», в материалах Труды 8-й Международной конференции по речевой просодии, , Бостон, 1240–1244. DOI: 10.21437 / SpeechProsody.2016-255

CrossRef Полный текст | Google Scholar

Куль, П. К., Уильямс, К.А., Мельцов А. Н. (1991). Кросс-модальное восприятие речи у взрослых и младенцев с использованием неречевых слуховых стимулов. J. Exp. Psychol. Гм. Восприятие. Выполнять. 17, 829–840. DOI: 10.1037 / 0096-1523.17.3.829

CrossRef Полный текст | Google Scholar

Ladd, R. (1996). Интонационная фонология, Кембриджские исследования в лингвистике , Vol. 79. Кембридж: Издательство Кембриджского университета.

Google Scholar

Лангус, А., Маркетто, Э., Бион, Р.А., Неспор М. (2012). Можно ли использовать просодию для обнаружения иерархической структуры непрерывной речи? J. Mem. Lang. 66, 285–306. DOI: 10.1016 / j.jml.2011.09.004

CrossRef Полный текст | Google Scholar

Лаваль В., Берт-Эрбул А. (2005). Понимание сарказма франкоязычными детьми: роль интонации и контекста. J. Speech Lang. Слышать. Res. 48, 610–620. DOI: 10,1044 / 1092-4388 (2005/042)

CrossRef Полный текст | Google Scholar

Леонард Т.и Cummins, F. (2011). Временные отношения между жестами удара и речью. Lang. Cogn. Процесс. 26, 1457–1471. DOI: 10.1080 / 016.2010.500218

CrossRef Полный текст | Google Scholar

Levelt, W. J. M., Richardson, G., and La Heij, W. (1985). Указание и озвучивание в дейктических выражениях. J. Mem. Lang. 24, 133–164. DOI: 10.1016 / 0749-596X (85)-X

CrossRef Полный текст | Google Scholar

Линдова Ю., Шпинка М. и Новакова Л.(2015). Расшифровка детских криков: могут ли взрослые люди идентифицировать вызывающую ситуацию по эмоциональным вокализациям довербальных младенцев? PLoS One 10: e0124317. DOI: 10.1371 / journal.pone.0124317

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Ма, В., Голинкофф, Р. М., Хьюстон, Д. М., и Хирш-Пасек, К. (2011). Выучивание слов в речи детей и взрослых. Lang. Учить. Dev. 7, 185–201. DOI: 10.1080 / 15475441.2011.579839

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Марслен-Уилсон, В.Д., Тайлер, Л. К., Уоррен, П., Гренье, П., и Ли, К. С. (1992). Просодические эффекты при минимальном прикреплении. Q. J. Exp. Psychol. 45, 73–87. DOI: 10.1080 / 1464074

01316

CrossRef Полный текст | Google Scholar

Мэтью, М., Юэн, И., и Демут, К. (2017). Говоря в такт: использование шестилетними детьми нереференциальных жестов, определяемых штрихом. Первый язык. (в печати). DOI: 10.1177 / 0142723717734949

CrossRef Полный текст | Google Scholar

МакГрегор, К.К., Рольфинг К., Бин А. и Маршнер Э. (2009). Жест как опора для изучения слов: случай под. J. Child Lang. 36, 807–828. DOI: 10.1017 / S0305000

9173

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Макнил, Д. (1992). Рука и разум: что жесты говорят о мысли. Чикаго, Иллинойс: Чикагский университет.

Google Scholar

Макнил, Д. (2005). Жест и мысль. Чикаго, Иллинойс: Издательство Чикагского университета.DOI: 10.7208 / Чикаго / 9780226514642.001.0001

CrossRef Полный текст | Google Scholar

Нагель, Х. Н., Шапиро, Л. П., Туллер, Б., и Нави, Р. (1996). Просодика влияет на разрешение временной неоднозначности во время обработки предложений в режиме онлайн. Дж. Психолингвист. Res. 25, 319–344. DOI: 10.1007 / BF01708576

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Накассис, К., Снедекер, Дж. (2002). «За пределами сарказма: интонация и контекст как относительные сигналы в распознавании иронией детьми», in Proceedings of the Annual Boston-University Conference on Language Development , Vol.26, ред. А. Гринхилл, М. Хьюс, Х. Литтлфилд и Х. Уолш (Сомервилль, Массачусетс: Cascadilla Press), 429–440.

Google Scholar

Нельсон, Н. Л., и Рассел, Дж. А. (2011). Использование дошкольниками динамических мимических, телесных и голосовых сигналов для эмоций. J. Exp. Детская психол. 110, 52–61. DOI: 10.1016 / j.jecp.2011.03.014

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Nespor, M., and Vogel, I. (1986). Просодическая фонология. Дордрехт: Foris, 327.

Google Scholar

Николадис Э., Мэйберри Р. И. и Джинеси Ф. (1999). Жест и раннее двуязычное развитие. Dev. Psychol. 35, 514–526. DOI: 10.1037 / 0012-1649.35.2.514

CrossRef Полный текст | Google Scholar

Оллер, Д. К. (2000). Появление речевой способности. Махва, Нью-Джерси: Лоуренс Эрлбаум.

Google Scholar

Оллер, Д. К., Будер, Э. Х., Рамсделл, Х. Л., Варлаумонт, А. С., и Чорна, Л.(2013). Функциональная гибкость детской вокализации и появление языка. Proc. Natl. Акад. Sci. США 110, 6318–6323. DOI: 10.1073 / pnas.1300337110

PubMed Аннотация | CrossRef Полный текст | Google Scholar

О’Нил М., Бард К. А., Линнелл М. и Флак М. (2005). Материнские жесты у 20-месячных младенцев в двух контекстах. Dev. Sci. 8, 352–359. DOI: 10.1111 / j.1467-7687.2005.00423.x

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Ониши, К.Х. и Байларджон Р. (2005). Понимают ли 15-месячные младенцы ложные убеждения? Наука 308, 255–258.

Google Scholar

Озчалискан, С., Гентнер, Д., и Голдин-луг, С. (2013). Прокладывают ли знаковые жесты путь к ранним глаголам детей? Заявл. Психолингвист. 35, 1143–1162.

PubMed Аннотация | Google Scholar

Парладе, М. В., Иверсон, Дж. М. (2011). Взаимодействие между языком, жестом и аффектом во время коммуникативного перехода: динамический системный подход. Dev. Psychol. 47, 820–833. DOI: 10.1037 / a0021811

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Паттерсон, М. Л., и Веркер, Дж. Ф. (1999). Соответствие фонетической информации в губах и голосе устойчиво у 4,5-месячных младенцев. Infant Behav. Dev. 22, 237–247. DOI: 10.1016 / j.cognition.2008.05.009

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Паттерсон, М. Л., и Веркер, Дж. Ф. (2002). Способность младенцев сопоставлять динамическую фонетическую и гендерную информацию по лицу и голосу. J. Exp. Детская психол. 81, 93–115. DOI: 10.1006 / jecp.2001.2644

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Пернер Дж. (1991). Понимание репрезентативного разума. Кембридж, Массачусетс: MIT Press.

Google Scholar

Pierrehumbert, J., и Hirschberg, J. (1990). «Значение интонационных контуров в интерпретации дискурса», в Intentions in Communication , ред. П. Р. Коэн, Дж. Морган и М.Э. Поллак (Кембридж, Массачусетс: MIT Press), 270–311.

Google Scholar

Поджи, И., Д’Эррико, Ф., и Винче, Л. (2013). Комментарии словами, лицом и телом. J. Мультимодальные пользовательские интерфейсы 7, 67–78. DOI: 10.1007 / s12193-012-0102-z

CrossRef Полный текст | Google Scholar

Прайс, П. Дж., Остендорф, М., Шаттук-Хуфнагель, С., и Фонг, К. (1991). Использование просодии в разрешении синтаксической неоднозначности. J. Acoust. Soc. Являюсь. 90, 2956–2970. DOI: 10.1121 / 1.401770

CrossRef Полный текст | Google Scholar

Прието, П., Пуглези, К., Боррас-Комес, Дж., Арройо, Э. и Блат, Дж. (2015). Изучение вклада просодии и жеста в восприятие фокуса с помощью анимированного агента. J. Phon. 49, 41–54. DOI: 10.1016 / j.wocn.2014.10.005

CrossRef Полный текст | Google Scholar

Пуччини, Д., Лишковски, У. (2012). 15-месячные младенцы быстро отображают слова, но не изображают жесты мультимодальных меток. Фронт. Psychol. 3: 101. DOI: 10.3389 / fpsyg.2012.00101

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Раушер, Ф. Х., Краусс, Р. М., и Чен, Ю. (1996). Жест, речь и лексический доступ: роль лексических движений в производстве речи. Psychol. Sci. 7, 226–231. DOI: 10.1002 / wcs.1211

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Рустан, Б., Доэн, М. (2010). «Совместное создание контрастного фокуса и мануальных жестов: временная координация и влияние на акустические и артикуляционные корреляты фокуса», в материалах Труды Международной конференции по речевой просодии , Чикаго, Иллинойс.

Google Scholar

Русевич, Х. Л., Эстев-Гиберт, Н. (2018). «Установлено во времени: временная координация просодии и жеста в развитии устной речи», в «Развитие просодии в освоении первого языка» , ред. П. Прието и Н. Эстев-Гиберт (Амстердам: Джон Бенджаминс).

Сандлер, W. (1999). Просодия в двух модальностях естественного языка. Lang. Речь 42, 127–142. DOI: 10.1177 / 002383099

020101

CrossRef Полный текст | Google Scholar

Сандлер, В.(2005). Просодическая избирательность и интонация в языке жестов. Лингвист. Бер. 13, 59–86.

Google Scholar

Сандлер, В. (2011). «Фонология движения в языке жестов», в Blackwell Companion to Phonology , ред. М. ван Остендорп, К. Юэн, К. Райс и Э. Хьюм (Оксфорд: Wiley-Blackwell), 557–603.

Google Scholar

Зауэр, Э., Левин, С. К., и Голдин-Мидоу, С. (2010). Ранний жест позволяет прогнозировать задержку речевого развития у детей с пре- или перинатальным поражением головного мозга. Child Dev. 81, 528–539. DOI: 10.1111 / j.1467-8624.2009.01413.x

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Шайнер Э., Хаммершмидт К., Юргенс У. и Цвирнер П. (2002). Акустический анализ изменений развития и эмоционального выражения в довербальных вокализациях младенцев. J. Voice 16, 509–529. DOI: 10.1016 / S0892-1997 (02) 00127-3

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Сонг, Дж.Ю., Демут, К., Морган, Дж. (2010). Влияние акустических свойств детской речи на распознавание младенческих слов. J. Acoust. Soc. Являюсь. 128, 389–400. DOI: 10.1121 / 1.3419786

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Салливан, М. В., и Льюис, М. (2003). Контекстные детерминанты гнева и других негативных выражений у младенцев. Dev. Psychol. 39, 693–705. DOI: 10.1037 / 0012-1649.39.4.693

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Сумби, W.Х. и Поллак И. (1954). Визуальный вклад в разборчивость речи в шуме. J. Acoust. Soc. Являюсь. 26, 212–215. DOI: 10.1121 / 1.1

9

CrossRef Полный текст | Google Scholar

Свертс М. и Гелуйкенс Р. (1994). Просодия как маркер информационного потока в устном дискурсе. Lang. Речь 37, 21–43. DOI: 10.1177 / 002383099403700102

CrossRef Полный текст | Google Scholar

Свертс, М., и Крамер, Э. (2010). Визуальная просодия читателей: влияние структуры информации, эмоционального содержания и целевой аудитории на выражения лиц. J. Phon. 38, 197–206. DOI: 10.1016 / j.wocn.2009.10.002

CrossRef Полный текст | Google Scholar

Вихман, М. М., ДеПаолис, Р. А., и Керен-портной, Т. (2009). «Динамический системный подход к лепету и словам», в Кембриджский справочник по детскому языку , изд. Э. Л. Бавин (Кембридж: издательство Кембриджского университета), 163–182.

Google Scholar

Вила-Хименес, И., Игуалада, А., и Прието, П. (2017). Положительное влияние наблюдения и воспроизведения жестов на повествовательные способности детей.Архитектуры и механизмы обработки языков (AMLaP). Ланкастер: Ланкастерский университет.

Visser, M., Krahmer, E., and Swerts, M. (2014). Выражение детьми неуверенности в контексте сотрудничества и конкуренции. Lang. Речь 57, 86–107. DOI: 10.1177 / 00238309117

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Вагнер П., Малиш З. и Копп С. (2014). Жест и речь во взаимодействии: обзор. Speech Commun. 57, 209–232. DOI: 10.1016 / j.specom.2013.09.008

CrossRef Полный текст | Google Scholar

Уокер-Эндрюс, А. С. (1997). Восприятие младенцами выразительного поведения: дифференциация мультимодальной информации. Psychol. Бык. 121, 437–456. DOI: 10.1037 / 0033-2909.121.3.437

CrossRef Полный текст | Google Scholar

Уоррен П., Грабе Э. и Нолан Ф. (1995). Просодия, фонология и синтаксический анализ в закрытии двусмысленностей. Lang. Cogn. Процесс. 10, 457–486. DOI: 10.1080 / 016508407112

CrossRef Полный текст | Google Scholar

Вебер А., Браун Б. и Крокер М. В. (2006). Нахождение референтов во времени: отслеживание взглядов на роль контрастирующих акцентов. Lang. Речь 49, 367–392. DOI: 10.1177 / 0023830

301

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Веллман, Х. М. (1990). Детская теория разума. Кембридж, Массачусетс: MIT Press.

Google Scholar

Веркер, Дж. Ф., Понс, Ф., Дитрих, К., Кадзикава, С., Фейс, Л., и Амано, С. (2007). Речь, ориентированная на младенцев, поддерживает изучение фонетических категорий на английском и японском языках. Познание 103, 147–162. DOI: 10.1016 / j.cognition.2006.03.006

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Виммер Х. и Пернер Дж. (1983). Вера в убеждения: представление и сдерживающая функция неправильных убеждений в понимании лжи маленькими детьми. Познание 13, 103–128. DOI: 10.1016 / 0010-0277 (83)

-5

CrossRef Полный текст | Google Scholar

Ясинник Ю., Ренвик М., Шаттук-Хуфнагель С. (2004). «Выбор времени для жестов, сопровождаемых речью, в отношении просодии», в Proceedings of the Sound to Sense Conference (Кембридж, Массачусетс, Массачусетский технологический институт), 97–102.

Аффективное восприятие просодии и отношение к социальной компетентности у аутичных и типично развивающихся детей

.2020 июл; 48 (7): 965-975. DOI: 10.1007 / s10802-020-00644-5.

Принадлежности Расширять

Принадлежности

• ¹ Департамент психологии, Университет Саймона Фрейзера, 8888 Юниверсити Драйв, Бернаби, Британская Колумбия, V5A 1S6, Канада[email protected].
• ² The Brain and Mind Institute, Western Interdisciplinary Research Building, University of Western Ontario, 1151 Richmond Street, London, ON, N6A 3K7, Canada. [email protected].
• ³ Департамент психологии, Центр социальных наук, Университет Западного Онтарио, 1151 Ричмонд-стрит, Лондон, Онтарио, N6A 3K7, Канада. [email protected].
• ⁴ Институт мозга и разума, Западное здание междисциплинарных исследований, Университет Западного Онтарио, 1151 Ричмонд-стрит, Лондон, Онтарио, N6A 3K7, Канада.
• ⁵ Департамент психологии, Центр социальных наук, Университет Западного Онтарио, 1151 Ричмонд-стрит, Лондон, Онтарио, N6A 3K7, Канада.
• ⁶ Департамент психологии, Университет Саймона Фрейзера, 8888 University Drive, Burnaby, BC, V5A 1S6, Canada.

Элемент в буфере обмена

Николь Э. Шерер и др.J Abnorm Child Psychol. 2020 июл.

Показать детали Показать варианты

Показать варианты

Формат АннотацияPubMedPMID

.2020 июл; 48 (7): 965-975. DOI: 10.1007 / s10802-020-00644-5.

Принадлежности

• ¹ Департамент психологии, Университет Саймона Фрейзера, 8888 Юниверсити Драйв, Бернаби, Британская Колумбия, V5A 1S6, Канада. [email protected].
• ² The Brain and Mind Institute, Western Interdisciplinary Research Building, University of Western Ontario, 1151 Richmond Street, London, ON, N6A 3K7, Canada. [email protected].
• ³ Департамент психологии, Центр социальных наук, Университет Западного Онтарио, 1151 Ричмонд-стрит, Лондон, Онтарио, N6A 3K7, Канада. [email protected].
• ⁴ Институт мозга и разума, Западное здание междисциплинарных исследований, Университет Западного Онтарио, 1151 Ричмонд-стрит, Лондон, Онтарио, N6A 3K7, Канада.
• ⁵ Департамент психологии, Центр социальных наук, Университет Западного Онтарио, 1151 Ричмонд-стрит, Лондон, Онтарио, N6A 3K7, Канада.
• ⁶ Департамент психологии, Университет Саймона Фрейзера, 8888 University Drive, Burnaby, BC, V5A 1S6, Canada.

Элемент в буфере обмена

Полнотекстовые ссылки Опции CiteDisplay

Показать варианты

Формат АннотацияPubMedPMID

Абстрактный

Лица, у которых диагностировано расстройство аутистического спектра (РАС), испытывают трудности с восприятием и выражением эмоций.Поскольку просодические изменения в речи (т. Е. Изменения интонации, напряжения, ритма и т. Д.) Имеют решающее значение для извлечения информации об эмоциональном состоянии говорящего, неспособность воспринимать и интерпретировать эти просодические изменения может быть связана с нарушениями в социальной коммуникации. В этом исследовании использовались невербальные эмоциональные фрагменты голоса, чтобы изучить способность аутичных и типично развивающихся детей (7-13 лет) извлекать аффект из изменений в просодии. Это исследование также изучало, может ли сложность извлечения аффективного намерения из изменений просодии быть связана с социальной компетентностью.Аутичные (n = 26) и типично развивающиеся (n = 26) дети точно сопоставили эмоциональные голосовые фрагменты со словами эмоций, предполагая, что аутичные дети могут точно извлекать аффективный смысл, передаваемый изменениями в просодии. Дети с аутизмом были менее точны при сопоставлении голосовых записей с эмоциональными лицами, что свидетельствует о том, что дети с аутизмом могут с трудом использовать просодическую информацию в социальном контексте. Было обнаружено, что как у аутичных, так и у типично развивающихся детей точность совпадения просодических лиц позволяет предсказать общую социальную компетентность, а также способность к социальному выводу, предполагая, что неспособность использовать аффективную информацию, полученную из голоса говорящего, может мешать эффективному социальному общению.

Ключевые слова: Аффективная просодия, эмоции; Расстройство аутистического спектра, РАС; Коммуникация; Навыки общения; Восприятие речи.

Похожие статьи

• Изучение взаимосвязи между просодическим контролем и социальной компетентностью у детей с расстройством аутистического спектра и без него.

  Шерер Н. Э., Джонс Дж. А., Яроччи Г. Scheerer NE, et al. Autism Res. 2020 ноя; 13 (11): 1880-1892. DOI: 10.1002 / aur.2405. Epub 2020 11 окт. Autism Res. 2020. PMID: 33043618

• Изучение метода оценки детей дошкольного и школьного возраста с расстройством аутистического спектра путем проверки их понимания эмоций говорящего с помощью просодии голоса.

  Хори М, Окамура Х. Horie M, et al. Brain Dev. 2017 ноя; 39 (10): 836-845. DOI: 10.1016 / j.braindev.2017.07.001. Epub 2017 31 июля. Brain Dev. 2017 г. PMID: 28774670

• Эмоциональное понимание речи у детей и подростков с расстройствами аутистического спектра.

  Ле Сурн-Бисауи С., Агерт М., Жирар П., Шеврей С., Лаваль В.Ле Сурн-Бисауи С. и др. J Commun Disord. 2013 июль-август; 46 (4): 309-20. DOI: 10.1016 / j.jcomdis.2013.03.002. Epub 2013 28 марта. J Commun Disord. 2013. PMID: 23578548

• Аффективная и лингвистическая обработка речевой просодии: исследования потенциала постоянного тока.

  Пихан Х. Пихан Х. Prog Brain Res. 2006; 156: 269-84. DOI: 10.1016 / S0079-6123 (06) 56014-5. Prog Brain Res.2006 г. PMID: 17015085 Обзор.

• Психоакустические исследования по обработке голосовых междометий: как разделить лексическую и просодическую информацию?

  Дитрих С., Аккерманн Х., Замейтат Д.П., Альтер К. Дитрих С. ​​и др. Prog Brain Res. 2006; 156: 295-302. DOI: 10.1016 / S0079-6123 (06) 56016-9. Prog Brain Res. 2006 г. PMID: 17015087 Обзор.

Типы публикаций

• Поддержка исследований, за пределами США. Правительство

(PDF) Состояние исследований эмоциональной просодии — метаанализ

114 5 Состояние исследований эмоциональной просодии — метаанализ

Ли П., Чжан Ф., Цай Э. и Пульс, Б. (2014).Анкета по истории языка (LHQ 2.0): новый динамический веб-инструмент исследования

. Двуязычие: язык и познание, 17 (3), 673–680.

Линднер, Дж. Л., и Розен, Л. А. (2006). Расшифровка эмоций через выражение лица, просодию

и вербальное содержание у детей и подростков с синдромом Аспергера. Журнал аутизма

и расстройства развития, 36, 769–777.

Мескита Б. и Фрижда Н. Х. (1992). Культурные различия в эмоциях: обзор.Психологический вестник

, 112 (2), 179–204.

Митчелл, Р. Л. С. (2006a). Как мозг опосредует интерпретацию несогласованных слуховых

эмоций? Нейронный ответ на просодию при наличии конфликтующих лексико-семантических

реплик. Европейский журнал нейробиологии, 24, 3611–3618.

Митчелл, Р. М. К. (2006b). Вызывает ли несоответствие лексико-семантической и просодической информации

явный когнитивный конфликт? Когнитивная, аффективная и поведенческая неврология, 6 (4),

298–305.

Митчелл, Р. Л., Эллиот, Р., Барри, М., Круттенден, А., и Вудраф, П. В. Р. (2003). Реакция neu-

на эмоциональную просодию, выявленная с помощью функциональной магнитно-резонансной томографии.

Neuropsychologia, 41, 1410–1421.

Митчелл, Р.Л.С., Эллиотт, Р., Барри, М., Круттенден, А., и Вудраф, П.В.Р. (2004). Neural

реакция на эмоциональную просодию при шизофрении и биполярном аффективном расстройстве. Британский

Journal of Psychiatry, 184, 223–230.

Паульманн, С., и Пелл, М. Д. (2011). Есть ли преимущество в распознавании мультимодальных эмоциональных стимулов

? Мотивация и эмоции, 35, 192–201.

Паульманн, С., Пелл, М. Д., & Котц, С. А. (2008a). Функциональный вклад базальных ганглиев в эмоциональную просодию

: данные ERP. Исследование мозга, 1217, 171–178.

Паульманн, С., Пелл, М. Д., & Котц, С. А. (2008b). Как старение влияет на распознавание эмоциональной

речи.Мозг и язык, 104, 262–269.

Паульманн С., Себастьян С. и Коц С. А. (2010). Орбито-лобные поражения вызывают ухудшение в течение поздней, но не ранней эмоциональной просодической обработки. Социальная неврология, 5 (1), 59–75.

Пелл, М. Д., Монетта, Л., Паульманн, С., и Коц, С. А. (2009a). Распознавание эмоций на иностранном языке

. Журнал невербального поведения, 33, 107–120.

Pell, M. D., Paulmann, S., Dara, C., Alasseri, A., & Kotz, S.А. (2009b). Факторы распознавания в

распознавание голосовых эмоций. Сравнение четырех языков. Журнал

Фонетика, 37, 417–435.

Ригуло, С., Василивизки, Э., и Пелл, М. Д. (2013). Чувствуете себя задом наперед? Как временной порядок

в речи влияет на динамику распознавания голосовых эмоций. Границы в психологии, 4,

1–14.

Рота, Г., Вейт, Р., Нардо, Д., Вайскопф, Н., Бирбаумер, Н., и Догил, Г.(2008). Обработка

противоречивой эмоциональной информации: исследование фМРТ. Экспериментальные исследования мозга, 186,

401–407.

Роттенберг, Дж., Рэй, Р. Д., и Гросс, Дж. Дж. (2007). Выявление эмоций с помощью фильмов. В J. A. Coan, &

J. J. B. Allen (Eds.), Справочник по выявлению и оценке эмоций (стр. 9-28). Нью-Йорк:

Oxford University Press.

Рассел, Дж. А. (1994). Есть ли универсальное распознавание эмоций по выражению лица? Обзор

кросс-культурных исследований.Психологический бюллетень, 115 (1), 102–141.

Рассел, Дж. А., и Барретт, Л. Ф. (1999). Основной аффект, прототипные эмоциональные эпизоды и другие

вещи, называемые эмоциями: рассечение слона. Журнал личности и социальной психологии,

76 (5), 805–819.

Рассел, Дж. А., Бахоровски, Дж., И Фернандес-Долс, Дж. (2003). Мимика и голос

эмоций

. Ежегодный обзор психологии, 54, 329–349.

Заутер, Д. А., Эйснер, Ф., Экман П. и Скотт С. К. (2009). Межкультурное распознавание основных

эмоций посредством невербальной эмоциональной вокализации. PNAS, 107 (6), 2408–2414.

Шерер, К. Р., Джонстон, Т., и Класмейер, Г. (2003). Вокальное выражение эмоций. В Р. Дж.

Дэвидсон, Х. Голдсмит и К. Р. Шерер (ред.), Справочник по аффективным наукам (стр.

433–456). Нью-Йорк: Издательство Оксфордского университета.

[email protected]

Выявление электрофизиологических и сосудистых признаков имплицитной эмоциональной просодии

1.

Катлер А., Дахан Д. и ван Донселаар В. Просодия в понимании разговорной речи: обзор литературы. Lang Speech 40 , 141–201 (1997).

Артикул PubMed PubMed Central Google Scholar

2.

Шерер, К. Р. Выражение вокального аффекта: обзор и модель для будущих исследований. Психологический бюллетень 99 , 143–165 (1986).

Артикул CAS PubMed PubMed Central Google Scholar

3.

Хаммершмидт, К. и Юргенс, У. Акустические корреляты аффективной просодии. Journal of Voice 21 , 531–540 (2007).

Артикул PubMed PubMed Central Google Scholar

4.

Хок, С. Т., ван Клиф, Г. А., Фишер, А. Х. и ван дер Шалк, Дж. «Стоит тысячи слов»: Абсолютное и относительное декодирование нелингвистических аффективных вокализаций. Эмоция 9 , 293–305 (2009).

Артикул PubMed PubMed Central Google Scholar

5.

Мансоризаде, М. и Могхаддам Чаркари, Н. Мультимодальное приложение слияния информации для распознавания человеческих эмоций по лицу и речи. Multimed Tools Appl. 49 , 277–297 (2010).

Артикул Google Scholar

6.

Кастеллано, Г., Кессоус, Л. и Каридакис, Г.Распознавание эмоций с помощью различных способов: лицо, жесты тела, речь. В «Аффекты и эмоции во взаимодействии человека и компьютера: от теории к приложениям» (ред. Питер, К. и Бил, Р.) 92–103, https://doi.org/10.1007/978-3-540-85099 -1_8 (Springer Berlin Heidelberg, 2008).

7.

Ригуло С. и Пелл М. Д. Увидеть эмоции ушами: эмоциональная просодия неявно направляет визуальное внимание к лицам. PLOS ONE 7 , e30740 (2012).

Артикул ОБЪЯВЛЕНИЯ CAS PubMed PubMed Central Google Scholar

8.

Ригуло, С. и Пелл, М. Д. Эмоции в голосе влияют на то, как мы сканируем эмоциональные лица. Речевое общение 65 , 36–49 (2014).

Артикул Google Scholar

9.

Паульманн, С., Титоне, Д. и Пелл, М. Д. Как эмоциональная просодия направляет ваш путь: данные по движениям глаз. Речевое общение 54 , 92–107 (2012).

Артикул Google Scholar

10.

Росси С., Телкемейер С., Вартенбургер И. и Обриг Х. Проливая свет на слова и предложения: спектроскопия в ближнем инфракрасном диапазоне в языковом исследовании. Мозг и язык 121 , 152–163 (2012).

Артикул Google Scholar

11.

Гроссманн, Т. и др. . Эмоциональная обработка голоса: исследование роли генетической изменчивости в переносчике серотонина в процессе развития. PLOS ONE 8 , e68377 (2013).

Артикул ОБЪЯВЛЕНИЯ CAS PubMed PubMed Central Google Scholar

12.

Иредейл, Дж. М., Рашби, Дж. А., Макдональд, С., Димоска-Ди Марко, А. и Свифт, Дж. Эмоции в голосовых вопросах: нейронные корреляты эмоционального просодического восприятия. Международный журнал психофизиологии 89 , 483–490 (2013).

Артикул Google Scholar

13.

Этофер Т. и др. . Церебральные пути в обработке аффективной просодии: исследование динамического причинно-следственного моделирования. NeuroImage 30 , 580–587 (2006).

Артикул Google Scholar

14.

Ширмер, А., Chen, C.-B., Ching, A., Tan, L. & Hong, R.Y. Голосовые эмоции влияют на вербальную память: нейронные корреляты и межиндивидуальные различия. Cogn влияет на поведение Neurosci 13 , 80–93 (2013).

Артикул PubMed PubMed Central Google Scholar

15.

Паульманн, С., Блейхнер, М. и Коц, С. А. Э. Валентность, возбуждение и эффекты задания в обработке эмоциональной просодии. Фронт. Психол . 4 (2013).

16.

Пелл, М. Д. и др. . Предпочтительное декодирование эмоций из человеческих нелингвистических вокализаций по сравнению с речевой просодией. Биологическая психология 111 , 14–25 (2015).

Артикул CAS PubMed PubMed Central Google Scholar

17.

Виккенс, С. и Перри, К. Что вы имеете в виду ?! Электрофизиологическое исследование эмоциональной и эмоциональной просодии. PLOS ONE 10 , e0132947 (2015).

Артикул CAS PubMed PubMed Central Google Scholar

18.

Коц, С. А. и др. . О латерализации эмоциональной просодии: связанное с событием функциональное МР-исследование. Мозг и язык 86 , 366–376 (2003).

Артикул Google Scholar

19.

Фрюхольц, С., Сераволо, Л. и Гранджин, Д. Конкретные сети мозга во время явного и неявного декодирования эмоциональной просодии. Cereb Cortex 22 , 1107–1117 (2012).

Артикул Google Scholar

20.

Такеда Т. и др. . Влияние приятных и неприятных звуковых раздражителей на церебральный кровоток и физиологические изменения у здоровых людей. В Транспортировка кислорода в ткань XXXVII (ред.Элвелл, К. Э., Люнг, Т. С. и Харрисон, Д. К.) 303–309 (Springer New York, 2016).

21.

Фрюхольц, С. и Гранджин, Д. Множественные субрегионы верхней височной коры по-разному чувствительны к голосовым выражениям: количественный метаанализ. Neuroscience & Biobehavioral Reviews 37 , 24–35 (2013).

Артикул Google Scholar

22.

Herrmann, M. J., Ehlis, A.-C. И Фоллгаттер, А. Дж. Префронтальная активация посредством выполнения требований эмоциональной индукции, измеренных с помощью NIRS. Биологическая психология 64 , 255–263 (2003).

Артикул CAS Google Scholar

23.

Friederici, A. D. & Alter, K. Латерализация слуховых языковых функций: динамическая модель двойного пути. Мозг и язык 89 , 267–276 (2004).

Артикул Google Scholar

24.

Хикок, Г. и Поппель, Д. Корковая организация обработки речи. Nature Reviews Neuroscience 8 , 393–402 (2007).

Артикул CAS Google Scholar

25.

Хикок Г. и Поппель Д. Глава 8 — Нейронные основы восприятия речи. В справочнике « Clinical Neurology » (ред. Аминофф, М. Дж., Боллер, Ф. и Свааб, Д. Ф.) 129 , 149–160 (Elsevier, 2015).

26.

Бород, Дж. К. и др. . Эмоциональное восприятие правого полушария: данные по нескольким каналам. Нейропсихология 12 , 446–458 (1998).

Артикул CAS Google Scholar

27.

Вильдгрубер, Д., Акерманн, Х., Крайфельтс, Б. и Этофер, Т. Церебральная обработка лингвистической и эмоциональной просодии: исследования фМРТ. в Progress in Brain Research (ред.Андерс, С., Энде, Г., Юнгхофер, М., Кисслер, Дж. И Вильдгрубер, Д.) 156 , 249–268 (Elsevier, 2006).

28.

Дэвидсон, Р. Дж. Церебральная асимметрия, эмоции и аффективный стиль. В Асимметрия мозга (ред. Дэвидсон, Р. Дж. И Хугдал, К.) 361–387 (MIT Press, 1993).

29.

Heller, W. Нейропсихология эмоций: паттерны развития и последствия для психопатологии. В Психологические и биологические подходы к эмоциям (ред.Стейн, Н., Левенталь, Б. Л. и Трабассо, Т.) 167–211 (Lawrence Erlbaum Associates Inc., 1990).

30.

Heller, W. H. J. B. & Nitschke, J. Загадка региональной мозговой активности и беспокойства: важность подтипов и сопутствующих заболеваний. Познание и эмоции 12 , 421–447 (1998).

Артикул Google Scholar

31.

Киллгор, В. Д. С. и Юргелун-Тодд, Д. А. Гипотезы правого полушария и валентности: могут ли они обе быть правыми (а иногда и левыми)? Soc Cogn Affect Neurosci 2 , 240–250 (2007).

Артикул PubMed PubMed Central Google Scholar

32.

Гайнотти, Г. Исторический обзор исследований латеральности эмоций в человеческом мозге. Журнал истории неврологии 28 , 23–41 (2019).

Артикул PubMed PubMed Central Google Scholar

33.

Frühholz, S., Trost, W. & Kotz, S.A. Звук эмоций — На пути к объединяющей нейросетевой перспективе аффективной обработки звука. Neuroscience & Biobehavioral Reviews 68 , 96–110 (2016).

Артикул Google Scholar

34.

Сах, П., Фабер, Э. С. Л., Лопес Де Арментия, М. и Пауэр, Дж. Миндалевидный комплекс: анатомия и физиология. Физиологические обзоры 83 , 803–834 (2003).

Артикул CAS PubMed PubMed Central Google Scholar

35.

Зальд, Д. Х. Миндалевидное тело человека и эмоциональная оценка сенсорных стимулов. Обзоры исследований мозга 41 , 88–123 (2003).

Артикул PubMed PubMed Central Google Scholar

36.

Frühholz, S. et al . Асимметричные эффекты одностороннего повреждения правой или левой миндалины на слуховую корковую обработку голосовых эмоций. PNAS 112 , 1583–1588 (2015).

Артикул ОБЪЯВЛЕНИЯ CAS PubMed PubMed Central Google Scholar

37.

Вильдгрубер, Д. и др. . Определение эмоциональной интонации оценивается с помощью фМРТ. NeuroImage 24 , 1233–1241 (2005).

Артикул CAS PubMed PubMed Central Google Scholar

38.

Grandjean, D. et al. .Голоса гнева: реакция мозга на гневную просодию в бессмысленной речи. Nature Neuroscience 8 , 145–146 (2005).

Артикул CAS PubMed PubMed Central Google Scholar

39.

Банцигер, Т. и Шерер, К. Представляем корпус Женевского мультимодального изображения эмоций (GEMEP) . (ОУП Оксфорд, 2010).

40.

Plichta, M. M. et al. . Активация слуховой коры модулируется эмоциями: исследование функциональной ближней инфракрасной спектроскопии (fNIRS). NeuroImage 55 , 1200–1207 (2011).

Артикул CAS Google Scholar

41.

Кёхель, А., Шенгасснер, Ф. и Шинле, А. Кортикальная активация во время слухового возбуждения страха и отвращения: исследование ближней инфракрасной спектроскопии (NIRS). Письма о неврологии 549 , 197–200 (2013).

Артикул CAS PubMed PubMed Central Google Scholar

42.

Чжан Д., Чжоу Ю. и Юань Дж. Речевые просодии различных эмоциональных категорий активируют разные области мозга во взрослой коре головного мозга: исследование fNIRS. Sci Rep 8 , 1–11 (2018).

Артикул ОБЪЯВЛЕНИЯ CAS Google Scholar

43.

Паульманн, С. Глава 88 — Нейропознание просодии. в Нейробиология языка (ред. Хикок, Г. и Смолл, С. Л.) 1109–1120, https://doi.org/10.1016 / B978-0-12-407794-2.00088-2 (Academic Press, 2016).

44.

Катберт, Б. Н., Шупп, Х. Т., Брэдли, М. М., Бирбаумер, Н. и Ланг, П. Дж. Потенциалы мозга в обработке аффективных изображений: ковариация с вегетативным возбуждением и аффективным отчетом. Биологическая психология 52 , 95–111 (2000).

Артикул CAS PubMed PubMed Central Google Scholar

45.

Duval, E.Р., Мозер, Дж. С., Хупперт, Дж. Д. и Саймонс, Р. Ф. Что в лице? Психофизиологический журнал 27 , 27–38 (2013).

Артикул Google Scholar

46.

Schupp, H. T. et al. . Обработка аффективных изображений: поздний позитивный потенциал модулируется мотивационной релевантностью. Психофизиология 37 , 257–261 (2000).

Артикул CAS PubMed PubMed Central Google Scholar

47.

Филдс, Э. К. и Куперберг, Г. Р. Это все о вас: ERP-исследование эмоций и собственной релевантности в дискурсе. NeuroImage 62 , 562–574 (2012).

Артикул PubMed PubMed Central Google Scholar

48.

Паульманн, С., Пелл, М. Д. и Котц, С. А. Функциональный вклад базальных ганглиев в эмоциональную просодию: данные ERP. Brain Research 1217 , 171–178 (2008).

Артикул CAS PubMed PubMed Central Google Scholar

49.

Witteman, J. et al. . Природа полушарной специализации восприятия просодии. Cogn влияет на поведение Neurosci 14 , 1104–1114 (2014).

PubMed PubMed Central Google Scholar

50.

Траск Р. Л. Словарь фонетики и фонологии ., https://doi.org/10.4324/9780203695111 (Routledge, 2004).

51.

Näsi, T. et al. . Корреляция визуально-вызванных гемодинамических реакций и потенциалов в человеческом мозге. Exp Brain Res 202 , 561–570 (2010).

Артикул Google Scholar

52.

Зама Т. и Шимада С. Одновременное измерение электроэнцефалографии и ближней инфракрасной спектроскопии во время произвольной двигательной подготовки. Sci Rep 5 , 1–9 (2015).

Артикул CAS Google Scholar

53.

Meir-Hasson, Y., Kinreich, S., Podlipsky, I., Hendler, T. & Intrator, N. Отпечаток ЭЭГ глубокой региональной активации фМРТ. NeuroImage 102 , 128–141 (2014).

Артикул Google Scholar

54.

Paulmann, S., Seifert, S. & Kotz, S.A. Орбито-лобные поражения вызывают нарушения во время поздней, но не ранней эмоциональной просодической обработки. Социальная неврология 5 , 59–75 (2010).

Артикул Google Scholar

55.

Заутер, Д. А. и Эймер, М. Быстрое обнаружение эмоций от человеческих вокализаций. Журнал когнитивной неврологии 22 , 474–481 (2009).

Артикул Google Scholar

56.

Эванс, К. М. и Федермайер, К. Д. Воспоминание справа и воспоминание слева: связанные с событием потенциалы обнаруживают асимметрию полушария в кодировании и сохранении вербальной информации. Neuropsychologia 45 , 1777–1790 (2007).

Артикул PubMed PubMed Central Google Scholar

57.

Лю Б., Джин З., Цин З. и Ван З. Обработка фонологической, орфографической и лексической информации китайских иероглифов в контекстах предложений: исследование ERP. Brain Research 1372 , 81–91 (2011).

Артикул CAS Google Scholar

58.

Стюэллейн, Н., Радах, Р. Р., Якобс, А. М. и Хофманн, М. Дж. Билет в один конец от орфографии к семантике в памяти распознавания: эффекты ассоциаций N400 и P200. Brain Research 1639 , 88–98 (2016).

Артикул CAS Google Scholar

59.

Вайш А., Гроссманн Т. и Вудворд А. Не все эмоции созданы равными: предвзятость негативности в социально-эмоциональном развитии. Psychol Bull 134 , 383–403 (2008).

Артикул PubMed PubMed Central Google Scholar

60.

Globisch, J., Hamm, A.O., Esteves, F. & Öhman, A. Страх возникает быстро: временный ход потенцирования рефлекса испуга у животных, испытывающих страх. Психофизиология 36 , 66–75 (1999).

Артикул CAS Google Scholar

61.

Pessoa, L. В какой степени эмоциональные визуальные стимулы обрабатываются без внимания и осознания? Текущее мнение в области нейробиологии 15 , 188–196 (2005).

Артикул CAS Google Scholar

62.

Пессоа, Л., Маккенна, М., Гутьеррес, Э. и Унгерлейдер, Л. Г. Нейронная обработка эмоциональных лиц требует внимания. PNAS 99 , 11458–11463 (2002).

Артикул ОБЪЯВЛЕНИЯ CAS Google Scholar

63.

Маратос, Ф. А. и Пессоа, Л. Что движет приоритетной визуальной обработкой? Аккаунт мотивационной релевантности. Прог. Brain Res. 247 , 111–148 (2019).

Артикул Google Scholar

64.

Бенавидес-Варела, С., Хохманн, Дж.-R., Macagno, F., Nespor, M. & Mehler, J. Активность мозга новорожденного сигнализирует о происхождении словесных воспоминаний. PNAS 109 , 17908–17913 (2012).

Артикул ОБЪЯВЛЕНИЯ Google Scholar

65.

Issard, C. & Gervain, J. Вариабельность гемодинамической реакции у младенцев: влияние дизайна эксперимента и сложности стимула. Когнитивная неврология развития 33 , 182–193 (2018).

Артикул PubMed PubMed Central Google Scholar

66.

de Roever, I. et al. . Исследование паттерна гемодинамического ответа, измеренного с помощью исследований функциональной ближней инфракрасной спектроскопии (fNIRS) у новорожденных младше месяца: систематический обзор. Front Hum Neurosci 12 (2018).

67.

Обриг, Х. и др. . Влияние ассоциативного изучения слов на фонотаксическую обработку у 6-месячных младенцев: комбинированное исследование ЭЭГ и fNIRS. Когнитивная неврология развития 25 , 185–197 (2017).

Артикул Google Scholar

68.

Бресслер, Д., Спотсвуд, Н. и Уитни, Д. Отрицательный жирный ответ фМРТ в зрительной коре головного мозга несет точную информацию, специфичную для стимула. PLOS ONE 2 , e410 (2007).

Артикул ОБЪЯВЛЕНИЯ CAS PubMed PubMed Central Google Scholar

69.

Маллингер, К. Дж., Мэйхью, С. Д., Багшоу, А. П., Боутелл, Р. и Фрэнсис, С. Т. Доказательства того, что отрицательный ответ BOLD имеет нейрональное происхождение: одновременное исследование ЭЭГ – BOLD – CBF на людях. NeuroImage 94 , 263–274 (2014).

Артикул CAS Google Scholar

70.

Maggioni, E. et al. . Исследование отрицательных BOLD-ответов в человеческом мозге с помощью техники NIRS. Исследование визуальной стимуляции. NeuroImage 108 , 410–422 (2015).

Артикул Google Scholar

71.

Okamoto, M. et al. . Трехмерная вероятностная анатомическая кранио-церебральная корреляция через международную систему 10–20, ориентированную на транскраниальное функциональное картирование мозга. NeuroImage 21 , 99–111 (2004).

Артикул PubMed PubMed Central Google Scholar

72.

Этофер, Т. и др. . Дифференциальное влияние эмоции, задачи и новизны на области мозга, лежащие в основе обработки речевой мелодии. Журнал когнитивной неврологии 21 , 1255–1268 (2008).

Артикул Google Scholar

73.

Ширмер, А. и Коц, С. А. За пределами правого полушария: механизмы мозга, опосредующие голосовую обработку эмоций. Тенденции в когнитивных науках 10 , 24–30 (2006).

Артикул Google Scholar

74.

Коц, С. А., Калберлах, К., Бальманн, Дж., Фридеричи, А. Д. и Хейнс, Ж.-Д. Прогнозирование голосовых выражений эмоций из человеческого мозга. Картирование человеческого мозга 34 , 1971–1981 (2013).

Артикул Google Scholar

75.

Schweizer, T. A., Ware, J., Fischer, C. E., Craik, F. I. M. & Bialystok, E.Двуязычие как фактор когнитивного резерва: данные об атрофии мозга при болезни Альцгеймера. Cortex 48 , 991–996 (2012).

Артикул Google Scholar

76.

Олдфилд, Р. К. Оценка и анализ руки: Эдинбургская инвентаризация. Neuropsychologia 9 , 97–113 (1971).

Артикул CAS Google Scholar

77.

Хануликова, А. Силлабификация и ее роль в лексической сегментации немецкого и словацкого языков. В Некоторые аспекты речи и мозга (ред. Фукс, С., Лёвенбрук, Х., Папе, Д. и Перье, П.) 331–361 (Питер Ланг Верлаг, 2009).

78.

Росси, С. и др. . Неявная обработка фонотаксических сигналов: данные по электрофизиологическим и сосудистым ответам. Журнал когнитивной неврологии 23 , 1752–1764 (2011).

Артикул ОБЪЯВЛЕНИЯ PubMed PubMed Central Google Scholar

79.

Huettel, S & McCarthy. Функциональная магнитно-резонансная томография . (Sinauer Associates, 2009).

80.

Sharbrough et al . Рекомендации Американского электроэнцефалографического общества по стандартной номенклатуре расположения электродов. Журнал клинической нейрофизиологии 8 , 200–202 (1991).

Артикул Google Scholar

81.

Коуп, М., Делпи, Д. Т., Рэй, С., Вятт, Дж.С. и Рейнольдс, Э. О. Р. Спектрофотометр ПЗС для количественного определения концентрации хромофоров в живой ткани с использованием пика поглощения воды при 975 нм. В Перенос кислорода в ткань XI (ред. Ракусан, К., Биро, Г.П., Голдстик, Т.К. и Турек, З.) 33–40, https://doi.org/10.1007/978-1-4684-5643 -1_4 (Springer US, 1989).

82.

Улудаг, К. и др. . Связь мозгового кровотока и потребления кислорода во время физиологической активации и дезактивации, измеренная с помощью фМРТ. NeuroImage 23 , 148–155 (2004).

Артикул Google Scholar

83.

Fox, P. T. & Raichle, M. E. Очаговое физиологическое разъединение мозгового кровотока и окислительного метаболизма во время соматосенсорной стимуляции у людей. PNAS 83 , 1140–1144 (1986).

Артикул ОБЪЯВЛЕНИЯ CAS Google Scholar

84.

Обриг, Х. и Виллринджер, А. За пределами видимого. Визуализация человеческого мозга с помощью света. J Cereb Blood Flow Metab 23 , 1–18 (2003).

Артикул Google Scholar

85.

Джаспер, Х. Х. Система электродов «десять-двадцать» Международной федерации. Электроэнцефалография и клиническая нейрофизиология 10 , 371–375 (1958).

Google Scholar

86.

Gratton, G., Coles, M. G. & Donchin, E. Новый метод автономного удаления глазных артефактов. Electroencephalogr Clin Neurophysiol 55 , 468–484 (1983).

Артикул CAS PubMed PubMed Central Google Scholar

87.

Бенджамини, Ю. и Хохберг, Ю. Контроль ложного обнаружения: практический и мощный подход к множественному тестированию. В https://doi.org/10.1111/j.2517-6161.1995.tb02031.x (1995).

88.

Greenhouse, S. W. & Geisser, S. О методах анализа профильных данных. Психометрика 24 , 95–112 (1959).

Артикул MathSciNet МАТЕМАТИКА Google Scholar

89.

Brigadoi, S. et al. . Артефакты движения в функциональной ближней инфракрасной спектроскопии: сравнение методов коррекции движения, применяемых к реальным когнитивным данным. NeuroImage 85 , 181–191 (2014).

Артикул PubMed PubMed Central Google Scholar

90.

Ди Лоренцо, Р. и др. . Рекомендации по коррекции движения младенческих данных fNIRS, применимые к множеству наборов данных и систем сбора данных. NeuroImage 200 , 511–527 (2019).

Артикул Google Scholar

91.

Бойнтон, Г. М., Энгель, С. А. и Хигер, Д.J. Линейный системный анализ сигнала фМРТ. NeuroImage 62 , 975–984 (2012).

Артикул PubMed PubMed Central Google Scholar

92.

Altvater-Mackensen, N. & Grossmann, T. Независимое от модальности рекрутирование нижней лобной коры во время обработки речи у младенцев. Когнитивная неврология развития 34 , 130–138 (2018).

Артикул PubMed PubMed Central Google Scholar

93.

Ллойд-Фокс, С., Блази, А. и Элвелл, К. Э. Освещение развивающегося мозга: прошлое, настоящее и будущее функциональной ближней инфракрасной спектроскопии. Neuroscience & Biobehavioral Reviews 34 , 269–284 (2010).

Артикул CAS Google Scholar

Эмоциональная просодия и тарабарщина

В целом в этом блоге я изучаю способы, которыми Theater и Affective Neuroscience на самом деле могут быть отражениями друг друга, поскольку оба они тесно взаимодействуют с эмоциями.И театр (в частности, актерское мастерство), и психология анализируют эмоциональное производство и восприятие, а также множество возможных источников эмоций и их проявлений. Репрезентация или, скорее, исполнение человеческих эмоций сильно зависит от словесного выражения. Многие исследователи предполагают, что именно язык делает людей настолько развитыми по сравнению с любыми другими млекопитающими. Хотя язык «принадлежит» когнитивной сфере, в нем есть эмоциональные элементы. Одна из важнейших частей языка — просодия.В следующем блоге я попытаюсь обобщить последние исследования эмоциональной просодии. Я также представляю известное и полезное упражнение из мира исполнительского искусства — тарабарщину — в надежде, что это поможет нам облегчить понимание производства и восприятия эмоций.

Одно из самых любимых и сложных упражнений, используемых на уроках «Знакомство с актерским мастерством» , — это говорение на так называемой «тарабарщине». Его используют на репетициях и даже в спектаклях.Испытывая тарабарщину, большинство студентов признают, насколько сложно выразить мысль, не используя реальный язык. Однако обычно следует довольно противоречивое откровение: ученики понимают, что для выражения эмоций не требуется использования значимых слов. Они замечают, как невербальные аспекты вокального выражения могут использоваться для достижения того же результата, что и слова.

Для тех, кто хочет слышать, как звучит тарабарщина, вот пример:

/ тарабарщина начинается после 03: 05/

Тарабарщина, Джош Хатчерсон (Поздняя ночь с Джимми Фэллоном, 14.11.2014)

Тарабарщина представляет речь без ее смысловой составляющей.Самая близкая аналогия — это доязыковые вокализации, создаваемые и используемые маленькими детьми для общения со своими родителями или просто людьми, отличными от них самих. Граммелот (или тарабарщина) воображаемый, он не существует вне временных рамок спектакля; это коммуникация, изобретенная для данной группы, которая собирается на ограниченное время (Jaffe-Berg 2001). Утверждается, что он оказывает освобождающее или освобождающее действие благодаря своей «способности создавать пространство для общения, которое мало зависит от принятых коммуникативных языковых кодов».(Jaffe-Berg, 2001, стр. 8) Тарабарщина не новость для всех, кто когда-то был ребенком (то есть буквально для всех). Использование звуков в тарабарщине передает смысл аудитории, подобно тому, как младенцы издают звуки, передавая значения или желания, просьбы и реакции взрослым или другим младенцам. С художественной точки зрения детская тарабарщина — это чистейший пример свободного и уникального творчества. С неврологической точки зрения тарабарщина — чистейшая форма человеческой эмоциональной просодии.

Исследования показывают, что наиболее важная функция речевой просодии, управляемой младенцем (ID), — это помощь в создании и поддержании эмоциональной связи между опекуном и доязыковым младенцем, которая имеет решающее значение для выживания. (Trainor, 2000). Трейнор предполагает, что «социальные условности часто диктуют сдержанность просодических выражений эмоций, возможно, для того, чтобы позволить более когнитивной рефлексивной реакции преобладать над немедленными эмоциональными действиями». (стр. 188) Младенцы не могут понимать язык как таковой; вместо этого именно просодия умудряется передать им важную информацию.По форме и структуре язык детей часто называют тарабарщиной, поскольку в нем отсутствует лингвистическое значение. Трейнор приходит к выводу, что, поскольку слуховая система созревает раньше, чем зрительная система, и поскольку язык в первую очередь основан на слуховой модальности, голосовое выражение эмоций, вероятно, играет важную роль в раннем эмоциональном развитии. В самом деле, кажется, что восприятие просодии «свободными от языка» младенцами полагается исключительно на эмоциональную просодию вокального выражения, что может объяснить универсальность производства идентификационной речи в разных культурах.(Trainor, 2000)

В целом исследователи сходятся во мнении, что просодию можно подразделить на две категории: эмоциональную и лингвистическую. Когда создается синтетическая речь, отсутствие эмоциональной просодии приводит к невмешательству и неестественно звучащей речи (Mozziconacci 2002). Фрухольц (2011) определяет эмоциональную просодию как аффективные сигналы и эмоциональные состояния, декодированные и выводимые из супрасегментарных вокальных модуляций. Митчелл (2003) проводит тонкое различие между различными проявлениями просодии: нелингвистические или эмоциональные функции просодии обычно представлены градиентными характеристиками, такими как высота звука и диапазон, а также ритмичность.(стр. 1410) Оберже (2002) предполагает, что в качестве интегративного агента основных функций коммуникативной системы просодия становится рамкой прямого эмоционального выражения, системы кодирования отношений и экспрессивных стратегий для акустического материала.

Различные исследования нейронных цепей, участвующих в обработке эмоциональной просодии, показали, что миндалевидное тело неизбежно участвует в восприятии эмоциональных вокализаций (Morris, 1998; Sander, 2001; Adolphs, 2002; Mitchell, 2003; Fecteau, 2007).Основываясь на результатах фМРТ, было высказано предположение, что миндалевидное тело «демонстрирует аналогичный усиленный паттерн ответа на различные эмоции, выражаемые просодией». (Wiethoff et al., 2009, стр. 1359) Согласно одному из последних экспериментов фМРТ, Pichon and Kell (2013) нашли поддержку двух моделей эмоциональной просодии: во время подготовки они зафиксировали сильное двустороннее вовлечение базальных ганглиев, лимбических узлов. области, височный полюс и передний островок; во время фактического производства они наблюдали обработку, связанную с правосторонней слуховой обратной связью.(стр.1647)

Из этого довольно краткого обзора можно сделать вывод, что эмоциональная просодия — это язык сам по себе. В контексте игры он воздействует на аудиторию так же эффективно, как сила слов. Такой инструмент действия, как тарабарщина, дает прямую возможность проявить эмоциональную просодию. Это «ярлык» через когнитивный аспект языка, и он напрямую связан с эмоциями. Тарабарщина обходит когнитивную деятельность мозга во время приобретения и / или производства эмоций.Автор не нашел исследований, в которых анализировалась бы активность мозга и нейронные цепи эмоциональной просодии, испытываемые во время выступлений на тарабарщине. Возможно, это потенциальное будущее исследование, в котором эмоциональная просодия может быть исследована в ее чистом виде.

Артикул:

Адольфс Р., Дамасио Х. и Транель Д. (2002). Нейронные системы для распознавания эмоциональной просодии: трехмерное исследование поражения. Эмоция, 2 (1), 23.

Оберге, В. (2002). Prosodie et émotion.Actes des deuxiemes assises nationales du GdR I, 3, 263-273.

Фекто, С., Белин, П., Джоанетт, Ю., и Армони, Дж. Л. (2007). Миндалевидное тело реагирует на нелингвистические эмоциональные вокализации. Нейроизображение , 36 (2), 480-487.

Яффе-Берг, Э. (2001). Набеги на Граммелот: язык бессмыслицы. Журнал драматической теории и критики, (2), 3-16.

Моррис, Дж. С., Скотт, С. К., и Долан, Р. Дж. (1999). Сказать это с чувством: нейронные реакции на эмоциональные вокализации. Neuropsychologia , 37 (10), 1155-1163.

Mozziconacci, S. (2002). Просоды и эмоции. В Speech Prosody 2002, Международная конференция .

Митчелл Р. Л., Эллиотт Р., Барри М., Круттенден А. и Вудрафф П. В. (2003). Нейронный ответ на эмоциональную просодию, выявленный функциональной магнитно-резонансной томографией. Нейропсихология, 41 (10), 1410-1421.

Пишон С. и Келл К. А. (2013). Аффективный и сенсомоторный компоненты генерации эмоциональной просодии. Журнал неврологии , 33 (4), 1640-1650.

Сандер, К., и Шайх, Х. (2001). Слуховое восприятие смеха и плача активирует миндалевидное тело человека независимо от состояния внимания. Когнитивные исследования мозга , 12 (2), 181–198.

Трейнор, Л. Дж., Остин, К. М., Дежарден, Р. Н. (2000). Является ли просодия направленной на младенцев речевой просодией результатом голосового выражения эмоций? Психологическая наука, 11 (3), 188-195.

Витхофф, С., Вильдгрубер Д., Гродд В. и Этофер Т. (2009). Реакция и привыкание миндалевидного тела во время обработки эмоциональной просодии. Нейроотчет , 20 (15), 1356-1360.

Вильдгрубер, Д., Акерманн, Х., Крайфельтс, Б., и Этофер, Т. (2006). Церебральная обработка лингвистической и эмоциональной просодии: исследования фМРТ. Прогресс в исследованиях мозга, 156, 249-268.

Вильдгрубер, Д. (2009). Церебральная сетевая модель понимания просодии речи. Международный журнал патологии речи и языка, 11 (4), 277-281.DOI: 10.1080 / 17549500

3043

«Межсенсорная избыточность способствует детекции просодии у младенцев» Лоррейн Э. Барик, Мириа Э. МакНью и др.

Название

Межсенсорная избыточность способствует обнаружению младенцами просодии в управляемой младенцами речи

Дата этой версии

1-7-2019

Аннотация

Просодия, или интонационные контуры речи, передает эмоции и намерения слушателю и дает младенцам раннюю основу для определения смысла речи.Младенческая речь (IDS) характеризуется преувеличенной просодией, более медленным темпом и удлиненными паузами, все амодальные свойства обнаруживаются на лице и в голосе. Хотя речь является аудиовизуальным событием, она изучалась прежде всего как одномодальный слуховой поток без синхронизированного динамического лица говорящего. Согласно гипотезе межсенсорной избыточности, избыточность между органами чувств облегчает перцептивное обучение амодальной информации, включая просодию. Мы предсказали, что младенцы, которые все еще учатся различать и категоризировать просодическую информацию, будут лучше обнаруживать просодические изменения при наличии межсенсорной избыточности (т.е., синхронная аудиовизуальная речь), чем в ее отсутствие (то есть одномодальная слуховая или асинхронная аудиовизуальная речь). Чтобы проверить эту гипотезу, 72 ребенка в возрасте 4 месяцев были приучены к записям женщин, читающих отрывки в IDS с просодией, передающей либо одобрение, либо запрет, а затем были протестированы с записями нового отрывка с изменением или без изменения просодии. Младенцы, получившие бимодальную синхронную стимуляцию, продемонстрировали значительное восстановление зрения к новому отрывку с изменением просодии, но не к новому отрывку без изменения просодии.Младенцы в одномодальных слуховых и бимодальных асинхронных условиях не показали восстановления зрения ни в одном из состояний. Результаты подтверждают гипотезу о том, что межсенсорная избыточность облегчает обнаружение и абстрагирование инвариантной просодии при изменении лингвистического содержания и, вероятно, служит ранней основой для определения значения беглой речи.

DOI

10.1016 / j.jecp.2019.02.008

Рекомендуемое цитирование

Бахрик, Лоррейн Э.; McNew, Myriah E .; Пруден, Шеннон М .; и Кастелланос, Ирина, «Межсенсорная избыточность способствует детекции просодии в детской речи» (2019). Кафедра психологии . 84.
https://digitalcommons.fiu.edu/psychology_fac/84

Связь восприятия просодии с личностью и агрессией

Арчер Дж. И Койн С. (2005). Комплексный обзор косвенной, относительной и социальной агрессии. Обзор личности и социальной психологии, 9 (3), 212–230.

PubMed Статья Google Scholar

Бар-Он Р. (1997). Инвентаризация эмоционального фактора при запрете . Торонто: мульти-системы здравоохранения.

Google Scholar

Бертон Л. и Леви Дж. (1989). Половые различия в латерализованной обработке эмоций лица. Мозг и познание, 11 , 210–228.

PubMed Статья Google Scholar

Бертон, Л., Рабин, Л., Вятт, Г., Фролих, Дж., Варди, С., и Димитри, Д. (2005). Эффекты прайминга для эмоциональных и нейтральных лиц. Мозг и познание, 59 (3), 322–329.

PubMed Статья Google Scholar

Бертон, Л., Хафец, Дж., И Хеннингер, Д. (2007). Гендерные различия в относительной и физической агрессии. Социальное поведение и личность, 35 (1), 41–50.

Артикул Google Scholar

Бусс, Д., И Перри, М. (1992). Анкета агрессии. Журнал личности и социальной психологии, 63 (3), 452–459.

PubMed Статья Google Scholar

Коллиньон, О., Жирар, С., Госслен, Ф., Сен-Амур, Д., Лепор, Ф., и Лассонд, М. (2009). Женщины обрабатывают мультисенсорные выражения эмоций более эффективно, чем мужчины. Neuropsychologia, 48 , 220–225.

Артикул Google Scholar

Коста, П., & McCrae, R. (1992). НЕО ПИ-Р . Лутц: Ресурсы для психологической оценки.

Google Scholar

Крик, Н., и Гротпетер, Дж. (1995). Относительная агрессия, пол и социально-психологическая адаптация. Развитие ребенка, 66 , 710–722.

PubMed Статья Google Scholar

Эверхарт, Э., Демари, Х., и Шипли, А.(2006). Восприятие эмоциональной просодии: движение к модели, включающей различия, связанные с полом. Обзоры поведенческой и когнитивной нейробиологии, 5 (2), 92–102.

PubMed Статья Google Scholar

Холл, Дж. (1978). Гендерные эффекты при расшифровке невербальных сигналов. Психологический бюллетень, 85 , 845–857.

Артикул Google Scholar

Хэмпсон, Э., ван Андерс, С., и Муйллен, Л. (2006). Женское преимущество в распознавании эмоциональных выражений лица: проверка эволюционной гипотезы. Эволюция и поведение человека, 27, , 401–416.

Артикул Google Scholar

МакКлюр, Э. (2000). Метааналитический обзор половых различий в обработке выражения лица и их развития у младенцев, детей и подростков. Психологический бюллетень, 126 , 424–453.

PubMed Статья Google Scholar

Митчелл, Дж. (1995). Способность к невербальной обработке и социальная компетентность у дошкольников. Неопубликованная дипломная работа с отличием, факультет психологии, Университет Эмори, Атланта, Джорджия,

Митчелл, Р. и Росс, Э. (2008). Данные фМРТ о влиянии словесной сложности на латерализацию нейронного ответа, связанного с декодированием просодических эмоций. Neuropsychologia, 46 , 2880–2887.

PubMed Статья Google Scholar

Митчелл, Р., Эллиот, Р., Барри, М., Круттенден, А., и Вудрафф, П. (2003). Нейронный ответ на эмоциональную просодию, выявленный функциональной магнитно-резонансной томографией. Neuropsychologia, 41 , 1410–1421.

PubMed Статья Google Scholar

Nowicki, S. (2003) Справочник по восприимчивым тестам DANVA2.Неопубликованное руководство, факультет психологии, Университет Эмори, Атланта, Джорджия.

Nowicki, S., & Duke, M. (1994). Индивидуальные различия в невербальной коммуникации аффекта: диагностический анализ невербальной шкалы точности. Журнал невербального поведения, 18 , 9–35.

Артикул Google Scholar

Робертс В., МакКлюр Э. и Новицки С. (1998). Распознавание эмоциональной просодии и функционирование правого полушария у пожилых людей.Документ, представленный на встрече INS, Гонолулу, Гавайи.

Росс Э. и Монно М. (2008). Неврология аффективной просодии и ее функционально-анатомическая организация в правом полушарии. Мозг и язык, 104 , 51–74.

PubMed Статья Google Scholar

Verbeek, P. (1996). Миротворчество у маленьких детей. Неопубликованная докторская диссертация, Департамент психологии, Университет Эмори, Атланта, Джорджия.

Вернер Н. и Крик Н. (1999). Относительная агрессия и социально-психологическая адаптация в выборке из колледжа.