| 미국 캘리포니아공과대학(칼텍) 연구진이 인위적으로 착시현상을 일으킴으로써 우리 뇌가 서로 다른 감각을 어떻게 받아들이고 처리하는지에 대한 단서를 발견했다. 우리 뇌는 처음 감각 신호를 처리하기 이전에, 다른 자극이 들어오게 되면 이를 구별해내지 못한다. 결국 뇌는 '사후처리' 과정을 통해 사실이 아닌 것을 현실이라고 판단하게 된다. |
짧은 시간 섬광과 소리(BEEP)를 보여주면 우리 뇌는 착시현상을 일으킨다. 섬광을 보여주고 삐 소리를 세번 들려준 뒤 다시 섬광을 보여주면 우리 뇌는 두번째 삐 소리가 났을 때도 섬광이 보였다고 판단하는 착시현상을 일으키게 된다.
우리는 끊임없이 쏟아지는 풍경과 소리, 냄새 등의 감각을 통해 세상을 경험한다. 뇌는 이 같은 감각신호를 받아들이고 분석한 뒤 세상에 대한 개인적인 '인식'을 만들어낸다. 하지만 가끔씩 감각은 우리를 속이기도 한다. 특히 인지적 착각(perceptual illusions)이 두드러진다. 미국 캘리포니아공과대학(칼텍) 연구진이 특히 소리 감각이 시각 감각에 어떤 영향을 미치는지를 밝혀내는 두가지 새로운 '착시'를 발견했다. 이 착시는 너무 빨리 일어나서 연구진은 이 현상을 '사후추정(postdiction)'으로 설명했다. 사후추정은 나중에 발생한 자극이 소급적으로 먼저 발생한 우리 인식에 영향을 미치는 것을 말한다.
칼텍의 연구는 여러 감각에 걸쳐서 발생하는 '시간 여행 착시(time-traveling illusion)'를 처음으로 보여준다. 연구는 칼텍 실험심리학과 교수인 신수케 시모조의 연구실에서 진행됐다. 논문은 국제학술지 '플로스원' 10월 3일자에 게재됐다.
"착시(Illusions)는 뇌를 바라볼 수 있는 흥미로운 창이다." 이번 논문의 1저자이면서 박사후연구원인 노에레 스틸레스가 말했다. "착시를 조사함으로써 우리 뇌의 의사결정 메커니즘을 연구할 수 있다. 예를 들어 뇌는 시끄럽고 서로 충돌하는 수많은 정보들로부터 어떤 것이 현실인지를 판단하는가. 뇌는 이 문제를 풀기 위해 환경에 대해 가정한다. 만약 가정이 틀린 것으로 판단되면 뇌가 혼란스러운 상황을 가장 잘 이해하려고 노력할 때 착시가 나타날 수 있다. 우리는 이러한 착시를 통해서 뇌가 하는 추론을 밝혀낼 수 있다."
이번 연구의 두가지 착시는 나중에 발생한 자극이 먼저 일어난 자극의 인지에 어떤 영향을 미치는지를 설명하기 위해 개발됐다. 사후처리(Postdictive processing)는 개개인의 감각 내에서 증명되지만 이번 작업은 '현상'이 감각을 어떻게 연결시키는지에 초점을 맞췄다.
The Rabbit Illusion
새로운 착시의 핵심은 청각, 그리고 시각 자극이 200밀리초 안에 상당히 빨리 일어나는 것이다. 뇌는 이 정보의 홍수를 이해하려고 노력하면서 두개의 감각을 합성해 경험을 결정하게 된다. 사후처리 과정을 이용해서 말이다. 첫번째 착시를 '토끼 착시(Illusory Rabbit)'라고 부른다. 착각을 일으키기 위해 먼저 짧은 '삐' 소리와 빠른 섬광을 컴퓨터 상에서 거의 동시에 재생시킨다. 섬광은 화면 왼쪽에 나타난다. 첫번째 '삐' 소리가 나고 58밀리초 뒤에 단일 신호음이 또 울린다. 마침내 두번째 소리가 나고 58밀리초 뒤 거의 동시에 삐 소리와 섬광이 동시에 나타난다. 단 섬광이 화면의 오른쪽에서 나타나도록 한다. 삐 소리가 나는 위치는 항상 가운데이며 이동하지 않는다. 비록 단지 두 번의 섬광을 보여줬지만 대부분의 사람들은 착시현상으로 인해 세번의 섬광을 감지하게 된다. 실제로 보지 않은 섬광은 두번째 삐 소리가 날 때 화면의 가운데에서 나타났다고 생각한다.
착시현상이 왼쪽과 오른쪽 섬광 사이에서 나타났다는 것은 뇌가 사후처리를 하고 있다는 중요한 증거가 된다. "마지막 삐 소리와 섬광이 나중에 제시됐을 때 뇌는 두번째 삐 소리에서 나타난 섬광을 놓쳤다고 추정한다. 문자 그대로 두번째 섬광을 놓쳤다는 것이 '사실'이라고 생각하게 된다." 스틸레스가 말했다. "이것은 사후처리 과정의 메커니즘을 설명한다. 그러나 그것보다 더 중요한 것은 이동하고 있는 섬광 착시를 인지하는 유일한 방법은 나중에 제공되는 정보(마지막 삐 소리와 섬광의 조합)를 조합해 가장 가능성 높은 섬광의 위치를 재구성하는 것이다."
두번째 착시는 '보이지 않는 토끼(Invisible Rabbit)'라고 불린다. 이와 관련한 착시현상에서 세개의 섬광을 스크린에 보여준다. 첫번째는 왼쪽, 두번째는 가운데, 세번째는 오른쪽 화면이다. 그리고 단지 첫번째와 마지막 섬광만 삐 소리와 함께 보여준다. 이 경우에는 대부분의 사람들이 두번째 섬광을 전혀 보지 못한다. 두번째 섬광을 보여줄 때는 삐 소리가 나지 않기 때문에 우리 뇌는 실제 섬광이 존재했지만 섬광이 없었을 것이라고 판단하게 된다.
소리가 시각적 착시를 일으킬 수 있음을 보여줌으로써 연구진은 뇌가 어떻게 공간과 시간을 너머 통합된 인지 감각을 결합하는지에 대한 새로운 단서를 발견했다. 시모조는 "이 연구의 중요성은 두가지"라며 "첫번째로 단일 감각이나 복합된 감각을 처리할 때 사후추정이 일반적이다"라고 말했다. "사후추정은 이상하게 들릴 수 있지만 그렇지 않다. 뇌가 이전의 시각 자극을 처리하는데 얼마나 시간이 걸리는지를 고려해야 한다. 그 사이에 후속 자극이 첫 번째 자극에 영향을 미칠 수 있다. 두번째 중요성은 이처럼 소리가 시각에 영향을 미치는 착시현상은 매우 드문 현상이다. 그리고 이처럼 공간, 시간에 걸쳐 발생하는 신경 처리 과정은 상당히 동적이다. 이처럼 새로운 착시현상들은 연구자들로 하여금 다중 감각 통합을 위한 최적의 매개 변수를 식별할 수 있도록 해줄 것이다." 시모조가 말했다.
Time-Traveling Illusion Tricks the Brain
We experience the world through our senses, a constant torrent of sights, sounds, smells, and more. Our brains take these signals and process them, giving rise to our individual perceptions of the world. But sometimes our senses play tricks on us, notably in the case of perceptual illusions.
Now, Caltech researchers have developed two new illusions that reveal how the senses can influence each other—in particular, how sound can give rise to visual illusions. These illusions occur so quickly that they illustrate a phenomenon called postdiction (as opposed to prediction) in which a stimulus that occurs later can retroactively affect our perceptions of an earlier event.
The Caltech work is among the first to show this kind of time-traveling illusion across multiple senses.
The work was done in the laboratory of Shinsuke Shimojo, Gertrude Baltimore Professor of Experimental Psychology and affiliated faculty member of the Tianqiao and Chrissy Chen Institute for Neuroscience at Caltech. A paper describing the research appears in the October 3 issue of the journal PLOS ONE.
"Illusions are a really interesting window into the brain," says first author Noelle Stiles (PhD '15), a visitor in biology and biological engineering and a postdoctoral scholar–research associate at USC. "By investigating illusions, we can study the brain's decision-making process. For example, how does the brain determine reality with information from multiple senses that is at times noisy and conflicting? The brain uses assumptions about the environment to solve this problem. When these assumptions happen to be wrong, illusions can occur as the brain tries to make the best sense of a confusing situation. We can use these illusions to unveil the underlying inferences that the brain makes."
The two illusions in this study were developed to illustrate how stimuli that occur later can affect the perception of stimuli that have already occurred. Postdictive processing has been demonstrated within individual senses, but this work focuses on how the phenomenon can bridge multiple senses. The key to both of the new illusions is that the audio and visual stimuli occur rapidly, in under 200 milliseconds (one-fifth of a second). The brain, trying to make sense of this barrage of information, synthesizes the stimuli from both senses to determine the experience, using postdiction to do so.
The first illusion is called the Illusory Rabbit. To produce the illusion, first a short beep and a quick flash are played nearly simultaneously on a computer, with the flash appearing at the left side of the screen. Next, 58 milliseconds after the first beep, a lone beep is played. Finally, 58 milliseconds after the second beep, a second nearly simultaneous beep-flash pair occurs, but with the flash appearing on the right side of the screen. The beep location is always central and does not move. Though only two flashes are played, most people viewing the illusion perceive three flashes, with an illusory flash coinciding with the second beep and appearing to be located in the center of the screen.
Optical illusion diagram
The fact that the illusory flash is perceived in between the left and right flashes is the key evidence that the brain is using postdictive processing.
"When the final beep-flash pair is later presented, the brain assumes that it must have missed the flash associated with the unpaired beep and quite literally makes up the fact that there must have been a second flash that it missed," explains Stiles. "This already implies a postdictive mechanism at work. But even more importantly, the only way that you could perceive the shifted illusory flash would be if the information that comes later in time—the final beep-flash combination—is being used to reconstruct the most likely location of the illusory flash as well."
The second illusion is called the Invisible Rabbit. In this related illusion, three flashes are shown on the screen, the first on the left, the second in the middle, and finally the third on the right, with only the first and third flashes coinciding with beeps. In this case, most people do not see the second flash—the one without a corresponding sound—at all. The absence of the second beep leads the brain to decide after the fact that there actually was no flash, even though it was in fact present.
By showing that a sound can excite a visual illusion, the researchers have uncovered new clues as to how the brain combines the senses over space and time to generate an integrated sense of perception.
"The significance of this study is twofold," says Shimojo. "First, it generalizes postdiction as a key process in perceptual processing for both a single sense and multiple senses. Postdiction may sound mysterious, but it is not—one must consider how long it takes the brain to process earlier visual stimuli, during which time subsequent stimuli from a different sense can affect or modulate the first. The second significance is that these illusions are among the very rare cases where sound affects vision, not vice versa, indicating dynamic aspects of neural processing that occur across space and time. These new illusions will enable researchers to identify optimal parameters for multisensory integration, which is necessary for both the design of ideal sensory aids and optimal training for low-vision individuals."
The paper is titled "What You Saw is What You Will Hear: Two New Illusions with Audiovisual Postdictive Effects." In addition to Stiles and Shimojo, co-authors are former Caltech undergraduate Monica Li, Carmel Levitan of Occidental College, and former Caltech postdoc Yukiyasu Kamitani of Kyoto University and ATR Computational Neuroscience Laboratories. Funding was provided by the National Institutes of Health, the Philanthropic Educational Organization Scholar Award Program, the Japan Science and Technology Agency's Core Research for Evolutional Science and Technology program, and the Japan Society for the Promotion of Science's KAKENHI program.