본문바로가기

Overview of Understanding and Quantifying Cognitive Load

Abstract

Objective: The aim of this study is to investigate physiological mechanisms underlying cognitive load and determine important factors that should be considered to quantify cognitive load.

Background: Many studies have been conducted to propose measurement methods and effectively quantify effects that cognitive load has on user experiences, human performance, and human safety. However, few studies have been made to investigate which factors contributed to different findings of changes in physiological signals characterized with increasing cognitive load.

Method: This study systematically reviews physiological mechanisms related to cognitive load based on working memory and selective attention theory. In order to determine the contributing factors to the different previous findings, subjective and objective measurement methods frequently and recently introduced in the literature have been overviewed. The contributing factors were determined by discussing the current advantages and limitations of the measurement methods.

Results: Individual differences in inherent cognitive capability and differences in how to increase cognitive load affect human cognitive control, which results in the different findings of the physiological changes as a function of cognitive load. Minimizing the number of measures to quantify cognitive load is very important to address statistical issues such as increased false discovery rate.

Conclusion: In order to evaluate accumulated cognitive load for ensuring human safety, objective measures indirectly reflecting neural connection between brain and heart can be considered while using multi-dimensional subjective measures such as NASA-TLX as an assistant method to validate the objective measures. In addition, EEG changes underlying cognitive load can be effectively measured by recording and analyzing brainwaves at just two midline electrodes (frontal and parietal) since the cortical regions are inextricably tied with cognitive control functions such as working memory and selective attention.

Application: The findings in this overview are expected to provide practical guidelines to potential researchers who want to quantify cognitive load in their practical fields. With the updated knowledge of the measures, it can be possible to more precisely quantify cognitive load, determine contributing factors to the load, and then optimize various factors positively affecting man-machine interfaces.



Keywords



Cognitive load Working memory Measurement method Physiological signal



1. Introduction

최근 4차 산업혁명의 핵심인 인공지능, VR/AR, IoT 기술이 융합된 제품 · 미디어 서비스가 등장하면서 많은 정보를 사용자에게 효율적인 방법으로 제공하는 것이 더욱 중요해지고 있다. 예를 들면, 인공지능, IoT, 증강현실 Head-up 디스플레이가 융합된 차량 정보 시스템(In-vehicle information system, IVIS)에서 다양한 종류의 빅데이터를 복잡하고 무분별하게 제공하는 것은 운전자의 인지로드를 유발하고 조작 오류를 일으켜 교통사고의 주요 원인이 될 수 있다(Yae et al., 2017). 대조적으로 웹 브라우징이나 웹 쇼핑 중에 발생하는 인지로드를 효과적으로 정량화하여 최적의 사용자 가치를 제공하는 정보 구조(Information architecture)를 규명하면, 사용자의 정보탐색시간을 최소한으로 줄이거나 구매를 유도할 수 있는 최적 시점을 정의하는 것이 가능하게 된다(Jimenez-Molina et al., 2018). 인지로드를 효율적인 범위에서 제공하는 제품, 시스템, 혹은 서비스를 구현하기 위해서는 인지로드의 정확한 개념, 생리적 기전, 다양한 정량화 방법 및 그 측정방법의 장단점을 명확하게 파악하여 상황에 적합한 방식을 적용하는 것이 중요하다.

인지부하(Cognitive load)는 사용자가 특정한 태스크를 수행하기 위해 요구되는 정신적 노력의 총량이며, 작업기억(Working memory)과 주의력(Attention resource)의 한정적 용량(Limited capacity)으로 인해 발생한다(Klimesch, 1999; Mun et al., 2017). 인지부하는 또한 인간의 작업 수행능력에 큰 영향을 미치기 때문에, 다양한 분야의 시스템 운영효율성, 작업 안전, 생산효율성과 직결되는 중요한 휴먼팩터 요인이다(Puma et al., 2018; Xie and Salvendy, 2000). 인지부하 이론(Cognitive load theory, CLT)에 따르면 인지부하는 발생원인에 따라 내재적 인지부하(Intrinsic cognitive load), 본질적 인지부하(Germane cognitive load), 외생적 인지부하(Extraneous cognitive load)로 분류될 수 있다(Coyne et al., 2009). 내재적 인지부하는 수행하는 태스크나 과제의 난이도에 따라 결정되며, 태스크를 구성하는 요소 및 내용의 양적 측면과 관련된 인지부하이다. 본질적 인지부하는 새로운 지식을 기존의 지식 체계에 통합시키려는 인지적 노력을 의미한다. 외생적 인지부하는 과제가 제시되는 방식에 따라 유발되는 부하이다. 따라서 비효율적인 태스크 지시 혹은 표시 방식은 불필요한 인지부하를 추가적으로 유발할 수 있으며, 내재적 인지부하가 높을 때 특히 인지조절 기능(Cognitive control function)에 부정적인 영향을 초래한다. 본질적 인지부하는 새로운 지식을 기존의 지식 체계에 통합하고 조직화하여 스키마를 확장시키려는 인지적 노력을 일컫는다. 또한 인지부하는 정신적 오버로드가 누적되어 휴식기에도 신경생리학적 매커니즘의 변화를 유발하여 피로가 지속되는 인지피로와는 구분된다. 따라서 많은 연구들이 인지로드나 피로를 측정할 때 작업기억용량(Working memory capacity)과 선택적 주의(Selective attention) 매커니즘의 변화를 태스크 전, 중, 후로 구분하여 측정한다(Boksem et al., 2005; Mun et al., 2014; Mun et al., 2012; Mun et al., 2017; Puma et al., 2018). 또한 인지로드 기전이 작업기억과 신경학적으로 많은 관련이 있기 때문에 많은 연구들이 인지로드를 효과적으로 측정하기 위해 작업기억 태스크를 주로 이용한다. 이는 작업기억이 주로 뇌의 전전두엽 영역(Prefrontal cortex)과 해마(Hippocampus) 간의 통합된 활성화 체계로 유지되기 때문이다. 해마에서의 정보가 작업기억과 관련된 태스크를 수행하는 과정에서 암호화되어 전전두엽 대뇌피질에 있는 신경 네트워크(Neural network)로 전달된다. 이 두 기관 간의 성공적인 동기화와 전전두엽-해마간 직접적인 정보입력이 정보를 지속적으로 업데이트하는 인지 체계를 구성하며, 특히 공간 작업기억의 형성에 아주 중요한 역할을 한다(Spellman et al., 2015).

최근 인지로드와 작업기억이라는 연구주제로 많은 연구가 진행되어 다양한 측정방법론이 제안되고 인지로드를 효과적으로 평가할 수 있는 다양한 생체 바이오마커 관련 연구결과가 발표되었다. 그러나 이전의 여러 연구들은 실험실 환경에서 실험참가자에게 작업기억 태스크나 멀티 태스크를 수행하게 한 후 인지로드를 인위적으로 유발하여 뇌파, 동공반응, 심박변이, 주관평가, 행동인지반응 등의 다양한 인덱스 타당성만을 검증하는데 머물렀다. 다시 말해, 인지로드 신경기전을 깊이 있게 논의하고 기존 평가방법론들의 장단점을 체계적으로 고찰하여 특정 환경에 효과적인 평가방법론을 도출하는 것에 대한 가이드라인 논문은 거의 없는 실정이다. 따라서 본 고에서는 인지로드 관련 생체기전에 대한 이해를 바탕으로 다양한 분야의 인지로드 측정 패러다임과 분석방법의 장단점을 고찰하여 실제 다양한 산업분야에서 적합하게 활용될 수 있는 평가방법에 대한 가이드라인을 제시하고자 한다.

2. Subjective Measurement Methods

인지부하를 주관적으로 평가하는 방식으로 널리 알려진 평가지는 NASA Task Load Index (TLX), Subjective Workload Assessment Technique (SWAT) 등이 있으며, 공간 제약 및 부가적인 센서 부착 없이 간편하게 인지로드를 측정할 수 있다는 장점이 있다. 주관적 인지로드 평가방법은 단일차원(Modified cooper-harper scale, Overall workload scale 등) 스케일링과 다차원 스케일링(NASA TLX, SWAT) 방식으로 나뉘는데, 본 고에서는 현재 널리 사용되는 방식이 다차원 스케일링 방식이기 때문에 이를 위주로 논의하고자 한다.

NASA TLX는 사용자의 인지로드를 정신적 요구량(Mental demand), 육체적 요구량(Physical demand), 시간적 요구량(Temporal demand), 태스크 성취도(Performance), 노력(Effort), 당혹감(Frustration)의 6개 차원에 대해 100점 스케일로 평가한다. 정신적 요구량 요인은 주어진 태스크를 수행하기 위해 사고(Thinking), 의사결정(Deciding), 검색(Searching), 계산(Calculating) 및 기억(Remembering) 등과 같은 정신적 또는 인지적인 활동이 얼마나 많이 요구되었는지를 측정한다. 육체적 요구량 요인은 주어진 태스크를 수행하기 위해, 밀기(Pushing), 잡아당기기(Pulling), 돌리기(Turning), 조작(Controlling) 또는 적극적인 육체적 활동(Activating)과 같은 육체적인 활동이 얼마나 많이 요구되었는지를 측정한다. 시간적 요구량 요인은 주어진 태스크를 수행하기 위해서 요구되는 시간적 압박(Time pressure)을, 태스크 성취도 요인은 주어진 태스크를 얼마나 성공적으로 또는 정확하게 완료하였는지에 대한 만족감을 각각 측정한다. 노력 요인은 주어진 태스크를 완료하기 위해 얼마나 많은 노력 혹은 집중력을 사용했는지를 측정한다. 마지막으로 당혹감 요인은 태스크 수행 시 경험했던 당혹감, 좌절감, 짜증, 스트레스 등을 복합적으로 측정한다(Hart and Staveland, 1988). 이후 6개의 요인의 가능한 모든 페어링 조합을 카드소팅 방식으로 실험참가자에게 제시하여 태스크 수행 시 더 많은 영향을 주었던 요인을 선정하게 하고 이 결과를 가중치로 반영하여 Table 1에서 보는 바와 같이 최종점수를 산출한다. NASA-TLX 방식은 가장 널리 이용되는 인지로드 측정 방식으로서 다른 주관평가 방법에 비해 평가 정확도가 높은 편이나 측정시간이 상대적으로 많이 소요된다는 단점이 있다.

Weight

Raw rating

Adjusted rating (Weight x Raw)

Mental demand

3

50

150

Physical demand

0

5

0

Temporal demand

1

5

5

Performance

2

40

80

Effort

4

70

280

Frustration

5

65

325

Sum "Adjusted rating" Column =

840

Weighted rating = (Sum of adjusted ratings)/15

56

Table 1. Example of calculating subjective ratings in NASA-TLX

SWAT 방식은 NASA-TLX 부분에서 전술한 바와 유사한 개념의 시간적 로드, 정신적 로드, 생리적 스트레스 세 가지 차원을 평가하여 상대적으로 적은 측정차원으로 인지로드를 평가해 높은 측정 타당도를 가지는 장점이 있다. 그러나 각 주관적 측정차원들 간에 독립성이 부족(Lack of subjective orthogonality)하여 (즉 측정차원이 단순하여 시간적 로드와 정신적 로드차원 간에 상관성이 높아) 시간적 로드가 높아질 경우 태스크의 속성과 관계없이 정신적 로드차원의 점수도 같이 높아지는 한계가 존재한다(Rubio et al., 2004).

주관적 평가 방식은 시간에 따른 지속적인 평가결과(Continuous form of measurement)를 제공하지 못한다. 따라서 실제 태스크 수행기간과 평가시점 사이에 시간적 간극이 발생하여 실제 인지로드를 겪었을 당시의 느낌을 제대로 기억하지 못해 편향된 연구결과를 초래하기도 한다(Mun and Park, 2013). 또한, 태스크가 주는 인지로드 지속시간을 고려하지 않은 상태에서, 태스크 수행 시 측정한 생체신호와 태스크 후에 측정한 주관적 평가 경험 간의 상관성 분석을 시도할 경우 0에 가까운 유의하지 않은 상관계수가 도출될 수도 있다. 이는 태스크 수행 직후 인지로드가 거의 사라지는 태스크의 경우, 인지로드 발생 시와 인지로드가 0에 가까운 상태(태스크 수행 당시의 느낌을 제대로 기억하지 못함)에서 측정된 값을 서로 비교하는 것과 같기 때문이다(Park and Mun, 2015). 따라서, 생체신호와의 상관성을 고려하여 인지로드를 측정하는 경우, 태스크가 주는 인지로드 수준을 Pilot test 단계에서 정확히 분석하고 개인의 고유 인지능력을 잠재변인으로 설정하여 사전에 통제하는 것이 중요하다. 태스크 수행시점에 큰 움직임을 필요로 하지 않는 조이스틱이나 사용자 반응모듈을 조작성이 용이한 부분(사용자의 손이나 발)에 설치하고 인지로드를 크게 느낀 시점을 보고하게 하여, 해당 시점들을 위주로 생체신호와의 상관성을 도출하는 것도 하나의 대안이 될 수 있다.

3. Objective Measurement Methods

3.1 Pupilometry

인지부하를 객관적으로 평가하는 방식에는 크게 동공크기 측정, 배경뇌파의 절대(또는 상대) 파워스펙트럼 변화 측정, 유발뇌파 변화 측정, 자율신경계 반응 측정, 뇌-심장 연결성 측정 등이 있다. 동공 지름의 변화는 일반적으로 인간의 각성 정도를 반영하는 것으로 알려져 있으며, 인지로드가 증가할수록 동공크기가 커지게 된다. 이는 뇌간(Brain stem)에 위치한 청반의 활성화와 깊은 연관이 있다. 청반은 많은 뇌 영역과 연관되어 있는데, 특히 시각을 관장하고 복합적 정보처리 영역인 두정엽(Parietal cortex)과 눈 운동 조절반응과 관련된 상구(Superior colliculus)와 주로 연관되어 있다(Wahn et al., 2016). 주의력(Attentional resource)이 일정수준이상 소모되어 청반이 활성화되면 시각과 관련된 매커니즘이 활성화되어 동공이 확장되게 된다. 또한 인지부하가 지속적으로 축적되어 청반이 더욱 활성화되면 스트레스 호르몬으로 알려진 노르아드레날린이 분비되어 교감신경계 항진으로 이어지게 된다(Tyler et al., 2015). 동공크기 변화는 오래 전부터 인지로드를 평가하는 주요한 인덱스로 알려져 있으며 측정 시 다음과 같은 단점이 존재한다. 동공크기 변화를 기반으로 인지로드를 측정할 경우 주변 환경의 밝기(Luminosity)나 노출되는 태스크 자극의 밝기가 반드시 일정해야 한다는 것이다. 이는 동공 자체가 미세한 빛에도 민감하게 반응하기 때문이며, 환경이나 자극의 밝기 변화를 제대로 통제하지 못한 상태에서 인지로드를 측정하게 되면 통계적으로 종속변수에 큰 영향을 주는 잠재변인을 제대로 통제하지 못한 실험설계를 한 것과 같게 된다. 또한 시각자극이 지나치게 동적이거나 빠르게 변화하는 경우, 동공반응보다는 다른 생리적 변인 측정을 고려해야 한다.

3.2 Electroencephalography

인지로드 측정 시 문헌에서 가장 많이 언급되는 것이 뇌전도이며, 뇌전도는 델타, 세타, 알파, 베타, 감마파로 널리 알려진 자발뇌파인 배경뇌파와 특정 자극에 반응하는 신경네트워크의 활성화(Neural activation) 또는 비활성화(Neural inhibition)로 인해 나타나는 유발뇌파로 크게 분류된다(Figure 1).

Figure 1. Composition of electroencephalogram: Evoked potentials and background EEG

먼저 인지로드와 연관이 높은 배경뇌파는 전두엽 세타파와 두정엽 알파파이며, 이는 작업기억용량(Working memory capacity)과 관련된 신경매커니즘이 전전두엽-두정엽 네트워크에 집중되어 있기 때문이다. 가장 널리 알려진 해당 배경뇌파의 변화는 다음과 같다. 인지로드 발생 시 전두엽의 세타파가 증가하고 두정엽의 알파파가 감소하는 현상이 나타난다. 즉, 작업기억용량 혹은 주의력이 특정 태스크에 의해 사용되어 다른 태스크에 할당될 수 있는 가용량이 낮아 질수록 전두엽의 세타파가 증가하고 두정엽의 알파파가 감소한다(Mun et al., 2017; Puma et al., 2018). 전두엽 세타파의 증가는 전뇌 작업기억기능 네트워크와 관련된 정보 인코딩 메커니즘과 집중 조절(Attentional control) 메커니즘에 부하가 걸려 나타나는 현상으로 해석될 수 있다(Käthner et al., 2014; Klimesch et al., 2005; Lei and Roetting, 2011; Mun et al., 2017). 그러나 최근 Puma et al. (2018)의 연구에 따르면, 인지로드를 유발하기 위해 사용된 태스크의 구성, 종류 및 개인의 고유 태스크 수행능력(작업기억 고유 용량 차이나 선택적 주의 전략) 차이에 따라 두정엽이나 후두엽의 알파파가 증가하는 패턴을 보일 수 있다는 것이 보고되었다. 이는 인지로드를 부과하는 태스크 방식(멀티태스킹의 경우)이 다른 태스크에 들어가는 주의력을 점차 억제해야 하는 태스크 구성의 경우(French airline pilot task 등), 이전 태스크가 방해 요인(Distractor)으로 작용하여 새롭게 주어지는 과업의 자극에 집중할 때 활성화되는 베타파가 상대적으로 감소하기 때문에, 알파파가 증가하는 현상이 나타날 수 있음을 시사한다. 개인의 고유 인지능력 차이가 태스크 난이도에 영향을 미칠 수 있다는 점도 고려해야 하는데, 예를 들어 고유 인지능력이 상대적으로 떨어지는 사람에게 어려운 과제(인지로드 유발)가 고유 인지능력이 뛰어난 사람에게는 전혀 인지로드를 유발하지 않기 때문에, 배경뇌파와 관련된 기존 연구결과들이 상대적으로 다르게 보고되고 있는 것이다. 또한 사람에 따라 처음부터 너무 높은 난이도의 과업이 제시되어 이미 낮은 난이도의 과제를 수행할 때 주의리소스가 100프로 할당되거나 인지기능에 오버로드가 걸리게 되면(Cognitive plateau), 이후 태스크 난이도를 올려도 배경뇌파에 아무런 변화가 나타나지 않는다. 이러한 경우 새롭게 부가된 멀티태스킹 과업에 대한 태스크 퍼포먼스가 급격히 저하된다. 따라서, 태스크 퍼포먼스나 개인고유의 인지능력을 별도로 측정하여 계층적 클러스터링 기법(Ward method 등)을 활용하여 사용자 그룹을 Low, Medium, High 그룹으로 분류하여 분석을 시행하거나 개인 간 차이를 공변량으로 설정한 후 통계분석을 시행해야 한다. 그룹을 분류하여 다중가설의 검정을 시행하는 경우에는 Benjamini-Hochberg Procedure나 Bonferroni Correction을 이용해서 유의수준을 수정한 상태에서 통계적 검정을 수행해야 한다. 또한 뇌파를 여러 지점에서 측정할 경우에 유의수준을 그대로 0.05에서 가설검정을 수행하게 되면(종속변수의 증가로) 통계적 1종 오류가 크게 증가될 수 있다. 이 경우 Bonferroni Correction보다는 Benjamini-Hochberg Procedure를 적용하는 것이 효율적 대안이 될 수 있다(Benjamini and Hochberg, 1995; Causeur et al., 2012; Lage-Castellanos et al., 2010; Mun et al., 2014).

유발뇌파로 인지로드를 측정하는 경우, 유발뇌파 후기성분(Late positive potential, LPP)의 진폭이나 잠복기를 분석하여 고차원적 인지기능을 분석할 수 있다는 장점이 있으나 사건관련전위(Event-related potential, ERP)를 유발하기 위해 부가적인 목표자극(Target)과 표준자극(Distractor)으로 구성된 Oddball Paradigm (Pan et al., 2000), Cueing Paradigm (Jones and Forster, 2012), Random-interval Target Paradigm (Mun et al., 2017) 등을 사용해야 한다. 이러한 경우 측정하려는 인지로드가 웹 브라우징 환경의 복잡성이나 화면시차가 큰 입체영상이 유발하는 것이라면, 유발뇌파 패러다임이 본 태스크 수행을 방해하는 요인으로 작용할 수 있다. 이러한 단점을 보완하기 위해, Mun et al. (2017)은 특정 타겟에 대한 반응을 요구하지 않는 랜덤 촉각자극 패러다임을 이용하여, 촉각사건유발전위의 변화를 측정하고 인지로드를 평가하였다. 제안한 방식의 타당성을 검증하기 위해 두 번의 강건한 실험설계를 통해 태스크 퍼포먼스(Behavioral measures), 배경뇌파 변화(알파파, 세파파)와의 상관성을 다차원적으로 분석하여 실시간으로 적용 가능한 인지로드 측정 제안 방식을 검증하였다. 인지로드 측정 대상이 되는 사람이 바이브레이터가 내장된 벨트를 착용하고, 랜덤하게 제시되는 미세한 진동에 무의식적으로 반응하는 뇌의 인지반응을 측정하는 원리를 이용하였다. 예를 들면, 높은 난이도의 태스크 혹은 멀티 태스크 수행 시(낮은 난이도의 태스크 수행 시와 비교할 때) 주의리소스가 상대적으로 고갈되어, 수행하는 태스크와 관련 없는 자극(Distractor)을 무의식적 감각 단에서 자동으로 처리하지 못한다. 이러한 차이가 유발전위 후기성분의 진폭 값에 반영되어 나타나는데, 인지로드가 높은 태스크 수행 시에는 촉각자극 후기성분의 진폭 값이 거의 없거나 아주 작게 나타나고 인지로드가 낮은 태스크 수행 시에는 상대적으로 높게 나타난다. 유발뇌파의 경우도 고차원 인지기능을 반영하는 후기성분의 잠복기(특정 유발뇌파 성분이 나타나는 시점)는 인지로드에 따라 유의하게 변화하지 않는 경우가 존재한다. 이는 배경뇌파 부분에서 전술한 개인간 인지능력의 차이와 태스크 속성(자극 자체의 인식 복잡도 등) 차이로 인해 발생할 수 있다. 따라서, 유발뇌파를 사용하여 인지로드를 측정하는 경우 상대적으로 후기성분의 잠복기보다 진폭 변화에 가중치를 두어 분석하여야 한다.

3.3 Changes in autonomic nervous system and heart-evoked potential

자율신경계와 중추신경계는 생리적으로 밀접한 연관관계가 있어 인지로드를 측정하는 주요지표로 심박이나 심박변이률(Heart rate variability)을 주로 사용한다. 인지로드가 축적되거나 외부 스트레스 요인이 작용하면 교감신경계 항진으로 이어져 심박이 증가하거나 심박변이률이 높아지는 패턴이 나타난다. Park et al. (2014)은 자율신경계 항상성(Autonomic balance) 변화를 측정하여 축적된 인지로드를 태스크 조건에 따라 직관적으로 분석할 수 있는 Autonomic balance 모델을 제안하였다(Figure 2). 특정 조건의 태스크를 수행했을 때 중앙(Reference state)에서 Zone 5로 자율신경계 상태가 변화하였다면, 심박변이률의 VLF (Very low frequency) 파워가 교감신경계 활동을 반영하고 HF (High frequency) 파워가 부교감신경계 활동을 반영한다고 알려져 있기 때문에 축적된 인지로드로 인해 피로감이 유발되어 교감신경계가 항진된 것으로 해석할 수 있다.

Figure 2. Autonomic balance model (Adopted from Park et al. (2014))

자율신경계 조절 및 통제는 심장에 있는 미주신경(Vagal nerve)의 전기적 신호가 연수에 있는 고립로핵(Nucleus tractus solitaries, NTS)을 거쳐 시상(Thalamus), 시상하부(Hypothalamus), 편도체(Amygdala) 등으로 전달되며 일어난다. 따라서, 심장에서 뇌로 전달되는 신호 가 인지적 기능과 태스크 퍼포먼스에 중요한 영향을 미칠 수 있다(Hansen et al., 2003; McCraty et al., 2009; Park et al., 2014; Rau et al., 1993). Park et al. (2015)은 Figure 3에서 보는 바와 같이, 이러한 심장-뇌 연결성을 바탕으로 축적된 인지로드를 평가하는 새로운 관점의 프로토콜을 제안하고, Poly-vagal 이론(Porges, 2007)에 근거하여 인지로드가 축적되었을 때 뇌와 심장간 동기화 신호의 복잡성이 증가하여 HEP 파워 값(심전도 R피크 이후 50~600ms 이후에 나타나는 뇌파의 알파 스펙트럼)이 증가한다고 보고하였다. 이외에도 피부온도, 피부전기반응, 호흡, 광혈류량 등의 변화를 측정함으로써, 자율신경계 항상성 메커니즘의 변화를 평가하는 방법이 존재한다(Mun and Park, 2013). 전술한 생체신호 기반 인지로드 주요 바이오마커와 변화지표는 Table 2에서 보는 바와 같다.

Figure 3. Concept of heart-evoked potential (Adopted from Park et al. (2015))

Objective measures

Changes in physiological signals with increasing cognitive load

Pupil size

Pupil size increases

Background EEG

Theta power increases at frontal sites

Alpha power decreases at parietal sites

Evoked potential

Late positive potentials' amplitudes decrease and latencies delay

Autonomic nervous system

Heart rates increase, Heart rate variability increases

Heart-evoked potential

Alpha powers of first and second HEP components increase at frontal sites

Table 2. Objective measures to evaluate cognitive load and major bio-indices with increasing cognitive load

생체신호는 작은 심리적 또는 환경적 변화에도 민감하게 반응하기 때문에, 이월, 순서효과 이외에도 실험참가자가 낯선 환경에서 자신이 관찰되고 있다는 사실을 지나치게 인지하여 행동전략을 바꾸거나 무의식적인 내적 변화를 초래해 측정하려고 하는 변인에 영향을 주는 호손효과(Hawthorne effect) 등도 통제하여야 한다. 실험시작 전에 반드시 편안한 환경에서 긴장완화를 위해(감성적 상태에 영향을 주지 않는 범위 내에서) 3~4분 정도 소프트 배경음을 가진 자연경관 콘텐츠 등을 시청하게 하고, 1분 정도 눈을 감은 상태에서 심호흡을 요청하는 것이 측정하려고 하는 변인이 편향되지 않게 할 수 있는 대안적 방법이 될 수 있다. 또한 실험을 설계한 사람이 직접 실험실에 들어가기 보다는 실험설계 의도에 대해 모르는 사람이 절차만을 설명하여 실험을 진행하는 것(Double-blind experiment)이 실험참가자에게 무의식적으로 의도한 방향대로 결과를 유도하는 실험자 편향효과(Experimenter bias)를 방지하는 것에 효과적이다.

4. Conclusion

본 고에서는 인지로드의 생리적 기전과 다양한 주관적, 객관적 측정방법들을 리뷰하고, 기존 연구결과들이 특정 평가 인덱스에 대한 상이한 패턴을 보고하는 이유를 고찰하여 인지로드 측정 시 유의해야 하는 측정 가이드라인을 제시하였다. 인지로드 측정 정확도가 매우 중요한 안전분야의 경우는 측정 환경과 목적에 따라 전술한 다양한 생체신호 기반의 측정 패러다임을 고려할 수 있다. 그러나 인지로드가 태스크 난이도와 개인의 고유 인지능력 차이에 따라 일정시간이 지나면 사라질 수도 있고 지속될 수도 있음을 인지하여, 태스크 수행능력에 따른 그룹별 분석을 고려하여야 한다. 또한 인지로드 발생 시의 자율신경계 및 중추신경계 반응을 주관적 인덱스와 매핑할 경우, 자극에 대한 기억의 간극을 최소화할 수 있는 평가 프로토콜을 고려하여야 한다.

생체신호 센서 사용성을 개선하고 통계적 오류를 줄이기 위한 대안으로는 다음과 같은 사항이 고려될 수 있다. 생체신호는 높은 측정 정확도에도 불구하고, 습식뇌파 및 심전도 센서 부착 시 피부저항을 떨어트리기 위해 수행하는 과정이 사용자에게(긴 부착시간으로 인해) 졸음을 유발하거나 (피부마찰로 인해) 불쾌감을 유발하여 연구결과에 편향된 결과를 초래할 수도 있다(Mun and Park, 2013). 이를 해결하기 위해, 최근 습식 센서 대비 측정 공간해상도가 크게 개선되고 사용성이 좋은 연구용 웨어러블 건식 센서들이 다수 제안되고 상용화 되었다. 웨어러블 뇌파 측정용으로는 Cognionics Agile-10, Muse 등이 있으며, 심전도 측정용으로는 Calm, Polar H10 등이 있다. 이러한 웨어러블 건식 센서들을 활용하거나 기존의 Ag/Agcl, Gold Plate Electrode에 젤을 주입하여 사용하는 방식 외에 탄소나노튜브 기반 신소재(단겹탄소나노튜브와 바이오물질 결합)를 활용한 웨어러블 센서(Lee et al., 2015)나 감각기관을 모사한 초정밀 인공피부 센서 등(Chun et al., 2018)을 활용하는 것도 대안이 될 수 있다. 많은 종속변수를 동시에 측정하여 통계적 1종 오류를 크게 높이는 것보다(유의수준 보정 미적용시) 측정 해상도가 개선된 건식 센서를 활용하여 사용성을 개선하고 상황에 적합한 단일 측정변수와 측정지점(e.g., 전두엽 Fz 지점의 세파파 측정 등)을 최소화하는 것이 필요하다. 최근 카메라 기반으로 동공의 크기 변화율을 측정하여(비접촉식으로) 심박을 예측하는 방법이 제안되는 등(Park et al., 2018) 객관적 측정 방식에 대한 과거의 단점이 점차 개선되고 있다. 이러한 측정 방식은 빛의 밝기 변화가 일정한 환경에서 인지로드를 측정하는 가상현실 등의 환경에서 다양하게 활용이 가능할 것으로 예상된다.

다양한 사용자가 높은 빈도로 많은 시간 노출되는 웹 페이지 UX의 관점에서도, 인지부하 측정이 효율적으로 사용될 수 있다. 예를 들면, 특정 웹 페이지에 너무 많은 정보가 한꺼번에 제공되거나 비효율적인 정보 전달 구조(Information architecture)가 적용되어 있다면 이는 사용자 인지부하를 유발하고 작업기억이 의도치 않은 방향으로 분산되게 하여 사용자 경험에 부정적인 영향을 미칠 수 있다. 따라서, 다양한 웹 탐색 태스크를 설정하고 이를 구성하는 UI 요소(제공 정보, 태스크 수행경로, GUI, 기능 등)에 따른 인지부하를 정량화하여 탐색 로딩시간을 줄이고 사용자 경험을 최적화하는 것이 중요하다. 인지부하를 최소화할 수 있는 대칭 또는 비대칭 구조의 레이아웃을 사용 컨텍스트를 고려하여 적절히 배치하고, 이미지, 동영상, 인포그래픽, 텍스트 등을 사용자가 기억하기 쉽도록 청킹 단위 데이터로 그룹화하여 UI를 간소화 하는 것이 해당될 수 있다.

인지로드는 다양한 산업 현장에서 안전 및 작업 효율성을 확보하고 사용자 경험을 최적화하기 위해 고려해야 하는 중요한 요인이다. 따라서 인지로드 발생 시 어떠한 심리적/생리적 변화가 나타나는지를 명확하게 정의하고 다양한 상황의 인지로드를 적합한 방식을 적용하여 정확하게 평가하는 것이 무엇보다 중요하다. 본 고에서 고찰한 인지로드 측정 관련 가이드라인은 기존 연구의 제한점, 연구결과 불일치에 대한 근거, 측정 시 유의사항, 통계적 오류 최소화 방안, 사용성이 개선된 생체신호 측정 패러다임 가능성 등을 제시하여, 기존 실험실 환경에 한정된 인지로드 측정의 한계를 다양한 실제 산업분야로 확장하게 하는 토대를 제공할 것으로 기대된다.



References


1. Benjamini, Y. and Hochberg, Y., Controlling the false discovery rate: A practical and powerful approach to multiple testing, Journal of the Royal Statistical Society. Series B (Methodological), 57(1), 289-300, 1995.
Crossref  Google Scholar 

2. Boksem, M.A.S., Meijman, T.F. and Lorist, M.M., Effects of mental fatigue on attention: An ERP study, Cognitive Brain Research, 25(1), 107-116, 2005.
Crossref  Google Scholar  PubMed 

3. Causeur, D., Chu, M.C., Hsieh, S. and Sheu, C.F., A factor-adjusted multiple testing procedure for ERP data analysis, Behavior Research Methods, 44(3), 635-643, 2012.
Crossref  Google Scholar 

4. Chun, K.Y., Son, Y.J., Jeon, E.S., Lee, S. and Han, C.S., A self-powered sensor mimicking slow- and fast-adapting cutaneous mechanoreceptors, Advanced Materials, 30(12), e1706299, 2018.
Crossref  Google Scholar 

5. Coyne, J.T., Baldwin, C., Cole, A., Sibley, C. and Roberts, D.M., Applying real time physiological measures of cognitive load to improve training. Paper presented at the Foundations of Augmented Cognition. Neuroergonomics and Operational Neuroscience, Berlin, Heidelberg, 2009.
Crossref  Google Scholar 

6. Hansen, A.L., Johnsen, B.H. and Thayer, J.F., Vagal influence on working memory and attention, International Journal of Psychophysiology, 48(3), 263-274, 2003.
Crossref  Google Scholar 

7. Hart, S.G. and Staveland, L.E., Development of NASA-TLX (Task load index): Results of empirical and theoretical research. In P. A. Hancock & N. Meshkati (Eds.), Advances in Psychology (Vol. 52, pp. 139-183): North-Holland, 1988.
Crossref  Google Scholar 

8. Jimenez-Molina, A., Retamal, C. and Lira, H., Using psychophysiological sensors to assess mental workload during web browsing, Sensors, 18(2), 1-26, 2018.
Crossref  Google Scholar 

9. Jones, A. and Forster, B., Reflexive attention in touch: An investigation of event related potentials and behavioural responses, Biological Psychology, 89(2), 313-322, 2012.
Crossref  Google Scholar 

10. Käthner, I., Wriessnegger, S.C., Müller-Putz, G.R., Kübler, A. and Halder, S., Effects of mental workload and fatigue on the P300, alpha and theta band power during operation of an ERP (P300) brain-computer interface, Biological Psychology, 102, 118-129, 2014.
Crossref 

11. Klimesch, W., EEG alpha and theta oscillations reflect cognitive and memory performance: A review and analysis, Brain Research Reviews, 29(2-3), 169-195, 1999.
Crossref  Google Scholar 

12. Klimesch, W., Schack, B. and Sauseng, P., The functional significance of theta and upper alpha oscillations, Experimental Psychology, 52(2), 99-108, 2005.
Crossref  Google Scholar 

13. Lage-Castellanos, A., Martinez-Montes, E., Hernandez-Cabrera, J.A. and Galan, L., False discovery rate and permutation test: An evaluation in ERP data analysis, Statistics in Medicine, 29(1), 63-74, 2010.
Crossref  Google Scholar 

14. Lei, S. and Roetting, M., Influence of task combination on EEG spectrum modulation for driver workload estimation, Human Factors, 53(2), 168-179, 2011.
Crossref  Google Scholar 

15. Lee, K.Y., Byeon, H.H., Jang, C., Choi, J.H., Choi, I.S., Jung, Y., Kim, W., Chang, J. and Yi, H., Hydrodynamic assembly of conductive nanomesh of single-walled carbon nanotubes using biological glue, Advanced Materials, 27(5), 922-928, 2015.
Crossref  Google Scholar 

16. McCraty, R., Atkinson, M., Tomasino, D. and Bradley, R.T., The coherent heart: Heart–brain interactions, psychophysiological coherence, and the emergence of system-wide order, Integral Review, 5(2), 10-115, 2009.
Crossref  Google Scholar 

17. Mun, S. and Park, M.C., Evaluation of human factors for the next-generation displays, Journal of the Ergonomics Society of Korea, 32(2), 207-215, 2013.
Crossref  Google Scholar 

18. Mun, S., Kim, E.S. and Park, M.C., Effect of mental fatigue caused by mobile 3D viewing on selective attention: An ERP study, International Journal of Psychophysiology, 94(3), 373-381, 2014.
Crossref  Google Scholar 

19. Mun, S., Park, M.C., Park, S. and Whang, M., SSVEP and ERP measurement of cognitive fatigue caused by stereoscopic 3D, Neuroscience Letters, 525(2), 89-94, 2012.
Crossref  Google Scholar  PubMed 

20. Mun, S., Whang, M., Park, S. and Park, M.C., Effects of mental workload on involuntary attention: A somatosensory ERP study, Neuropsychologia, 106, 7-20, 2017.
Crossref  Google Scholar 

21. Pan, J., Takeshita, T. and Morimoto, K., P300 habituation from auditory single-stimulus and oddball paradigms, International Journal of Psychophysiology, 37(2), 149-153, 2000.
Crossref  Google Scholar 

22. Park, M.C. and Mun, S., Overview of measurement methods for factors affecting the human visual system in 3D displays, Journal of Display Technology, 11(11), 877-888, 2015.
Crossref  Google Scholar 

23. Park, S., Won, M.J., Mun, S., Lee, E.C. and Whang, M., Does visual fatigue from 3D displays affect autonomic regulation and heart rhythm?, International Journal of Psychophysiology, 92(1), 42-48, 2014.
Crossref  Google Scholar 

24. Park, S., Won, M.J., Lee, E.C., Mun, S., Park, M.C. and Whang, M., Evaluation of 3D cognitive fatigue using heart-brain synchronization, International Journal of Psychophysiology, 97(2), 120-130, 2015.
Crossref  Google Scholar 

25. Park, S., Won, M.J., Lee, D.W. and Whang, M., Non-contact measurement of heart response reflected in human eye, International Journal of Psychophysiology, 123, 179-198, 2018.
Crossref  Google Scholar 

26. Porges, S.W., The polyvagal perspective, Biological Psychology, 74(2), 116-143, 2007.
Crossref  Google Scholar  PubMed 

27. Puma, S., Matton, N., Paubel, P.V., Raufaste, É. and El-Yagoubi, R., Using theta and alpha band power to assess cognitive workload in multitasking environments, International Journal of Psychophysiology, 123, 111-120, 2018.
Crossref  Google Scholar 

28. Rau, H., Pauli, P., Brody, S., Elbert, T. and Birbaumer, N., Baroreceptor stimulation alters cortical activity, Psychophysiology, 30(3), 322-325, 1993.
Crossref  Google Scholar 

29. Rubio, S., Díaz, E., Martín, J. and Puente, J.M., Evaluation of subjective mental workload: A comparison of swat, NASA-TLX, and workload profile methods, Applied Psychology: An International Review, 53(1), 61-86, 2004.
Crossref  Google Scholar 

30. Rubio, S., Díaz, E., Martín, J. and Puente, J.M., Evaluation of subjective mental workload: A comparison of swat, NASA-TLX, and workload profile methods, Applied Psychology: An International Review, 53(1), 61-86, 2004.
Crossref  Google Scholar 

31. Spellman, T., Rigotti, M., Ahmari, S.E., Fusi, S., Gogos, J.A. and Gordon, J.A., Hippocampal-prefrontal input supports spatial encoding in working memory, Nature, 522(7556), 309-325, 2015.
Crossref  Google Scholar 

32. Tyler, W.J., Boasso, A.M., Mortimore, H.M., Silva, R.S., Charlesworth, J.D., Marlin, M.A., Aebersold, K., Aven, L., Wetmore, D.Z. and Pal, S.K., Transdermal neuromodulation of noradrenergic activity suppresses psychophysiological and biochemical stress responses in humans, Scientific Reports, 5, 13865, 2015.
Crossref  Google Scholar 

33. Wahn, B., Ferris, D.P., Hairston, W.D. and König, P., Pupil sizes scale with attentional load and task experience in a multiple object tracking task, PLoS ONE, 11(12), e0168087, 2016.
Crossref  Google Scholar  PubMed 

34. Xie, B. and Salvendy, G., Prediction of metal workload in single and multiple task environments, International Journal of Cognitive Ergonomics, 4(3), 213-242, 2000.
Crossref 

35. Yae, J.H., Shin, J.G., Woo, J.H. and Kim, S.H., A review of ergonomic researches for designing in-vehicle information systems, Journal of the Ergonomics Society of Korea, 36(5), 499-523, 2017.
Crossref 

PIDS App ServiceClick here!

Download this article