4차 산업혁명 이후 제조 현장에서는 물리적 펜스를 통해 인간과 로봇을 분리하던 기존의 작업 방식에서 벗어나, 동일한 작업 공간을 공유하며 실시간으로 상호작용하는 인간-로봇 협업(Human-Robot Collaboration, HRC) 환경이 빠르게 확산되고 있다(De Simone et al., 2022; Panagou and Neumann, 2024). 특히 협동 로봇의 도입은 작업자가 공유 공간 내에서 로봇과 직접 협력하여 공정을 수행할 수 있도록 하며, 기존의 완전 분리형 자동화 시스템과는 다른 새로운 작업 환경을 형성한다(Pauliková et al., 2021). HRC 환경에서 대표적인 작업 형태 중 하나는 기존에 인간의 시각 기능에 의존하여 수행되던 품질 검사 작업을 로봇과 협업하여 수행하는 시각 검수 작업이다(Villani et al., 2018). 이러한 환경에서 로봇은 검수 대상이 위치한 곳으로 이동하여 직접 시각 검수를 수행하거나, 또는 검수 대상을 작업자 근처로 이동시켜 작업자가 별도의 이동 없이 해당 위치에서 시각 검수를 수행할 수 있도록 지원함으로써 협업을 실현한다(Karami et al., 2020). 이 과정에서 작업자는 로봇이 제공하는 제품의 상태를 정확하고 신속하게 판단해야 하므로, 지속적인 시각적 주의 자원이 요구된다. 기존 HRC 관련 연구들은 주로 로봇의 작업 성능이나 협업 효율 향상에 초점을 맞추어 왔으며, 협업 과정에서 작업자가 경험하는 인지 부하, 주의 분배, 신뢰 형성과 같은 인적 요인은 상대적으로 간과되어 왔다(Storm et al., 2022).

실제 제조 현장에서는 시각 검수 과업과 동시에 작업자가 추가적인 정보 처리 과업을 함께 수행해야 하는 경우가 존재한다. 예를 들어, 작업자는 검수 과업을 수행하며 작업 지시 확인, 공정 정보 기억, 다음 작업 준비와 같은 인지적 요구가 동시에 발생하며, 이는 자연스럽게 이중과업(dual-task) 상황을 형성한다(Bommer and Fendley, 2018). 시각 검수와 같이 시각 채널의 부담이 높은 과업에서는 추가적인 인지 과업이 작업자의 정신적 작업부하를 증가시키고 작업 수행 저하로 이어질 가능성이 높다(Biondi et al., 2021). 따라서 HRC 환경에서는 이러한 이중과업 상황에서 작업자의 인지적 안정성과 지속 가능한 협업 수행을 함께 고려하여 작업 환경을 설계해야 한다.

이러한 HRC 환경에서 작업자의 인지 부하와 업무 수행 능력에 영향을 미치는 핵심 변수 중 하나는 로봇이 정보를 전달하는 피드백이다. 작업자의 인지 자원 배분 방식은 로봇이 시각, 청각, 촉각 등 어떤 감각 채널을 통해 자신의 상태나 의도를 전달하는지에 따라 변화할 수 있다(Hopko et al., 2022). Wickens (2002, 2008)의 다중자원이론(Multiple Resource Theory, MRT)은 동일한 자원 풀을 사용하는 정보는 간섭을 일으켜 인지 부하를 높이지만, 서로 다른 자원 풀을 활용하는 정보는 상대적으로 낮은 부하로 처리될 수 있다. 특히 이중과업 환경에서는 작업자가 본연의 과업 수행과 로봇 감시를 동시에 수행해야 하므로, 주의 자원이 시각적으로 과도하게 점유될 가능성이 높다. 따라서 다양한 협업 상황에서 작업자에게 가장 적합한 피드백 방식이 무엇인지에 대한 실증적 검증이 필요하다.

또한 기존 연구들은 인간과 로봇의 협업 상황에서 인지 부하를 결정하는 요인으로 로봇 속도와 크기, 가동성 등 물리적 변수에 주목해 왔다. Koppenborg et al. (2017)은 가상현실 기반의 산업 환경 실험을 통해 로봇의 속도가 상승할수록 작업자의 인지 부하와 불안감이 유의하게 증가한다는 사실을 확인하였다. 특히 로봇의 예측 불가능한 움직임이나 갑작스러운 속도 변화는 높은 수준의 인지적 스트레스를 유발하는 것으로 보고되었다(Carissoli et al., 2024). 또한 Haney et al. (2025)은 로봇 팔의 속도와 크기, 자유도를 조작한 실험에서 속도가 증가할수록 작업자의 정신적 작업부하가 가중되고 인지된 안전감은 악화됨을 보고하였다. 한편 Dragan et al. (2015)은 로봇의 움직임이 자신의 의도를 명확히 전달하는 가독성을 갖출 때 로봇에 대한 예측 가능성이 향상되고 협업 효율이 향상됨을 입증하였다. 또한 Weber et al. (2013)은 시스템 반응시간의 변동성이 사용자의 예측 가능성을 저하시켜 성능과 만족도에 영향을 미칠 수 있다고 보고하였다. 시간적 불확실성 역시 인간-에이전트 팀의 협업 유창성과 협업 효율성에 영향을 미치는 것으로 나타났다(Dominguez et al., 2020).

그러나 이러한 선행 연구들은 대부분 피드백, 속도, 예측 가능성을 각각 개별적으로 검토하거나 단일 과업을 중심으로 수행되어, 실제 제조 현장에서 빈번하게 발생하는 이중과업 환경을 충분히 반영하지 못하였다. 특히 피드백의 효과는 로봇 속도와 검수 간격의 규칙성에 따라 달라질 가능성이 높음에도 불구하고, 기존 연구에서는 이 세 요인을 통합적으로 검토하지 않았다. 따라서 실제 제조 환경을 반영한 이중과업 기반 HRC 상황에서 피드백 양식, 로봇 속도 및 검수 간격 규칙성 간의 상호작용을 검토할 필요가 있다.

본 연구는 이러한 한계를 보완하고자 이중과업 기반 HRC 환경에서 피드백 양식, 로봇 속도 및 검수 간격 규칙성이 작업자의 정신적 작업부하, 신뢰, 작업 성능 및 시선 행동에 미치는 영향을 분석하였다. 본 연구의 연구문제는 다음과 같다.

RQ1. 이중과업 환경에서 로봇 작동 상태에 대한 피드백은 인간-로봇 협업에 어떠한 영향을 미치는가?

RQ2. 이중과업 환경에서 로봇 속도는 인간-로봇 협업에 어떠한 영향을 미치는가?

RQ3. 이중과업 환경에서 로봇의 검수 간격 규칙성이 인간-로봇 협업에 어떠한 영향을 미치는가?

HRC 환경에서 로봇 상태에 대한 정보가 제공되지 않을 경우 작업자는 직접 로봇을 모니터링 해야 하며, 이는 추가적인 인지적 부담을 유발할 수 있다(Upasani et al., 2024). 반면 적절한 상태 피드백은 상황 인식을 지원하고 모니터링 요구를 감소시켜 작업부하를 완화할 수 있다. 특히 이중과업 환경에서는 제한된 주의 자원을 여러 과업에 분배해야 하므로, 로봇 상태에 대한 피드백의 중요성이 더욱 커질 수 있다.

높은 속도의 로봇 움직임은 충돌 위험에 대한 인식을 높여 작업자의 신뢰와 작업 수행에 부정적인 영향을 미친다(Haney et al., 2025). 또한 이중과업 환경에서는 로봇의 움직임을 추적하기 위해 더 많은 주의 자원과 모니터링이 요구되어 정신적 작업부하가 증가할 것으로 예상된다.

인간-로봇 협업 환경에서 작업자는 로봇의 행동 시점과 작업 흐름을 예측하며 과업을 수행한다. 그러나 작업의 시간적 패턴이 불규칙할 경우 로봇의 다음 동작을 예측하기 어려워지고, 이에 따라 지속적인 모니터링이 요구될 수 있다. 특히 이중과업 환경에서는 이러한 시간적 불확실성이 정신적 작업부하를 증가시키고 신뢰와 작업 성능을 저하시킬 수 있다. 이에 따라 다음과 같은 연구가설을 설정하였다.

H1. 로봇 상태 피드백 양식은 작업자의 정신적 작업부하, 신뢰, 작업 수행 및 시선 행동에 영향을 미칠 것이다.

H2. 로봇 속도는 작업자의 정신적 작업부하, 신뢰, 작업 수행 및 시선 행동에 영향을 미칠 것이다.

H3. 검수 간격 규칙성은 작업자의 정신적 작업부하, 신뢰, 작업 수행 및 시선 행동에 영향을 미칠 것이다.

H4. 피드백 양식, 로봇 속도 및 검수 간격 규칙성 간의 상호작용은 작업자의 정신적 작업부하, 신뢰, 작업 수행 및 시선 행동에 영향을 미칠 것이다.

본 연구는 HRC 기반 시각 검수 과업에서 로봇 설계 요소가 작업자 수행에 미치는 영향을 실증적으로 분석함으로써, 효과적인 로봇 설계 방향에 대한 구체적인 제언을 제공한다. 또한 작업자의 인지적 부담과 주의 분배 특성을 고려하여 작업 환경 개선에 기여한다.

2.1 Participants

본 연구에는 건강한 성인 20명(남 16명, 여 4명, 평균 연령 25.35±2.92세)이 참여하였다. 모든 참가자는 정상 시력 또는 교정 시력을 보유하고 있으며, 시각 검수 과업 수행에 문제가 없었다. 참가자 중 17명(85%)은 산업용 로봇, 매니퓰레이터 로봇 또는 배송 로봇 등 최소 한 종류 이상의 로봇과 상호작용한 경험이 있었다. 이전에 n-back 과제를 수행한 경험이 있는 참가자는 3명(15%)이었으며, 경험이 없는 참가자는 17명(85%)이었다. 모든 참가자는 실험 시작 전에 연구의 목적과 절차에 대한 설명을 충분히 제공받았으며, 실험 참여에 앞서 자발적 실험 참여 및 데이터 활용에 대한 서면 동의서를 작성하였다.

2.2 Experiment design

본 연구는 3(피드백 유형) × 2(로봇 속도) × 2(검수 간격 규칙성)의 참가자 내 요인설계(within-subject factorial design)로 구성하였다. Table 1은 각 독립변수의 수준과 조작 방법을 제시한다. 피드백 유형은 무 피드백, 시각 피드백 및 청각 피드백의 세 수준으로 구성하였다. 시각 피드백 조건에서는 참가자의 우측 전면에 위치한 태블릿 디스플레이를 통해 로봇 상태를 색상으로 제시하였다. 유휴 상태에서는 초록색 화면, 로봇 동작 중에는 빨간색 화면, 검수 확인 요청 시에는 주황색 화면을 제시하였다. 청각 피드백 조건에서는 로봇 상태에 따라 서로 다른 청각 신호를 제공하였다. 유휴 상태에서는 별도의 청각 신호를 제공하지 않았으며, 로봇 동작 중에는 클래식 음악을, 검수 확인 요청 시에는 비프음을 제시하였다. 무 피드백 조건에서는 로봇 상태에 관한 별도의 정보를 제공하지 않았다.

로봇 속도 조건은 기존 HRI 연구에서 활용된 속도 수준(60°/s, 120°/s, 180°/s)을 참고하여 설정하였다(Haney et al., 2025). 로봇 속도는 UR3에서 기본적으로 제공되는 사용자 인터페이스인 PolyScope의 속도 슬라이더(speed slider)를 통해 설정하였다. PolyScope는 로봇 프로그램 전체의 실행 속도를 비율 기반으로 조절할 수 있도록 하며, 개별 관절 속도를 직접 지정하는 방식이 아닌 사전에 정의된 동작의 속도 비율에 따라 각 관절의 속도를 내부적으로 계산하여 적용한다. 본 연구에서 저속 조건은 70%, 고속 조건은 100%로 설정하였으며, UR3의 최대 관절 속도인 180°/s를 기준으로 환산하면 각각 126°/s와 180°/s에 해당한다. 이는 실제 관절 속도의 측정값이 아닌 조건을 구분하기 위한 속도 값으로 설정되었다. 로봇 속도 조건은 이동 시간에만 영향을 미쳤으며, 유휴 시간과 검수 수행 시간에는 영향을 주지 않았다(Figure 1). 검수 간격 규칙성은 로봇이 물체를 집어 올린 후 참가자에게 제시하기까지의 대기 시간을 조절하여 설정하였다. 규칙 조건에서는 모든 시행에 3초의 대기 시간을 추가하였고, 불규칙 조건에서는 0초(짝수 시행)와 6초(홀수 시행)를 번갈아 적용하였다. 이에 따라 두 규칙성 조건의 총 실험 시간은 동일하게 유지하였다(Figure 1). 모든 참가자는 12개 실험 조건을 무작위 순서로 수행하였으며, 학습 효과와 피로의 영향을 줄이기 위해 조건 순서를 카운터밸런싱하였다.

Figure 1. Graphical illustration of visual inspection according to robot speed and inspection interval regularity

Modify Delete

Figure 2는 본 연구의 실험 환경 레이아웃과 사용된 장비 구성을 보여준다. 시각 검수 과업에는 UR3 협동 로봇(Universal Robots, Denmark)을 사용하였다. 실험 중 주변시를 통한 인지를 최소화하기 위해 로봇 베이스는 참가자 기준 우측 90°에 위치시켰다. 로봇은 초기 플레이트의 부품을 집어 참가자에게 제시한 뒤 완료 플레이트로 이송하였다. 참가자는 부품 하단의 숫자를 판별하고 전면 좌측 입력 인터페이스에 해당 번호를 입력하였다. 입력 인터페이스는 Galaxy Tab S10 FE (Samsung Electronics, Republic of Korea)를 활용하여 구현하였다.

Figure 2. Illustration of the apparatus and experimental setup in the current study

Modify Delete

시각 피드백은 참가자 우측의 iPad Pro 12.9-inch (Apple Inc., USA)를 통해 제공하였다. 중앙의 PC 모니터는 1-back 과제 제시에 사용하였으며, 참가자는 키보드의 좌우 방향키로 응답하였다. 지속적인 작업환경 배경음을 모사하고 로봇 구동음만으로 상태를 추론하는 것을 줄이기 위해 참가자는 이어폰을 착용하여 배경 소음을 청취하였다. 청각 피드백은 외부 스피커로 제시하였으며, 예비 확인 과정에서 배경 소음과 피드백 신호를 지각적으로 구분할 수 있도록 이어폰과 외부 스피커의 출력 수준을 조절하였다. 참가자의 시선 행동은 Tobii Pro Glasses 3 (Tobii Pro AB, Sweden)를 사용하여 측정하였다(Appendix Figure A1).

2.3 Experimental task

본 연구에서 참가자들은 지속적으로 1-back task를 수행하며, 로봇의 검수 요청이 제시될 경우 빠르고 정확하게 검수 과업을 수행하도록 요구되었다.

시각 검수 과업은 로봇이 제시한 부품 하단의 숫자를 확인한 후 터치스크린에 동일한 숫자를 입력하는 방식으로 수행하였다. 로봇은 시작 플레이트의 부품 8개를 순차적으로 집어 참가자에게 제시하였다. 부품 제시시간 3.5초는 숫자 식별과 입력이 가능하면서도 일정한 시간적 요구가 발생하도록 예비 실험 결과를 바탕으로 설정하였다. 이후 로봇은 해당 부품을 완료 플레이트로 옮겼다. 각 조건에서 총 8회의 시각 검수를 수행하였으며, 부품에 표시된 숫자의 순서는 시행마다 무작위로 설정하였다.

동시에 수행된 1-back 과제는 시각적 · 인지적 부하를 유발하는 보조 과업으로 설계하였다. 원, 삼각형, 사각형의 세 가지 도형을 참가자 전면의 PC 모니터에 제시하였으며, 참가자는 현재 도형이 직전 도형과 같은지를 키보드로 응답하였다. 도형 제시 간격은 시각 검수 과업과 병행하는 동안 각 자극을 판단하고 응답할 기회를 확보하도록 4초로 설정하였다.

2.4 Procedure

참가자들은 실험 시작 전 연구 목적, 과업 수행 방법, 안전 및 유의사항에 대한 사전 브리핑을 제공받았다. 이후 인구통계 정보(성별, 연령)와 로봇과의 상호작용 경험, 그리고 1-back 과제 수행 경험 여부에 대한 사전 설문을 작성하였다. 본 실험에 앞서 참가자들은 과업에 익숙해지기 위해 시각 검수 과업과 1-back 과제에 대한 연습 세션을 수행하였다. 연습 세션은 무 피드백 조건에서 진행되었다. 연습 종료 후, 참가자들은 시선 추적 장비를 착용하고 보정 절차를 수행하였다.

본 실험은 총 12개 조건으로 구성되었으며, 각 조건에서 8회의 시각 검수 과업을 수행하였다. 1-back 과제는 시각 검수 과업과 동시에 지속적으로 수행되었으며, 조건당 평균 약 50회의 자극을 제시하였다. 각 조건 종료 후 참가자는 해당 조건에 대한 설문에 응답하였고, 이 시간 동안 다음 조건을 준비하였다. 별도의 고정 휴식시간은 누적 피로를 줄이기 위해 6개 조건을 수행한 후 10분간 제공하였다. 모든 조건 종료 후에는 실험 종료 안내와 참여 보상을 제공하였다. 전체 실험 소요 시간은 약 90분이었다.

2.5 Measures

본 연구에서는 HRC 기반 시각 검수 이중과업 환경에서 정신적 작업부하, 신뢰, 작업 성능 및 시선 행동을 종속변수로 측정하였다. 정신적 작업부하는 과업 수행 중 참가자가 경험한 요구를 다차원적으로 평가할 수 있다는 점을 고려하여 NASA-TLX를 사용하였다(Hart and Staveland, 1988). NASA-TLX는 정신적 요구, 신체적 요구, 시간적 요구, 수행도, 노력 및 좌절감의 6개 하위 요인으로 구성되며, 각 항목은 10점 Likert 척도로 측정하였다. 본 연구에서는 6개 항목의 평균을 전체 작업부하 점수로 사용하였다. 로봇에 대한 신뢰는 Robot Trust Scale을 사용하여 측정하였다. 해당 척도는 로봇의 유능성, 신뢰성 및 예측 가능성의 세 측면으로 구성되며(Schaefer, 2013), 각 문항은 7점 Likert 척도(1 = 전혀 동의하지 않음, 7 = 매우 동의함)로 평가하였다.

작업 성능은 시각 검수 과업과 1-back 과업의 정확도 및 반응시간으로 측정하였다. 시각 검수 과업의 반응시간은 로봇이 검수 요청을 위해 동작을 멈춘 시점부터 참가자가 태블릿에 동일한 번호를 입력할 때까지의 시간으로 정의하였다. 반응시간이 3.5초를 초과한 경우 무응답으로 처리하였으며, 정확도 산출 시 무응답은 오답에 포함하였다. 1-back 과제는 실제 제조 환경에서 발생할 수 있는 추가적인 인지적 요구를 재현하기 위해 사용하였고, 정확도와 반응시간을 객관적 수행도 지표로 활용하였다. 1-back 과업의 반응시간은 새로운 도형이 제시된 시점부터 참가자가 일치 여부를 입력할 때까지의 시간으로 정의하였다. 로봇 속도에 따라 조건별 1-back 자극 수가 달라질 수 있으므로 정확도는 각 조건의 전체 시행 수 대비 정답 수의 비율로 산출하였다.

마지막으로 참가자의 로봇 모니터링 행동을 평가하기 위해 시선 추적 데이터를 수집하였다. 참가자 우측에 위치한 로봇 작업 영역을 AOI (Area of Interest)로 설정하였으며, 해당 AOI 내에서의 고정 응시 횟수(Number of Fixations)와 총 고정 응시 시간(Total Fixation Duration)을 산출하였다. 본 연구의 이중과업 환경에서는 작업자가 필요한 시점에만 로봇에 시각적 주의를 할당하는 것이 효율적인 협업 상태로 가정하였다. 따라서 높은 고정 응시 횟수와 긴 총 고정 응시 시간은 작업자가 로봇 상태를 확인하기 위해 더 많은 시각적 주의 자원을 할당하였음을 의미한다. 이에 따라 본 연구에서는 해당 지표들을 증가된 로봇 모니터링 부담을 나타내는 지표로 해석하였다.

2.6 Statistical analysis

통계 분석에 앞서 각 종속변수의 정규성 가정을 검토하였다. Shapiro–Wilk 검정과 왜도를 이용하여 평가한 결과, 정신적 작업부하를 제외한 대부분의 종속변수에서 정규성 가정이 충족되지 않았다. 이에 정규성 가정을 충족하지 않는 반복측정 요인설계에서도 주효과와 상호작용을 분석할 수 있는 Aligned Rank Transform ANOVA (ART ANOVA)를 실시하였다. 통계적 유의수준은 p < .05로 설정하였다. 유의한 효과에 대한 조건 간 쌍별 비교에서는 동일한 비교군 내 다중 비교로 인한 제1종 오류를 통제하기 위해 Bonferroni 조정을 적용하였다. 조건별 기술통계는 Appendix Table 1에, 통계 분석 결과는 Appendix Table 2에 제시하였다.

결과 해석 시에는 삼원 상호작용 효과가 유의한 경우 이를 우선적으로 보고하고 해석하였으며, 삼원 상호작용 효과가 유의하지 않은 경우에는 유의한 이원 상호작용 효과 또는 주효과를 중심으로 결과를 제시하였다.

3.1 Self-reported measures

3.1.1 Mental workload

정신적 작업부하 분석 결과, 피드백의 주효과가 유의하였다(F(2, 209) = 73.78, p < .001). 또한 피드백, 속도 및 규칙성 간의 삼원 상호작용이 유의하였다(F(2, 209) = 3.21, p = .043). Figure 3은 피드백, 속도 및 규칙성 간의 삼원 상호작용에 따른 정신적 작업부하의 변화 양상을 나타낸다. 삼원 상호작용에 대한 단순 주효과 분석 결과, 저속-불규칙 조건에서는 무 피드백 조건이 시각 피드백 조건(p < .001)과 청각 피드백 조건(p < .001)보다 높은 정신적 작업부하를 나타냈으며, 시각 피드백 조건과 청각 피드백 조건 간 차이는 유의하지 않았다(p = .607).

Figure 3. Three-way interaction effects of feedback modality, robot speed, and inspection interval regularity on mental workload

Modify Delete

저속-규칙 조건에서는 무 피드백 조건이 청각 피드백 조건보다 유의하게 높은 정신적 작업부하를 나타냈으며(p < .001), 시각 피드백 조건 역시 청각 피드백 조건보다 유의하게 높은 정신적 작업부하를 나타냈다(p < .001). 반면 무 피드백 조건과 시각 피드백 조건 간의 차이는 유의하지 않았다(p = .170).

고속-불규칙 조건에서는 무 피드백 조건이 청각 피드백 조건보다 유의하게 높은 정신적 작업부하를 나타냈으며(p < .001), 시각 피드백 조건 역시 청각 피드백 조건보다 유의하게 높은 정신적 작업부하를 나타냈다(p = .004). 반면 무 피드백 조건과 시각 피드백 조건 간의 차이는 유의하지 않았다(p = 1.000).

고속-규칙 조건에서는 무 피드백 조건이 시각 피드백 조건보다 유의하게 높은 정신적 작업부하를 나타냈다(p = .044). 반면 무 피드백 조건과 청각 피드백 조건 간의 차이 및 시각 피드백 조건과 청각 피드백 조건 간의 차이는 모두 유의하지 않았다(p = 1.000).

3.1.2 Trust

신뢰에 대한 분석 결과, 피드백의 주효과가 유의하게 나타났다(F(2, 209) = 187.32, p < .001). Figure 4는 피드백 유형에 따른 신뢰의 평균 차이를 나타낸다. 사후 분석 결과, 청각 피드백 조건(M = 6.30, SD = 1.09)은 무 피드백 조건(M = 2.81, SD = 1.40)과 시각 피드백 조건(M = 5.79, SD = 1.41)보다 높은 신뢰를 나타냈다(n: p < .001, v: p = .001). 시각 피드백 조건도 무 피드백 조건보다 높은 신뢰를 나타냈다(p < .001).

Figure 4. Main effects of feedback modality on perceived trust

Modify Delete

3.2 Task performance

3.2.1 Visual inspection performance

시각 검수 정확도에서는 모든 주효과와 상호작용이 통계적으로 유의하지 않았다. 피드백 조건별 평균 정확도는 무 피드백 조건(M = 0.84, SD = 0.18), 시각 피드백 조건(M = 0.76, SD = 0.27), 청각 피드백 조건(M = 0.82, SD = 0.19)이었다. Figure 5는 피드백 유형에 따른 시각 검수 반응시간의 평균 차이를 나타낸다.

Figure 5. Main effects of feedback modality on visual inspection response time

Modify Delete

시각 검수 반응시간 분석 결과, 피드백의 주효과가 유의하였다(F(2, 209) = 143.38, p < .001). 사후 분석 결과, 청각 피드백 조건(M = 2.62s, SD = 0.54s)과 시각 피드백 조건(M = 2.59s, SD = 0.55s)은 무 피드백 조건(M = 1.79s, SD = 0.42s)보다 긴 반응시간을 나타냈다. 시각 피드백 조건과 청각 피드백 조건 간 차이는 유의하지 않았다.

3.2.2 1-back task performance

1-back 과제 정확도 분석 결과, 피드백의 주 효과(F(2, 209) = 4.97, p = .008)와 피드백 × 규칙성의 이원 상호작용(F(2, 209) = 4.21, p = .016)이 유의하였다. 단순 주효과 분석 결과, 규칙 조건에서는 무 피드백 조건(M = 96.69%, SD = 3.12%)과 청각 피드백 조건(M = 96.62%, SD = 3.80%)이 시각 피드백 조건(M = 95.00%, SD = 4.75%)보다 높은 정확도를 나타냈다(n: p = .033, v: p = .044). 반면 불규칙 조건에서는 피드백 조건 간 차이가 유의하지 않았다.

또한 로봇 속도 × 규칙성의 이원 상호작용도 유의하였다(F(1, 209) = 7.34, p = .007). 불규칙 조건에서는 저속 조건(M = 96.41%)의 정확도가 고속 조건(M = 94.57%)보다 높았으나, 규칙 조건에서는 고속 조건(M = 96.33%)이 저속 조건(M = 95.87%)보다 다소 높은 양상을 보였다. 다만 Bonferroni 보정을 적용한 단순효과 분석에서는 불규칙 조건의 속도 차이(p = .099), 규칙 조건의 속도 차이(p = .813), 저속 조건의 규칙성 차이(p = .338), 고속 조건의 규칙성 차이(p = .310)가 모두 유의하지 않았다.

Figure 6은 1-back 과제 정확도에서 나타난 (a) 피드백 × 규칙성 상호작용과 (b) 로봇 속도 × 규칙성 상호작용의 양상을 나타낸다.

Figure 6. Interaction effects of (a) feedback modality and inspection interval regularity and (b) robot speed and inspection interval regularity on 1-back task accuracy

Modify Delete

1-back 과제 반응시간 분석 결과, 로봇 속도 × 검수 간격 규칙성의 이원 상호작용이 유의하였다(F(1, 209) = 7.97, p = .005). Figure 7은 1-back 과제 반응시간에서 나타난 로봇 속도 × 검수 간격 규칙성의 상호작용 양상을 나타낸다. 단순 주효과 분석 결과, 규칙 조건에서는 저속 조건(M = 0.85s, SD = 0.18s)이 고속 조건(M = 0.78s, SD = 0.12s)보다 긴 반응시간을 나타냈다(p = .013). 반면 불규칙 조건에서는 저속 조건과 고속 조건 간 차이가 유의하지 않았다.

Figure 7. Interaction effects of robot speed and inspection interval regularity on 1-back task response time

Modify Delete

3.3 Eye tracking measures

로봇 영역 AOI의 고정 응시 횟수 분석 결과, 로봇 속도 × 검수 간격 규칙성의 이원 상호작용이 유의하였다(F(1, 209) = 6.92, p = .009). 단순 주효과 분석 결과, 규칙 조건에서는 저속 조건(M = 27.73, SD = 31.55)이 고속 조건(M = 25.06, SD = 25.73)보다 많은 고정 응시 횟수를 보였으나(p = .016), 불규칙 조건에서는 저속 조건(M = 23.81, SD = 25.60)과 고속 조건(M = 29.23, SD = 29.76) 간 차이가 유의하지 않았다(p = .195). 피드백의 주효과도 유의하였다(F(2, 209) = 109.87, p < .001). 사후 분석 결과, 무 피드백 조건(M = 49.63, SD = 33.88)은 시각 피드백 조건(M = 15.22, SD = 13.89)과 청각 피드백 조건(M = 14.54, SD = 15.68)보다 많은 고정 응시 횟수를 보였다(p < .001). 시각 피드백 조건과 청각 피드백 조건 간 차이는 유의하지 않았다.

Figure 8은 로봇 영역 AOI의 고정 응시 횟수에 대한 (b) 로봇 속도와 검수 간격 규칙성 간의 상호작용 (a) 피드백 유형에 따른 평균 차이 및 (b) 로봇 속도와 검수 간격 규칙성 간의 상호작용을 나타낸다.

Figure 8. Effects on number of fixations: (a) main effect of feedback modality and (b) interaction effect of robot speed and inspection interval regularity

Modify Delete

총 고정 응시 시간 분석 결과, 피드백 × 로봇 속도 × 검수 간격 규칙성의 삼원 상호작용이 유의하였다(F(2, 209) = 4.03, p = .019). Figure 9는 로봇 영역 AOI 총 고정 응시 시간에서 나타난 피드백 × 로봇 속도 × 검수 간격 규칙성의 삼원 상호작용 양상을 나타낸다.

Figure 9. Three-way interaction effects of feedback modality, robot speed, and inspection interval regularity on total fixation duration

Modify Delete

단순 주효과 분석 결과, 네 가지 속도 × 규칙성 조합 모두에서 무 피드백 조건은 시각 피드백 조건과 청각 피드백 조건보다 긴 총 고정응시 시간을 보였으며(p < .001), 시각 피드백 조건과 청각 피드백 조건 간 차이는 유의하지 않았다(p = 1.000). 무 피드백 조건의 총 고정 응시 시간은 저속 · 규칙 조건에서 가장 길었고(M = 8.15s), 고속 · 규칙 조건에서 가장 짧았다(M = 5.51s). 로봇 속도 × 검수 간격 규칙성의 이원 상호작용도 유의하였다(F(1, 209) = 12.51, p < .001). 불규칙 조건에서는 고속 조건(M = 3.97s, SD = 5.25s)이 저속 조건(M = 2.93s, SD = 3.90s)보다 긴 총 고정 응시 시간을 보였으나(p = .012), 규칙 조건에서는 고속 조건(M = 3.05s, SD = 3.51s)과 저속 조건(M = 3.95s, SD = 6.91s) 간 차이가 유의하지 않았다(p = .051). 피드백의 주효과도 유의하였다(F(2, 209) = 77.86, p < .001). 사후 분석 결과, 무 피드백 조건(M = 6.88s, SD = 7.27s)은 시각 피드백 조건(M = 1.73s, SD = 1.66s)과 청각 피드백 조건(M = 1.81s, SD = 2.07s)보다 긴 총 고정 응시 시간을 보였다(모두 p < .001). 시각 피드백 조건과 청각 피드백 조건 간 차이는 유의하지 않았다(p = 1.000).

4.1 Effects of feedback modality on cognitive workload and task performance

본 연구는 이중과업 기반 HRC 시각 검수 환경에서 피드백 양식이 작업자의 정신적 작업부하, 신뢰, 작업 수행 및 시선 행동에 영향을 미칠 것이라는 H1을 검증하였다. 피드백은 정신적 작업부하, 신뢰, 시각 검수 반응시간 및 시선 행동에서 일관된 효과를 보여 H1은 전반적으로 지지되었다. 특히 무 피드백 조건에서는 정신적 작업부하가 가장 높고 신뢰가 가장 낮았으며, 로봇 영역에 대한 고정 응시 횟수와 총 고정 응시 시간도 증가하였다. 이는 상태 정보가 제공되지 않을 때 참가자가 로봇의 현재 상태를 직접 확인하기 위해 더 많은 인지적 · 시각적 자원을 할당했을 가능성을 시사한다.

이러한 결과는 HRC 환경에서 작업자가 단순히 자신의 과업만 수행하는 것이 아니라, 로봇의 상태를 지속적으로 확인하고 예측하는 과정에도 상당한 인지 자원을 사용한다는 기존 연구와 일치한다. 로봇 상태 정보가 제공되지 않을 경우 작업자는 언제 검수 요청이 발생하는지 직접 확인해야 하므로 로봇에 대한 시각적 모니터링이 증가하며, 이는 정신적 작업부하 증가와 신뢰 저하로 이어질 수 있다. 본 연구에서 무 피드백 조건에서 증가한 고정 응시 횟수와 총 고정 응시 시간은 이러한 모니터링 부담을 직접적으로 보여주는 결과라 할 수 있다.

반면 시각 검수 반응시간은 무 피드백 조건에서 가장 짧게 나타나 가설의 예상과 다른 결과를 보였다. 그러나 시각 검수 정확도에서는 조건 간 차이가 유의하지 않았고, 무 피드백 조건에서는 정신적 작업부하와 로봇 모니터링 지표가 모두 높았다. 따라서 짧은 반응시간을 피드백 부재에 따른 효율 향상으로 단정하기는 어렵다. 상태 정보를 별도로 제공받지 못한 참가자가 검수 요청을 놓치지 않기 위해 로봇을 지속적으로 관찰하면서 즉시 반응한 결과일 가능성이 있다. 즉, 반응시간은 짧았지만 더 높은 정신적 부담과 시각적 모니터링이 수반되었으므로, 수행도를 평가할 때 반응시간과 함께 작업부하 및 시선 행동을 종합적으로 고려할 필요가 있다.

피드백 양식 간 비교에서 청각 피드백은 전반적으로 낮은 정신적 작업부하를 보였고, 일부 속도 × 규칙성 조건에서는 시각 피드백보다 낮은 작업부하를 나타냈다. 이러한 양상은 서로 다른 감각 채널을 활용할 때 자원 간 간섭이 감소할 수 있다는 Multiple Resource Theory의 설명과 부합한다. 본 실험의 시각 검수 과업과 1-back 과제는 모두 지속적인 시각 정보 처리를 요구하므로, 시각 피드백은 동일한 감각 채널 내에서 추가적인 자원 경쟁을 유발했을 가능성이 있다. 반면 청각 피드백은 별도의 감각 채널을 통해 상태 정보를 전달하여 시각 자원의 추가 부담을 줄였을 수 있다. 따라서 시각적 요구가 높은 HRC 과업에서는 청각 기반 상태 피드백을 우선적으로 검토할 수 있으나, 실제 적용 전에는 작업환경 소음과 신호 식별 가능성을 함께 평가해야 한다.

4.2 Effects of robot speed and regularity of inspection interval

본 연구에서는 로봇 속도(H2)와 검수 간격 규칙성(H3)이 작업자의 인지적 · 행동적 특성에 영향을 미칠 것으로 예상하였다. 그러나 두 요인의 독립적인 주효과는 대부분의 종속변수에서 유의하지 않아 H2와 H3는 전반적으로 지지되지 않았다. 반면 일부 종속변수에서 로봇 속도 × 검수 간격 규칙성 및 피드백을 포함한 상호작용이 확인되어 H4는 부분적으로 지지되었다. 이는 로봇 속도의 영향이 속도 수준 자체만으로 결정되기보다 작업의 시간적 예측 가능성과 결합하여 나타날 수 있음을 의미한다.

정신적 작업부하와 총 고정 응시 시간에서 나타난 삼원 상호작용은 피드백의 효과가 로봇 속도와 검수 간격 규칙성의 조합에 따라 달라졌음을 보여준다. 즉, 규칙 조건과 불규칙 조건에서 피드백 조건 간 차이의 양상이 동일하지 않았으며, 속도의 영향도 검수 간격의 규칙성에 따라 달라졌다. 특히 불규칙 조건에서 고속 로봇의 총 고정 응시 시간이 증가한 결과는 시간적 예측이 어려운 상황에서 참가자가 로봇의 현재 상태를 확인하기 위해 시각적 모니터링을 늘렸을 가능성을 시사한다.

1-back 과제에서도 유사한 경향이 확인되었다. 규칙 조건에서는 고속 로봇이 저속 로봇보다 더 짧은 반응시간을 나타냈으나, 이러한 차이는 불규칙 조건에서는 나타나지 않았다. 이는 작업 환경이 일정한 시간적 패턴을 유지할 경우 작업자가 과업 수행 리듬을 형성하여 보조 과업을 보다 효율적으로 수행할 가능성을 보여준다. 반대로 시간적 예측 가능성이 감소하는 경우에는 이러한 이점이 감소하는 것으로 해석할 수 있다.

또한 피드백과 검수 간격 규칙성 간의 상호작용은 1-back 정확도에서도 확인되었다. 규칙 조건에서는 시각 피드백 조건의 정확도가 무 피드백 및 청각 피드백보다 낮게 나타났다. 규칙적인 작업 흐름에서는 작업자가 로봇의 동작을 비교적 쉽게 예측할 수 있기 때문에 추가적인 시각 피드백이 새로운 정보를 제공하기보다는 시각적 주의를 분산시키는 요인으로 작용하였을 가능성이 있다. 반면 청각 피드백은 시각 자원을 추가적으로 요구하지 않으면서 작업 상태 정보를 제공하므로 이러한 부정적인 영향이 상대적으로 적었을 가능성이 있다.

이러한 결과는 기존 연구들이 로봇 속도나 예측 가능성을 각각 독립적으로 분석한 것과 달리, 실제 HRC 환경에서는 피드백, 속도, 그리고 작업의 시간적 예측 가능성을 함께 고려해야 함을 보여준다. 즉, 동일한 로봇 속도라도 작업 환경의 예측 가능성과 피드백 방식에 따라 작업자의 인지적 반응은 달라질 수 있으며, 효과적인 HRC 시스템 설계를 위해서는 개별 설계 요소보다 이들 요소 간의 상호작용을 함께 고려할 필요가 있다.

4.3 Design implications

본 연구 결과를 바탕으로 HRC 환경의 인터페이스와 로봇 동작을 설계할 때 다음 사항을 고려할 수 있다. 먼저 로봇 상태 정보를 명확하게 제공하는 피드백은 우선적으로 고려할 필요가 있다. 피드백이 제공되지 않으면 작업자가 로봇 상태를 직접 확인하기 위해 지속적으로 시각적 주의를 할당할 수 있으며, 이는 정신적 작업부하 증가와 주의 분산으로 이어질 수 있다. 따라서 작업자가 반복적인 확인 없이도 로봇의 작동 상태와 작업 단계를 인지할 수 있도록 상태 기반 피드백을 제공하는 것이 바람직하다.

또한 시각적 요구가 높은 과업에서는 청각 기반 상태 피드백이 유용할 수 있다. 시각 피드백은 주과업과 동일한 시각 자원을 추가로 요구할 수 있는 반면, 청각 피드백은 시각 채널의 부담을 줄이면서 상태 정보를 전달할 수 있다. 다만 본 연구에서는 배경 소음과 청각 피드백이 지각적으로 구분되도록 출력 수준만 조절했으므로, 실제 산업 현장 적용을 위해서는 환경 소음 수준, 청각 신호의 음압 및 주파수 특성, 신호대잡음비를 객관적으로 검증해야 한다. 마지막으로 로봇 속도는 작업 흐름의 시간적 예측 가능성과 함께 설계할 필요가 있다. 동일한 속도라도 검수 간격의 규칙성에 따라 작업자의 반응이 달라질 수 있으므로, 속도와 작업의 시간 구조를 통합적으로 고려해야 한다.

4.4 Limitations and future research

본 연구는 다음과 같은 한계를 지닌다. 첫째, 표본이 20명으로 제한되어 있고 참가자가 주로 로봇 상호작용 경험이 있는 대학생으로 구성되었으므로, 결과를 실제 제조업 작업자에게 일반화하는 데 주의가 필요하다. 향후 연구에서는 다양한 숙련도와 현장 경험을 가진 작업자를 포함한 더 큰 표본을 통해 결과를 검증할 필요가 있다. 둘째, NASA-TLX의 전체 점수를 중심으로 분석하였으며 6개 하위 요인의 조건별 차이는 별도로 검증하지 않았다. 후속 연구에서는 정신적 요구, 시간적 요구, 노력 등 하위 요인을 구분하여 피드백과 로봇 동작 특성의 영향을 세부적으로 살펴볼 필요가 있다. 셋째, 본 연구의 로봇 속도 조건은 UR3의 작동 범위와 안전 기준을 고려하여 설정하였다. 선행연구에서는 로봇 속도가 일정 임계점을 초과할 때 작업부하가 증가할 가능성이 제시되었으나, 안전 기준 내의 제한된 속도 범위만을 사용하여 구체적인 임계속도를 확인하는 데 한계가 있었다(Story et al., 2022). 따라서 향후 연구에서는 다양한 로봇과 작업 환경을 대상으로 속도 조건의 효과를 추가로 검증할 필요가 있다.

본 연구는 인간-로봇 협업 시각 검수 환경에서 피드백 양식, 로봇 속도 및 검수 간격 규칙성이 작업자의 정신적 작업부하, 신뢰, 작업 성능 및 시선 행동에 미치는 영향을 분석하였다. 연구 결과, 피드백 양식은 가장 일관된 효과를 보였으며, 무 피드백 조건에서는 높은 정신적 작업부하, 낮은 신뢰 및 증가된 로봇 모니터링 행동이 관찰되었다. 청각 피드백은 일부 조건에서 시각 피드백보다 낮은 작업부하를 보여, 시각적 요구가 높은 이중과업 환경에서 대안적 상태 피드백으로 활용될 가능성을 나타냈다. 또한 로봇 속도와 검수 간격 규칙성의 상호작용은 1-back 반응시간과 시선 행동에서 확인되어, 로봇 속도의 영향이 작업의 시간적 예측 가능성에 따라 달라질 수 있음을 보여주었다. 이러한 결과는 HRC 시스템 설계에서 피드백 양식, 로봇 속도 및 작업 흐름의 규칙성을 개별적으로가 아니라 통합적으로 고려할 필요가 있음을 시사한다.