현대 항공전은 고도화된 무기체계의 활용과 급변하는 전장 환경 하에서 임무가 수행되고 있으며, 이에 따라 전투조종사의 임무 수행 과정에서 처리해야 하는 정보의 양과 복잡성도 증가하고 있다. 이러한 상황에서 전투조종사들은 작전 수행 역량 향상과 전투력 유지를 위해 임무 디브리핑(mission debriefing) 절차를 필수적으로 수행하고 있다. 임무 디브리핑은 1940년대 제2차 세계대전 중 최초로 등장한 개념으로, 전투에서 발생한 일련의 사건들을 복기하여 주요 정보를 획득하고 임무 수행 결과를 검토 및 평가하며 향후 전략을 수립하는 체계적인 절차를 의미한다(Gardner, 2013). 전투조종사들은 임무 디브리핑을 통해 비행 중 조작 행위, 전술적 판단, 위협 대응, 통신 내용, 센서 및 무장 운용 결과 등을 종합적으로 평가하여 임무 수행 결과를 분석하고 향후 개선 방향에 대한 피드백을 도출한다. 즉, 임무 디브리핑은 단순 복기 절차를 넘어 임무의 성공 여부를 체계적으로 평가하고 전술적 교훈을 도출하며 향후 임무계획에 반영하는 비행 임무의 필수적인 과정으로 여겨진다.

현재 한국 공군은 디지털 기반의 임무 디브리핑 프로그램을 도입하여 활용하고 있으며, 전투조종사들이 원활한 임무 디브리핑 절차를 수행할 수 있도록 다양한 기능들을 지원하고 있다. 구체적으로, 임무 디브리핑 프로그램은 1인칭 관점(first person view)에서 임무 중 녹화된 Head Up Display (HUD), Multi-Function Display (MFD) 등과 같은 조종석 내부 화면을 영상으로 시현한다. 또한, 3인칭 관점(third person view)에서 항공기의 속도, 고도, 방향 등의 정보를 포함한 항공기 기동 정보를 2차원 또는 3차원 모드로 개별 시스템에서 각각 제공한다. 이러한 임무 디브리핑 프로그램의 기능들은 전투조종사들이 임무 수행 결과를 보다 체계적이고 정밀하게 분석하는 것을 가능하게 한다.

최근에는 임무 디브리핑 프로그램의 실효성을 강화하기 위해 프로그램을 통해 수집될 수 있는 다양한 유형의 데이터를 보다 적극적으로 발굴하고 이를 실질적인 분석과 적용 과정에 연계하려는 경향이 강조되고 있다. 예를 들어, Filippone (2012)은 조종사의 임무 능력 향상을 위해서는 비행 데이터를 활용하여 조종사의 임무 수행 성과를 분석하고 비행 중 발생한 주요 사항들을 식별하여 분석하는 과정이 중요하다고 주장하였다. 또한, ICAO (2013)에서는 조종사들의 훈련 분석을 통해 수집된 데이터를 기반으로 조종사의 역량을 개발하는 Evidence-based Training (EBT) 훈련을 시행할 것을 권고하고 있다. 그러나, 현재 공군에서 운용되고 있는 임무 디브리핑 프로그램은 전투조종사들의 요구사항이나 임무 디브리핑 절차 특성을 충분히 반영하지 못하고 있으며, 사용자 편의를 고려한 기능 구현 및 인터페이스 설계가 미흡하다는 한계점이 존재하고 있다. 이는 임무 디브리핑에 소요되는 시간 과다에 따른 전투조종사들의 피로도 및 부담감을 증대시키고 사용자마다 임무 디브리핑 방식이 달라질 수 있는 가능성이 존재함에 따라 절차 표준화가 어렵고 임무 분석이 단편화될 수 있다는 문제를 야기할 수 있다.

이러한 문제점들을 극복하기 위해서는 사용자 중심 설계(User-centered Design, UCD) 접근법을 적용하여 임무 디브리핑 프로그램을 개선할 필요가 있다. UCD는 제품이나 시스템을 설계할 때 사용자의 요구와 경험을 설계 중심에 두고 접근하는 방식이다(Abras et al., 2004). ISO 9241-210 (2010)에 따르면, UCD는 사용 맥락 이해 및 구체화, 사용자 요구사항 명확화, 설계 해법 제시, 그리고 설계 평가의 4단계 절차를 반복적으로 수행하여 설계 전 과정을 사용자와 개발자가 협력하면서 진행하도록 하고 있다. 특히, 임무 디브리핑 프로그램과 같은 군사 시스템 설계에서는 사용자 과업 흐름 반영, 정보 우선순위화, 직관적 시각화 등의 요소 구현이 중요하기 때문에 UCD 방법론이 효과적으로 적용될 수 있다.

따라서, 본 연구는 UCD 관점에서 전투조종사의 임무 디브리핑 프로그램을 분석 및 개선하는 것을 목적으로 한다. 이를 위해, 본 연구는 Figure 1과 같이 사용자 요구사항 분석, 프로토타입 설계, 그리고 프로토타입 평가로 구성된 세 단계 절차로 수행되었다. 사용자 요구사항 분석 단계에서는 사용자 요구사항 도출을 위한 반 구조화된 인터뷰를 수행하고 주제 분석을 통해 요구사항들을 구체화하였다. 프로토타입 설계 단계에서는 식별된 사용자 요구사항을 시스템 기능으로 변환하고 사용자 흐름도, 스토리보드를 통한 시각적 도식화 및 상세 설계 과정을 거쳐 프로토타입을 설계하였다. 프로토타입 평가 단계에서는 전투조종사와 인간공학 전문가를 대상으로 휴리스틱 평가를 수행하여 사용성 문제점들을 식별하고 시스템 기능들의 우선순위를 파악하였다. 이를 통해 본 연구는 임무 디브리핑 프로그램의 효용성을 높여 전투조종사의 임무 학습 효과를 강화하고 작전 환경에서의 전술적 기량을 극대화하는 데 기여하고자 한다.

Figure 1. Overview of the research process

Modify Delete

2.1 Semi-structured interview

본 연구는 임무 디브리핑 프로그램에 대한 사용자 요구사항을 도출하기 위해 한국 공군 전투비행단 전투비행대대에서 근무하고 있는 현역 전투조종사 8명을 대상으로 인터뷰를 수행하였다. 인터뷰 대상자들은 전투비행대대 작전과에 공식 협조 요청을 통해 모집되었으며, 모두 자발적 참여 의사를 밝힌 자가 참여하였다. 인터뷰에 참여한 전투조종사들은 모두 남성으로 평균 연령 29.50±4.04세, 평균 비행시간 499.13±433.38시간, 그리고 평균 복무기간 6.63±3.50년이었다. 또한, 전투조종사들의 비행자격은 저자격인 윙맨(wingman, WM)부터 고자격인 교관(instructor, IP)까지 임무 디브리핑에 대한 다양한 경험 및 지식을 보유하고 있었으며, 인터뷰 대상자 모두 인터뷰 수행 시점 기준 최근 2일 이내 임무 디브리핑을 수행한 경험이 있었던 것으로 파악되었다. 비행시간에 있어 편차가 존재하는 참가자들을 모집한 것은 다양한 자격 수준의 조종사 의견을 반영하기 위해 의도적으로 설계한 것이며, 이를 통해 초보 및 숙련 조종사의 요구사항을 포괄적으로 수집하고자 하였다. 한편, 비행자격에 따른 편차의 영향을 최소화하기 위해 주제 분석 시 다양한 관점이 충분히 반영되었는지, 특정 비행자격의 의견이 과도하게 반영되지 않았는지 등을 면밀히 검토하여 편향 가능성을 점검하고자 하였다. Table 1은 인터뷰에 참가한 전투조종사들의 인적 사항을 요약하여 보여준다.

본 연구에서는 반 구조화된 인터뷰(Semi-structured interview)를 적용하였다. 반 구조화된 인터뷰는 연구자가 사전 선정된 질문이 포함된 인터뷰 가이드를 사용하여 대화를 특정 주제와 이슈로 자연스럽게 이끄는 방법으로(Adeoye-Olatunde and Olenik, 2021), 연구 중인 주제나 문제에 대해 일부 지식이 있지만, 추가적인 세부 사항이 필요할 때 주로 사용된다(Wilson, 2013). 본 연구에서 사전 선정된 질문들은 최근 수행한 임무 디브리핑의 진행 과정에 대한 설명과 그 과정에서 불편한 점과 수정/보완 필요사항, 기능적인 추가 요구사항 등으로 구성하였다. 구체적으로, 최근 수행한 임무 디브리핑 진행 과정에 대해서는 인터뷰 대상자가 임무 종료 후 임무 디브리핑실에서 비행 데이터를 불러오는 시점부터 임무 디브리핑이 완전히 종료되는 시점까지를 포함한 임무 디브리핑의 전반적인 과정에서의 의견을 자유롭게 표현하도록 요청하였다(인터뷰 질문 예시: 최근 임무 디브리핑 과정 중에서 가장 불편했던 점은 무엇인가? 그리고 그 이유는 무엇인가?). 또한, 기능적인 추가 요구사항에 대해서는 인터뷰 대상자가 현재 공군에 적용되지 않았지만 상용화된 기술 중 활용 가능하다고 판단되는 기능에 대해서도 제한 없이 제시할 수 있도록 안내하였다(인터뷰 질문 예시: 현재 프로그램에 추가되었으면 하는 정보나 기능은 무엇인가? 그리고 그 이유는 무엇인가?). 필요 시, 인터뷰 대상자들이 현재 공군에서 사용 중인 임무 디프리핑 프로그램을 실행시켜 설명하는 형식으로도 진행하였다. 한편, 인터뷰 진행자는 미리 정해진 질문 외에도 유도 질문을 최대한 피하면서 인터뷰 대상자의 반응에 따라 지속적으로 질문을 제시하였다. 모든 인터뷰 내용은 인터뷰 대상자들의 동의 하에 녹음되었고 녹음된 인터뷰 내용은 두 명의 참여연구원이 독립적으로 개방 코딩(open coding)을 수행하여 분석되었다. 인터뷰 총 시간은 약 30분에서 1시간 정도 소요되었다.

2.2 Thematic analysis

반 구조화된 인터뷰를 통해 수집된 데이터는 주제 분석(thematic analysis) 방법을 통해 분석되었다. 주제 분석은 데이터 내에서 주제를 식별, 분석 및 도출하는 체계적인 방법(Braun and Clarke, 2006)이며, 본 연구에서는 Braun and Clarke (2006)의 주제 분석 6단계 수행 과정 중 6단계인 보고서 작성을 제외한 1 단계인 데이터 친숙화부터 5단계인 주제 정의까지 실질적으로 수행하였다. 본 연구에서는 두 명의 참여연구원이 인터뷰 데이터를 독립적으로 분석하였으며, 이후 분석 결과 간의 불일치 항목에 대해서는 분석 결과를 비교하고 원본 데이터로 돌아가 재검토하였고 책임연구원 개입 하에 심층적인 논의를 거쳐 상호 합의를 통해 최종 분석 결과를 도출하였다. 한편, 해석 편향 최소화를 위해 참여자 확인(member checking)을 수행하여 2명의 인터뷰 참여자들에게 도출된 주제를 공유하고 검토를 요청하였다. 또한, 도출된 주제들은 주제 성격에 따라 대주제와 그에 상응하는 소주제들로 계층적으로 정리하였다.

- 주제 1: 다양하고 통합된 영상 데이터(diverse and integrated video data).

인터뷰 참여자들은 현재 임무 디브리핑 프로그램에서 지원하는 영상만으로는 임무에 대한 분석이 제한되어 보다 다양한 영상 자료의 시현에 대해 요구하였다. 구체적으로, 인터뷰 참여자들은 현재 시스템은 임무에 참여한 편조원들의 영상이 개별 시현되고 2차원 및 3차원 비행경로 영상도 개별 시스템에서 각각 시현되어 불편하다는 의견을 제시하였다. 추가적으로, 조종사의 상황인식 수준 판단을 위한 영상 정보가 부족하다는 점을 지적하였다. 다양하고 통합된 영상 데이터 주제에 관하여 일부 인터뷰 참여자들은 다음과 같이 언급하였다.

"현재는 우리 편조원들 영상을 각각 따로 봐야 해서...전체적인 상황을 파악하기가 어려워요" – P03

"2D, 3D 화면이 다른 프로그램에 있어서 계속 전환해야 하는 게 번거롭습니다" – P07

- 주제 2: 디브리핑 과정의 시간 효율성(time efficiency in the debriefing process).

인터뷰 참여자들은 임무 디브리핑 프로그램의 영상 반복 재생 등으로 발생하는 물리적인 소요 시간을 단축할 필요가 있다고 설명하였다. 특히, 특정 이벤트 시작 지점을 영상에서 탐색하거나 녹음된 편조 간 교신 내용을 재확인하는 과정에서 부수적으로 소요되는 시간이 임무 디브리핑 전체 소요 시간을 증가시키는 결과를 초래한다고 응답하였다. 디브리핑 과정의 시간 효율성 주제에 관하여 일부 인터뷰 참여자들은 다음과 같이 언급하였다.

"특정 상황을 찾으려면 영상을 계속 돌려봐야 해서 시간이 너무 오래 걸립니다" – P01

"교신 내용을 다시 확인하려고 하면... 그 부분 찾는 데만 10분은 걸리는 것 같아요" – P05

- 주제 3: 디브리핑 기능 확대(enhanced debriefing functions).

인터뷰 참여자들은 임무 디브리핑 과정에서의 효과성과 효율성을 제고하기 위해 다양한 추가 기능의 도입이 필요하다고 언급하였다. 구체적으로, 현재 임무 디브리핑 프로그램은 영상 정보 제공에 집중되어 있어 세부 사항에 대한 심층적 분석에 한계가 있으며, 비행 절차가 명시된 기술교범(technical order, TO)이 책자 형태로만 제공됨에 따라 관련 정보를 종합적으로 확인하는 데 어려움이 존재한다는 문제를 제기하였다. 아울러 조종사들은 디브리핑 내용에 대한 자기화를 강화하기 위해서는 디브리핑 결과의 체계적인 관리 및 자신의 전술 기동이 임무 목표 달성에 어느 정도 부합했는지를 판단할 수 있는 분석 기능의 도입이 필요하다고 강조하였다. 디브리핑 기능 확대 주제에 관하여 일부 인터뷰 참여자들은 다음과 같이 언급하였다.

"Stick controller나 throttle 조작이 어땠는지 알고 싶은데 그런 건 없어서 아쉽습니다" – P02

"디브리핑한 내용을 저장해서 나중에 다시 볼 수 있으면 좋겠어요" – P06

요약하자면, 다양하고 통합된 영상 데이터(diverse and integrated video data)는 제공되는 정보의 내용과 범위 확장에 관한 것으로, 정보의 통합성에 초점을 맞춘 주제인 반면, 디브리핑 과정의 시간 효율성(time efficiency in the debriefing process)은 기존 정보에 접근하는 방법 개선에 관한 것으로, 프로세스의 효율성에 초점을 맞춘 주제라 볼 수 있다. 한편, 디브리핑 기능 확대(enhanced debriefing functions)는 사용자 편의기능의 추가에 관한 것으로, 기능의 다양성에 초점을 맞춘 주제라 할 수 있다. 주제 분석 결과 도출된 대주제 3개, 소주제 9개의 세부 내용은 Table 2와 같으며, 백분율 값은 전체 인터뷰 참여자 수 대비 해당 소주제를 언급한 참여자 수로 산출되었다.

3.1 Identification of system functions

본 연구는 반 구조화된 인터뷰 및 주제 분석을 통해 식별된 사용자들의 요구사항을 종합적으로 분석하여 프로토타입 설계를 위한 주요 시스템 기능들을 도출하였다. 구체적으로, 본 연구는 사용자들이 인지하여 직접적으로 제시한 명시적 니즈(explicit needs)를 시스템 기능으로 변환하는 것을 기본으로 하되, 연구자들의 자체 논의를 통해 사용자들이 인지하지는 못하였지만 수용 가능성이 높아 보이는 암묵적 니즈(implicit needs)도 추가 발굴하여 시스템 기능으로 변환하고자 하였다. 예를 들어, 조종사들은 임무 중 상황인식 수준 판단을 위한 영상 정보가 부족하다는 점을 지적하였으나, 이를 통해 연구자들은 조종사 상황인식 능력 시각화 기술 적용의 필요성이라는 잠재적 니즈를 발굴하여 "heatmap을 활용한 조종사 시선추적 영상 시현 기능"을 제안하였다. Endsley (1995)의 상황인식(situational awareness, SA) 모델에 따르면, SA는 지각(perception), 이해(comprehension), 그리고 예측(projection)의 세 가지 수준으로 구성된다. 이러한 상황인식의 수준은 조종사는 자신의 시선이 특정 계기, 외부 환경, 또는 동료 조종사의 위치 등 핵심적인 정보에 얼마나 효율적으로 분배되었는지, 어떠한 정보 탐색 전략을 수립하였는지 등을 heatmap을 통해 시각적으로 확인될 수 있다. 따라서, 본 연구는 heatmap을 활용한 조종사 시선추적 영상 시현 기능이 단순히 영상 정보의 추가를 넘어, SA 모델에서 제시하는 각 수준을 확인하고 그 능력을 강화할 수 있다고 판단하여 주요 시스템 기능 중 하나로 제안하였다.

또 다른 예로, 조종사들은 임무 중 자신의 전술 기동이 임무 목표 달성에 어느 정도 부합했는지를 판단하기 어렵다는 의견만을 제시하였으나, 이를 통해 연구자들은 임무 디브리핑 과정에서 인공지능(Artificial Intelligence, AI) 기술 적용의 필요성이라는 잠재적 니즈를 발굴하여 "AI 기반의 최적 기동 시현 기능"을 제안하였다. Davis (1989)의 기술 수용 모델(Technology Acceptance Model, TAM)에 따르면, 신기술의 수용은 주로 지각된 유용성(perceived usefulness)과 지각된 사용 용이성(perceived ease of use)에 의해 결정된다. 지각된 유용성 측면에서 AI 기반 최적 기동 시현 기능은 조종사들이 자신의 전술 기동을 보다 객관적이고 심층적으로 분석하고, 실제 전투 상황에 적용 가능한 최적화된 기동 방안을 학습할 수 있도록 함으로써 비행 능력 향상 및 전술적 역량 강화라는 명확한 유용성을 제공할 수 있다. 한편, 지각된 사용 용이성 측면에서 해당 기능이 유저 인터페이스(User Interface, UI) 설계 시 직관적인 시각화와 간편한 조작 방식을 통해 조종사들이 쉽게 이해하고 활용할 수 있도록 설계한다면, 기술적 복잡성이나 신뢰성으로 인한 사용성 저하를 최소화하고 높은 사용 용이성을 확보할 수 있을 것이다. 따라서, 본 연구는 AI 기반 최적 기동 시현 기능이 조종사들의 잠재적 니즈를 충족시킬 뿐만 아니라, TAM에서 제시하는 지각된 유용성과 사용 용이성 측면에서도 긍정적인 수용 가능성을 가진다고 판단하여 주요 시스템 기능 중 하나로 제안하였다.

시스템 기능 식별 결과, 총 10가지 기능들이 도출되었으며 세부 내용은 Table 3과 같다. 첫째, 다양하고 통합된 영상 데이터(diverse and integrated video data)에 대한 사용자 요구사항 측면에서는 임무에 참여한 편조원들의 영상 동시 시현, 2차원 및 3차원 비행경로 영상 통합 시스템에서 시현, 그리고 heatmap을 활용한 조종사 시선추적 영상 시현의 3가지 시스템 기능이 도출되었다. 둘째, 디브리핑 과정의 시간 효율성(time efficiency in the debriefing process)에 대한 사용자 요구사항 측면에서는 이벤트 마킹, 자막 시현, 그리고 재생속도 조절의 3가지 시스템 기능이 도출되었다. 셋째, 디브리핑 기능 확대(enhanced debriefing functions)에 대한 사용자 요구사항 측면에서는 조종사의 기재취급을 포함한 비행 조작 데이터 확인, TO 검색, 디브리핑 결과 기록 및 저장, 그리고 AI 기반의 최적 기동 시현의 4가지 시스템 기능이 도출되었다.

한편, 식별된 시스템 기능들은 독립적 활용뿐만 아니라 아닌 상호 연계성을 가지고 활용될 수 있다. 예를 들어, 자막 시현 기능과 재생속도 조절 기능은 조종사들의 영상 재생 효율성을 상호 보완적으로 향상시킬 수 있다. 또한, 이벤트 마킹 기능과 편조원들의 영상 동시 시현 기능은 비행 임무 중 특정 상황에 초점을 맞춰 팀 단위의 다각적인 분석을 수행할 수 있다. 마지막으로, 비행 조작 데이터 확인 기능과 2차원 및 3차원 비행경로 영상 통합 시스템에서 시현 기능은 비행 조작 결과의 인과관계를 파악하는 데 도움을 제공할 수 있다.

3.2 Iterative prototyping

본 연구는 식별된 10가지 시스템 기능을 기반으로 임무 디브리핑 프로그램 프로토타입을 제작하였다. 프로토타입은 충실도(fidelity)를 저수준에서 고수준으로 점차 높이는 방식으로 3회 반복하여 제작 및 자체 평가되었고, 반복 과정 중 인간공학 전문가들의 사용자 흐름의 타당성, 각 시스템 기능의 직관성 및 작동 방식, 화면 레이아웃 및 인터페이스의 시각적 일관성 등에 대한 피드백을 수렴하여 메뉴 구조 및 순서, 인터랙션 방식, 그리고 인터페이스 설계 방식을 수정 보완하였다. 먼저, 연구자들은 프로토타입 시스템 기능 간 유기적인 연결성을 명확화하기 위해 저충실도 수준의 사용자 흐름도(User flow diagram)를 제작하였다(Figure 2a). 사용자 흐름도는 사용자가 특정 목표를 달성하기 위해 시스템 내에서 거치는 일련의 단계와 의사결정 지점을 시각적으로 표현한 그림으로 사용자의 사용 맥락 및 흐름을 파악할 수 있도록 지원한다(Harte et al., 2017). 연구자들을 사용자 흐름도를 통해 시스템 내 핵심 과업 및 기능의 흐름을 탐색하고 이해할 수 있었다.

다음으로, 연구자들은 프로토타입 프레임들을 중충실도 수준의 스토리보드(storyboard) 형태로 작성하여 시스템의 설계 구조를 시각적으로 도식화하였다(Figure 2b). 스토리보드는 영화제작과 애니메이션 개발을 위한 분야에서 주로 활용된 디자인 방법으로 사용자가 제품을 사용하면서 겪는 시나리오를 연속된 그림 또는 프레임으로 나타내어 각 단계에서 사용자의 행동, 생각, 감정 및 환경적 상황을 포함하여 전체적인 사용자 경험을 보여주는 방법이다(Truong et al., 2006). 연구자들은 스토리보드를 통해 시스템 내 사용자 여정간 병목 지점을 식별하고 최종 설계 방향을 설정할 수 있었다.

마지막으로, 연구자들은 시스템 기능과 스토리보드에서 작성한 프레임을 바탕으로 피그마(Figma) 설계 도구를 활용하여 고충실도 수준의 UI 프로토타입을 제작하였다(Figure 2c). 사용자의 프로그램 사용 환경인 데스크탑과 마우스 활용을 고려하여 프로그램을 설계하였으며, 설계를 위한 가이드 라인은 ISO 9241-304 (2008)를 참고하였다. 연구자들은 피그마를 통해 시스템의 UI와 인터랙션 방식을 구체화하였다. 예를 들어, 메인 화면 레이아웃은 메뉴와 관련 사항을 상단과 하단에 구성함으로써 상위메뉴와 하위메뉴가 영상의 시야를 방해하지 않는 방향으로 작성하였다. 또한, 메뉴 구현은 클릭 드랍 다운(click drop down) 방식으로(Byrne et al., 1999), 마우스로 메뉴를 클릭 후 다음 클릭이 발생할 때까지 열린 상태를 유지하도록 하였다. 마지막으로, 메뉴의 순서는 각 메뉴 기능을 활용할 조종사의 임무 디브리핑 절차를 고려하여 배치하였다. 한편, 본 연구는 임무 디브리핑 프로그램이라는 군용 소프트웨어 사용 환경을 고려하여 프로토타입을 제작하고자 하였다. 예를 들어, 조종사들의 시각적 피로도를 덜어줄 수 있도록 전반적인 정보 시현에는 무채색 계열을 기반으로 하되, 주요 정보를 신속하고 정확하게 식별할 수 있도록 텍스트와 배경 간 높은 색상 대비를 적용하였다. 또 다른 예로, 조종사들의 학습시간 단축 및 정보 전달의 효율성을 향상시킬 수 있도록 정보의 그룹화 및 메뉴 구조를 단순하고 일관성 있게 유지하였다.

Figure 2. The results of iterative prototyping

Modify Delete

4.1 Heuristic evaluation

본 연구는 임무 디브리핑 프로그램의 최종 프로토타입의 사용성 문제를 식별하고 설계된 인터페이스를 평가하기 위해 휴리스틱 평가를 수행하였다. ISO 9241-11 (2018)에 따르면, 사용성은 사용자가 특정 맥락에서 특정 목표를 달성하기 위해 과업을 수행할 때 그 효과성, 효율성, 그리고 만족감의 정도를 의미한다. 휴리스틱 평가 방법은 설계된 프로토타입에 대한 사용성 평가에 널리 활용되고 있는 방법으로(Tan et al., 2009), 임무 디브리핑 프로그램과 같은 특정 제품 또는 시스템의 사용성이 정해진 사용성 평가 기준을 준수하고 있는지를 평가한다(Nielsen, 1994a).

휴리스틱 평가는 임무 디브리핑 프로그램의 최종 프로토타입에 대한 사용성 문제점을 다각도로 식별하기 위해 크게 세 그룹(고자격 전투조종사, 저자격 전투조종사, 인간공학 전문가)으로 구분하여 수행되었다. 9명의 고자격 전투조종사 그룹(남 8, 여 1, 평균 연령 33.11±3.76, 평균 비행시간 1071.11±378.80시간)은 4-ship flight lead (4L)과 IP 자격을 갖춘 조종사들인 반면, 13명의 저자격 전투조종사 그룹(남 12, 여 1, 평균 연령 27.77±1.09, 평균 비행시간 256.92±106.96시간)은 WM과 2-ship flight lead (2L) 자격을 갖춘 조종사들이었다. 한편, 사용성 연구 경험이 있는 6명의 인간공학 전문가 그룹(남 2, 여 4, 평균 연령 29.50±6.92세)은 인간공학, 인터페이스 디자인, HCI 분야에서 평균 5.33±5.20년의 실무 또는 연구 경험을 보유하고 있었다. 휴리스틱 평가자를 세 그룹으로 구분한 이유는 다음과 같다. 조종사 그룹의 경우, 설계된 프로토타입을 활용하여 임무 디브리핑을 수행하는 실제 사용자이기에 사용자 측면에서의 문제점 식별을 목적으로 하였으며, 특히 저자격과 고자격으로 구분하여 임무 디브리핑에서 피교육자와 교육자의 역할에 따른 의견을 수렴하고자 하였다. 또한, 인간공학 전문가 그룹의 경우, 인터페이스 디자인에 대한 이론 및 원리와 같은 기본 지식이 풍부하며 다양한 인터페이스를 설계 및 평가한 경험이 있기 때문에 전문가 측면에서의 시스템의 개선 의견을 도출할 수 있을 것으로 판단하였다.

본 연구는 평가 세션 진행에 앞서 평가 방식에 대한 사전 브리핑 세션을 진행하였다. 사전 브리핑 세션에서 평가자들에게는 평가 개요와 10가지 휴리스틱 원칙(Nielsen, 1994b)에 대한 안내 자료가 제공되었다. 연구자들은 평가자들이 10가지 휴리스틱 원칙 각각에 대한 평가 내용 및 절차에 익숙해질 때까지 안내 자료 설명을 진행하였으며, 프로토타입에 구현된 주요 기능과 제어 방식에 대해 소개하였다. 평가 세션에서 평가자들은 제공된 설문지를 활용하여 자신의 평가 결과를 기록하도록 요청받았다. 설문지는 10가지 휴리스틱 원칙 각각에 대해 5점 Likert 척도(1점: 매우 나쁨, 3점: 보통, 5점: 매우 좋음)로 평가될 수 있도록 하였으며, 평가 점수와 관련된 사용성 문제점, 개선 방향 등의 내용을 구체적으로 명시할 수 있도록 구성되었다. 평가 세션 종료 후에는 평가에 대한 전반적인 경험에 대한 평가자들의 의견을 수집하였다. 평가자 그룹 간 사용성 평가 기준 점수 차이 검정에는 사용성 점수 자료가 정규분포를 따르지 않는 것으로 나타나 유의수준 0.05에서 Kruskal-Wallis test가 적용되었다.

휴리스틱 평가 결과, 인간공학 전문가 그룹은 저자격 및 고자격 조종사 그룹보다 시스템 상태의 시각화(visibility of system status), 오류 방지(error prevention), 심미적이고 간결한 설계(aesthetic and minimalist design), 그리고 도움 및 문서화(help and documentation) 측면에서 사용성 점수가 낮았다(Table 4 참조). 한편, 저자격 조종사 그룹과 고자격 조종사 그룹 간 사용성 점수는 유의미한 차이가 없었다. 평가 점수와 관련된 대표적인 사용성 문제점 및 개선 방향에 대하여 그룹별 일부 평가자들은 다음과 같이 언급하였다.

"데이터 로딩이나 분석 진행 중과 같은 정보 처리 상태에 대한 정보가 부족하여 추가적인 시각적 피드백이 필요해 보입니다" – 인간공학 전문가 그룹

"메뉴가 텍스트 형태로만 구현되어 있어 직관적이지 않으므로 아이콘 추가가 요구됩니다" – 인간공학 전문가 그룹

"실수 발생 시 조치할 수 있는 실행 취소 또는 이전으로 돌아가기 버튼이 필요합니다" – 인간공학 전문가 그룹

"프로그램에 구현된 각 기능의 조작 이해를 돕기 위해 물음표 아이콘 형태의 도움말 기능 구현이 요구됩니다" – 인간공학 전문가 그룹

"재생속도 조절, 이벤트 마킹, 화면 분할 설정 등을 단축키로 할 수 있다면 훨씬 편리할 것 같습니다" – 고자격 전투조종사 그룹

"사용자가 실제 자주 사용하는 메뉴를 구성할 수 있는 편집 기능이 추가되면 좋겠어요" – 고자격 전투조종사 그룹

"TO 검색과 디브리핑 결과 기록 및 저장 기능은 개별탭으로 팝업하여 위치와 크기를 조절할 수 있으면 좋겠습니다" – 저자격 전투조종사 그룹

"영상 재생 시 레이아웃 간결화를 위해 메뉴가 사라지는 전체화면 모드가 있으면 좋을 것 같아요" – 저자격 전투조종사 그룹

4.2 Function priority evaluation

본 연구는 임무 디브리핑 프로그램의 최종 프로토타입에 적용된 기능들의 실제 구현 우선순위를 파악하기 위해 Analytic Hierarchy Process (AHP) 기법을 적용하였다. AHP는 의사결정의 계층 구조를 구성하는 요소 간 쌍대 비교를 통해 상대적 중요도를 도출하는 다기준 의사결정 기법이다(Saaty, 2008). 이 기법은 복잡한 의사결정 문제를 단순화하여 체계적인 분석을 가능하게 하며, 특히 대안 간 상대적 중요도를 명확하고 간편하게 도출할 수 있다는 장점이 있다. AHP 수행은 일반적으로 계층 구조 설정, 쌍대 비교 수행, 가중치 계산 및 일관성 검토, 그리고 우선순위 선정의 네 단계로 구성된다.

먼저, 본 연구는 주제 분석 결과로 도출된 3개의 대주제를 1계층으로, 각 대주제에 대응되는 10개의 시스템 기능들을 2계층으로 하는 기능별 계층 구조를 설정하였다(Table 3 참조). 다음으로, 연구자들은 전투조종사 22명(남 20, 여 2, 평균 연령 30.00±3.66, 평균 비행시간 594.09±475.62시간)을 대상으로 9점 척도를 활용하여 동일 계층 내 각 기능 항목들 간 쌍대 비교 설문을 실시하였다. 마지막으로, 일관성을 검토하여 일관성 비율(Consistency Ratio, CR)이 0.1을 초과하는 데이터를 제외한 나머지 데이터를 활용하여 가중치를 산출하였고 최종 우선순위를 선정하였다.

1 계층의 대주제들에 대한 가중치 산출 결과, 다양하고 통합된 영상 데이터(0.491)가 가장 높고 다음으로 디브리핑 기능 확대(0.346)였으며 마지막으로 디브리핑 과정의 시간 효율성(0.163) 순인 것으로 나타났다. 구체적으로, 다양하고 통합된 영상 데이터 측면에서는 2차원 및 3차원 비행경로 영상 통합 시현(0.445), 임무에 참여한 편조원들의 영상 동시 시현(0.436), 그리고 heatmap을 활용한 조종사 시선추적 영상 시현(0.119) 순으로 나타났다. 디브리핑 과정의 시간 효율성 측면에서는 이벤트 마킹(0.462), 재생속도 조절(0.286), 그리고 자막 시현(0.252) 순으로 나타났다. 디브리핑 기능 확대 측면에서는 조종사의 기재취급을 포함한 비행 조작 데이터 확인(0.422), 디브리핑 결과 기록 및 저장(0.333), AI 기반의 최적 기동 시현(0.137), 그리고 TO 검색(0.108) 순으로 나타났다. Table 5는 상위 계층과 하위 계층의 가중치를 종합하여 산출한 가중치 및 최종 우선순위를 보여준다.

본 연구는 UCD 방법론을 기반으로 전투조종사의 임무 디브리핑 프로그램을 개선하였다. 이전 연구들은 다양한 분야의 군사 시스템 설계에 UCD 방법론을 적용하였으나(Findeisen et al., 2023; Parnell et al., 2021), 전투조종사 임무 디브리핑 프로그램에 적용된 연구 사례는 여전히 부족한 것으로 파악되었다. 그러나, 본 연구는 사용자 요구사항 분석, 시스템 기능 도출, 프로토타입 설계 및 평가로 이어지는 UCD 과정 적용을 통해 임무 디브리핑 프로그램을 체계적으로 개선하고자 하였으며, 정성적 분석(예: 반 구조화된 인터뷰, 주제 분석)과 정량적 평가(예: 휴리스틱 평가, 기능 우선순위 평가)를 통합적으로 활용함으로써 UCD의 방법론적 적용 범위를 확장하고자 하였다. 따라서, 본 연구의 결과는 실용적 의의뿐만 아니라 학술적 기여도가 있다고 판단되며, 향후 전투조종사 임무 디브리핑 프로그램의 개선 방향 및 개발 전략을 수립하는 데 도움을 줄 수 있을 것이라 예상된다.

본 연구는 사용자 요구사항 분석 및 기능 우선순위 평가를 통해 전투조종사의 임무 디브리핑 과정에서 통합적 정보 시현이 중요함을 파악할 수 있었다. 구체적으로, 사용자 요구사항 분석 결과 인터뷰에 참여한 조종사의 75%가 2차원 및 3차원 비행경로 영상을, 조종사의 62.5%가 임무에 참여한 편조원들의 영상을, 그리고 조종사의 50%가 비행 조작 데이터의 필요성을 각각 언급하였다. 또한, AHP 기반 기능 우선순위 평가 결과에서도 사용자 요구사항과 유사하게, 2차원 및 3차원 비행경로 영상 통합 시현(0.219), 임무에 참여한 편조원들의 영상 동시 시현(0.214), 그리고 조종사의 기재취급을 포함한 비행 조작 데이터 확인(0.146) 기능이 상대적으로 높은 가중치를 가지는 것으로 나타났다. 이는 사용자 요구사항이 구체적인 시스템 기능으로의 전환이 적절히 이루어졌음을 보여주는 결과이다. 또한, 통합적 정보 시현과 관련된 사용자 요구사항 및 기능 우선순위가 높은 이유는 조종사들의 임무 상황이 개인 단위가 아닌 팀 기반의 협력적 전술 판단과 분석을 요구하며, 비행경로 및 비행 조작 데이터를 포함한 다차원적이고 통합된 정보 검토가 필요하다(Kim and Kang, 2018)는 특성에 기인한 것으로 해석된다. 따라서, 본 연구에서 도출된 사용자 요구사항 및 시스템 기능 우선순위 결과는 임무 디브리핑 절차의 효율성 제고를 위해 전체 과업 흐름 내에서 정보의 통합성을 중심으로 한 시스템 개선이 필수적임을 보여준다.

한편, 본 연구에서 식별된 총 10가지 시스템 기능을 기반으로 고안된 프로토타입은 저충실도에서 고충실도 수준으로 점차 높이면서 반복적으로 검토 및 평가하는 과정을 통해 설계되었다. 특히, 메뉴 구성 및 구현 방식, 화면 레이아웃 등은 전투조종사들의 실제 임무 디브리핑 과정의 수행 맥락이 반영되도록 하였다. 이러한 설계 접근은 단순 기능 구현을 넘어 사용자 과업 중요도 및 순서 기반의 인터페이스 구조화에 초점을 둠으로써 사용자 경험을 최적화하는데 기여할 수 있다. 한편, 본 연구는 사용자의 명시적 니즈뿐만 아니라 heatmap을 활용한 조종사 시선추적 영상 시현 기능 및 AI를 활용한 최적 기동 시현 기능과 같은 암묵적 니즈까지 반영하고자 하였다. Heatmap을 활용한 조종사 시선추적 영상 시현 기능은 조종사의 시선 데이터를 기반으로 훈련 중 SA 수준을 판단하고 효율적인 주의 분배 전략을 수립하는 데 도움을 줄 수 있을 것이다. 이와 관련하여, Muehlethaler and Knecht (2016)은 조종사의 시선 데이터를 분석하여 SA 향상 훈련 프로그램을 개발하고 그 효과성을 평가하는 방안을 제안하였다. 또한, AI를 활용한 최적 기동 시현 기능은 조종사의 실제 기동과 AI가 제시하는 최적 기동 패턴을 비교함으로써 임무 목표 달성에 필요한 전술적 기량 차이를 직관적으로 확인하는 데 기여할 수 있을 것이다. 이와 관련하여, Samuel et al. (2022)은 조종사들의 비행 기동 데이터를 기반으로 기동 유형을 지동으로 인식하고 기동의 품질 등급을 분류하는 AI 알고리즘 개발 사례를 소개하였다. 사용자들은 실제 시스템 사용 중 경험하는 불편한 부분을 명확하게 언어로 표현하지 못하거나, 단순히 기존 시스템에 익숙해져 문제점 자체를 인식하지 못하는 경우가 존재할 수 있다(Burchill and Fine, 1997). 따라서, 본 연구에서 제안하는 임무 디브리핑 프로그램 개선 방향은 명시적 니즈와 암묵적 니즈의 포괄적인 반영을 통해 조종사들의 잠재적인 학습 효과 및 전술적 역량을 강화할 수 있는 가능성을 제시한다.

본 연구에서 도출된 시스템 기능들은 전투조종사들의 요구사항들을 기반으로 도출되었으며, 임무 디브리핑의 다면적인 목표 달성에 기여할 수 있다. 각 시스템 기능이 기여할 수 있는 세부 목표를 구체적으로 매핑하면 다음과 같다. 먼저, 조종사의 기재취급을 포함한 비행 조작 데이터 확인, AI 기반의 최적 기동 시현, 그리고 heatmap을 활용한 조종사 시선추적 영상 시현 기능은 조종사 개인이 자신의 비행 조작, 전술 기동, 그리고 행동 패턴 등을 스스로 파악하고 개선할 수 있다는 점에서 개인 학습 및 기량 향상 목표 달성에 기여할 수 있다. 다음으로, 임무에 참여한 편조원들의 영상 동시 시현, 2차원 및 3차원 비행경로 영상 통합 시스템에서 시현, 그리고 자막 시현 기능은 팀 전체 전술 상황을 다차원에서 이해하고 팀 커뮤니케이션의 효율성과 정확성을 향상시킬 수 있다는 점에서 팀워크 및 협업 능력 증진 목표 달성에 기여할 수 있다. 마지막으로, 이벤트 마킹, 재생속도 조절, TO 검색, 그리고 디브리핑 결과 기록 및 저장 기능은 임무 디브리핑 프로세스를 효율화하고 훈련 내용을 내재화할 수 있다는 점에서 교육자 평가 및 훈련 효과 증대 목표 달성에 기여할 수 있다. 그러나, 시스템 기능 구현 시에는 기술적 제약 조건과 기능별 구현 난이도를 종합적으로 고려한 실현 가능성 검토가 필수적일 것이다. 특히, AI를 활용한 최적 기동 시현 기능은 AI 알고리즘 개발의 복잡성, 모델 학습을 위한 대규모 데이터 확보, 그리고 시스템 통합 과정에서의 어려움 등이 존재할 수 있다. 또한, heatmap을 활용한 조종사 시선추적 영상 시현 기능은 고해상도 시선추적 장비의 도입 및 영상 데이터와의 정밀한 동기화 기술이 선행되어야 한다. 향후 연구에서는 본 연구에서 제시된 상대적 중요도와 더불어, 개발 비용, 기간, 기존 시스템과의 호환성 등 다각적인 측면의 기준들을 고려한 기술 구현 로드맵을 수립하고, 단계적인 기능 구현 전략도 함께 모색해야 할 것이다.

최종 프로토타입에 대한 휴리스틱 평가는 임무 디브리핑 프로그램에 대한 다양한 개선의견 수렴을 위해 실제 사용자인 전투조종사 그룹뿐만 아니라 인간공학 전문가 그룹을 포함하여 수행되었다. 이전 사용성 평가 연구들에서도 서로 다른 특성의 그룹 간 사용성을 비교 분석하여 평가 대상 시스템에 대한 사용성 문제점들을 다면적으로 파악할 수 있음을 보여주었다(Georgsson et al., 2016; Wang and Caldwell, 2002). 본 연구에서 수행한 휴리스틱 평가 결과 인간공학 전문가 그룹은 고자격 및 저자격 조종사 그룹에 비해 대부분의 사용성 평가 기준에 대해 상대적으로 낮은 평가 점수를 부여하였다. 이는 실제 사용자와 전문가 간의 프로토타입에 구현된 기능들에 대한 사용성 기대치 차이를 반영하는 결과로 해석될 수 있다. 즉, 인간공학 전문가 그룹은 보편적 사용성 원칙에 대한 이론적 이해가 깊어 이에 기반하여 엄격히 평가한 반면, 조종사 그룹은 실제 임무 수행 경험을 기반으로 실용성에 초점을 맞춰 평가한 것으로 추측된다. 특히, UI 전문가들은 관련 분야의 지식과 경험을 바탕으로 인터페이스에 대한 사용성 문제를 사용자들보다 심도 있게 분석하고 다양한 의견을 제시하는 경향이 있다고 알려져 있다(Jeffries et al., 1991). 인간공학 전문가 그룹과 조종사 그룹간 휴리스틱 평가 점수의 유의한 차이는 시스템 상태의 시각화, 오류 방지, 심미적이고 간결한 설계, 그리고 도움 및 문서화 측면에서 나타났다. 구체적으로, 인간공학 전문가 그룹은 시스템 상태의 시각화 측면에서 데이터 로딩 등 시스템 처리 상태에 대한 시각적 피드백 부족과 심미적이고 간결한 설계 측면에서 텍스트 중심의 메뉴 구성의 비직관성, 아이콘 부족 등을 이유로 낮은 평가 점수를 부여한 것으로 보인다. 또한, 오류 방지 측면에서 시스템 오류 발생 시 복구를 위한 명확한 기능 미제공과 도움 및 문서화 측면에서는 물음표 아이콘 형태의 도움말 기능 부재 등을 이유로 낮은 평가 점수를 부여한 것으로 보인다. 한편, 고자격 및 저자격 조종사 그룹간 휴리스틱 평가 점수는 통계적으로 유의한 차이는 없었으나, 저자격 조종사 그룹에서는 도움 및 문서화와 관련된 사용성 문제점 및 개선 방향 의견을 다수 제시하여 사용자 그룹 내에서도 역할에 따라 시스템 기능의 요구사항이 상이할 수 있음을 확인할 수 있었다.

그럼에도 불구하고, 본 연구는 임무 디브리핑 프로그램 개선 과정에 있어 다음과 같은 몇 가지 한계점을 지니고 있다. 첫째, 본 연구는 전투조종사의 요구사항을 분석하고 이를 기반으로 개선된 임무 디브리핑 프로그램의 개념적 프로토타입을 설계 및 평가하여 개선 방향을 제시하고 그 실현 가능성 및 유용성을 탐색하고자 하였다. 따라서, 본 연구는 제안한 시스템 기능들이 완전히 구현된 프로그램을 개발하고 그 최종 효과를 검증하는 단계까지는 수행하지 못하였다. 따라서, 추후 연구를 통해 실제 시스템을 구현 및 고도화하고 실제 운용 환경에서의 적용 가능성 및 그 효과성을 검증할 필요가 있다. 둘째, 본 연구는 전투조종사 8명만을 대상으로 인터뷰를 수행하여 사용자 요구사항을 식별하였다. 임무 디브리핑 프로그램에 대한 요구사항을 심층적으로 분석하기 위해서는 사용자 외에 시스템 개발과 관련된 이해관계자들의 의견을 종합적으로 수렴하여 다양한 관점이 고려된 요구사항을 도출하고 분석하는 것이 필요하다. 셋째, 본 연구는 휴리스틱 평가에 참여한 인원이 각 그룹별 6~13명으로 다소 제한적이었다. 현재 연구 결과를 확장하고 일반화하기 위해서는 보다 많은 인원을 대상으로 평가하는 것이 요구된다.

본 연구는 UCD 방법론을 기반으로 전투조종사의 임무 디브리핑 프로그램에 대한 요구사항을 분석하고 프로토타입을 설계 및 평가하였다. 사용자 요구사항은 반 구조화된 인터뷰 및 주제 분석을 통해 체계적으로 분석되었다. 임무 디브리핑 프로그램 프로토타입은 요구사항을 변환한 시스템 기능들을 반영하여 설계되었다. 프로토타입 평가는 사용자 및 전문가 집단 간 휴리스틱 평가 결과를 비교하는 방식으로 수행되어 보다 다양한 사용성 문제점들을 도출할 수 있었으며, 기능 우선순위 평가를 통해 제안된 개선안의 구현 타당성을 검증하였다. 본 연구의 결과는 향후 임무 디브리핑 프로그램의 실제 임무 환경 적용 및 기능 고도화를 위한 기초 자료로 활용될 수 있을 것으로 기대된다.