본문바로가기

Feedback Effects on Performance, Workload and Satisfaction for Novice Pilot

Young Min Kim , Rohae Myung
10.5143/JESK.2025.44.6.805 Epub 2026 January 02

0
Cited By

Abstract

Objective: This study experimentally examined how feedback specificity (specific vs. general) and feedback timing (immediate vs. delayed) influence novice pilots' instrument flight performance, subjective workload, and training satisfaction.

Background: In high-tempo flight environments, overly detailed feedback at the wrong time can raise cognitive load and divert attention from primary tasks. While specific and immediate feedback benefits novices in simple tasks, in complex contexts such as fighter operations it may hinder performance, making concise and well-timed cues more effective.

Method: Eighteen novice fighter pilots completed a HI-TACAN approach scenario in a high-fidelity simulator. A Data were analyzed using a two-way ANOVA to examine the effects of feedback specificity and timing. Primary outcomes included (1) instrument flight performance (deviations in speed, altitude, and path), (2) workload (NASA-TLX), and (3) training satisfaction.

Results: Performance was significantly affected by feedback timing, demonstrating that when feedback is provided critically shapes flight accuracy. Workload was influenced by both feedback specificity and timing, showing that these dimensions jointly regulate cognitive demand. Satisfaction was primarily determined by feedback specificity, with general feedback producing higher ratings.

Conclusion: Concise feedback can be more effective than highly detailed guidance when delivered at opportune moments in demanding instrument flight. Delaying concise feedback can additionally reduce perceived workload by affording self-regulation and reflection.

Application: Results inform feedback strategies for instrument flight training curricula, suggesting a shift from "more detail now" to "just-enough, well-timed" guidance.



Keywords



Feedback specificity Feedback timing Flight performance Workload Satisfaction



1. Introduction

항공 분야에서 조종사의 안전하고 정확한 임무 수행은 국가 안보와 직결된다. 특히 전투기 조종사의 작은 실수 하나는 대형 사고로 이어질 수 있으며, 이러한 위험성은 다양한 사고 사례와 매체를 통해 확인할 수 있다. 보잉의 사고 통계(2004)에 따르면, 전체 항공 사고의 약 62%는 기계적 결함이 아닌, 조종사 오류 등 인적 요인(human factors)에서 비롯되는 것을 확인할 수 있다(Figure 1). 이는 비행 안전이 단순한 장비 신뢰성보다 조종사의 비행 경험, 기술 숙련도, 상황 인식(Situational Awareness), 의사결정 능력과 같은 조종사의 역량적 요인에 더 크게 의존한다는 점을 보여주는 것이다. 따라서 조종사의 기량 향상과 경험의 체계적 축적은 안전한 임무 수행을 위한 필수 조건이라 할 수 있으면, 이러한 조종사의 능력과 노하우가 안정적으로 발휘되기 위해서는 비행 훈련 과정에서 제공되는 피드백이 학습자의 비행 수준과 주어진 과제 특성에 맞게 설계되어야 한다. 특히 비행 훈련 중 하나인 계기비행(Instrument Flight)은 외부 시각 참조물 없이 항공기의 계기 정보만으로 고도, 속도, 경로를 유지해야 하는 과제이므로, 훈련의 성과는 조종사 간의 역량 차이뿐만 아니라 피드백의 형태와 제공 시점에 따라 크게 달라질 수 있다.

Figure 1. Primary factors of aircraft accidents – from 1994 to 2003 (Boeing, 2004)

이와 관련하여 Sweller (1988)의 인지부하 이론(Cognitive Load Theory)은 중요한 시사점을 제공한다. 인간의 작업 기억은 동시에 처리할 수 있는 정보의 양이 제한되어 있으므로, 지나치게 많은 정보를 담은 구체적 피드백이나 학습 상황에 적절하지 않은 시점에 제공되는 피드백은 학습자의 인지적 부담을 가중시켜 오히려 학습 효율을 저하시킬 수 있다.

그러나 이러한 이론적 한계에도 불구하고, 기존 연구들은 주로 단순 과제나 학습 초기 단계의 피교육자를 대상으로 수행되어, 오류 발생 직후 제공되는 구체적 · 즉각적 피드백이 단기적인 오류 교정과 수행 향상에 효과적이라고 보고하였다(Shute, 2008). 즉, 구체적이고 즉시 제공되는 피드백은 학습자의 불확실성을 줄이고 주의 초점을 과제 수행에 유지시켜, 초보자나 복잡한 과제를 수행하는 학습자의 학습 효율을 높이는 경향이 있는 것으로 나타났다.

반면 Schroth (1992)는 피드백 타이밍이 단순한 정답 제시가 아니라 학습자의 개념 형성과 인지적 처리 과정에 직접적인 영향을 미치는 요인임을 실험적으로 보여주었다. 그는 개념 학습 과제를 통해, 즉각적 피드백이 오류 교정에는 효과적이지만, 일정 시간의 지연된 피드백은 학습자가 정보를 재처리하고 개념적 이해를 심화하는 데 도움이 된다고 보고하였다.

이러한 선행연구의 결과를 종합해보면, 전투기 조종과 같은 고부하 · 고속 의사결정 상황에서는 Sweller가 지적한 인지부하의 한계가 더욱 뚜렷하게 작용될 수 있으며, 피드백의 구체성(구체 vs. 포괄)과 타이밍(즉각 vs. 지연) 간의 균형이 학습 효율에 결정적인 영향을 미칠 것으로 예상된다. 결국 피드백의 구체성과 타이밍은 단순히 조종사의 성과 향상뿐 아니라 인지적 부담 완화와 학습 만족도 향상에도 직결되는 핵심 요인이라 할 수 있다. 따라서 이러한 요인들이 실제 훈련 환경에서 어떤 방식으로 상호작용하며 학습 효과에 영향을 미치는지를 규명할 필요가 있다. 이에 본 연구는 이러한 피드백이 어떤 조건에서, 그리고 어떤 방식으로 제공될 때 조종사의 학습 효율과 인지적 안정성이 극대화되는지를 체계적으로 검증하고자 하였으며, 그 결과는 전투기 조종사 훈련의 효율성과 안전성을 동시에 향상시키는 데 중요한 근거가 될 것으로 기대된다.

2. Literature Review

2.1 Concept and educational psychology background of feedback

피드백은 단순히 정답을 제시하는 절차가 아닌, 학습자의 이해를 촉진하고 자기조절 학습과 학습 동기를 강화하는 중요한 교육적 수단으로 간주된다(Shute, 2008). 즉, 피드백은 학습자가 단순히 결과를 확인하는 수준을 넘어 자신의 수행을 성찰하고 향상시킬 수 있도록 돕는 학습 지원 장치로 기능한다. 이러한 기능은 형성적 평가의 맥락에서도 동일하게 강조되며, 피드백은 학습자가 수행 중인 과제에서 현재 수준과 목표 간의 차이를 인식하고 이를 줄이기 위한 행동을 유도함으로써 학습 과정을 조정하는 핵심적 매개 역할을 한다(Black and Wiliam, 1998).

이처럼 피드백은 학습자가 '무엇을 잘했고, 무엇을 개선해야 하는가'를 명확히 인식하도록 돕는 과정이라 할 수 있다. 따라서 효과적인 피드백은 학습자가 단순한 평가 결과를 받는 데 그치지 않고, 목표 제시(Feed Up), 현재 수행의 위치 확인(Feed Back), 향후 개선 방향 제안(Feed Forward)의 세 측면에서 스스로 학습 과정을 조정할 수 있도록 설계되어야 한다(Hattie and Timperley, 2007).

하지만 피드백의 효과가 항상 일정하게 나타나는 것은 아니다. 피드백의 영향력은 학습자의 주의가 어디에 초점을 두는가에 따라 달라질 수 있다. Kluger and DeNisi (1996)는 피드백이 과제에 초점을 맞출 경우 수행 향상으로 이어지지만, 자기(Self)에 대한 과도한 주의는 오히려 학습을 저해할 수 있다고 지적하였다. 즉, 피드백이 학습자의 인지적 초점에 따라 전혀 다른 결과를 가져올 수 있음을 의미한다.

따라서 피드백은 단순히 결과를 전달하는 기능에 머무르지 않고, 학습자의 주의 분배와 인지적 처리 과정을 함께 고려하여 설계될 필요가 있다. 즉, 학습자가 피드백을 자신의 능력을 평가받는 수단이 아닌 수행을 개선하기 위한 유용한 정보로 인식할 때, 그 효과는 더욱 크게 발현된다. 나아가 학습자의 인지적 특성과 학습이 이루어지는 맥락을 함께 고려한다면, 피드백은 단순한 평가를 넘어 학습의 방향을 조정하고 효율을 높이는 핵심적 교육 도구로 기능할 수 있다.

2.2 Feedback specificity and timing

피드백의 효과는 그 내용의 구체성과 제공하는 타이밍에 따라 달라진다.

먼저, 피드백의 구체성에 관한 연구들은 단순히 수행 결과만을 제시하는 피드백보다, 수행 과정에서의 오류 원인과 교정 절차 등 절차적 정보를 함께 제공하는 구체적 피드백이 학습 효과를 더욱 높인다고 보고한다. 예를 들어, 다자유도 운동 과제를 이용한 실험에서는 수행 결과만 제시했을 때보다 이러한 추가 정보가 제공될 경우 수행 능력이 유의하게 향상되었으며(Kernodle and Carlton, 1992), 컴퓨터 기반 학습 환경을 대상으로 한 메타분석에서도 설명과 해설이 포함된 정교화 피드백(elaborated feedback)이 단순한 정답 여부만을 제시하는 피드백보다 학습 성과 향상에 유리한 것으로 나타났다(Van der Kleij et al., 2015). 이러한 결과는 피드백이 단순한 정답 제시 절차를 넘어, 학습자의 인지적 이해를 촉진하고 개념적 구조를 강화하는 정보 제공 과정으로 기능함을 보여준다.

한편, 피드백을 제공하는 타이밍에 관한 연구들은 즉각적(immediate) 피드백과 지연(delayed) 피드백이 서로 다른 학습 메커니즘을 통해 각각의 효과를 발휘함을 보고한다. 우선 즉각적 피드백은 학습자의 오류가 발생한 직후 제공되어 잘못된 수행을 신속히 교정하고 학습의 흐름을 유지하는 데 효과적이다(Bangert-Drowns et al., 1991). 특히 운동 기술 습득의 초기 단계에서는 이러한 즉각적 피드백이 학습자가 실수를 곧바로 수정할 기회를 제공함으로써 학습 효율을 높이는 데 도움이 되는 것으로 나타났다(Salmoni et al., 1984).

반면, 일정 시간이 지난 후 제공되는 지연 피드백은 학습자가 스스로 정보를 재처리하고 개념적 이해를 심화할 수 있는 여유를 제공한다. 예컨대 개념 형성 과제를 이용한 연구에서는 즉각적 피드백이 단기적인 오류 수정에는 효과적이지만, 지연된 피드백이 학습자의 재사고를 촉진하고 새로운 상황으로의 전이(transfer) 학습에 긍정적인 영향을 미친다는 결과를 보고하였다(Schroth, 1992).

종합하면, 구체적인 피드백은 학습자의 이해를 깊이 있게 지원하고, 적절한 시점의 피드백은 그 효과를 극대화한다. 즉, 어떤 피드백을 제공하느냐(구체성)와 언제 제공하느냐(타이밍)는 상호 보완적으로 작용하여 학습자의 오류 수정, 개념 형성, 장기적 지식 유지에 모두 영향을 미친다. 따라서 단기적인 수행 향상뿐 아니라 지속적 학습 효과를 유도하기 위해서는, 과제의 특성과 학습자의 숙련도를 함께 고려한 정교한 피드백 설계가 필요하다.

2.3 Feedback in aviation and instrument flight contexts

비행 환경에서 조종사의 상황 인식과 작업부하 관리(workload management)는 비행 안전과 임무 성공의 핵심 요인으로 제시되어 왔다(Endsley, 1995; Wickens, 2002). 비행 중 조종사는 제한된 인지 자원을 효율적으로 분배하여 시각, 청각, 운동 감각 등 다양한 채널의 정보를 동시에 처리해야 하며, 정보 제공의 시점이나 양이 적절하지 않을 경우 주의 분산과 인지적 혼란이 발생하여 상황 인식이 저하될 수 있다. 이러한 관점에서 피드백은 단순한 학습 보조 수단을 넘어, 조종사의 인지 상태를 안정적으로 유지하고 정보 처리 효율을 조절하는 핵심적 조정 메커니즘으로 기능한다.

피드백의 이러한 인지적 역할은 실제 항공 훈련 및 계기비행 환경에서도 중요한 변수로 다뤄지고 있다. 시뮬레이터 기반 훈련 연구에서는 훈련 직후에 제공된 피드백이 초보 조종사의 절차 수행 정확도와 학습 속도를 향상시킨다는 결과가 보고되었으며, 이는 시의적절한 피드백이 학습자의 오류 인식과 자기 교정 능력을 강화한다는 점을 시사한다(Khan et al., 2003). 또한, 실제 비행 절차 수행 중 제공된 그래픽 및 언어 피드백이 조종사의 체크리스트 수행 정확도를 높이고, 비행 종료 후 종합적으로 제공된 피드백이 절차적 오류 교정에 효과적이었다는 결과도 제시되었다(Rantz et al., 2009).

이러한 선행연구들은 항공기 운용 환경에서도 피드백의 타이밍과 정보 구체성이 조종사의 수행 효율과 인지적 안정성에 핵심적으로 작용함을 보여준다. 그러나 기존 연구들은 주로 피드백의 제공 여부나 훈련 후 요약 피드백의 효과에 초점을 두었으며, 피드백의 내용적 구체성과 제공 시점을 동시에 조작하여 검증한 연구는 드물었다. 따라서 본 연구는 이러한 기존의 근거를 확장하여, 피드백의 구체성과 타이밍의 조합이 초보 전투기 조종사의 계기비행 성과, 작업부하, 그리고 만족도에 미치는 상호작용적 효과를 실험적으로 검증하고자 하였다. 나아가 이러한 접근은 단순한 학습 효과 분석에 그치지 않고, 실제 항공기 운용 환경에서도 적용 가능한 피드백 설계의 방향을 제시함으로써 교육 · 훈련 체계의 실질적 개선에 기여할 수 있다는 의의가 있다.

3. Research Design and Hypotheses

본 연구는 전투기 계기비행 환경에서 피드백의 구체성과 타이밍이 학습자의 비행 성과, 작업부하, 그리고 만족도에 미치는 효과를 규명하기 위해 설계되었다. 기존의 항공 분야 연구들은 주로 피드백 제공 여부나 훈련 종료 후 요약 피드백(post-flight feedback)의 효과에 초점을 두었으며, 실제 비행과 유사한 고부하 상황에서 피드백 구체성과 타이밍의 상호작용 효과를 동시에 다룬 연구는 부족하였다. 이러한 연구 공백을 해소하기 위해 본 연구는 실제 비행 절차인 HI-TACAN (High speed Tactical Air Navigation) 접근 절차를 기반으로 한 계기비행 시나리오에서 피드백 조작을 실시하였다.

실험은 피드백 구체성과 피드백 타이밍의 두 요인을 갖는 이원분산분석 실험설계로 구성되었다. 모든 참가자는 네 가지 피드백 조건(구체적 · 즉각적, 구체적 · 지연적, 포괄적 · 즉각적, 포괄적 · 지연적)을 모두 경험하였으며, 조건 제시 순서는 무작위로 배정하여 순서 효과를 최소화하였다. 이러한 실험 설계는 피드백의 정보량과 제공 시점이 조종사의 오류 교정, 주의 배분, 만족감 등의 요인에 어떠한 차이를 발생시키는지를 피드백 조건별로 정밀하게 비교 · 검증할 수 있도록 구성하였으며, 이러한 분석 목적에 따라 본 연구는 교육 및 항공 분야에서 제기되어 온 피드백 관련 논의들을 참고하여 다음과 같은 가설을 설정하였다.

H1. 피드백의 구체성과 타이밍이 계기비행 성과와 작업부하에 영향을 미칠 것이다.

H2. 피드백의 구체성과 타이밍은 조종사의 피드백 만족도에 유의미한 영향을 미칠 것이다.

4. Method

4.1 Participants

본 연구는 중원기지 소속 F-16 초보 조종사 18명을 대상으로 수행되었다. 연구 참여자들의 평균 비행 시간은 약 291시간이었으며, 표준편차는 약 150시간이었다. 수집된 모든 개인 정보는 식별 가능한 정보를 제거하는 비식별화 과정을 거쳐 익명성을 보장하였으며, 연구 목적 이외의 용도로는 사용되지 않았다.

4.2 Experimental environment

본 연구에서는 실제 공군 조종사 교육에 사용되는 F-16 시뮬레이터(Figure 2)를 실험 장비로 활용하였다. 이 장비는 조종석 구성, 비행 제어 체계, 조종 시야, 음성 통신 환경 등이 실제 항공기와 거의 동일하게 설계되어 있어, 실제 조종 환경과 유사한 조건에서 피험자의 반응을 안정적으로 재현할 수 있다는 장점이 있다. 실험은 이러한 특성을 바탕으로 비행 과목 중 하나인 계기비행을 중심으로 수행되었다. 계기비행은 조종사가 외부 시야에 의존하지 않고, 항공기의 비행 계기(자세계, 속도계, 고도계 등)를 활용해 자세와 위치를 유지하는 절차로, 시계가 제한된 악기상이나 야간 비행과 같이 외부 참조물을 확인할 수 없는 환경 등에서도 안전한 조종을 하기 위한 필수적인 비행 기술이다.

Figure 2. Experiment environment

이처럼 계기비행의 핵심은 계기 판독과 정보 통합 능력에 기반하기 때문에, 본 연구에서는 실제 F-16 전투기에 장착된 HUD (Head-Up Display)를 의도적으로 사용하지 않았다. HUD는 조종사가 고도, 속도, 자세 등 핵심 비행 정보를 한눈에 파악할 수 있도록 도와주는 장비이지만, 공군의 모든 기종에 일률적으로 장착되어 있는 것은 아니다. 특히 계기비행을 처음 학습하는 기본 비행 훈련 단계에서 운영하는 KT-1 항공기나 일부 전술기에는 HUD가 미장착 되어 있으며, 이러한 기종에서는 아날로그 계기를 기반으로 한 계기비행 훈련이 여전히 핵심 절차로 유지되고 있다.

또한 악기상이나 야간 작전 등 외부 시야 확보가 제한된 조건에서는 HUD의 시각적 정보가 오히려 공간정위상실(Spatial Disorientation, SD)을 유발할 가능성이 존재하며, 이러한 위험에 노출 시 조종사는 HUD 정보에 과도하게 의존하기보다, 자세계와 기본 비행 계기 정보를 중심으로 항공기의 자세를 확인하고 복원하도록 훈련받는다. 이에 본 연구에서는 실제 훈련 및 운용 환경을 최대한 사실적으로 재현하고자 HUD를 제외하였으며, 전통적인 계기비행 절차를 적용함으로써 조종사의 주의 배분과 정보 처리 전략, 그리고 피드백에 대한 반응 양상을 보다 명확히 관찰하고자 하였다.

4.3 Experimental task

실험 과제로는 비정밀 계기 접근 절차(Non-precision Instrument Approach) 중 하나인 HI-TACAN (Figure 3) 접근을 선정하였다. HI-TACAN은 군용 항공기에서 널리 사용되는 항법 체계로 조종사에게 지상 기지국과의 거리와 방위 정보만을 제공한다. 이는 거리, 방위뿐만 아니라 고도 정보까지 지원하는 ILS (Instrument Landing System)나 PAR (Precision Approach Radar) 같은 정밀 접근 장비와 달리, 수직 유도 정보(Glideslope)가 제공되지 않는다는 특징이 있다.

Figure 3. HI-TACAN (High speed tactical air navigation)

이로 인해 조종사는 단순히 계기 유도에만 의존할 수 없으며, 비행 중 속도 · 고도 · 경로를 스스로 계산하고 지속적으로 조절해야 한다. 이 과정은 여러 계기 정보를 종합적으로 해석하고 신속한 상황 판단을 요구하므로, 조종사의 정보 처리 능력과 피드백 활용 전략을 관찰하기에 적합한, 높은 수준의 인지적 부하를 유발하는 환경을 제공한다.

실험에 적용된 구체적인 절차는 중원기지의 RWY 36R(우측 활주로)을 사용하는 고속 TACAN 접근이다. 조종사는 기지를 중심으로 반경 15nm의 가상의 호(Arc)를 250kts(약 450km/h)의 속도로 유지하며 비행해야 하고, Radial 140, 170과 같은 주요 지점을 통과할 때까지 지정된 고도를 준수해야 한다. 이후 LR (Lead Radial) 지점에 도달하면 활주로 방향으로 정렬하기 위해 선회를 시작하며, 이어지는 직선 구간에서는 거리(DME)별로 설정된 고도 프로파일에 맞춰 하강한다. 이때 차트에 명시된 고도 수치 하단의 밑줄(Under bar)은 해당 지점에서 반드시 명시된 고도 이상을 유지해야 함을 의미하므로, 조종사는 이러한 고도 및 경로 제약을 엄격히 준수하며 접근을 수행해야 한다.

4.4 Independent variables

본 연구의 독립변인은 피드백의 구체성과 타이밍의 두 가지 요인이다. 피드백은 모든 조건에서 언어적 · 청각적 양식(modality)을 통해 실험자(교관 역할)와 피험자(훈련생 역할) 간의 음성 통신(Radio Communication) 형태로 제공되었다. 즉, 피험자는 TACAN 접근 절차를 수행하는 동안 실험자로부터 무전을 통해 수행 결과에 대한 평가와 조언을 실시간 혹은 일정 시간 지연 후에 받았다. 이는 비행 중 시각적 피드백 제공이 현실적으로 어려울 뿐 아니라 실제 훈련 환경에서도 피드백이 주로 음성 교신을 통해 이루어진다는 점을 고려한 것으로, 본 연구에서도 이러한 실제 조건을 반영하여 음성 교신 방식을 통해 피드백을 제공하였다.

피드백의 내용은 수행의 정확성, 절차 준수 등과 같은 과제 수행에 직접적으로 관련된 항목으로 구성하였다. 구체적 피드백 조건에서는 "현재 고도는 6,250ft입니다. 기준 고도는 6,100ft이므로 파워를 줄이고 피치(pitch)를 낮추십시오."와 같이 조종사의 오류 원인, 현재 상태, 그리고 수정 방법까지 명확히 제시하여 즉각적인 수행 조정이 가능하도록 하였다. 반면, 포괄적 피드백(General feedback) 조건에서는 "접근 속도가 빠릅니다. 속도 유지하세요."와 같은 형태로 핵심 내용만을 간결하게 제시하여 조종사가 전반적인 수행 수준을 스스로 조정하도록 유도하였다.

또한, 즉각적 피드백 조건에서는 속도, 고도, 경로 등 기준 이탈이 감지되는 즉시 피드백이 제공되어 학습자의 실시간 오류 교정이 가능하도록 하였으며, 지연 피드백 조건에서는 약 1분 간격으로 누적된 실수 정보를 종합하여 제공함으로써, 피험자가 자신의 비행 수행을 스스로 돌아보며 자신의 오류 패턴을 재인식하고 개념적 이해를 심화할 수 있도록 하였다.

이와 같은 설계는 피드백의 구체성과 타이밍이 학습자의 수행 조정 및 인지적 처리에 미치는 상호작용적 효과를 체계적으로 검증하기 위한 것으로, 실제 항공기 훈련의 의사소통 구조와 절차적 현실성을 유지하는 데 초점을 두었다.

4.5 Dependent variables

본 연구의 종속변인은 비행 성과(Performance), 작업부하(Workload), 그리고 피드백 만족도(Satisfaction) 세 가지로 구성되었다.

비행 성과는 시뮬레이터 훈련 중 조종사가 설정된 기준(속도 ±10KTS, 고도 ±100ft, 경로 ±2NM)을 벗어난 횟수를 합산하여 산출하였으며, 실수 횟수가 적을수록 수행 정확도가 높은 것으로 해석하였으며, 작업부하는 NASA-TLX (Task Load Index; Hart and Staveland, 1988)을 사용하여 정신적 요구, 신체적 요구, 시간 압박, 수행 수준, 노력, 좌절감의 여섯 영역을 100점 척도로 평가한 후, 각 항목의 평균값을 분석에 활용하였다. 마지막으로 피드백 만족도는 5점 Likert 척도(1 = 전혀 그렇지 않다, 5 = 매우 그렇다)를 기반으로 한 총 8개 문항을 사용하여 측정하였다(Table 1). 각 참가자는 네 가지 피드백 조건을 모두 경험한 후, 조건별로 다음 문항에 응답하였으며, 각 조건의 문항 평균을 산출하여 피드백 만족도 점수로 사용하였다.

 

Item (Question)

Score

1

I am generally satisfied with the feedback provided

1 (Strongly Disagree) ~ 5 (Strongly Agree)

2

The feedback provided was appropriate for my level

1 (Strongly Disagree) ~ 5 (Strongly Agree)

3

The feedback explained clearly what I needed to do

1 (Strongly Disagree) ~ 5 (Strongly Agree)

4

The feedback was clear and easy to understand

1 (Strongly Disagree) ~ 5 (Strongly Agree)

5

The feedback helped me recognize and correct my mistakes

1 (Strongly Disagree) ~ 5 (Strongly Agree)

6

The feedback was provided at an appropriate time

1 (Strongly Disagree) ~ 5 (Strongly Agree)

7

The feedback motivated me to achieve better results

1 (Strongly Disagree) ~ 5 (Strongly Agree)

8

I would like to receive the same type of feedback in the future

1 (Strongly Disagree) ~ 5 (Strongly Agree)

Table 1. Feedback satisfaction questionnaire

4.6 Procedures

1단계: 사전 안내 및 오리엔테이션

참가자들은 실험의 목적, 전체 절차, 안전 지침에 대한 설명을 들은 후 HI-TACAN 접근 시나리오에 대한 간단한 브리핑을 제공받았다. 이 과정에서 연구자는 실험 중 수행해야 하는 주요 과제(속도 · 고도 · 경로 유지)를 안내하고, 각 세션 종료 후 작성해야 할 NASA-TLX 작업부하 평가 절차와 실험 종료 후 실시되는 피드백 만족도 설문지 작성 방법에 대해서도 자세히 설명하였다.

2단계: 시뮬레이션 비행

본 실험에 앞서 참가자는 F-16 시뮬레이터에서 HUD를 비활성화한 상태로 HI-TACAN 접근 절차를 연습하는 적응 비행을 수행하였다. 이 단계는 실제 실험에 앞서 HUD Off 상황에서의 계기 판독, 조종감각, 절차 흐름에 자연스럽게 익숙해지도록 하기 위한 것으로 약 10분간 진행되었다.

3단계: 실제 비행

적응 비행 후 참가자들은 동일한 TACAN 접근 절차를 총 네 차례 반복하여 실제 실험 비행을 수행하였다. 네 번의 수행에는 각각 다른 피드백 조건이 무작위로 배정되었으며, 비행 중 참가자는 항공기의 속도, 고도, 경로를 기준 범위 내에서 유지해야 하였다. 만약, 기준을 벗어날 경우 발생한 모든 이탈 정보는 시뮬레이터 로그에 자동으로 기록되어 실험 종료 후 성과 분석에 활용되었다.

4단계: 피드백 제공

즉각적 피드백 조건에서는 속도는 ±10KTS, 고도는 ±100ft, 경로는 ±2NM을 허용 기준을 벗어난 직후 피드백을 제공하였으며, 지연 피드백 조건에서는 허용 기준을 벗어난 이후 1분간의 실수를 종합하여 피드백이 제공되었다. 구체적 피드백은 항법 절차 수행 과정에서 발생한 오류의 세부적 원인과 수정 방안을 포함하였으며, 포괄적 피드백은 전반적인 수행 방향과 개선이 필요한 영역에 대한 일반적 설명을 중심으로 구성되었다.

5단계: NASA-TLX 작성

각 시뮬레이션 세션이 종료될 때마다 참가자들은 NASA-TLX 설문을 작성하여 해당 세션 동안 경험한 인지적 작업부하를 보고하였다. 이를 통해 네 가지 피드백 조건이 조종사의 작업부하에 미치는 상대적 영향을 비교할 수 있도록 하였다.

6단계: 피드백 만족도 설문지 작성

모든 세션이 종료된 후, 참가자들은 '피드백 만족도 설문지'를 작성하였다. 설문은 피드백의 명확성, 유용성, 적절성, 학습 동기성 등에 대한 주관적 평가를 포함하였다. 이를 통해 참가자가 지각한 피드백 경험에 대한 총체적 만족도를 측정하였다.

4.7 Statistical analysis

본 연구의 통계 분석은 SAS 9.4의 통계 패키기를 사용하여 수행하였으며, 피드백 구체성과 타이밍의 두 요인이 조종사의 성과, 작업부하, 만족도에 미치는 주효과와 상호작용을 검증하기 위해 2×2 반복측정 이원분산분석을 실시하였다. 모든 검정의 유의수준은 α = .05로 설정하였다.

5. Results

5.1 Performance

작업 성과는 참가자들이 계기비행 시뮬레이션을 수행하는 과정에서 나타난 오류 빈도를 기준으로 산출하였다. 즉, 고도, 속도, 그리고 경로를 얼마나 정확히 유지했는지를 반영하였으며, 오류가 적을수록 더 우수한 성과로 평가된다.

Table 2는 피드백의 구체성과 타이밍이 작업 성과에 미치는 영향을 검증한 이원분산분석(ANOVA) 결과이다. 전체 모형은 통계적으로 유의미한 설명력을 보였으며, F(3, 68) = 3.70, p = .0159로 나타났다.

요인별 분석 결과, 피드백의 구체성에 대한 주효과는 F(1, 68) = 4.01, p = .0492로 통계적으로 유의하게 나타났다. 이는 포괄적 피드백 조건의 오류 빈도가 구체적 피드백 조건의 오류 빈도보다 낮아 수행 정확도가 더 높았음을 의미하는 것이다. 또한 피드백 타이밍의 주효과 역시 F(1, 68) = 4.61, p = .0353로 통계적으로 유의한 것으로 확인되었다. 반면, 구체성과 타이밍의 상호작용 효과는 F(1, 68) = 2.46, p = .1214로 유의하지 않았다.

결론적으로, 고부하 비행 과제에서는 정보를 핵심 위주로 전달하는 포괄적 피드백과, 오류 발생 직후 제공되는 즉각적 피드백이 작업 성과를 높이는 데 각각 독립적으로 긍정적인 영향을 미치는 것으로 확인되었다. 비록 두 요인 간의 통계적인 상호작용 효과는 나타나지 않았으나, 이는 각 요인이 개별적으로도 조종사의 수행 오류를 줄이는 데 충분히 유효한 기제로 작용함을 시사한다.

Source

SS

df

MS

F

p-value

Model

264.38

3

88.13

3.70

.0159

Specificity

95.68

1

95.68

4.01

.049

Timing

110.01

1

110.01

4.61

.035

Specificity*Timing

58.68

1

58.68

2.46

.121

Error

1621.50

68

23.85

 

 

Total

1885.88

71

 

 

 

Table 2. ANOVA results of performance with p-values

Figure 4은 네 가지 피드백 조건에 따른 평균 오류 수를 비교한 그래프이다. 포괄적 · 즉각적 피드백을 받은 경우 오류 발생이 가장 적어 성과가 가장 뛰어났으며, 구체적 · 즉각적 피드백 조건에서 비교적 양호한 결과를 보였다. 반면, 지연된 피드백이 제공된 조건에서는 전반적으로 오류 수가 증가하였다. 겉보기에는 각 조건별 기울기 변화가 달라 보이며 상호작용이 있는 것처럼 해석될 수 있으나, 반복측정 이원분산분석 결과 피드백 구체성과 타이밍 간 상호작용 효과는 통계적으로 유의하지 않았다(F(1, 68) = 2.46, p = .1214). 이는 시각적으로는 차이가 있는 것처럼 보이더라도, 실제 오차 변량을 고려한 통계적 비교에서는 이러한 패턴이 상호작용을 형성할 만큼 충분하지 않았음을 의미한다. 이는 피드백의 구체성과 타이밍이 서로 복잡하게 얽혀 작용하기보다는, 정보의 간결성(포괄적)과 타이밍의 즉시성이라는 각각의 독립적 속성이 조종사의 오류 감소에 직접적인 영향을 미치고 있음을 시사한다.

Figure 4. Interaction plot of performance by feedback specificity and timing (*: p-value<0.05, Error bar: 95% CI)

5.2 Workload

조종사가 지각한 주관적 작업부하는 NASA-TLX 척도를 통해 측정되었으며, 해당 점수가 낮을수록 수행 과정에서 겪은 정신적 · 신체적 부담이 적었음을 의미한다. 분석 결과, 피드백의 구체성과 타이밍 요인 모두에서 통계적으로 유의미한 주효과가 확인되었다.

Table 3은 작업부하에 대한 이원분산분석(ANOVA) 결과를 보여준다. 전체 모형은 통계적으로 유의한 설명력을 나타냈다(F(3, 68) = 8.19, p < .001). 요인별 분석 결과, 피드백의 구체성에 따른 주효과는 F(1, 68) = 9.19, p = .0034로 통계적으로 유의하게 나타났다. 이는 구체적 피드백보다 포괄적 피드백이 제공되었을 때 조종사가 느끼는 인지적 부담이 유의하게 낮았음을 시사한다. 또한 피드백 타이밍 역시 매우 유의한 주효과를 보였는데(F(1, 68) = 14.42, p = .0003), 이는 즉각적인 개입보다 지연된 피드백 조건에서 작업부하가 더 낮게 평가되었음을 의미한다. 반면, 구체성과 타이밍 간의 상호작용 효과는 통계적으로 유의하지 않았다(F(1, 68) = 0.97, p = .3286).

Source

SS

df

MS

F

p-value

Model

4380.92

3

1460.31

8.19

<.001

Specificity

1638.50

1

1638.50

9.19

.0034

Timing

2569.85

1

2569.85

14.42

.0003

Specificity*Timing

172.58

1

172.58

0.97

.3286

Error

12120.21

68

178.24

 

 

Total

16501.13

71

 

 

 

Table 3. ANOVA results of workload with p-values

결론적으로, 고부하 비행 과제에서는 정보를 핵심 위주로 간결하게 제공하거나, 일정 시간 지연하여 제공하는 피드백 전략이 독립적으로 조종사의 작업부하를 경감시키는 데 효과적인 것으로 해석된다.

Figure 5는 네 가지 피드백 조건별 평균 작업부하를 비교한 그래프이다. 조건별 구체적인 수치를 살펴보면, 구체적 · 즉각적 조건에서 작업부하가 가장 높게 나타났다. 이는 조종사가 비행 중 실시간으로 세밀한 교정 정보를 처리해야 할 때 가장 높은 인지적 압박을 느낌을 보여준다. 반면, 포괄적 · 지연적 조건에서는 작업부하가 가장 낮게 측정되었다. 이는 비행 수행이 끝난 뒤 핵심 정보 위주로 피드백을 받을 때 조종사의 심리적, 인지적 부담이 최소화됨을 의미한다.

Figure 5. Interaction plot of workload by feedback specificity and timing (**: p-value<0.01, Error bar: 95% CI)

결과적으로, 초보 조종사의 인지적 여유를 확보하기 위해서는 구체적 · 즉각적 개입을 지양하고, 가능한 한 포괄적이고 지연된 형태의 피드백을 제공하는 것이 조종사의 작업부하 측면에서 가장 효율적인 전략임을 시사한다.

5.3 Satisfaction

피드백 만족도는 Bahati et al. (2019)의 설문지를 기반으로 연구자가 재구성한 5점 리커트 척도를 통해 측정하였다. 참가자들은 각 피드백 조건에 대해 명확성, 유용성, 전반적 만족 수준을 평가하였으며, 점수가 높을수록 피드백에 대한 긍정적 인식과 학습 경험에 대한 만족도가 높음을 의미한다.

Table 4는 네 가지 피드백 조건에서 측정된 만족도 점수의 평균과 표준편차를 제시한 것이다. 전체적으로 포괄적 피드백 조건에서 만족도가 더 높게 나타났으며, 특히 포괄적 · 즉각적 피드백에서 가장 높은 점수가 확인되었다. 반면, 구체적 · 지연적 피드백 조건에서는 네 조건 중 가장 낮은 만족도가 나타났다.

Feedback condition

Mean ± SD

Specific / Immediate

2.88±0.80

Specific / Delayed

2.69±0.49

General / Immediate

4.01±0.75

General / Delayed

3.58±0.78

Table 4. Means and standard deviations of satisfaction scores by feedback condition

이러한 결과는 학습자들이 복잡한 비행 과제 수행 중 세부적인 교정 내용을 듣는 것보다, 핵심적인 포괄적 피드백을 듣는 것을 훨씬 더 선호함을 보여준다. 또한 같은 포괄적 피드백 내에서도 지연된 것보다는 즉각적인 것을 더 긍정적으로 평가하는 경향이 확인되었다.

Source

SS

df

MS

F

p-value

Model

1296.61

3

432.20

13.26

<.0001

Specificity

1168.06

1

1168.06

35.83

<.0001

Timing

112.50

1

112.50

3.45

.0675

Specificity*Timing

16.06

1

16.06

0.49

.4852

Error

2216.67

68

32.60

 

 

Total

3513.28

71

 

 

 

Table 5. ANOVA results of satisfaction with p-values

Table 5는 피드백의 구체성과 타이밍이 만족도에 미치는 영향을 검증한 이원분산분석(ANOVA) 결과이다. 전체 모형은 통계적으로 유의미한 설명력을 보였으며, F(3, 68) = 13.26, p < .0001로 나타났다.

요인별 분석 결과, 피드백의 구체성이 F(1, 68) = 35.83, p < .0001로 매우 유의한 효과를 보였으며, 포괄적 피드백을 받은 집단에서 전반적으로 더 높은 만족도가 확인되었다. 반면, 피드백의 타이밍 요인은 F(1, 68) = 3.45, p = .0675로 유의수준에 도달하지 않았고, 구체성과 타이밍의 상호작용 효과 역시 F(1, 68) = 0.49, p = .4852로 통계적으로 유의하지 않았다.

결론적으로, 학습자의 주관적 만족도는 피드백이 언제 제공되는가 보다 어떤 내용으로 구성되는가에 더 크게 좌우되는 것으로 해석된다. 즉, 조종사들은 자신의 수행을 스스로 평가할 수 있도록 핵심 정보만을 간결하게 제공받는 포괄적 피드백 방식을 더 선호함을 알 수 있다.

Figure 6는 네 가지 피드백 조건에 따른 평균 만족도를 나타낸 그래프이다. 그래프에서 가장 두드러지는 특징은 피드백의 구체성에 따른 명확한 격차이다. 상단에 위치한 포괄적 피드백은 하단의 파란구체적 피드백보다 전 구간에서 월등히 높은 위치를 점하고 있다. 구체적인 수치를 살펴보면, 포괄적 · 즉각적 조건이 4.01점으로 가장 높은 만족도를 기록하였으며, 구체적 · 지연적 조건에서 2.69점으로 가장 낮은 만족도를 보였다.

Figure 6. Interaction plot of satisfaction by feedback specificity and timing (***: p-value<0.001, Error bar: 95% CI)

결과적으로 학습자들은 세부적인 교정 내용이 포함된 구체적인 피드백보다는 핵심적인 조언을 듣는 포괄적인 피드백을 선호하며, 이러한 경향은 피드백 제공 시점과 관계없이 일관되게 나타남을 확인할 수 있다.

6. Discussion

기존 연구에서는 학습 초기 단계의 피교육자에게 구체적이고 즉각적인 피드백이 오류 교정과 단기적인 수행 향상에 효과적이라고 보고해 왔다(Shute, 2008; Hattie and Timperley, 2007). 이는 학습자가 과제 수행 중 즉각적인 외적 정보를 통해 올바른 행동을 빠르게 강화 받는다는 점에서 효율적이나, 이러한 접근은 주로 단순 과제나 낮은 인지부하 환경에서 관찰된 경향으로, 고부하의 비행 환경과 같은 복잡한 과제 상황에서는 그 효과가 동일하게 나타난다고 보기 어렵다.

기존의 단순 과제에서 수행된 연구에서는 즉각적이고 구체적인 피드백이 학습 효과를 높이는 것으로 보고되어 왔다. 그러나 본 연구에서와 같이 복잡한 비행 환경에서 수행된 고부하 과제의 경우, 이러한 경향과는 달리 즉각적이면서도 포괄적인 피드백 조건에서 비행 성과가 가장 높게 나타났다. 이는 비행과 같은 복합 과제 수행 시 세부적인 지침을 과도하게 제시하기보다 핵심 요점을 간결하게 전달하는 방식이 학습자의 주의 집중을 유지하고 오류 교정을 촉진하는 데 더 효과적임을 보여준다. 이러한 결과는 Sweller의 인지부하 이론을 뒷받침하며, 학습자가 동시에 처리할 수 있는 정보의 양이 제한된 복잡한 상황에서는 지나치게 세분화된 피드백이 오히려 작업 기억을 과부하 시켜 수행을 방해할 수 있음을 시사한다. 다시 말해, 복잡한 환경에서는 '구체적인 정보' 보다 '정보의 간결성'이 더 중요하게 작용한 것이다.

한편, 지연 피드백은 즉각적 피드백에 비해 단기적인 수행 향상에는 다소 불리했으나, 참가자들이 보고한 작업부하 수준은 상대적으로 낮게 나타났다. 이는 즉각적 피드백은 학습자에게 즉시 반응을 요구하여 인지적 부하를 증가시키는 반면, 지연된 피드백은 정보 처리와 통합의 여유를 제공하여 인지적 부담을 완화한 것으로 해석된다. 이러한 결과는 일부 선행연구(Brand et al., 2020; Park et al., 2019)와도 일치하며, 피드백의 타이밍 효과가 단순히 '즉각 대 지연'의 이분법으로 설명될 수 없고, 학습자의 인지적 상태와 과제 복잡도 간의 상호작용에 따라 달라진다는 점을 시사한다. 즉, 고부하 환경에서는 피드백이 약간 지연되더라도 정보의 통합과 자기 점검이 가능할 때 학습 효율이 더 높아진다.

작업부하(NASA-TLX) 분석 결과 역시 이러한 해석을 지지하였다. 포괄적 · 지연적 피드백 조건에서 전체 부하 점수가 가장 낮게 나타났으며, 이는 지나치게 빈번하거나 세부적인 피드백이 조종사의 주의를 과도하게 분할시켜 인지적 피로를 유발할 수 있음을 보여준다. 반면, 일정한 간격으로 핵심 요점만을 제시하는 피드백은 학습자에게 정보 처리의 여유를 제공하여 인지적 부담을 완화하는 데 도움이 된다. 특히, 고부하(high-load) 환경에서는 지속적 · 감시형 피드백보다 간헐적이고 요점 중심의 피드백이 더 높은 효율을 보인다. 이는 Wickens와 Endsley의 항공 인지 모델과도 일맥상통하는데, 비행 중 주의 자원을 효율적으로 분배하고 상황 인식을 유지하기 위해서는, 피드백이 학습자의 현재 인지 단계를 초과하지 않는 수준으로 제공되어야 한다는 이론적 근거를 제공한다. 즉, 피드백은 단순한 학습 보조 수단이 아니라 상황 인식 유지와 작업부하 조절을 위한 핵심 인지 메커니즘으로 기능한 것이다.

마지막으로, 만족도 분석 결과에서 포괄적 피드백 조건이 전반적으로 높은 평가를 받은 것은, 학습자가 받는 정보의 양보다 현재 자신의 수행에서 어떤 부분이 문제인지 명확히 인식할 수 있도록, 간결하고 적절한 시점에 제공되는 피드백을 더 중요하게 여겼기 때문으로 해석된다. 즉, 명확하고 간결하며 적절한 타이밍에 제공되는 피드백은 학습자가 불필요한 정보를 해석하느라 에너지를 소모하지 않도록 도와주고, 핵심 내용을 빠르게 파악할 수 있게 한다. 이러한 피드백은 학습자에게 현재 어떤 부분이 문제인지 즉시 인식하게 하여, 복잡한 비행 절차 속에서도 자신이 올바른 방향으로 훈련하고 있다는 확신과 안정감을 제공한다. 그 결과 학습자는 훈련 전반을 부담스럽게 느끼기보다, 점진적인 향상과 자기 효능감, 성취감을 함께 경험하게 된다. 특히, 비행 훈련과 같이 주의 자원이 한정된 고부하 상황에서는 피드백의 '양'보다 '질'이 더욱 중요하게 작용한다. 지나치게 세부적인 피드백은 오히려 주의를 분산시키고 피로를 높일 수 있는 반면, 포괄적이고 핵심적인 피드백은 학습자가 전체 비행 흐름 속에서 자신의 위치를 이해하고 다음 행동을 계획하는 데 실질적인 도움을 준다. 이러한 점에서 포괄적 피드백은 학습자가 복잡한 정보를 스스로 정리하며, 훈련 경험을 보다 긍정적이고 주도적인 과정으로 받아들이게 만드는 데 기여했다고 볼 수 있다.

종합하면, 본 연구는 기존 연구들이 주로 초보 학습자나 단순 과제를 대상으로 즉각적 · 구체적 피드백의 효과를 강조해 온 한계를 넘어선다. 선행 연구들이 피드백을 주로 오류 수정이나 정답 제시에 초점을 맞추어 단기적 수행 향상 중심의 접근을 취한 반면, 본 연구는 실제 비행 환경이라는 복잡하고 고부하의 맥락에서, 피드백의 구체성과 타이밍이 인지적 안정성과 수행 효율에 미치는 상호작용적 영향을 실증적으로 규명하였다.

결국, 포괄적이면서 시기적으로 조율된 피드백 설계는 단기적 성과 향상뿐 아니라 작업부하 경감, 인지적 안정성, 학습 지속성을 동시에 향상시키는 보다 효과적인 접근임이 확인되었다. 이러한 결과는 단순한 정보 전달을 넘어, 학습자의 상황 인식 유지와 자기조절적 학습을 촉진하는 피드백의 본질적 역할을 실증적으로 뒷받침하며, 향후 항공 · 군사 등 고부하 학습 환경에서의 피드백 설계에 중요한 이론적 · 실천적 근거를 제공한다.

7. Conclusion

본 연구는 피드백의 구체성과 제공 시점이 초보 전투기 조종사의 계기비행 수행, 작업부하, 및 훈련 만족도에 미치는 영향을 실험적으로 검증하였다. 그 결과, 포괄적 · 즉각적 피드백은 비행 성과를 향상시키는 데, 포괄적 · 지연적 피드백은 인지적 부하를 완화하는 데 각각 효과적인 것으로 나타났다. 이러한 결과는 고부하의 실제 비행 환경에서 모든 정보를 즉각적으로 제공하기보다는, 핵심 정보를 간결하고 시기적절 하게 전달하는 피드백 설계가 조종사의 학습 효율과 수행 안정성을 높이는 데 유리하다는 점을 시사한다. 따라서 본 연구는 전투기 조종사 훈련 과정에서 피드백의 내용적 구체성과 시기적 조율을 함께 고려한 맞춤형 피드백 전략이 필요함을 제안하였다.

다만 본 연구에는 몇 가지 한계점이 존재한다. 첫째, 실험 과제가 계기 접근 중 하나인 TACAN 접근 절차로 한정되어 있어, 계기비행의 일부 국면만을 반영하였다는 점이다. 향후 연구에서는 계기접근 이외의 다양한 접근 절차나, 비상 상황 시나리오를 포함한 과제 확장 등을 통해, 피드백 효과의 일반화 가능성을 검증할 필요가 있다. 둘째, 본 연구는 단기 실험 설계를 기반으로 즉각적인 학습 효과에 초점을 맞추었기 때문에, 숙련도 향상에 따른 피드백의 장기적 작용 변화나 학습 유지 효과를 검토하지는 못하였다. 따라서 후속 연구에서는 장기 종단 연구를 통해 학습 경험의 누적이 피드백 효과에 미치는 영향을 추적하고, 성과 · 작업부하 · 만족도의 변화를 통합적으로 분석할 필요가 있다.



References


1. Bahati, B., Fors, U., Hansen, P., Nouri, J. and Mukama, E., Measuring learner satisfaction with formative e-assessment strategies. International Journal of Emerging Technologies in Learning, 14(7), 223-234, 2019.
Google Scholar 

2. Bangert-Drowns, R.L., Kulik, C.L.C., Kulik, J.A. and Morgan, M.T., The instructional effect of feedback in test-like events. Review of Educational Research, 61(2), 213-238, 1991.
Google Scholar 

3. Black, P. and Wiliam, D., Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 5(1), 7-74, 1998.


4. Boeing, Statistical Summary of Commercial Jet Airplane Accidents - Worldwide Operations 1959-2003, Seattle, WA, Boeing, 2004.
Google Scholar 

5. Brand, D., Novak, M.D., DiGennaro Reed, F. and Tortolero, S.A., Examining the effects of feedback accuracy and timing on skill acquisition. Journal of Organizational Behavior Management, 40(1-2), 3-18, 2020.
Google Scholar 

6. Endsley, M.R., Toward a theory of situation awareness in dynamic systems. Human Factors, 37(1), 32-64, 1995.


7. Hart, S.G. and Staveland, L.E., Development of NASA-TLX (Task Load Index): Results of empirical and theoretical research. In P. A. Hancock & N. Meshkati (Eds.), Human mental workload (pp. 139-183). North-Holland, 1988.


8. Hattie, J. and Timperley, H., The power of feedback. Review of Educational Research, 77(1), 81-112, 2007.


9. Kernodle, M.W. and Carlton, L.G., Information feedback and the learning of multiple-degree-of-freedom activities. Journal of Motor Behavior, 24(2), 187-196, 1992.
Google Scholar 

10. Khan, M.J., Rossi, M., Heath, B.E., Ali, S.F., Crane, P., Knighten, T. and Culpepper, C., Effect of Above Real Time Training and Post Flight Feedback on Training of Novice Pilots in a PC-Based Flight Simulator. Proceedings of the Huntsville Simulation Conference, Huntsville, Alabama, 2003.
Google Scholar 

11. Kluger, A.N. and DeNisi, A., The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254-284, 1996.
Google Scholar 

12. Park, J.A., Johnson, D.A., Moon, K. and Lee, J., The interaction effects of frequency and specificity of feedback on work performance. Journal of Organizational Behavior Management, 39(3-4), 164-178, 2019.
Google Scholar 

13. Rantz, W.G., Dickinson, A.M., Sinclair, G.A. and Van Houten, R., The effect of feedback on the accuracy of checklist completion during instrument flight training. Journal of Applied Behavior Analysis, 42(3), 497-509, 2009.
Google Scholar 

14. Salmoni, A.W., Schmidt, R.A. and Walter, C.B., Knowledge of results and motor learning: A review and critical reappraisal. Psychological Bulletin, 95(3), 355-386, 1984.
Google Scholar 

15. Schroth, M.L., The effects of delay of feedback and type of verbal feedback on transfer with conjunctive concept-formation tasks. Contemporary Educational Psychology, 17(1), 78-87, 1992.


16. Shute, V.J., Focus on formative feedback. Review of Educational Research, 78(1), 153-189, 2008.


17. Sweller, J., Cognitive load during problem solving: Effects on learning. Cognitive Science, 12(2), 257-285, 1988.
Google Scholar 

18. Van der Kleij, F.M., Feskens, R.C.W. and Eggen, T.J.H.M., Effects of feedback in a computer-based learning environment on students' learning outcomes: A meta-analysis. Review of Educational Research, 85(4), 475-511, 2015.
Google Scholar 

19. Wickens, C.D., Situation awareness and workload in aviation. Current Directions in Psychological Science, 11(4), 128-133, 2002.
Google Scholar 

PIDS App ServiceClick here!

Download this article