본문바로가기

Effective Use of Key Questions and Keywords for Work Domain Analysis Based on Abstraction Hierarchy: Focusing on Reactor Cooling Systems in Nuclear Power Plants

Abstract

Objective: This study aims to propose a way of using a set of key questions and keywords to help work domain analysts to use abstraction hierarchy (AH) more systematically.

Background: The AH is known as a good knowledge modeling framework for analyzing a work domain. However, it has also been reported that it is not easy to model the knowledge of a work domain by using the AH in spite of its merits. For this, it is necessary to develop a way of using the AH in a systematic manner.

Method: We firstly introduced a set of key questions (prompts) and keywords that were originally proposed by Neelam Naikar and her colleagues. In order to enhance their practicality and applicability, we added more key questions and proposed a way of effectively using the extended set of key questions and keywords, based on our experience of using the AH in various domains and literature review results. Then, we conducted a small case study that analyzed reactor cooling systems in nuclear power plants (NPPs) based on the AH.

Results: This study proposes a set of key questions and keywords and a way of using them that can be considered in the use of the AH.

Conclusion: The set of key questions and keywords can be a useful tool for enhancing the practicality and applicability of the AH.

Application: The set of key questions and keyword and their usage guideline can be useful when modeling a work domain knowledge based on the AH, particularly in a complex socio-technical system.



Keywords



Work domain analysis Abstraction hierarchy Cognitive work analysis Knowledge modeling Reactor cooling system



1. Introduction

자동화, 지능화, 정보화 및 대규모화로 특성 지울 수 있으면서 사회기술적 시스템(Socio-Technical Systems)의 성격을 지니는 현대의 많은 작업시스템(예: 원자력발전소, 항공관제시스템, 헬스케어시스템 등)에서의 설계 및 평가 문제는 매우 포괄적이고 체계적인 분석결과를 필요로 한다(Vicente, 1999). 이러한 시스템을 인간중심적으로 개발하기 위해서는 다양한 개발 대상(인간-시스템 인터페이스(정보디스플레이, 직무절차서, 경보시스템), 직무방법, 자동화 시스템, 정보지원, 훈련시스템, 팀 및 조직설계, 작업도구 및 작업환경, 작업규율 등)을 설계하고 평가함에 있어 여러 종류의 분석 혹은 여러 종류의 지식모형화를 필요로 한다(Rasmussen et al., 1994). 이는 작업시스템 내의 인간이 시스템을 안전하면서 효율적으로 운영하는데 갖추어야 할 여러 유형의 지식을 분석하고 모델링하는 과정으로도 해석할 수 있다(Ham, 2015).

이러한 분석은 작업영역분석(WDA: Work Domain Analysis), 인지적 직무분석, 인지적 전략분석, 작업조직 및 작업할당 분석, 작업자 인지능력 분석, 작업환경 분석, 인터페이스 기술을 포함한 기술능력 분석 등을 포함한다. 이러한 분석이 모두 중요하지만 많은 연구결과들이 특히 작업영역분석의 중요성을 강조하고 있다(Bisantz and Mazaeva, 2009; Hollnagel and Woods, 2005; Hugo, 2015; Naikar et al., 2005). 작업영역분석은 인간이 상호작용해야 하는 대상 시스템이 실제로 설계된 그 자체에 대한 특성을 시스템의 기능, 구조, 상태의 관점에서 이해하는 과정으로 해석될 수 있다. 특히 예상하지 못한 상황에서의 적절한 대응능력과 더불어 일상적 작업절차의 사리분별 있는 수행이 강조되고 있는 현대의 작업시스템에서 작업자가 인지할 필요가 있는 대상 시스템의 설계된 지식을 근본적으로 분석하는 것은 매우 중요하다는 점에서 작업영역분석은 시스템 분석의 핵심 과정으로 인식되고 있다(Burns and Hajdukiewicz, 2004; Vicente, 1999).

이러한 이유로 인지시스템공학(CSE: Cognitive Systems Engineering) 분야에서 특히 추상화계층(AH: Abstraction Hierarchy)을 활용한 작업영역분석은 지난 30년간 가장 활발하게 연구되어온 분야 중의 하나라고 할 수 있다(Bisantz and Burns, 2009; Ham, 2012). 보다 구체적으로 대표적인 연구주제는 다음을 포함한다: 추상화계층을 활용한 작업영역분석 프로세스, 추상화계층의 여러 기능적 추상화 수준의 의미에 관한 심층연구, 추상화계층의 다양한 문제 혹은 작업영역에서의 응용, 추상화계층의 비공학적 분야로의 적용 가능성 조사, 추상화계층의 효과적 사용을 지원하기 위한 지침 개발, 추상화계층과 기존의 시스템 혹은 직무분석 기법과의 비교 및 통합연구, 추상화계층 분석결과의 유용성에 대한 실험적 조사, 추상화계층에 기반한 시스템 및 인터페이스 설계(Bisantz and Burns, 2009; Ham, 2013, 2015; Naikar et al., 2005; Stanton et al., 2018).

이러한 다양한 연구를 통해 추상화계층이 현대의 작업시스템에서 요구하는 작업영역분석의 요건을 만족시킬 수 있는 매우 유용한 분석도구이며 다양한 분야에 적용될 수 있음을 알 수 있었다. 특히 생태학적 인터페이스 디자인(EID: Ecological Interface Design)의 연구에서 알 수 있듯이 추상화계층 기반의 작업영역분석을 기초로 한 정보디스플레이의 유용성은 추상화계층의 가치를 입증해주고 있다(Ham and Yoon, 2001; Ham et al., 2008). 최근에는 추상화계층이 공학적 분야 외에 비공학 분야(예: 스포츠산업, 사업제안서 평가, 안전규제개발)에도 널리 적용되면서 활용 가치가 높아지고 있다.

이러한 추상화계층의 유용성에도 불구하고 아직도 추상화계층을 학습하고 이를 체계적으로 적용하는 과정이 여전히 쉽지는 않다는 점이 풀어야 할 과제로 남아있다(Ham, 2015; Naikar et al., 2005). 특히 추상화계층 적용 과정에서 반드시 고려해야 하는 사항들을 체계적으로 정리할 필요가 있다. 이러한 문제의식을 갖고 본 연구는 추상화계층을 보다 체계적으로 활용하는데 도움이 될 수 있는 방법을 Naikar et al. (2005)의 연구내용에 기반해서 제안하고 그 방법을 원자력발전소의 원자로냉각재계통에 적용하는 사례연구를 진행함을 목표로 한다. 이를 통해 추상화계층을 효율적이면서 효과적으로 사용하고자 하는 연구자 및 실무자들에게 도움이 되는 하나의 방안을 제공함을 궁극적 목표로 한다. 본 논문에서는 우선적으로 2장에서 작업영역분석 및 추상화계층에 관한 기본사항을 요약정리하고 3장에서 핵심 질의 및 핵심어 기반의 추상화계층 활용 방안을 제안한다. 이어서 4장에서는 제안된 방안을 원자력발전소의 냉각재계통에 적용한 사례연구의 핵심내용을 정리한다.

2. Research Background

2.1 Work domain analysis and the abstraction hierarchy

작업영역은 특정 작업자, 자동화, 사건, 직무, 목표 또는 인터페이스와 독립적으로 제어되는 시스템인데, 이러한 작업영역의 기능적 구조를 식별하는 분석이 작업영역분석이다(Vicente, 1999). 작업영역분석은 인지적 작업분석(CWA: Cognitive Work Analysis) 프레임워크의 첫 단계로 시스템의 목적, 기능 및 목적을 달성하기 위해 설계된 기능들 간의 관계를 파악하는 단계이다(Ham, 2012). 작업영역분석은 특히 작업자가 예상하지 못한 사건에 대처할 수 있도록 도와줄 수 있는 정보를 파악하는데 유용하다 알려져 있다(Vicente, 1999).

작업영역분석은 작업자 내지는 자동화 시스템이 상호작용하는 작업영역이 설계된 근본적인 원리를 파악하는 과정으로 해석될 수 있다. 작업영역분석의 특징은 작업영역 내에서 작업을 수행하는 작업자와 자동화 시스템의 행위의 자유도를 제한할 수 있는 작업영역의 제약조건(Work Domain Constraints)의 관점에서 분석이 이루어진다는 점이다(Bisantz and Mazaeva, 2009). 작업자와 자동화 시스템은 제약조건 내에서 작업을 수행할 때 제약 없는 선택권과 가능성을 갖는다(Naikar, 2005). 작업영역분석을 통해 시스템의 기능과 구조를 파악할 수 있을 뿐만 아니라 작업자가 시스템을 어떻게 올바르게 작동시키는지를 알 수 있으며 시스템의 제약조건을 확인함으로써 이를 벗어났을 때 어떠한 영향이 있을지 파악할 수 있다(Kim and Myung, 2017).

Vicente (1999)는 작업영역분석 기법이 갖출 필요가 있는 세 가지 기준을 제시하였다. 이 기준은 특정 기기에 독립적이고(device-independent) 특정 사건에 독립적이고(event-independent) 심리적으로 적합한(psychological relevance) 작업영역 모델을 만들어야 한다는 것이다. 추상화계층은 이 세 가지 기준을 모두 만족시키기 때문에 작업영역을 분석하고 모델링하는 가장 이론적으로 진보된 방법 중 하나라고 여겨진다(Ham, 2015). 이런 이유로 많은 연구들이 추상화계층에 기반한 작업영역분석 연구를 수행해왔다.

추상화계층은 작업영역의 기능적 구조를 설명하기 위한 다단계 지식 표현 프레임워크이다(Ham, 2015). 추상화계층은 작업영역을 구성하는 다양한 기능적 요소들을 추상화 수준에 따라 배치하여 작업영역을 다양한 수준으로 표현한다. 추상화 수준은 해당 요소가 작업영역의 물리적 특성과 얼마나 밀접한지에 따라 결정된다. 즉, 작업영역의 물리적 특성에 가까운 요소일수록 추상화 수준이 낮으며 작업영역의 기능적 목표에 가까운 요소일수록 추상화 수준이 높다(Ham, 2013).

이론적으로 추상화계층의 수준 수에 대한 정해진 답은 없다. 하지만 여러 연구에 따르면 5개의 추상화 수준이 복잡한 사회 기술 시스템의 대부분을 모델링 하는데 충분하다고 알려져 있다. 일반적으로 추상화계층은 기능적 목표(FP: Functional Purpose), 추상적 기능(AF: Abstract Function), 일반적 기능(GF: Generalized Function), 물리적 기능(PF: Physical Function), 물리적 형태(P: Physical form)의 5개 수준으로 구성된다(Ham, 2013). Table 1은 5개의 추상화 수준 및 그 의미를 보여준다.

Abstraction
level

Represented functions and characteristics

FP

The ultimate functions that a system should accomplish;

The constraints that should be considered in the interaction between a system and its environments

AF

Causal structure in terms of mass, energy, information, value, etc. in technology-oriented engineering system;

A set of criteria that determines the priority of GF-level functions and the way that GF-level functions work together in human activity-oriented system

GF

Purpose-related functions to achieve the ultimate functions of FP

PF

Functions to achieve to implement GF-level functions, which are identified from the behaviors and states of physical components and devices

P

Actually visible forms (e.g. shape and color) and layout of components and devices designed in a system

Table 1. Meaning of five abstraction levels in the AH (Adapted from Ham, 2013)

추상화계층의 가장 중요한 특징은 인접한 추상화 수준 간에는 구조적인 목적-수단 관계(Structural goal-means relationships)가 존재한다는 것이다. 이 관계는 특정 수준의 기능은 상위 수준의 기능에 대한 수단이 됨과 동시에 하위 수준의 목적이 된다. 이는 전통적인 시스템 공학 분야에서의 전체-부분 관계(Whole-part relationship)와는 구분되는 중요한 특징이다(Ham, 2013).

현재까지 추상화계층은 많은 연구자들에 의해 다양한 작업영역 및 응용문제에 적용되어 왔다. Table 2는 추상화계층이 사용된 작업영역 혹은 응용문제를 요약하고 이에 해당하는 기존 연구들을 정리한 것이다. Table 2의 내용은 Ham (2015)에서 요약된 내용에 최신의 연구사례와 더 다양한 작업영역 및 응용문제를 추가해 확장한 것이다.

Work domains or application problems

Examples of studies

Process control systems

(Ham and Yoon, 2001; Ham et al., 2008; Lind, 2003; Hugo, 2015; Ra and Cha, 2013)

Aviation & Air traffic control systems

(Ahlstrom, 2005; Ho and Burns, 2003; Kim and Myung, 2017)

Healthcare systems

(Effken et al., 2011; Hajdukiewicz et al., 2001; Miller, 2004; St-Maurice and Burns, 2017)

Military systems

(Burns et al., 2005; Lintern, 2006; Mcllroy and Stanton, 2011)

Network management

(Burns et al., 2003)

Vehicle systems

(Jansson et al., 2006)

Financial systems

(Achonu and Jamieson, 2003)

Training systems

(Naikar and Sanderson, 1999)

Requirements and software engineering

(Kwon et al., 2007; Leveson, 2000; Mcllroy and Stanton, 2012; Dhukaram and Baber, 2016)

Information retrieval and digital library

(Xie, 2006; Xu et al., 1999)

Manufacturing system

(Higgins, 1999; Upton and Doherty, 2008)

Design process and Product design

(Burns and Vicente, 1995; Fu et al., 2006)

Automation design

(Mazaeva and Bisantz, 2007; Li and Burns, 2017)

Evaluation of design proposals

(Naikar and Sanderson, 2001)

Team design

(Naikar et al., 2003)

Organization of usability factors

(Ham et al., 2006)

Inputting visualization data

(Wright et al., 2013)

Sports and game industry

(McLean et al., 2017)

Ship navigation and icebreaker

(Procee et al., 2017; Stanton and Bessell, 2014; Boström, in Press)

Cybersecurity

(Lacey et al., 2015; Wang et al., in Press)

Road and urban design

(Stevens and Salmon, 2014; Cornelissen et al., 2015)

Use of nanomaterials

(Kant, 2017)

Design of regulation system

(Carden et al., in Press)

Energy Efficiency Management

(Hilliard and Jamieson, 2017)

Table 2. Work domains or application problems using the AH

2.2 Effective use of the AH

추상화계층은 기존의 시스템 분석, 모형화 기법 및 개념들의 단점을 보완할 장점이 많이 있다. 이러한 장점으로 인해 최근에는 추상화계층에 기반한 작업영역분석이 점점 증가하고 있지만, 추상화계층에 대한 올바른 개념 이해와 올바른 적용은 아직도 어려움으로 남고 있다(Ham, 2013). 그럼에도 불구하고 현재까지 추상화계층을 보다 쉽게 활용할 수 있는 방안을 마련한 연구는 추상화계층의 적용연구에 비해 그다지 많지 않은 상황이다. 이러한 점을 고려해서 최근에 추상화계층을 보다 용이하게 활용할 수 있는 방안에 대한 연구가 다수 이루어지고 있다(Ham, 2013, 2015; Naikar et al., 2005). 이 중에서 Ham (2013)과 Naikar et al. (2005)의 연구를 본 논문에서 소개하고 정리할 필요가 있다. 우선 Ham (2013)은 추상화계층의 효과적인 적용을 위한 원칙을 다음과 같이 제시하였다.

원칙  1) 추상화 수준의 수는 절대적으로 정해지지 않았으나, 어느 정도 복잡한 시스템은 5개의 수준이면 충분하다.

원칙  2) 생명시스템이론(Living Systems Theory)가 제공하는 20개의 시스템 기능(Skyttner, 2005)은 일반적 기능을 파악하는 데에 도움을 준다.

원칙  3) 추상화 수준 간의 목적-수단 관계 파악에 집중해야 한다.

원칙  4) 추상적 기능의 의미는 일반적 기능이 기능적 목표에 어떻게 기여하는가를 파악하는데 도움이 되는 정보이다.

원칙  5) 작업영역을 분석할 때 분석 대상이 인과관계 기반의 시스템인지 인간행위 기반의 시스템인지 시스템의 유형을 이해해야 한다.

원칙  6) 작업영역을 설계한 설계자의 설계지식 모형을 파악해야 한다.

원칙  7) 작업영역 혹은 시스템의 범위를 명확하게 정의해야 한다.

원칙  8) 추상화계층은 시스템을 분석하고 분석된 결과를 표현하는데 활용할 수 있는 지식표현의 도구이지 지식획득을 위한 도구가 아니다.

원칙  9) 추상화 수준뿐만 아니라 전체-부분의 관점에서도 작업영역을 분석해야 한다.

원칙 10) 다수의 추상화계층 모형을 구축하면 시스템 개발 및 평가를 위한 정보요건이 더 명확해 질 수 있다.

원칙 11) 작업영역분석결과가 타당한지 검증해야 한다.

원칙 12) 추상화계층은 명사구로 표현해야 한다.

두 번째로 Naikar et al. (2005)의 연구는 또 다른 측면의 추상화계층 활용 지원 관점에서 주목 할만하다. Naikar et al. (2005)는 연구자가 추상화 수준을 모델링 하는 것을 돕기 위해 5개의 추상화 수준에 대한 핵심질의 및 핵심어를 개발하였다. 핵심질의 및 핵심어는 연구자가 추상화계층을 개발하기 위해 작업영역에 대해 알아야 할 특징을 제공해준다. Table 3는 Naikar et al. (2005)가 개발한 핵심질의 및 핵심어 목록의 일부분으로 추상적 기능 수준의 목록을 보여준다.

Abstraction level

Key questions (prompts)

Keywords

AF

- What criteria can be used to judge whether the work system is achieving its purposes?

- What criteria can be used to judge whether the work system is satisfying its external constraints?

- What criteria can be used to compare the results or effects of the generalized functions on the functional purposes? What are the performance requirements of various functions in the work system? How is the performance of various functions in the work system measured or evaluated and compared?

- What criteria can be used to assign priorities to the generalized functions? What are the priorities of the work system? How are priorities assigned to the various functions in the work system?

- What criteria can be used to allocate resources (e.g., material, energy, information, people, money) to the generalized functions? What resources are allocated to the various functions of the work system? How are resources allocated
to the various functions of the work system?

- Criteria, measures, benchmarks, tests, assessments, appraisals, calculations, evaluations, estimations, judgements, scales, yardsticks, budgets, schedules, outcomes, results, targets, figures, limits.

 

- Measures of: effectiveness, efficiency, reliability, risk, resources, time, quality, quantity, probability, economy, consistency, frequency, success.

 

- Values: laws, regulations, guidance, standards, directives, requirements, rules, limits, public opinion, policies, values, beliefs, views, rationale, philosophy, norms, conventions, attitudes, customs, ethics, morals, principles.

Table 3. Generic key questions and keywords for using the AH (Adapted from Naikar et al., 2005)
3. Method

3.1 Extending and improving key questions

2.2절에서 기술된 Naikar et al. (2005) 연구의 핵심질의 및 핵심어는 추상화계층에 기반해 작업영역을 분석할 때 추상화계층 각 수준의 기능들을 파악하는데 많은 도움을 줄 것으로 판단된다. 이 핵심질의 및 핵심어가 추상화계층의 사용성을 높인 것은 분명한 사실이지만 각 추상화 수준의 의미를 고려할 때 추가적으로 함께 고려할 가치가 있는 핵심질의를 포함시켜 Naikar et al. (2005) 연구결과를 확장시킬 필요가 있다. 또한 이 핵심질의 목록을 여러 관점에서 검토할 필요가 있다. 핵심어의 경우 추상화 수준의 의미를 고려할 때 중복될 수 밖에 없는(예: 기능적 목표와 추상적 기능 수준의 regulations 및 standards) 상황이고 모든 핵심어를 도출할 수 없는 어려움으로 개선 대상에 포함시키지 않았다.

본 연구에서는 추상화계층 및 작업영역분석에 경험이 있는 전문가 3인이 브레인스토밍을 통해 Naikar et al. (2005)가 제안한 핵심질의 및 핵심어 목록을 검토하고 개선점을 도출하였다. 전문가 3인은 작업영역분석 및 추상화계층의 개념을 이해하고 추상화계층 기반의 작업영역분석 경험이 최소 2번이 있는 연구자들이었다. 특히 이 중에서 2인은 Naikar et al. (2005)가 처음에 제안한 핵심질의 및 핵심어 목록을 최근에 2번 이상 활용한 경험이 있었다. 브레인스토밍에서 전문가 3인은 다음의 관점에서 검토하고 개선점을 파악하였다.

(1) 핵심질의의 중복성: 핵심질의가 중복되는 것은 없는가?

(2) 핵심질의의 명확성: 명확하지 않아 이해하기 어려운 핵심질의가 있는가?

(3) 핵심질의의 포괄성: 핵심질의가 특정 유형의 작업영역에 특화되어 있지는 않은가?

(4) 핵심질의의 완전성: 추가할 핵심질의가 존재하는가?

(5) 핵심질의의 사용편리성: 핵심질의를 위한 정보를 활용하기에 편리한가?

Table 4는 위의 5가지 관점에서 각 추상화 수준별로 검토한 내용과 4번째 관점에서 추가할 필요가 있는 핵심질의를 보여준다.

Abstraction
level

Evaluation criteria

Points to be improved

FP

Redundancy

1. The followings are similar and thus need to be integrated.

- For what reasons does the work system exist?

- What has the work system been designed to achieve?

2. The followings are similar and thus need to be integrated

- What services does the work system provide to the environment?

- What role does the work system play in the environment?

Clarity

None

Comprehensiveness

None

Completeness

None

Convenience (to use)

None

AF

Redundancy

The following questions need to be integrated.

- What criteria can be used to compare the results or effects of the GFs on the FPs?

- How is the performance of various functions in the work system measured or evaluated and compared?

Clarity

The terms 'GFs' and 'various functions' have the same meaning; they should be consistently used as 'GFs'

Comprehensiveness

All the questions are particularly relevant to activity-oriented systems; Some questions need to be added to be used for tightly-coupled engineering systems.

Completeness

The following questions need to be added

- Are there any conservation laws that the work system should satisfy in terms of mass, energy, information, people, and monetary flow?

- How can the GFs be represented in terms of logical cause-effect relationships?

Convenience (to use)

None

GF

Redundancy

None

Clarity

The following questions should be changed.

- What functions are performed in the work system -> What functions are performed independently of the physical processes or configurations of the work system?

Comprehensiveness

None

Completeness

The following questions need to be added.

- What are the functions commonly performed in a similar work system?

- What are the functions that are generally expected by people who experienced a similar work system?

Convenience (to use)

None

PF

Redundancy

The following questions need to be integrated.

- What processes are the physical objects in the work system used for?

- What physical, mechanical, electrical, or chemical processes are afforded by the physical objects in the work system?

Clarity

None

Comprehensiveness

The questions do not well reflect the characteristics of human activity-oriented systems; they focus on engineering systems. In order to reflect this point, the term 'the physical objects' should be changed to 'the physical objects or the conceptual entities' in the first and the third questions.

Completeness

The following question need to be added.

- What work processes are afforded by the conceptual entities in the work system?

Convenience (to use)

None

P

Redundancy

None

Clarity

The following question should be changed.

- What physical objects or physical resources are necessary to enable the processes and functions of the work system? -> What physical objects or physical resources are necessary to enable the PFs?

Comprehensiveness

The questions do not well reflect the characteristics of human activity-oriented systems; they focus on engineering systems. In order to reflect this point, the term 'the physical objects' should be changed to 'the physical objects or the conceptual entities' in all the questions.

Completeness

The following questions need to be added.

- What are the form of the conceptual entities in the work system?

- What is the logical relationship between conceptual entities?

Convenience (to use)

None

Table 4. Evaluation and improvement of key questions (prompts) suggested by Naikar et al. (2005)

Table 5는 위의 검토결과를 반영해서 Naikar et al. (2005) 연구내용에 기초해 최종 확정한 추상화계층을 적용하는데 활용할 수 있는 핵심질의 및 핵심어 목록을 보여준다. 이러한 목록(특히 핵심질의)을 활용해 추상화계층을 이용해 작업영역을 분석함으로써 다음의 세 가지 장점을 갖게 된다고 할 수 있다. 우선적으로 각 추상화 수준에 해당하는 기능을 파악하는데 미처 고려하지 못하는 내용이 감소할 가능성이 높다. 두 번째로 이러한 목록의 일관성 있는 사용으로 분석자 간의 분석내용의 편차를 감소시킬 수 있다. 세 번째로 추 상화계층에 기반한 작업영역분석 과정을 명확하게 설명한 연구가 아직까지 많지 않은데 이러한 분석 과정을 보다 투명하게 만드는데 기여할 수 있다.

Abstraction
level

Question
number

Key questions (prompts)

Keywords

FP

FP-Q1

What has the work system been designed a achieve?

Purposes: reasons, goals, objectives, aims, intentions, mission, ambitions, plans, services, products, roles, targets, aspirations, desires, motives, values, beliefs, views, rationale, philosophy, policies, norms, conventions, attitudes, customs, ethics, morals, principles.

 

External constraints: laws, regulations, guidance, standards,

directives, requirements, rules, limits, public opinion, policies, values, beliefs, views, rationale, philosophy, norms, conventions, attitudes, customs, ethics, morals, principles.

FP-Q2

What are the highest-level objectives or ultimate purposes of the work system?

FP-Q3

What services does the work system provide to the environment?

FP-Q4

What needs of the environment does the work system satisfy?

FP-Q5

What are the values of the people in the work system?

FP-Q6

What kinds of constraints does the environment impose on the work system?

FP-Q7

What values does the environment impose on the work system?

FP-Q8

What laws and regulations does the environment impose on the work system?

FP

FP-Q9

What societal laws and conventions does the environment impose on the work system?

 

AF

AF-Q1

What criteria can be used to judge whether the work system is achieving its FPs?

Criteria, measures, benchmarks, Criteria, measures, benchmarks, tests, assessments, appraisals, calculations, evaluations, estimations, judgements, scales, yardsticks, budgets, schedules, outcomes, results, targets, figures, limits.

 

Measures of: effectiveness, efficiency, reliability, risk, resources, time, quality, quantity, probability, economy, consistency, frequency, success.

 

Values: laws, regulations, guidance, standards, directives, requirements, rules, limits, public opinion, policies, values, beliefs, views, rationale, philosophy, norms, conventions, attitudes, customs, ethics, morals, principles.

AF-Q2

What criteria can be used to judge whether the work system is satisfying its external constraints?

AF-Q3

What criteria can be used to compare the results or effects of the GFs on the FPs?

AF-Q4

What are the performance requirements of the GFs?

AF-Q5

What criteria can be used to assign priorities to the GFs?

AF-Q6

What are the priorities of the work system?

AF-Q7

How the priorities assigned to the GFs?

AF-Q8

What criteria can be used to allocate resources
(e.g., material, energy, information, people, money)
to the GFs?

AF-Q9

What resources are allocated to the GFs?

AF-Q10

How are resources allocated to the GFs?

AF-Q11

Are there any conservation laws that the work system should satisfy in terms of mass, energy, information, people, and monetary flow?

AF-Q12

How can the GFs be represented in terms of logical cause-effect relationships?

GF

GF-Q1

What functions are required to achieve the FPs?

Functions, roles, responsibilities, purposes, tasks, jobs, duties, occupations, positions, activities, operations.

GF-Q2

What functions are required to satisfy the external constraints on the work system?

GF-Q3

What functions are performed independently of the physical processes or configurations of the work system?

GF-Q4

What are the functions commonly performed in a similar work system?

GF-Q5

What are the functions that are generally expected
by people who experienced a similar work system?

GF-Q6

What are the functions of individuals, teams, and departments in the work system?

GF-Q7

What functions are performed with the physical resources in the work system?

GF-Q8

What functions coordinate the use of the physical resources in the work system?

PF

PF-Q1

What can the physical objects or the conceptual entities in the work system do or afford?

 

PF-Q2

What are the functional capabilities and limitations
of physical objects or conceptual entities in the
work system?

Processes, functions, purposes, utility, role, uses, applications, functionality, characteristics, capabilities, limitations, capacity, physical processes, mechanical processes, electrical processes, chemical processes.

PF-Q3

What physical, mechanical, electrical, or chemical processes are afforded by the physical objects in
the work system?

PF-Q4

What work processes are afforded by the conceptual entities in the work system?

PF-Q5

What functionality is required in the work system to enable the GFs?

P

P-Q1

What are the physical objects or the visible/ conceivable entities or the physical resources in the work system-both man-made and natural?

Man-made and natural objects: tools, equipment, devices, apparatus, machinery, items, instruments, accessories, appliances, implements, technology, supplies, kit, gear, buildings, facilities, premises, infrastructure, fixtures, fittings, assets, resources, staff, people, personnel, terrain, land, meteorological features.

 

Inventory: names of physical objects, number, quantities, brands, models, types.

 

Material characteristics: appearance, shape, dimensions, colour, attributes, configuration, arrangement, layout, structure, construction, make up, design.

 

Topography: organisation, location, layout, spacing, placing, positions, orientations, ordering, arrangement.

P-Q2

What physical objects or conceptual entities or physical resources are necessary to enable the PFs?

P-Q3

What is the inventory (e.g., names, number, types)
of physical objects or conceptual entities or physical resources in the work system?

P-Q4

What are the material characteristics (e.g., shape, dimensions, colour, etc.) of physical objects or
physical resources in the work system?

P-Q5

What are the form of the conceptual entities in the work system?

P-Q6

What is the topography or organizations (e.g., layout or location of physical objects in relation to each other) of physical objects or physical resources?

P-Q7

What is the logical relationship between conceptual entities?

Table 5. Extended and improved set of key questions and keywords

3.2 Developing guidelines for using key questions

3.1에서 기술한 핵심질의 및 핵심어 목록은 추상화계층을 보다 쉽게 활용하는데 큰 도움이 될 것으로 기대된다. 그럼에도 불구하고 이 목록의 사용성을 더 향상시키기 위해 본 연구에서는 이 목록을 보다 체계적으로 활용하는데 도움이 될 수 있는 지침을 마련하였다. 본 지침은 크게 4개의 범주로 구성된다.

1) 추상화계층 분석 순서에 근거한 핵심질의의 사용 순서:

추상화계층을 활용할 때 가장 먼저 고려할 필요가 있는 문제가 어느 수준의 기능부터 우선적으로 파악해야 하는가에 대한 분석 순서의 문제이다. 본 연구에서는 Ham (2015)의 연구에서 제안한 분석 순서 지침에 기반해서 핵심질의의 사용 순서를 제안한다. Ham (2015)의 연구에서 분석 순서는 다음과 같이 제안되고 있다: FP -> GF(1차적 GF 도출) -> P -> PF -> GF(PF의 특성을 고려해 GF의 재검토) -> AF. 이러한 순서에 맞추어 핵심질의도 다음의 순서대로 이용하면 유용할 것으로 판단된다: FP-Q1 ~ FP-Q9 -> GF-Q1 ~ GF-Q6 -> P-Q1 ~ P-Q7 -> PF-Q1 ~ PF-Q5 -> GF-Q7 ~ GF-Q8 -> GF-Q1 ~ GF-Q8 -> PF-Q5 -> AF-Q1 ~ AF-Q12.

2) Goal-Means 관점에서 각 수준의 핵심질의 간 연결:

추상화계층에 기반한 분석결과에서 가장 중요한 정보 중의 하나는 각 추상화 수준의 기능들 간의 목표-수단 관계(Goal-Means Relationship)이다. 이런 점에서 목표-수단 관계를 파악함에 있어 각 추상화 수준에서의 핵심질의 중에서 다음의 핵심질의들로부터 도출된 기능 혹은 정보에 보다 집중할 필요할 있다. 또한 필요한 경우 동일한 목표-수단 관계에 대응되는 핵심질의들은 동시에 고려해야 한다.

- FP와 AF의 목표-수단 관계: AF-Q1, AF-Q2

- AF와 GF의 목표-수단 관계: AF-Q3, AF-Q7, AF-Q10, GF-Q1, GF-Q2

- GF와 PF의 목표-수단 관계: GF-Q7, GF-Q8, PF-Q5

- PF와 P의 목표-수단 관계: P-Q2

3) 핵심질의를 위한 핵심어 사용:

추상화계층을 활용한 작업영역분석을 위해 시스템에 관한 다양한 자료와 정보를 우선적으로 획득해야 함은 당연하다 할 수 있다. 그런데 이러한 정보획득 방법은 주로 작업영역 전문가 및 관계자와의 인터뷰 및 table-top 분석, 작업영역 내의 다양한 기술문서 조사, 동일한 혹은 비슷한 작업영역에서의 분석사례 참조를 포함한다. 특히 이 중에서 기술문서를 조사할 때 핵심어와 동일하거나 비슷한 부분이 나오면 이 부분을 해당 추상화 수준에서의 관련된 핵심질의에 대응시켜볼 필요가 있다. 또한 시간이 충분하지 않은 경우 작업영역 전문가와의 인터뷰를 진행할 때 핵심어 위주로 인터뷰를 진행하면 유용할 것이다.

4) AF, GF, PF의 의미를 고려한 핵심질의의 사용:

추상화계층의 다섯 수준 중에서 FP와 P는 상대적으로 더 명확하고 쉽게 파악될 수 있는 반면에 가운데의 3개 추상화 수준의 기능들은 보다 많은 분석 노력을 필요로 한다. 각 수준의 핵심질의를 올바르게 사용하기 위해 이 가운데 3개 수준의 차이를 다음의 관점에서 항상 고려할 필요가 있다. GF 수준의 기능은 동일한 목적을 지니는 다른 시스템들에서도 모두 공통적으로 제공되고 있는 기능일 가능성이 매우 높다. 반면에 PF 수준의 기능은 GF 수준의 기능이 해당 시스템에서 P 수준의 객체를 활용해 고유한 방식으로 구현된 기능일 것이다. 마지막으로 AF 수준의 기능은 해당 작업영역뿐만 아니라 거의 모든 시스템에 광범위하게 적용될 수 있는 내용의 가치, 우선순위, 척도의 내용을 다수 포함한다. 이러한 차이를 염두에 두고 각 수준의 핵심질의를 이용하면 각 핵심질의의 의미가 보다 명확해질 것으로 판단된다.

4. Application Example

본 연구는 총 2단계로 수행되었다. 첫 번째 단계는 연구 대상이 되는 작업영역을 정의하는 단계이고, 두 번째 단계는 추상화계층을 이용하여 작업영역을 분석하는 단계이다.

4.1 Work domain: Reactor cooling system

본 연구에서는 사례연구를 위해 원자력발전소 1차 계통 중 원자로냉각재계통(RCS: Reactor Coolant System)을 작업영역으로 선정하였다. RCS는 원자로의 노심과 내부 구조물로부터 2차 계통인 주증기계통으로 열을 전달하기 위하여 냉각재가 순환하는 폐쇄회로이다(Kim, 2015). RCS를 구성하는 주요 기기는 원자로 용기, 1차 측 증기발생기, 원자로냉각재 펌프, 냉각재 순환 폐쇄회로, 가압기 등이다. RCS는 발전소 노형별로 수십 년간 기본적인 기능 및 계통설계 사양이 확정되어 있기에 본 연구에서 제안한 방법의 적용 과정을 설명하는 작업영역의 하나로 적합하다고 판단하였다. 그런데 본 연구는 추상화계층에 기반한 작업영역분석 과정을 개선해서 추상화계층 사용성과 실용성 확보가 목표라는 점을 다시 한번 상기할 필요가 있다. 그래서 제안한 방법의 적용 예로서 사례연구의 의의를 이해할 필요가 있다. 사례연구의 목적이 작업영역분석을 통해 새롭게 RCS의 계통설계에 이바지하는 것이 아님을 분명하게 할 필요가 있다.

RCS는 크게 두 가지 측면에서 원자력발전소에서의 기능적 역할을 이해할 수 있다. RCS의 첫 번째 역할은 핵연료에서 발생하는 열 에너지를 증기발생기로 전달하는 역할이고, 두 번째 역할은 노심에서 생성된 핵분열성 물질이 대기로 방출되는 것을 막는 역할이다(Kim, 2015).

4.2 Analyzing work domain based on the AH

본 연구의 RCS에 대한 추상화계층은 원자력계통 관련 연구 문헌과 원자력계통 연구 경험자들의 브레인스토밍 결과를 조합하여 도출하였다.

추상화계층에 기반한 작업영역분석은 분석자가 수집한 작업영역에 대한 정보의 양과 분석자의 작업영역에 대한 이해도에 크게 의존할 가능성이 높다. 이런 이유로 추상화계층 기반 분석 과정의 객관성을 확보하고 분석자에 따른 편차의 가능성을 낮추게 할 필요가 있다. 따라서 3절에서 기술했듯이 본 연구에서는 Naikar et al. (2005)의 연구결과를 확장 및 개선해서 추상화계층의 각 수준에 해당하는 기능 도출에 도움이 될 핵심질의 및 핵심어를 제안하였다. 이러한 핵심질의 및 핵심어를 브레인스토밍 과정에서 적극적으로 활용하였다. 이러한 과정으로 나온 분석결과가 Table 6에 요약되어 있다. Table 6의 핵심질의는 Table 5에서 정리된 핵심질의로부터 나온 것이다.

Abstraction
level

Related key questions (prompts)

Answers

FP

FP-Q1, FP-Q2, FP-Q3, FP-Q5

- Transferring thermal energy to a steam generator

FP-Q6, FP-Q7, FP-Q8, FP-Q9

- Securing a reactor safety

AF

AF-Q1, AF-Q2, AF-Q3, AF-Q4, AF-Q5, AF-Q11

- Maintaining temperature

- Maintaining pressure

- Maintaining flux

- Managing reactivity control

GF

GF-Q1

- Transferring thermal energy

- Maintaining supercooling state of coolant

- Moderating nuclear reaction

- Serving as neutron reflector

GF-Q2

- Preventing radiation leakage

GF-Q3

- Transferring thermal energy

- Preventing radiation leakage

- Pressure control

GF-Q4

- Transferring thermal energy

- Preventing radiation leakage

- Pressure control

- Maintaining supercooling state of coolant

- Preventing fuels damage

- Removing heat of the reactor core

- Moderating nuclear reaction

- Serving as neutron reflector

- Serving as solvent for boric acid

GF-Q7

- Transferring thermal energy

- Preventing fuels damage

- Removing heat of the reactor core

- Serving as solvent for boric acid

GF-Q8

Maintaining supercooling state of coolant

PF

PF-Q1, PF-Q2

- A reactor vessel: a physical barrier

- A closed circuit: coolant circulation, a physical barrier

- A coolant pump: coolant circulation, heating of coolant, supplying coolant

- A pressurizer: temperature maintenance, pressure maintenance

PF-Q3

- A pressurizer: maintaining supercooling state of coolant

PF-Q5

- A physical barrier

- Heating of coolant

- Supplying coolant

- Temperature maintenance

- Pressure maintenance

P

P-Q1, P-Q2, P-Q3

- A reactor vessel

- A closed circuit

- A coolant pump

- A pressurizer

P-Q4

- A reactor vessel: carbon steel material, austenite S/S

- A closed circuit: U-tube

- A coolant pump: single-stage

- A pressurizer: cylindrical

P-Q6

- Position difference between a steam generator and a reactor vessel

- The pressurizer being higher than the reactor coolant line.

Table 6. AH-based analysis using the proposed set of key questions and keywords

위의 Table 6을 바탕으로 추상화계층을 작성하고, 추상화 수준의 요소들이 목적-수단 관계로 잘 연결되어 있는지 확인하였다. Table 7은 각 추상화 수준별로 도출된 기능들과 이들이 목적-수단 관점에서 어떻게 연결되어 있는지 정리한 결과이다. 일반적으로 추상화계층 분석의 결과를 그림으로 많이 표현하지만 기능의 수가 조금만 늘어나도 그림의 복잡도가 증가해서 가독성이 떨어진다. 이러한 이유로 분석의 결과를 표의 형태로 정리하였다.

Abstraction level

Label

Functions

Linked upper-level
functions

Linked lower-level
functions

FP

FP-1

Transferring thermal energy to a steam generator

-

AF-1, AF-2, AF-3, AF-4

FP-2

Securing reactor safety

-

AF-1, AF-2, AF-3, AF-4

AF

AF-1

Maintaining flux

FP-1, FP-2

GF-1, GF-2, GF-3, GF-4,

GF-6

AF-2

Maintaining temperature

FP-1, FP-2

GF-1, GF-2, GF-3, GF-4,

GF-5, GF-6

AF-3

Maintaining pressure

FP-1, FP-2

GF-1, GF-2, GF-5, GF-6

AF-4

Managing reactivity control

FP-1, FP-2

GF-7, GF-8, GF-9

GF

GF-1

Transferring thermal energy

AF-1, AF-2, AF-3

PF-1, PF-3, PF-4, PF-5

GF-2

Maintaining supercooling state of coolant

AF-1, AF-2, AF-3

PF-2, PF-4, PF-5

GF-3

Preventing fuels damage

AF-1, AF-2

PF-1, PF-4

GF-4

Removing heat of the reactor core

AF-1, AF-2

PF-1, PF-3, PF-4

GF-5

Preventing radiation leakage

AF-2, AF-3

PF-4, PF-5, PF-6

GF-6

Pressure control

AF-1, AF-2, AF-3

PF-4, PF-5

GF-7

Moderating nuclear reaction

AF-4

PF-1, PF-3

GF-8

Serving as neutron reflector

AF-4

PF-1, PF-3

GF-9

Serving as solvent for boric acid

AF-4

PF-1, PF-3

PF

PF-1

Coolant circulation

GF-1, GF-3, GF-4, GF-7,

GF-8, GF-9

P-1, P-2, P-3

PF-2

Heating of coolant

GF-2

P-1

PF-3

Supplying coolant

GF-1, GF-4, GF-7, GF-8,

GF-9

P-1, P-2, P-3

PF-4

Temperature maintenance

GF-1, GF-2, GF-3, GF-4,

GF-5, GF-6

P-3

PF-5

Pressure maintenance

GF-1, GF-2, GF-5, GF-6

P-2, P-3

PF-6

Physical barrier

GF-5

P-2, P-4

P

P-1

Coolant pump

PF-1, PF-2, PF-3

-

P-2

Closed circuit

PF-1, PF-3, PF-5

-

P-3

Pressurizer

PF-1, PF-3, PF-4, PF-5

-

P-4

Reactor vessel

PF-6

-

Table 7. Summary of abstraction hierarchy analysis of RCS

Table 7에서 알 수 있는 중요한 특징은 인접한 수준의 기능들 간 목적-수단 관점에서의 다대다(M:N) 관계가 존재한다는 것이다(Table 7의 맨 오른쪽 두 열). 이는 상위 수준의 목표는 여러 하위 수준의 방법으로 달성할 수 있으며, 여러 가지 목표에 대해 하나의 수단을 사용할 수 있음을 뜻한다(Ham, 2015). 예를 들어 폐쇄 회로나 원자로 용기를 이용하여 방사능 물질이 발전소 내의 다른 계통으로 누출되는 것을 방지한다. 또한 냉각재 펌프를 통해 냉각재를 순환시키고, 냉각재를 공급한다.

원자력발전소의 경우 NUREG-0711에서 명시된 대로 기능요건분석(FRA: Functional Requirements Analysis)이라는 이름으로 발전소의 생산성 및 안전성이라는 2개의 궁극적인 목표를 위해 필요한 기능들을 도출하고 이 기능들을 목적-수단 관계의 관점에서 계층화하는 분석을 수행한다(NRC, 2012). NUREG-0711에서는 명시한 계층의 이름은 맨 위의 최상위계층부터 목표(Goals)-안전기능(Safety Functions)-프로세스(Processes)-시스템(Systems)-기기(Components)의 순으로 불린다. 이런 점에서 NUREG-0711의 기능요건분석은 추상화계층에 기반한 작업영역분석과 많은 부분 공통점을 지니고 있다고 할 수 있다. 또한 기능요건분석이든 작업영역분석이든 그 분석결과가 인간과 자동화 시스템의 직무할당에 유용하게 활용된다는 점에서도 공통점을 지닌다. 그러나 NUREG-0711의 기능요건분석은 그 용어에서 드러나듯이 상당히 원자력발전소에 특화되어 있는 반면에 작업영역분석은 다분히 어떤 영역이나 문제에도 적용될 수 있는 일반성을 지니고 있다고 할 수 있다. 작업영역분석을 통해 도출된 기능적 요소와 이 요소들 간의 관련성을 통해 다양한 정보요건이 도출될 수 있다. 이러한 정보요건은 인간이 상호작용해야 하는 시스템을 설계하는 과정에서 센서 및 데이터베이스 설계뿐만 아니라 정보디스플레이 설계요건으로도 유용하게 활용될 수 있다(Vicente, 1999). 이런 점에서 RCS에 대한 작업영역분석은 RCS 계통설계에 여러 유용한 정보요건을 제공해줄 것으로 판단한다.

5. Conclusion

추상화계층은 분석방법과 추상화 수준에 대한 가이드라인은 존재하지만 각 추상화 수준에서의 기능적 요소를 도출하고 각 기능적 요소들의 관계를 파악하는 과정은 보다 명확하게 해줄 필요성이 있다. 따라서 본 연구는 추상화계층을 적용하는 과정에서 각 추상화 수준의 기능적 요소 및 이들간의 관계를 보다 체계적으로 파악하는데 도움이 될 수 있는 방법을 제안하였다. 특히 분석자들이 이 과정에서 반드시 고려해야 하는 사항을 핵심질의 및 핵심어 목록을 기존 연구를 개선 및 확장해서 정리하였다. 또한 이 목록의 사용을 지원할 수 있는 지침도 개발하였다. 본 연구에서 제안한 핵심질의 및 핵심어를 어떻게 적용하는지 보여주기 위해 원자력발전소의 원자로냉각재계통의 작업영역분석을 사례연구로 수행하였다. 이를 통해 제안된 핵심질의 및 핵심어를 활용하여 추상화계층에 기반한 작업영역분석을 수행할 때 분석 과정에 보다 체계적일 수 있음을 보이고자 하였다. 본 연구에서 제안한 추상화 수준별 핵심질의 및 핵심어는 추상화계층의 실용성 및 적용 가능성을 향상시킬 것으로 기대한다.

추상화계층을 이용해 작업영역을 분석할 때 추상화 수준에만 집중하여 분석하는 것 보다 전체-부분의 계층적 구조 관점에서도 작업영역을 분석할 필요가 있다(Ham, 2013). 하지만 본 연구는 전체-부분의 계층적 구조 관점에서 작업영역을 분석하지 않았다는 한계가 있다. 또한 본 연구에서 제안한 핵심질의 및 핵심어의 유용성을 평가하기 위해 더 많은 사례연구를 확보해야 하고 추상화계층을 사용하는 연구자 및 실무자들이 본 연구에서 제안한 핵심질의 및 핵심어를 유용하게 생각하는지 추후 연구에서 고려하여야 한다. 본 연구에서 제안한 방법의 검증을 위해 보다 실험적인 검증방법도 중요한 추후 과제로 남는다. 본 연구에서 제안한 방법을 사용한 작업영역분석 과정과 결과를 사용하지 않았을 때의 과정과 결과와 비교 분석하는 연구가 추후 필요할 것으로 생각된다.



References


1. Achonu, J. and Jamieson, G.A., Work domain analysis of a financial system: an abstraction hierarchy for portfolio management, In: Proceedings of the 22nd European Annual Conference on Human Decision Making and Control, 103-109, 2003.
Crossref  Google Scholar 

2. Ahlstrom, U., Work domain analysis for air traffic controller weather displays, Journal of Safety Research, 36(2), 159-169, 2005.
Crossref  Google Scholar 

3. Bisantz, A.M. and Burns, C.M. (Ed.), Applications of Cognitive Work Analysis, CRC Press, 2009.
Crossref 

4. Bisantz, A.M. and Mazaeva, N., Work domain analysis using the abstraction hierarchy: two contrasting cases, Applications of Cognitive Work Analysis, 15-47, 2009.
Crossref  Google Scholar 

5. Boström, M., Breaking the ice: a work domain analysis of icebreaker operations, Cognition, Technology & Work, In Press.
Crossref  Google Scholar 

6. Burns, C.M., Bryant, D.J. and Chalmers, B.A., Boundary, purpose, and values in work domain models: models of naval command and control, IEEE Transactions on Systems, Man, and Cybernetics-Part A: Systems and Humans, 35(5), 603-616, 2005.
Crossref  Google Scholar 

7. Burns, C.M., Kuo, J. and Ng, S., Ecological interface design: a new approach for visualizing network management, Computer Networks, 43(3), 369-388, 2003.
Crossref  Google Scholar 

8. Burns, C.M. and Hajdukiewicz, J., Ecological Interface Design, CRC Press, 2004.
Crossref  Google Scholar 

9. Burns, C.M. and Vicente, K.J., A framework for describing and understanding interdisciplinary interactions in design. In: Proceedings of the 1st Conference on Designing Interactive Systems: Processes, Practices, Methods, and Techniques, 97-103, 1995.
Crossref  Google Scholar 

10. Carden, T., Goode, N., Read, G.J.M. and Salmon, P.M., Sociotechnical systems as a framework for regulatory system design and evaluation: using work domain analysis to examine a new regulatory system, Applied Ergonomics, In Press.
Crossref  Google Scholar 

11. Cornelissen, M., Salmon, P.M., Stanton, N.A. and McClure, R., Assessing the 'system' in safe systems-based road designs: using cognitive work analysis to evaluate intersection designs, Accident Analysis and Prevention, 74, 324-338, 2015.
Crossref  Google Scholar 

12. Dhukaram, A.V. and Baber, C., A systematic approach for developing decision aids: from cognitive work analysis to prototype design and development, Systems Engineering, 19(2), 79-100, 2016.
Crossref  Google Scholar 

13. Effken, J.A., Brewer, B.B., Logue, M.D., Gephart, S.M. and Verran, J.A., Using cognitive work analysis to fit decision support tools to nurse managers' work flow, International Journal of Medical Informatics, 80(10), 698-707, 2011.
Crossref  Google Scholar 

14. Fu, Q.Y., Chui, Y.P. and Helander, M.G., Knowledge identification and management in product design, Journal of Knowledge Management, 10(6), 50-63, 2006.
Crossref  Google Scholar 

15. Hajdukiewicz, J.R., Vicente, K.J., Doyle, D.J., Milgram, P. and Burns, C.M., Modelling a medical environment: an ontology for integrated medical informatics design, International Journal of Medical Informatics, 62(1), 79-99, 2001.
Crossref  Google Scholar 

16. Ham, D.H. and Yoon, W.C., Design of information content and layout for process control based on goal-means domain analysis, Cognition, Technology & Work, 3(4), 205-223, 2001.
Crossref  Google Scholar 

17. Ham, D.H., Cognitive systems engineering as a new approach to designing software-based systems, Journal of Korea Safety Management & Science, 14(3), 229-236, 2012.
Crossref 

18. Ham, D.H., Heo, J., Fossick, P., Wong, W., Park, S., Song, C. and Bradley, M., Conceptual framework and models for identifying and organizing usability impact factors of mobile phones, In: Proceedings of the 18th Australia Conference on Computer-Human Interaction, 261-268, 2006.
Crossref  Google Scholar 

19. Ham, D.H., Modelling work domain knowledge with the combined use of abstraction hierarchy and living systems theory, Cognition, Technology & Work, 17(4), 575-591, 2015.
Crossref  Google Scholar 

20. Ham, D.H., Work domain analysis based on abstraction hierarchy: modelling concept and principles for its application, Journal of Korea Safety Management & Science, 15(3), 133-141, 2013.
Crossref  Google Scholar 

21. Ham, D.H., Yoon, W.C. and Han, B.T., Experimental study on the effects of visualized functionally abstracted information on process control tasks, Reliability Engineering & System Safety, 93(2), 254-270, 2008.
Crossref  Google Scholar 

22. Higgins, P.G., Job shop scheduling: hybrid intelligent human-computer paradigm, University of Melbourne, 1999.
Crossref  Google Scholar 

23. Hilliard, A. and Jamieson, G.A., Representing energy efficiency diagnosis strategies in cognitive work analysis, Applied Ergonomics, 59(B), 602-611, 2017.
Crossref  Google Scholar 

24. Ho, D. and Burns, C.M., Ecological interface design in aviation domains: work domain analysis of automated collision detection and avoidance, In Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 47(1), 119-123, 2003.
Crossref  Google Scholar 

25. Hollnagel, E. and Woods, D.D., Joint Cognitive Systems: Foundations of Cognitive Systems Engineering, Taylor & Francis, 2005.
Crossref  Google Scholar 

26. Hugo, J., Work Domain Analysis Methodology for Development Operational Concepts for Advanced Reactors (INL/EXT-15-34783), Idaho National Laboratory, 2015.
Crossref  Google Scholar 

27. Jansson, A., Olsson, E. and Erlandsson, M., Bridging the gap between analysis and design: improving existing driver interfaces with tools from the framework of cognitive work analysis, Cognition, Technology & Work, 8(1), 41-49, 2006.
Crossref  Google Scholar 

28. Kant, V., Revisiting the technologies of the old: a case study of cognitive work analysis and nanomaterials, Cognition, Technology & Work, 19(1), 47-71, 2017.
Crossref  Google Scholar 

29. Kim, H.G. and Myung, R.H., Work domain analysis for search and rescue helicopter, Journal of Ergonomics Society of Korea, 36(6), 705-716, 2017.
Crossref 

30. Kim, J.G., Fundamentals of Nuclear Systems, Yeungnam University Press, 2015.
Crossref 

31. Kwon, G., Ham, D.H. and Yoon, W.C., Evaluation of software usability using scenarios organized by abstraction structure, In: Proceedings of the 14th European Conference on Cognitive Ergonomics, 19-22, 2007.
Crossref  Google Scholar 

32. Lacey, D., Salmon, P. and Glancy, P., Taking the bait: a systems analysis of phishing attacks, Procedia Manufacturing, 3, 1109-1116, 2015.
Crossref  Google Scholar 

33. Leveson, N.G., Intent specifications: an approach to building human-centered specifications, IEEE Transactions on Software Engineering, 26(1), 15-35, 2000.
Crossref  Google Scholar 

34. Lind, M., Making sense of the abstraction hierarchy in the power plant domain, Cognition, Technology & Work, 5(2), 67-81, 2003.
Crossref  Google Scholar 

35. Lintern, G., A functional workspace for military analysis of insurgent operations, International Journal of Industrial Ergonomics, 36(5), 409-422, 2006.
Crossref  Google Scholar 

36. Li, Y. and Burns, C.M., Modeling automation with cognitive work analysis to support human-automation coordination, Journal of Cognitive Engineering and Decision Making, 11(4), 299-322, 2017.
Crossref  Google Scholar 

37. Mazaeva, N. and Bisantz, A.M., On the representation of automation using a work domain analysis, Theoretical Issues in Ergonomics Science, 8(6), 509-530, 2007.
Crossref  Google Scholar 

38. McLean, S., Salmon, P.M., Gorman, A.D., Read, G.J.M. and Solomon, C., What's in a game? A systems approach to enhancing performance analysis in football, PLOS One, 12(2), 1-15, 2017.
Crossref  Google Scholar  PubMed 

39. Mcllroy, R.C. and Stanton, N.A., Getting past first base: going all the way with cognitive work analysis, Applied Ergonomics, 42(2), 358-370, 2011.
Crossref  Google Scholar  PubMed 

40. Mcllroy, R.C. and Stanton, N.A., Specifying the requirements for requirements specification: the case for work domain and worker competencies analyses, Theoretical Issues in Ergonomics Science, 13(4), 450-471, 2012.
Crossref  Google Scholar 

41. Miller, A., A work domain analysis framework for modelling intensive care unit patients, Cognition, Technology & Work, 6(4), 207 -222, 2004.
Crossref  Google Scholar 

42. Naikar, N. and Sanderson, P.M., Work domain analysis for training-system definition and acquisition, The International Journal of Aviation Psychology, 9(3), 271-290, 1999.
Crossref  Google Scholar 

43. Naikar, N. and Sanderson, P.M., Evaluating design proposals for complex systems with work domain analysis, Human Factors, 43(4), 529-542, 2001.
Crossref  Google Scholar 

44. Naikar, N., Hopcroft, R. and Moylan, A., Work domain analysis: theoretical concepts and methodology (DSTO-TR-1665), Deference Science and Technology Organisation Victoria (Australia) Air Operations DIV, 2005.
Crossref  Google Scholar 

45. Naikar, N., Pearce, B., Drumm, D. and Sanderson, P.M., Designing teams for first-of-a-kind complex systems using the initial phases of cognitive work analysis: a case study, Human Factors, 45(2), 202-217, 2003.
Crossref  Google Scholar 

46. Naikar, N., Theoretical concepts for work domain analysis, the first phase of cognitive work analysis, In Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 49(3), 249-253, 2005.
Crossref  Google Scholar 

47. NRC., Human Factors Engineering Program Review Model (NUREG-0711, Rev. 3), U.S. Nuclear Regulatory Commission, 2012.
Crossref  Google Scholar 

48. Procee, S., Borst, C., van Paassen, M.M., Mulder, M. and Bertram, V., Toward functional augmented reality in marine navigation: a cognitive work analysis, Proceedings of COMPIT 2017, 298-312, 2017.
Crossref  Google Scholar 

49. Ra, D.W. and Cha, W.C., The application of ecological interface design methodology for digitalized MCR in nuclear power plant, Journal of the Ergonomics Society of Korea, 32(1), 1-7, 2013.
Crossref  Google Scholar 

50. Rasmussen, J., Pejtersen, A. and Goodstein, L.P., Cognitive Systems Engineering, John & Wiley Sons, 1994.
Crossref 

51. Skyttner, L., General Systems Theory: Problems, Perspectives, Practice, World scientific, 2005.
Crossref  Google Scholar 

52. Stanton, N.A. and Bessell, K., How a submarine returns to periscope depth: analyzing complex socio-technical systems using cognitive work analysis, Applied Ergonomics, 45(1), 110-125, 2014.
Crossref  Google Scholar 

53. Stanton, N.A., Salmon, P.M., Walker, G.H. and Jenkins, D.P. (Ed.), Cognitive Work Analysis: Applications, Extensions and Future Directions, CRC Press, 2018.
Crossref  Google Scholar 

54. Stevens, N. and Salmon, P., Safe places for pedestrians: using cognitive work analysis to consider the relationships between the engineering and urban design of footpaths, Accident Analysis and Prevention, 72, 257-266, 2014.
Crossref  Google Scholar 

55. St-Maurice, J.D. and Burns, C.M., Modeling patient treatment with medical records: an abstraction hierarchy to understand user competencies and needs, JMIR Human Factors, 4(3): e16, 2017.
Crossref  Google Scholar 

56. Upton, C. and Doherty, G., Extending ecological interface design principles: a manufacturing case study, International Journal of Human-Computer Studies, 66(4), 271-286, 2008.
Crossref  Google Scholar 

57. Vicente, K.J., Cognitive work Analysis: Toward Safe, Productive, and Healthy Computer-Based Work, CRC Press, 1999.
Crossref  Google Scholar 

58. Wang, H., Lau, N. and Gerdes, R.M., Examining cybersecurity of cyberphysical systems for critical infrastructures through work domain analysis, Human Factors, In Press.
Crossref  Google Scholar 

59. Wright, H., Mathers, C. and Walton, J.P.R.B., Using visualization for visualization: an ecological interface design approach to inputting data, Computers & Graphics, 37(3), 202-213, 2013.
Crossref  Google Scholar 

60. Xie, H.I., Understanding human-work domain interaction: implications for the design of a corporate digital library, Journal of the Association for Information Science and Technology, 57(1), 128-143, 2006.
Crossref  Google Scholar 

61. Xu, W., Dainoff, M.J. and Mark, L.S., Facilitate complex search tasks in hypertext by externalizing functional properties of a work domain, International Journal of Human-Computer Interaction, 11(3), 201-229, 1999.
Crossref  Google Scholar 

PIDS App ServiceClick here!

Download this article