“당신이 말하는 것을 측정할 수 없고, 숫자로 표현할 수 없다면, 당신의 지식은 보잘것없고 온전히 아는 것이 아니다." 절대온도(K)로 잘 알려진 영국의 물리학자 켈빈(1824 ~ 1907)은 측정 없이는 진정한 지식이 성립될 수 없다는 그의 철학을 여실히 보여 준다. 측정(Measurement)은 어떤 대상의 속성의 정량적인 값을 얻는 과정이다. 이러한 측정은 산업 현장만의 일이 아니다. 우리는 매일 측정한다. 체중계에 올라가 몸무게를 확인하고, 자동차 계기판을 보며 속도를 읽고, 라면을 끓일 때에는 계량컵으로 물의 양을 맞춘다. 서비스센터에서는 스마트폰 배터리 성능을 점검하고, 병원에서는 골밀도를 측정한다. 이렇게 보면 측정은 결코 특별한 행위가 아니라, 우리의 일상 곳곳에 스며 있는 기본적인 언어이자 습관이다.

이러한 측정은 단순히 숫자로 표현되는 것을 넘어서 의사결정의 기초이며, 문제 해결의 첫걸음이다. 관심 대상의 속성을 측정하고, 공정 상태를 파악하는 모든 순간은 그 숫자에 대한 신뢰를 전제로 한다. 하지만 만약 그 숫자가 흔들린다면 어떻게 될까? 오래된 네비게이션으로 길을 찾는 것처럼 잘못 측정된 데이터는 잘못된 판단과 부작용을 초래한다. 바로 이 지점에서 신뢰할 만한 측정시스템의 중요성이 부각된다.

측정시스템(Measurement System)은 측정값에 영향을 미치는 모든 변동 요인(검사자, 측정방법, 측정기)의 집합체를 의미한다. 우리가 숫자를 볼 때는 단순히 측정값만 볼 게 아니라, 그 뒤에 숨어있는 측정시스템의 신뢰성을 먼저 짚어 봐야 하는 이유이다. 이것이 측정시스템분석(MSA: Measurement System Analysis)의 출발점이고, 통계적 사고의 기본 소양이다. 통계적 사고의 관점에서 MSA는 단순한 품질관리 도구를 넘어, 우리가 보고 있는 데이터의 진실성을 검증하는 과정이다. 측정시스템이 투명하고 신뢰할 수 있을 때, 비로소 우리는 문제의 근원을 정확히 파악하고 올바른 해결책을 구할 수 있다.

측정의 신뢰성에 관한 흥미로운 사례가 있다. 자동차 계기판의 속도와 네비게이션에서 보여주는 속도가 다르다는 사실을 알고 있는가? 위 그림과 같이 자동차 계기판은 100km/h를 가리키는데, 내비게이션은 96km/h로 표시된다. 왜 이런 차이가 생길까? 두 값이 다르게 나오는 이유는 측정 원리와 시스템 차이 때문이다. 계기판 속도계는 바퀴 회전수를 센서로 측정하여 바퀴 지름을 곱해 차량 속도로 환산한다. 이는 실제 속도보다 약간 높게 표시되도록 설계되어 속도 위반 가능성을 낮춘다. 이에 비해 네비게이션 속도표시는 위성 GPS를 이용해 차량 위치가 일정 시간 동안 얼마나 이동했는지를 계산하여 속도를 산출함으로써 실제 값에 가깝다. 통계적 사고 관점에서 이는 단순히 “둘 중 뭐가 맞느냐”를 따지는 것이 아니라, 측정의 원리와 시스템이 어떻게 다르고, 왜 차이가 날 수 있는가”를 이해하는 것이 중요하다. 이것이 바로 측정신뢰성의 문제이자, MSA의 출발점이다.

자동차산업분야에는 IATF16949라는 품질보증체계가 있다. 이를 위한 core tool로서 ①FMEA (Failure Mode Effect Analysis), ②SPC(Statistical Process Control), ③MSA가 있다. 필자는 삼성SDI 헝가리법인 기술교육센터를 운영하면서 엔지니어 대상으로 3대 tool을 교육, 전파하였다. Core tool 활용이 중요한 만큼 BMW 등 고객사는 이의 활용여부를 매번 점검하고 있다.

지난 칼럼 “Data를 알면 돈이 보인다”에서 Data Mining을 통한 수익 창출을 강조한 바 있다. 성공의 관건은 관찰이나 실험을 통해 수집한 데이터의 품질수준에 있다. 즉 신뢰성 있는 데이터만이 올바른 솔루션, 올바른 의사결정이 가능하다. 미국의 경영학자 Edwards Deming (1900-1993)은 통계적 사고를 정의하면서 시스템內 프로세스 변동성(산포) 감축을 강조하였다. 품질의 숨은 적으로서 관측 변동성은 실제 공정의 참값에다 측정 과정에서 발생한 오차가 더해진다.

투명한 측정 시스템이란 가능한 한 오차 없이, 참값에 가까운 관측 값을 갖는 것이다. 우리의 관심 대상은 오롯이 참값(True Value) 기준의 변동(산포)이기 때문이다. 그러나 현실은 측정 오차가 발생하여 참값과 관측치(Observed Value)의 gap이 발생한다. 이는 마치 비 온 뒤 강물이 흙탕물이 되어서 강 바닥을 볼 수 없는 상태를 의미한다. 강 바닥을 보기 위해서는 흙탕물이 걷혀야 하는 것처럼, 실제 공정 산포를 보기 위해서는 측정 오차를 걷어내어 한다. 이처럼 측정 오차의 투명도(흙탕물 수준)를 분석하는 것이 MSA이다.

수집된 데이터가 얼마나 믿을 만한지를 2가지 관점에서 변동성을 평가한다.

① 중심치 관점: 데이터의 평균이 참값(real value)에 비해 편의/안정성/선형성을 점검하여 정확도(accuracy)를 평가한다.

② 산포 관점: 수집된 데이터 산포(= 참값 산포 + 측정 산포)가 얼마나 일관되게 모여 있는지를 반복성/재현성을 점검하여 정밀도(precision)를 평가한다.

신뢰할 수 없는 측정은 양품을 불량으로 판정하는 (또는 불량을 양품으로 판정하는) Risk가 있으며, 공정의 변동을 왜곡하고, 개선활동을 엉뚱한 곳으로 이끈다. 반면 검증된 측정시스템을 갖추면 우리는 비로소 공정이 만들어내는 진짜 변동을 똑바로 볼 수 있고, 문제의 원인과 우선순위를 정확하게 잡아갈 수 있다.

위 도표는 관측된 총 산포를 실제 공정 산포와 측정 산포로 분해하여 색깔로 구분하였다. 총 산포(연노랑)는 실제 프로세스 산포(흰색)와 측정 산포(노랑)를 더한 결과 값이다. 측정에 의한 산포가 적을수록 노랑색은 옅어진다. 이에 따라 관측된 산포는 실제 프로세스 산포만을 보여 주게 되어 흰색에 가까워진다. 이것이 투명한 측정시스템이다. 측정 산포는 측정기에 의한 산포와 측정자에 의한 산포로 분류하며, 정확도와 정밀도 관점에서도 평가한다.

MSA 중에서 정밀도(precision)를 평가하는 Gage R&R(Repeatability & Reproducibility)이 있다. 반복성(Repeatability)은 한 사람이 같은 부품을 여러 번 측정했을 때 결과가 얼마나 변동이 있는지를, 재현성(Reproducibility)은 여러 사람이 같은 부품을 측정했을 때 결과가 얼마나 변동이 있는지를 나타낸다. 즉 측정시스템의 Gage R&R은 측정 반복성과 재현성의 변동 성분을 합산한 정밀도 상태를 표현한다. %R&R은 관측 값의 산포(총 변동) 중에서 Gage R&R 변동이 차지하는 비율이다. 또한 %Tolerance는 제품 스펙(Tolerance) 대비 Gage R&R 변동이 차지하는 비율이다.

%R&R = 총 산포(σ_Total) 比 측정 산포(σ_gage) (Precision to Total Variation)

%Tolerance = 스펙 比 측정 산포(6×σ_gage) (Precision to Tolerance)

%R&R, %Tolerance 값이 10% 미만이면 측정시스템이 우수하여 믿을 만하다고 평가하며, 이 값이 30%이상이면 혼탁한 흙탕물 수준이라 측정시스템 개선이 필요하다.

자동 측정장비에 의한 정밀도 평가를 위한 Gage R&R 분석법은 특별하다. 측정능력(Gage Capability) Cg/Cgk는 측정자의 영향이 없으며 자동 반복 측정하는 경우이다. 이는 스펙 대비 프로세스 산포 비율인 공정능력(Cp/Cpk) 산출식과 동일한 개념으로 산출된다. 다만 스펙보다는 tight한 공차(통상 tolerance의 20%)를 설정하고 자동 측정값의 변동과 비교한다.

Cp = (S_U - S_L) / (6*σ)

→ Cg = 0.2*(S_U - S_L) / (6*σ_gage)

Cpk = (1 - k) * Cp

→ Cgk = (1 - k) * Cg (k는 치우침 정도)

부연하면 측정능력지수 Cg는 스펙×20% 대비 자동 측정에 의한 산포 비율이며, Cgk는 치우침을 고려한 Cg이다. 이 값이 1.33보다 작으면 측정 오차가 크므로 측정시스템을 개선해야 한다.

Six Sigma 공식 통계 Software인 Minitab을 활용하면 측정시스템의 변동을 연구하여 분산의 성분을 막대그래프로 한눈에 쉽게 보여 준다. 위 도표에서 %Contribution은 총 분산 대비 Gage R&R 분산 비중이며, %Study Var은 총 표준편차 대비 Gage R&R 표준편차 비중이다. 반면 %Tolerance는 스펙 대비 Gage R&R 표준편차 비중을 나타낸다.

당장에 정밀한 측정기 확보가 어려울 때, 중심극한정리(Central Limit Theorem)에 의거하여 반복 측정하면 측정오차를 줄일 수 있다. 즉 표본 분포에 상관없이 표본평균의 분포는 정규분포 특성을 가지며, 표본평균의 표준편차는 표본의 표준편차보다 표본크기 n에 비례하여 작아진다.

예를 들어, 정밀하지 않은 체중계를 가지고 좀더 정확한 몸무게를 측정하고자 한다면 여러 번 측정된 몸무게의 평균값을 취한다면 측정오차를 줄임으로써 참값에 가까운 몸무게를 얻을 수 있다. 가령 4회 반복 측정(n=4)을 통해 계산된 평균값의 표준편차(σ)는 개별 값의 표준편차의 ½ 수준으로 반감되어 정밀도가 향상된다.

측정시스템의 투명성은 검사자, 측정방법, 측정기에 관한 통합적 접근이 필요하다.

① 검사자(People): 사람마다 측정 방식이 다르거나, 숙련도에 차이가 있다면 데이터의 신뢰성은 떨어질 수밖에 없다. 따라서 모든 검사자가 표준화된 절차를 따르도록 충분히 교육하고, MSA를 품질 부서만의 책임이 아닌 전사적 과제로 인식하는 경영진의 리더십이 중요하다.

② 측정방법(Procedure): MSA를 실험계획법(DOE)처럼 설계하는 것이 핵심이다. 공정 전체를 대표할 수 있는 무작위(random) 샘플링을 통해 공정 전체를 커버해야 한다. 어떤 샘플을 뽑느냐에 따라 %R&R 값이 크게 달라지기 때문이다. 이는 측정 방법을 표준화하고, 측정 시스템의 오차를 정확하게 분리해내기 위한 필수적인 절차이다.

③ 측정기(Gage): 노후화된 측정기나 주변 환경 변화(온도, 습도 등)는 측정값의 정확성이나 안정성에 영향을 미친다. 주기적인 교정(Calibration)과 환경 관리는 측정 시스템의 건강을 유지하는 필수적인 예방 조치이다.

1997년 삼성SDI는 국내 최초로 Six Sigma를 도입하고, 삼성그룹차원에서도 10년 넘게 Six Sigma가 경영의 tool로 활용되었다. 이에 기여한 필자는 삼성SDI에서 Six Sigma 아카데미를 운영하였다. Six Sigma Black Belt과정은 프로젝트 해결을 위한 통계적 사고의 큰 흐름(Statistical Thinking Process)이다. Black Belt 교육생들은 Y = f ( x ) 관점에서 DMAIC(Define Measure Analyze Improve Control) 프로젝트 추진 로드맵에 따른 각종 분석 tool을 학습한다. 그 프로젝트의 시작은 Define단계에서 Output(Y) 상태를 정의하는 것이다. 이로부터 Measure 단계는 Y(KPI)의 Baseline과 Goal을 확정하기 위하여 우선 믿을 만한 Y(KPI)인지, 즉 Y 신뢰성을 검증해야 한다. 이것이 측정 데이터의 신뢰성을 따져보는 MSA이다.

MSA는 Measure단계의 주요 분석 tool인데, 교육생들이 따라오기 쉽지 않았다. 측정 변동성 분석에는 고급 통계기법인 분산분석(ANOVA)을 활용하기 때문이다. 이에 교육생 이해도를 높이기 위하여 Measure단계에서는 MSA 전반적인 내용을 다루되, 각종 통계기법을 습득한 다음 Improve단계에서 revisit하여 반복 측정에 따른 변동, 검사자 간의 측정 변동 등에 관한 ANOVA 결과 해석을 다루어 과정 만족도를 높였다.

측정시스템분석(MSA)의 본질은 데이터의 투명성에 있다. MSA은 단순한 측정 장비 점검이 아니라 조직의 데이터 내비게이션을 최신 상태로 유지하는 일이다. 이로부터 공정의 변동을 제대로 보고, 개선 활동을 시작할 수 있다. 통계적 공정관리(SPC), 실험계획법(DOE) 등 각종 데이터 기반의 개선활동에는 믿을 만한 데이터가 필수이다. 부정확한 데이터는 잘못된 품질판단, 비용증가로 직결된다(Garbage In → Garbage Out). 따라서 이제는 데이터를 무조건 믿지 말고, 먼저 그것의 신뢰성을 따져 볼 때이다. 좋은 측정 없이는 좋은 개선도 없기 때문이다.

2025. 10. 01 한국표준협회 전문위원 / 건국대학교 김학수