침해사고 분석에서 자주 빠지는 함정들 - 과잉 확신 편향

서론

지난 글(침해사고 분석에서 자주 빠지는 함정들 - 확증편향)에서는 분석 초기에 세운 가설에 맞는 정보만 취하려다 판단을 그르쳤던 사례들을 소개했습니다. 이번 글에서는 분석가에게 나타나는 "과잉 확신 편향"에 대해 이야기합니다.

---

시작하기 앞서...

사람은 기억을 꽤나 믿는 존재입니다.
"그건 분명히 그랬어."
"내가 확실히 기억해."
이런 말, 우리 모두 한 번쯤 해봤죠.

근데 말입니다. 기억이라는 게 그렇게 믿을 만한 건 아니라는 걸 심리학은 오래전부터 알고 있었어요.

 

그걸 보여주는 게 바로 EM 그래프, 정식 명칭으로는 Eyewitness Memory 실험 결과입니다.

이 실험은 단순합니다.
사람들에게 “이 장면 기억나요?”, “이 얼굴 본 적 있죠?” 같은 질문을 던지고, 얼마나 확신하는지, 그리고 정말 맞는지를 비교해본 겁니다.

 

결과는 좀 불편합니다.
사람들은 “난 90% 확신해요”라고 말하지만, 정답률은 고작 60% 남짓.
즉, 내 기억은 맞다고 믿었는데, 사실 꽤 많이 틀린 겁니다.

이게 심리학에서 말하는 과잉확신편향, 그중에서도 과잉정밀도(Overprecision)입니다.
"난 거의 틀릴 리 없어"라는 생각이, 현실에선 자주 틀린다는 걸 보여주는 거죠.

이 그래프는 X축에 사람들의 확신 수준이, Y축엔 그 확신에서의 실제 정답률이 나옵니다.
그래프가 대각선보다 아래에 있다는 건, 확신이 실제보다 앞서 있다는 뜻입니다.

눈으로 보기에 더 확신을 갖는 순간, 정확도는 오히려 멀어지는 거죠.

 

무튼.. 사람은 틀릴 수 있다는 걸 아는 것보다,
내가 지금 ‘확신하고 있다’는 사실이 더 위험할 수 있다는 걸 기억하는 게 훨씬 더 중요하다고 생각합니다.

---

세번째, 과잉 확신 편향 — 내 판단이 틀릴 리 없다는 착각

 과잉 확신 편향은 분석자가 자신의 판단이나 능력에 대해 실제보다 더 높은 확신을 가지는 심리적 경향입니다. 침해사고 분석처럼 빠르고 정확한 결정을 요구받는 업무 환경에서는, 이런 확신이 지나치게 커지면 오히려 다양한 가능성을 배제하고 오판으로 이어질 수 있습니다.

 

예를 들어 보면…

 한 분석자는, 침해사고 현장에서 반복적으로 유사한 유형의 악성코드를 분석해본 경험을 바탕으로 “이건 내가 잘 아는 유형이야”라고 판단하고, 주요 경로와 지표만 빠르게 확인한 뒤 분석을 마무리하려 했습니다. 그는 새롭게 포착된 알 수 없는 네트워크 트래픽이나 백신 무력화 흔적 등을 ‘비정형 행동일 뿐’이라며 큰 의미를 두지 않았습니다. 그러나 나중에 밝혀진 바에 따르면, 이번 악성코드는 기존 유형과는 다르게 초기 위장 단계부터 보안 도구를 우회하도록 설계되어 있었고, 실제 피해 범위는 예상보다 훨씬 컸습니다.

 

 또 다른 사례에서는, 한 분석자가 특정 시스템에서 포착된 악성 프로세스를 단순한 원격 제어 도구(Remote Admin Tool)로 판단하고, "이건 테스트용으로 자주 쓰이던 거야"라며 분석을 중단한 일이 있었습니다. 그는 이전에도 비슷한 이름의 프로세스를 수차례 보았고, 단 한 번도 악성으로 연결된 적이 없다는 이유로 이를 배제했지만, 결과적으로 해당 도구는 공격자가 커스터마이징한 변형 버전이었고, 외부에서 실시간 명령을 수신하며 내부 시스템을 장악하고 있었습니다.

이러한 사례들은 모두 분석자가 자신의 경험과 판단력에 대한 과도한 신뢰로 인해 초기 의심 징후를 과소평가하고, 위험 신호를 놓친 전형적인 과잉 확신 편향의 결과였습니다.

---

왜 과잉 확신 편향에 빠질까?

사람은 어떤 결정을 내릴 때, 그 판단이 실제보다 더 맞을 것이라 판단하고, 자신의 예측 정확도를 지나치게 높게 평가하는 경향을 보입니다. 그러다 보니 무의식적으로 자신의 판단은 충분히 신뢰할 수 있다고 여기게 되고, 실제로는 오차 가능성이 있음에도 불구하고 이를 과소평가하게 될 수 있습니다.

 

 또한 분석 상황에서 빠르게 판단을 내렸을수록, 그 판단이 틀릴 수도 있다는 가능성보다는, 스스로 판단의 정확성에 확신을 부여하는 쪽으로 사고가 고정되기 쉽습니다. 그래서 나도 모르게 내 판단이 충분히 맞을 것이라는 신념을 강화하게 될 수 있습니다. 이 역시 판단 경험이 많고 직관을 자주 사용하는 사람일수록 더 조심해야 할 심리입니다.

 

 게다가 조직 내 보고 구조나 판단을 요구하는 방식도 과잉 확신 편향을 강화시킬 수 있습니다. 예를 들어 빠르고 명확한 결정을 요구받는 환경에서는, 분석자는 판단의 한계나 불확실성을 표현하기보다, 확신 있는 결론을 우선시하게 되는 경우가 많습니다. 이렇게 되면 과잉 확신은 개인의 인지적 경향을 넘어, 조직 내 의사결정 구조와 결합된 반복적 오류로 이어질 수 있습니다.

 

 그리고 또 하나, 인간은 애초에 ‘정확하지 않을 수 있다’는 상태를 오래 유지하기 어렵습니다. 분석이란 본질적으로 확률적 해석을 요구하지만, 우리는 그 과정에서도 어떤 ‘명확한 판단’을 추구하려 합니다. 그래서 어느 순간 판단이 하나 자리 잡으면, 그 판단이 실제보다 정확하다고 믿는 쪽이 훨씬 더 편해집니다. 과잉 확신 편향은 바로 그 심리적 안정감을 유지하기 위한 일종의 자동 반응일 수 있습니다.

---

과잉 확신 편향을 피하기 위해 내가 해볼 수 있는 것들

1. 판단의 근거를 스스로 점검하고, 오차 가능성을 고려하는 습관을 갖는다.
   확신이 드는 순간일수록, 왜 그렇게 판단했는지를 다시 따져보고,
   그 판단이 틀릴 수 있는 조건이나 반례가 있는지를 검토해본다.
   판단 자체보다 판단의 정확도에 대한 인식을 조정하려는 태도가 필요하다.
2. 내가 내린 판단과 실제 결과를 비교하며, 확신과 정확도의 차이를 기록한다.
   판단 당시의 확신 수준과 실제 적중률 간의 차이를 수치화하거나 메모해보면,
   자신의 확신이 항상 정답으로 이어지지 않는다는 점을 구체적으로 인식할 수 있다.
   이를 반복하면 확신에 대한 현실적 감각을 유지하는 데 도움이 된다.