확신에 차서 틀리는 AI, 회의록에서는 왜 위험할까요

회의가 끝나고 AI 회의록 요약을 확인하다가 흠칫한 적 있으세요? 분명 "다음에 다시 논의하자"고 넘어갔던 안건이 요약에는 "○○로 결정함"이라고 적혀 있거나, 내가 하지 않은 말이 내 이름 옆에 붙어 있는 경우 말이에요. AI는 이럴 때도 머뭇거리지 않아요. 오히려 틀린 문장일수록 더 매끄럽고 자신 있게 써져 있어서, 의심 없이 그대로 넘어가기 쉬워요.

이런 현상을 "AI 할루시네이션(환각)"이라고 불러요. 회의록 AI를 매일 쓰는 입장에서는 남 얘기가 아니에요. 오늘은 회의록 AI가 왜 확신에 차서 틀리는지, 그리고 이걸 어떻게 걸러내야 하는지 정리해봤어요.

AI는 왜 "그럴듯하게" 틀릴까요?

할루시네이션은 AI가 사실이 아닌 내용을 마치 사실인 것처럼 자연스럽게 만들어내는 현상이에요. 존재하지 않는 통계를 인용하거나, 실제와 다른 날짜·수치를 말하는 식이죠. 문제는 문장의 톤이에요. AI는 맞는 말과 틀린 말을 똑같이 논리적이고 확신에 찬 어조로 표현해요. 그래서 사람은 "이렇게 자신 있게 말하는데 틀렸을 리 없다"고 생각하며 의심을 거두게 돼요.

회의록 AI는 이 문제에 특히 취약한 구조예요. 음성을 텍스트로 바꾸는 음성인식(STT) 단계, 발언자를 구분하는 화자분리 단계, 그리고 이걸 다시 요약하는 단계까지 여러 단계를 거치는데, 각 단계에서 생긴 작은 오류가 다음 단계로 그대로 넘어가면서 쌓여요. 특히 여러 사람이 동시에 말하거나 목소리가 겹치는 구간에서는 화자분리 정확도가 떨어질 수 있고, 이 상태에서 요약까지 돌리면 누가 무슨 말을 했는지가 뒤섞인 채로 "정리된 결론"처럼 보이는 문장이 나올 수 있어요.

회의록 AI에서 신뢰 설계가 특히 중요한 이유

일반적인 챗봇 할루시네이션은 "다시 물어보면 그만"이지만, 회의록은 다음 회의의 근거 자료가 되고 액션 아이템은 실제 업무 지시로 이어져요. 애매하게 던진 의견이 "결정 사항"으로 요약되면, 그 결정을 실행하는 사람이 나오고, 나중에 "누가 언제 그렇게 정했냐"는 혼란까지 생길 수 있어요. 요약 한 줄의 오류가 회의실 밖에서 실제 행동으로 번지는 구조라는 점이 다른 AI 도구와 다른 지점이에요.

AI 회의록 서비스 Granola는 에이전트 설계 철학을 공개하면서 이런 원칙을 밝혔어요.

"Useful but incomplete is acceptable (for now), confident and wrong is not." — 지금 당장은 유용하지만 불완전한 답은 괜찮아도, 확신에 차서 틀린 답은 안 된다는 뜻이에요.

그래서 이 서비스는 AI가 하나의 확정된 답을 툭 던지는 대신, 무엇을 근거로 그런 답을 냈는지 먼저 보여주고 사용자가 더 파고들지 말지 판단하게 하는 방식을 택했다고 설명해요. "정답을 내놓는 AI"보다 "근거를 보여주는 AI"가 회의록처럼 업무와 직결된 도구에서는 더 안전하다는 거예요.

할루시네이션이 특히 잘 생기는 순간

신뢰할 수 있는 회의록 AI는 뭐가 다를까요?

가장 기본적인 신뢰 설계는 "원문과 대조할 수 있는 구조"예요. 예를 들어 클로바노트는 요약 화면과는 별도로 발언별 타임스탬프가 붙은 원문 전사 화면을 제공해서, 요약에 나온 내용이 실제로 누가 몇 분 몇 초에 한 말인지 되짚어볼 수 있게 해뒀어요. AI가 요약을 "확신에 차서" 내놓더라도, 사용자가 원문을 클릭 한 번으로 확인할 수 있으면 오류를 걸러낼 여지가 생겨요.

출처: 클로바노트(네이버) App Store 공식 스크린샷 — 원문 음성기록(왼쪽)과 AI 요약(오른쪽)을 대조할 수 있는 화면 구성

반대로 요약만 보여주고 원문 대조 경로가 없는 도구는, AI가 틀렸을 때 사용자가 알아챌 방법이 없어요. "정확도가 몇 %"라는 숫자보다, "틀렸을 때 사용자가 확인할 수 있는 구조인가"가 신뢰의 실제 기준이라고 볼 수 있어요.

미키는 신뢰 설계를 어떻게 바라보나요

미키는 회의 하나를 통째로 요약해서 끝내는 대신, 온톨로지 기반 지식 그래프로 회의들을 서로 연결해요. 오늘 나온 마인드맵이나 슬랙 공유, 노션 정리, 프레젠테이션 초안 같은 산출물이 어떤 회의, 어떤 맥락에서 나왔는지 계속 연결된 상태로 남아 있어서, 나중에 "이 내용이 어디서 나온 거지?"라고 되짚어갈 수 있는 구조를 지향해요. 완벽한 무오류를 약속하기보다, 틀렸을 때 맥락을 거슬러 확인할 수 있는 팀 에이전트를 만드는 쪽에 더 가까워요.

회의록이 요약을 넘어 실제 산출물로 이어지는 과정이 궁금하시면 AI 회의록이란? 요약 세대에서 산출물 세대로 글도 참고해보세요. 회의가 쌓일수록 팀의 맥락을 기억하는 구조는 온톨로지 기반 회의 지식 관리가 필요한 이유에서 더 자세히 다뤘어요.

회의록 AI를 고를 때 "얼마나 똑똑한가"만큼 "틀렸을 때 확인할 수 있는가"도 함께 보시길 추천드려요. 미키가 회의를 어떻게 연결하고 있는지는 micky.pro에서 직접 확인해보실 수 있어요.

FAQ

Q. AI 회의록은 왜 틀린 내용도 저렇게 자신 있게 말하나요?

AI 언어모델은 "맞다/틀리다"를 판단하는 방식이 아니라 "다음에 올 확률이 가장 높은 단어"를 이어붙이는 방식으로 문장을 만들어요. 그래서 틀린 내용도 문법적으로나 어조상으로는 맞는 내용과 똑같이 자연스럽게 나와요. 문장의 "자신감"과 "정확도"는 서로 다른 문제라고 생각하시는 게 안전해요.

Q. 회의록 AI 요약을 그대로 믿고 써도 되나요?

가벼운 참고용 메모라면 크게 문제없지만, 결정 사항이나 액션 아이템처럼 실제 업무로 이어지는 부분은 원문과 한 번 대조하시는 걸 권해요. 특히 화자가 많거나 전문 용어·숫자가 많이 나온 회의일수록 오류 가능성이 높아요.

Q. 미키도 할루시네이션에서 완전히 자유로운가요?

아니요. 현재 어떤 AI 회의록 도구도 할루시네이션 가능성을 완전히 없앨 수는 없어요. 다만 미키는 산출물이 어떤 회의·맥락에서 나왔는지 온톨로지로 계속 연결해두기 때문에, 이상하다고 느껴지는 내용이 있을 때 그 출처를 거슬러 확인하기 쉬운 구조를 지향하고 있어요.

Q. 여러 명이 동시에 말하는 회의는 어떻게 해야 정확도가 올라가나요?

가능하면 한 사람씩 순서대로 말하고, 회의 시작 전 참석자 목소리를 등록해두면 화자분리 정확도가 올라가는 도구가 많아요. 배경 소음이 적은 환경에서 녹음하는 것도 인식 오류를 줄이는 데 도움이 돼요.