기업에서 AI 활용을 논의하다 보면 새로운 데이터부터 찾아야 한다는 이야기가 자주 나온다. 물론 실제로 자료가 없어서 문제인 경우도 있다. 다만 큰 조직에서 일을 해보면, 이미 누군가 정리한 자료도 생각보다 많다. 산업 분석 보고서가 있고, 사업 전략과 기술 로드맵이 있고, 비슷한 프로젝트를 검토하며 남긴 기록도 있다.
새로운 제안 요청이 들어오면 담당자는 그 자료를 다시 찾고 읽는다. 시장을 처음부터 공부하는 것은 아니지만, 이번 업무에 무엇이 중요한지 알아내기 위해 이미 알고 있던 지식을 다시 꿰어 맞춘다. 사람에게는 꽤 자연스러운 과정인데, AI를 붙인다고 이 반복이 저절로 사라지지는 않는다.
최근 개인적으로 만드는 기업 지식 기반 AI를 시험하면서 내가 확인하고 싶었던 것도 이 지점이었다. 기업이 이미 해놓은 공부를 다음 업무가 시작할 때 다시 활용할 수 있을까?
자료가 부족한 것이 아니라, 연결하는 과정이 반복된다
기업이 쌓아온 지식은 생각보다 여러 곳에 흩어져 있다. 시장을 정리한 보고서는 산업의 구조를 설명하지만, 실제로 우리가 무엇을 할 수 있는지는 기술 조직의 자료가 더 잘 안다. 과거 프로젝트에서는 어떤 위험을 만났는지 알 수 있고, 최근 공개 정보에서는 그 사이 무엇이 달라졌는지 확인할 수 있다. 물론 보고서의 품질과 최신성은 조직마다 다르다.
보통은 이것들을 사람의 경험으로 연결한다. 새로운 업무가 발생하면 담당자가 필요한 자료를 고르고, 오래된 부분을 걸러내고, 모르는 것을 질문으로 만든다. 이 활동을 단순히 ‘문서 검색’이라고 부르기에는 일이 꽤 많다.
내가 시험한 것은 보고서 요약 AI가 아니었다
시장 보고서를 통째로 넣고 요약을 시키는 일은 상대적으로 쉽다. 하지만 요약을 잘한다고 새로운 제안 요청을 잘 이해하는 것은 아니다. ‘이 시장의 일반적 특징’과 ‘이번 요청을 해석하는 데 필요한 사실’은 다르기 때문이다.
그래서 기존 지식을 원문과 출처를 보존한 채 재사용 가능한 기준으로 정리하고, 새로운 업무 문서가 들어오면 그중 관련된 부분을 선택해 업무 맥락을 만드는 방식을 시험했다. 기준 지식은 무조건 옳은 정답이 아니다. 특정 시점까지 검토된 이해이므로, 새 정보가 나타나면 비교해야 한다.
앞서 기업의 시장 관점을 축적하는 방법과 업무 맥락에서 검색 질문을 만드는 방법을 다뤘다. 이번에는 그 설계를 실제 성격이 다른 문서들에 적용했을 때 무엇이 달라졌는지 이야기하려 한다.
성격이 다른 세 가지 문서에 적용해봤다
실험에 사용한 문서의 구체적인 사업명이나 고객 정보는 공개하지 않는다. 대신 문서의 성격을 기준으로 세 가지로 나눠 설명할 수 있다.
첫 번째는 요구사항과 이행 조건이 여러 층으로 얽힌 문서였다. 표면적인 기술 키워드를 요약하는 것보다 조건 사이의 관계, 누가 무엇을 확인해야 하는지가 중요했다. AI가 기존 지식에서 관련 영역을 선택한 다음, 추가 확인이 필요한 역할과 조건을 질문으로 발전시키는 모습이 관찰됐다.
두 번째는 현장 운영과 기술적 준수 조건이 중요한 문서였다. 읽기 쉬운 설명으로 바꾸는 것 자체는 문제가 아니었지만, 그것만으로 충분하지 않았다. 원문에 있던 표와 그림의 일부 관계가 빠졌고, 일부 조건의 숫자나 적용 범위도 결과물에서 충분히 유지되지 못했다. 문서는 읽혔지만, 원문 충실도는 별도 검증 대상이었다.
세 번째는 사업의 방향과 목표는 명확하지만 상세 조건이 충분하지 않은 문서였다. 이 경우 AI가 그럴듯한 상세 조건을 채우는 것은 오히려 위험하다. 이미 확인된 내용과 아직 존재하지 않거나 확보하지 못한 정보를 구분하는 것이 먼저였다. 추가 검색을 수행했어도 의사결정에 필요한 새로운 사실을 확인하지 못한 부분은 그대로 미확인으로 남겼다.
세 경우 모두 동일한 답을 기대한 것은 아니다. 새 업무의 특성이 달라질 때 어떤 기존 지식을 동원하고 무엇을 추가로 묻게 되는지가 관심사였다.
흥미로웠던 것은 답보다 질문이 달라지는 과정이었다
시험 과정에서 AI는 외부 정보를 조사하며 원래 요청에 없던 확인 방향을 제안하기도 했다. 어떤 사실을 확인하면 기존 해석이 달라질 수 있는지, 새로운 관계가 실제 업무에 의미가 있는지를 묻는 방향이었다. 단순히 비슷한 검색어를 여러 번 생성하는 것과는 결이 달랐다.
하지만 이 부분을 곧바로 성공이라고 부르기는 어렵다. 독립적인 세션에서 같은 종류의 분석을 다시 수행했을 때 의미 있는 탐색은 재현됐지만, 앞선 분석에서 확인했던 핵심 관계 일부는 다시 발견되지 않았다. 한 번 흥미로운 통찰을 얻는 것과 반복 가능한 업무 품질을 확보하는 것은 다르다는 뜻이다.
또 검색 도구가 정상적으로 동작하고 출처를 표시했다고 해도 새로운 사실을 찾았다는 보장은 없었다. 관련 기사를 발견하는 것, 문서에 명시된 사실을 확인하는 것, 그것이 이번 업무에 의미 있다고 판단하는 것은 각각 다른 단계였다.
실제로 부딪힌 것은 세 가지 품질 문제였다
첫 번째는 원문 충실도다. 조건의 최소·최대, 적용 대상, 예외, 표의 행과 열 사이 관계처럼 중요한 정보는 읽기 쉬운 요약문으로 바꾸는 동안 쉽게 약해질 수 있다. 이런 부분은 원본 문서와 대조해야 한다.
두 번째는 근거의 상태다. 외부 자료가 있다고 해서 사실 확인이 끝난 것은 아니다. 발표된 계획인지, 실제로 완료된 결과인지, 어느 시점의 정보인지에 따라 업무 해석이 달라진다. 확인할 수 없었다면 ‘확인하지 못했다’고 남기는 편이 맞다.
세 번째는 재현성이다. 좋은 질문이 한 차례 나왔다는 사실만으로 안정적인 시스템이라고 할 수 없다. 새 세션에서도 중요한 맥락이 유지되는지, 어느 지식과 근거로 그 질문에 도달했는지 확인할 수 있어야 한다.
기업 지식은 더 큰 검색창이 아니라 업무의 출발점이 될 수 있다
여기까지 시험하면서 적어도 방향은 조금 선명해졌다. 기업에 쌓인 자료를 모두 한 곳에 모으는 것만으로는 부족하다. 현재 업무에서 사용할 지식과 그렇지 않은 지식을 구분해야 한다. 원문과 버전은 보존하고, 새롭게 발견한 정보를 기존의 검토된 지식 위에 무조건 덮어써서도 안 된다.
무엇보다 AI가 ‘이미 아는 것’, ‘추가로 확인한 것’, ‘아직 모르는 것’을 구분해야 한다. 마지막 판단이 중요한 업무라면 사람의 검토도 남아 있어야 한다.
이 실험이 실제 업무 시간을 얼마나 줄였는지, 사업 성과를 높였는지는 아직 입증하지 않았다. 여러 종류의 문서로 작은 가능성과 분명한 한계를 확인한 단계다.
내가 기대하는 것은 사람보다 훌륭한 시장 분석가가 갑자기 등장했다는 결론이 아니다. 우리 조직이 이미 해놓은 공부를 다음 업무에서 다시 활용할 수 있는지, 그리고 아직 모르는 것을 더 정확하게 질문할 수 있는지다. AI의 가치가 새로운 정보를 얼마나 많이 가져오느냐가 아니라, 이미 가진 지식을 얼마나 잘 다음 판단으로 연결하느냐에 있을 수도 있다.