레거시 시스템에 AI 붙이기 - 챗봇·자동화 연동 설계 포인트

"우리 시스템에도 챗봇 하나 붙여 주세요."

기존 시스템을 오래 운영해 온 회사들로부터 요즘 가장 자주 받는 요청입니다. 그리고 저희가 가장 자주 드리는 답은 이것입니다 - 챗봇은 마지막 순서입니다.

왜 다들 챗봇부터 원하게 되는가

이해는 갑니다. 챗봇은 눈에 보이고, 경영진에게 보여 주기 좋고, "우리도 AI 도입했다"는 확실한 증거가 됩니다. 문제는 챗봇이 AI 연동에서 가장 어려운 형태라는 점입니다. 사용자가 무엇이든 물을 수 있고, 무엇이든 답해 버릴 수 있기 때문입니다. 틀린 답을 자신 있게 하는 챗봇은 없느니만 못합니다. 특히 그 답이 재고 수량이나 정산 금액이라면요.

현실적인 순서

저희가 권하는 순서는 화려함의 역순입니다.

1단계 - 데이터부터 정리합니다. AI 기능의 품질 상한선은 모델이 아니라 데이터가 정합니다. 같은 고객이 세 가지 이름으로 등록돼 있고, 상품 코드 규칙이 담당자마다 다르다면 어떤 AI 를 붙여도 그 혼란을 답변으로 되돌려 줄 뿐입니다. 지루하지만 여기가 8할입니다.

2단계 - 시스템에 문을 만듭니다. 오래된 시스템일수록 데이터가 화면 안에만 존재합니다. AI 가 시스템과 대화하려면 정리된 출입구, 즉 API 가 필요합니다. 이 단계는 AI 와 무관해 보이지만, 사실 이후 모든 것의 토대입니다.

3단계 - 작고 확실한 자동화부터. 첫 AI 기능은 실패해도 피해가 없는 곳에 넣습니다. 문의 메일의 자동 분류, 상담 기록 요약, 보고서 초안 생성처럼 사람이 최종 확인하는 전제의 업무들. 여기서 조직이 AI 의 실력과 한계를 체감하고 나면, 다음 단계의 눈높이가 현실적이 됩니다.

4단계 - 그 다음이 챗봇입니다. 이때의 챗봇은 아무 데이터나 학습한 챗봇이 아니라, 정리된 데이터와 API 위에서 근거를 갖고 답하는 챗봇입니다.

설계에서 반드시 챙겨야 할 것들

답변의 근거를 시스템 데이터로 제한할 것. 일반 지식으로 아무 말이나 하지 못하게 하고, 근거 문서나 데이터가 없으면 "모른다"고 답하게 설계합니다. 환각(그럴듯한 거짓 답변)을 줄이는 가장 실용적인 방법입니다.

권한을 그대로 상속할 것. 기존 시스템에서 볼 수 없는 데이터는 AI 를 통해서도 볼 수 없어야 합니다. 챗봇이 권한 체계를 우회하는 뒷문이 되는 사고는 생각보다 흔한 설계 실수에서 나옵니다.

실패 시 사람에게 넘길 것. AI 가 처리하지 못하는 요청이 담당자에게 자연스럽게 이관되는 경로를 처음부터 설계합니다. 이 폴백이 없는 자동화는 고객 불만 제조기가 됩니다.

비용 구조를 미리 계산할 것. AI API 는 쓴 만큼 과금됩니다. 사용량 예측과 상한 설정 없이 열어 두면 월 청구서에서 놀라게 됩니다.

발주 전에 확인할 것

이런 프로젝트를 검토 중이라면 개발사에 두 가지를 물어보시길 권합니다. "우리 데이터 상태부터 보자고 하는가"와 "실패 시나리오를 먼저 이야기하는가". 챗봇 데모부터 보여 주는 곳보다, 데이터 정리 이야기부터 꺼내는 곳이 끝까지 갑니다. 발주 관점의 더 자세한 체크리스트는 AI 프로젝트, 발주 전에 알아야 할 것들에 정리했습니다.