차분한 AI 온보딩 어시스턴트 만들기

mindful-dev의 첫 번째 글은 누비랩에서 진행한 AI 온보딩 어시스턴트 프로젝트를 정리한 내용입니다. 목표는 사용자의 기대와 모델의 출력을 연결하는 차분한 인터페이스를 만드는 것이었습니다.

1. 사용자의 언어로 맥락을 모으기

서버 액션으로 동작하는 간단한 의도 수집 폼을 두어, 온보딩 과정에서 사용자가 하려던 질문을 먼저 받아 적었습니다. 이렇게 쌓인 문장은 연구팀과 함께 의도 세트로 압축했고, LLM은 해당 의도로만 답하도록 제한했습니다. 하루 정도의 추가 작업이었지만, 불필요한 답변을 크게 줄일 수 있었습니다.

2. 결정 가능한 상태만 노출하기

UI는 primer -> recommendation -> follow-up 세 단계 중 하나만 렌더링하도록 설계했습니다. TypeScript로 각 상태를 명시적으로 가드하고, 컴포넌트 전환은 단계별 진입 조건이 충족될 때만 허용했습니다. 사용자는 필요할 때만 모델을 다듬을 수 있었고, 화면은 항상 예측 가능한 레이아웃을 유지했습니다.

3. 텔레메트리로 학습 루프 닫기

응답이 생성될 때마다 지연 시간, 백오프 전략, 사용자가 선택한 다음 행동을 모두 로그로 남겼습니다. 운영팀은 이 데이터를 기반으로 문제 상황을 빠르게 되짚을 수 있었고, PM은 실제 대화 로그를 보면서 우선순위를 조정했습니다.

결과적으로 새 사용자 활성화 시간은 21% 줄었고, “설정이 어렵다”는 티켓도 눈에 띄게 감소했습니다. AI 기능을 제품으로 받아들이게 만드는 일은 결국 차분한 프론트엔드에서 시작됩니다.