AI 에이전트 대회를 준비하면서 문제를 가리고 연습했다

카카오톡 기반 AI 에이전트 대회를 준비했다. 처음 보는 업무를 짧은 시간 안에 파악하고, 대화로 쓸 수 있는 에이전트를 만드는 연습이 필요했다.

그래서 가상의 업무를 정하고, 인터뷰부터 구현과 채점까지 해 봤다. 구현에는 AI 코딩 에이전트를 활용했다. 내가 맡은 일은 문제를 풀 구조를 정하고, 작업을 나누고, 결과를 검증할 기준을 만드는 것이었다.

출제하는 쪽과 푸는 쪽을 나눴다

연습 문제를 만들 때는 상황과 채점 기준을 먼저 정해 뒀다. 풀이 쪽은 정답을 보지 않은 채 인터뷰 내용을 바탕으로 요구사항을 정리하고 구현했다. 결과를 본 뒤에 정답 기준을 바꾸지 않으려는 방식이다.

가상의 수리점과 세탁소, 보조기기 대여 업무를 각각 연습했다. 회차마다 문제도 채점 방식도 달랐다. 따라서 점수를 나란히 놓고 그 차이만큼 성능이 올랐다고 말할 수는 없다.

보조기기 대여를 주제로 한 네 번째 리허설에서는 자동 채점 30점 중 27점을 받았다. 직접 준비한 모의 문제의 결과다. 실제 대회 성적이나 실제 사용자 환경에서의 성능은 아니다.

말하는 것과 실행하는 것을 나눴다

에이전트가 안내만 하는 게 아니라 예약이나 저장을 처리한다면 잘못 실행했을 때 사용자가 겪는 문제가 생긴다. 그래서 대화를 해석하는 부분과 실제 변경을 승인하는 부분을 나눴다.

사용자가 최신 확인 카드의 내용을 보고 승인하도록 했다. 저장 직전에도 내용을 다시 확인한다. 요청을 보낸 뒤 결과를 알 수 없을 때는 같은 요청을 무작정 다시 보내지 않도록 했다. 이미 처리된 요청을 다시 보내면 중복 실행될 수 있어서다.

실제 연결도 해 봤다

준비한 봇을 카카오톡에 연결하고 휴대폰에서 응답을 확인했다. 서버 프로세스를 강제로 종료한 뒤 자동으로 복구되는지도 시험했다.

실제 연결을 해 보니 모의 채점과 따로 확인할 것들이 있었다. 메시지가 도착하는지, 승인할 내용이 사용자에게 제대로 보이는지, 서버가 멈췄을 때 다시 응답할 수 있는지 같은 것들이다. 준비한 환경에서 동작을 확인한 것이며 모든 장애에 안전하다는 뜻은 아니다.

리허설을 반복하면서 정답을 맞힌 항목뿐 아니라 빠뜨린 요구사항과 실행 경계도 살펴봤다. 회차마다 드러난 문제를 다음 연습을 준비할 때 반영했다.