Skip to main content
관리자 › 평가 › 추적
추적(Tracing)은 AI 요청이 처리되는 전 과정을 단계별로 기록합니다.
  • 어떤 문서를 검색했는지, 어떤 도구를 호출했는지, LLM에 어떤 프롬프트가 전달됐는지 — 모든 단계를 투명하게 확인할 수 있습니다.
추적 추적 검색 화면

관리자 > 평가 > 추적 — Chat ID 또는 Message ID로 트레이스를 검색합니다

예시 — 추적이 없을 때 vs 있을 때
에이전트가 “해당 정보를 찾을 수 없습니다”라고 답변함
추적은 라이선스 기능입니다. trace 피처가 활성화된 라이선스가 필요합니다.

추적 개념

사용자 메시지 하나가 처리되는 과정에는 여러 단계가 포함됩니다.
  • 추적은 이 모든 단계를 Trace > Run 계층 구조로 기록합니다.

추적 진입 방법

세 경로 모두 평가 › 추적 화면으로 이어집니다 — ①·② 버튼은 누르면 자동 이동, ③은 ID로 직접 검색입니다.
관리자가 운영 화면에서 특정 대화를 골라 추적으로 진입하는 정석 경로입니다.
1

대화 로그 열기

모니터링 › 대화 로그로 이동합니다.
2

대화 선택

조사할 대화(요청) 행을 클릭해 상세를 엽니다.
대화 로그에서 추적 버튼으로 진입

대화를 펼치면 우측에 '추적' 버튼이 표시됩니다

평가 › 추적 도착

상세에서 추적 버튼을 클릭하면 자동으로 평가 › 추적 화면이 열립니다.

종착지 · 평가 › 추적

세 경로 어디로 진입하든, 도착지는 아래 평가 › 추적 화면 하나입니다.
평가 › 추적 — 메시지 카드 목록

평가 › 추적 도착 화면 — 검색 목록(메시지 카드)

도착하면 검색 목록(메시지 카드)에서 트레이스를 골라 상세 화면을 엽니다.

트레이스 검색

평가 › 추적 화면에서 Chat ID 또는 Message ID로 검색하면, 위 화면처럼 메시지 카드 목록이 나옵니다.
  • 카드 하나가 사용자 메시지 하나의 트레이스 요약이고, 카드를 클릭하면 상세 화면이 열립니다.
검색 기준과 카드 항목 표는 아래에 접어 두었습니다.
검색은 입력한 ID에 해당하는 모든 트레이스를 기간 제한 없이 가져옵니다. (날짜·상태 같은 별도 필터는 없습니다.)

트레이스 상세 화면 읽는 법

여기가 추적의 핵심입니다.
  • 한 메시지가 어떤 단계를 거쳐 처리됐는지, 각 단계에 무엇이 들어가고 나왔는지를 모두 여기서 봅니다.
(배지·기호 같은 세부 표기는 각 탭 안에 접어 두었습니다 — 처음 보는 표시를 만났을 때 펼쳐 보세요.)
트레이스 상세 모달 — 좌측 Run 트리, 우측 상세 패널

트레이스 상세 — 좌측 Run 트리에서 단계를 고르면 우측에 그 단계의 입·출력이 표시됩니다

화면은 좌측 Run 트리(처리 단계를 순서·계층대로 나열, 상단에 전체 지연·총 토큰)와 우측 상세 패널(고른 단계의 입·출력·토큰)로 나뉩니다. 한 메시지는 보통 — 에이전트(CH)가 LM 추론과 도구 호출을 반복해 데이터를 모으고, 마지막에 final_answer(LM)가 답을 씁니다.
각 줄(Run)은 색 배지 + 이름 + ● 상태 + 지연 시간으로 표시됩니다. 자주 보이는 배지만 알면 트리를 읽을 수 있습니다. (색 포함 전체 종류는 아래 범례를 펼쳐 보세요.)
  • ● 상태 — 초록이면 정상, 빨강이면 그 단계에서 오류.
  • 옆 시간 — 그 단계의 지연. 값이 가장 큰 단계가 병목입니다.
제목·태그·검색 쿼리 자동 생성 같은 보조 작업은 응답과 별개로 background_tasks 트레이스에 따로 기록됩니다.
상세 트리는 단계 종류를 색 배지로 구분합니다. (검색 결과 카드에서는 Agent·LLM·Embed 같은 라벨로 묶여 표시됩니다.)
트레이스 전체 상태는 포함된 Run 중 하나라도 Error면 Error, Error가 없고 Running이 있으면 Running으로 표시됩니다.

두 단계(Phase)로 읽기

에이전트 응답은 두 단계로 나눠 읽으면 원인을 빨리 찾을 수 있습니다.

디버깅 포인트

Phase 1의 LM 추론 Run의 Inputs에서 active_capabilities(그 시점에 쓸 수 있는 도구·기능)를 확인하세요.
  • 원하는 도구가 목록에 없음 → 에이전트에 해당 기능(지식 기반·DB 등)이 연결되지 않음
  • 도구가 있는데 호출 안 함 → 모델이 질문과 도구의 관련성을 낮게 판단. 도구·기능 설명을 더 구체적으로 수정
final_answer(LM) Run의 Outputs에서 sources_countsource_names를 확인하세요. (검색 결과는 별도 Run이 아니라 이 출력에 담깁니다.)
  • sources_count가 0 → 검색이 0건. 지식 기반 문서 누락 또는 검색 설정(Top K·Reranker 등) 점검 필요
  • 출처는 있는데 답이 엉뚱 → 같은 Run의 Inputs에서 전달된 내용을 확인하고 답변 프롬프트를 조정
빨간색 ● 표시된 TL (Tool) Run을 클릭해 Outputs의 오류 내용과 Inputs로 전달된 파라미터를 함께 확인하세요.
Run 트리에서 각 단계 옆의 지연 시간을 비교하세요. 가장 오래 걸린 단계가 병목입니다.
  • LM이 느림 → 더 빠른 모델로 변경 고려
  • TL/EM이 느림 → 도구·검색 설정 또는 외부 서비스 확인
  • GD(가드레일)가 느림 → LLM 판정 비활성화 또는 빠른 모델로 변경

트레이스 분석 리포트

트레이스 데이터를 LLM으로 분석하여 문제의 근본 원인을 자동으로 파악하는 기능입니다.
1

분석 시작

트레이스 상세 모달 상단의 트레이스 분석(Analyze Trace) 버튼을 클릭합니다.
분석 모델 목록에는 base_model_id가 설정된 모델(커스텀 모델), 프리셋 모델, 아레나 모델은 표시되지 않습니다. 기본(base) 모델만 선택할 수 있습니다.
2

분석 결과 확인

LLM이 트레이스 데이터 + 에이전트 설정 + 대화 이력 + KB/DB/가드레일 설정을 종합 분석하여 구조화된 리포트를 생성합니다.
문제 설명을 입력하면 해당 맥락에 집중한 분석이 가능합니다. 예: “KB에서 문서를 찾았는데 답변에 반영되지 않음”
3

리포트 저장/공유

이전에 분석한 리포트가 있는 경우, “리포트 보기” 버튼으로 재분석 없이 바로 확인할 수 있습니다.

트레이스 관리

권한

데이터 정리

오래된 트레이스는 /api/traces/cleanup 개발자용 API로 정리합니다.
  • 타임스탬프(밀리초, ms 단위)로 특정 시점 이전의 트레이스를 일괄 삭제합니다.
트레이스 삭제는 복구할 수 없습니다. 삭제 전 필요한 분석 리포트를 먼저 다운로드하세요.

활용 사례

  1. 채팅 메시지의 추적 보기 버튼을 클릭합니다
  2. 좌측 Run 트리에서 final_answer(LM) 단계를 선택합니다
  3. Outputs에서 sources_count·source_names로 검색 결과 반영 여부를 확인합니다
  4. Inputs에서 모델에 전달된 내용을 확인합니다
  5. 트레이스 분석 리포트를 생성하여 근본 원인을 자동 파악합니다
  1. 느린 응답의 트레이스를 엽니다
  2. Run 트리에서 각 단계 옆의 지연 시간을 비교합니다
  3. 가장 오래 걸린 단계를 식별합니다 (예: 도구 0.8s, LLM 3.2s)
  4. 해당 단계를 최적화합니다 (검색 설정 조정, 모델 변경 등)
  1. 문제가 의심되는 트레이스를 엽니다
  2. 빨간색 ● 표시된 TL (Tool) Run을 선택합니다
  3. Outputs에서 오류 내용을 확인합니다
  4. Inputs에서 전달된 파라미터를 검증합니다
  1. 상세 화면 상단의 총 토큰으로 트레이스 전체 사용량을 확인합니다
  2. Run 트리에서 LM Run별 Token Usage(Input/Output/Total)를 비교합니다
  3. Phase 1(에이전트 실행)과 Phase 2(final_answer)의 토큰 비율을 확인합니다
  4. 불필요하게 큰 프롬프트나 반복 호출이 있는지 식별합니다

FAQ

네, 메시지 추적이 활성화되어 있으면 (기본값: 활성) 모든 AI 요청이 자동으로 기록됩니다. 별도 설정이 필요 없습니다.
기본 보존 기간은 30일입니다. 관리자가 설정을 변경하거나 수동으로 정리할 수 있습니다.
트레이스 기록은 백그라운드로 비동기 처리되므로 응답 속도에 거의 영향을 주지 않습니다.
네, 트레이스 분석은 별도의 LLM 호출이며 사용량이 trace_analysis로 별도 추적됩니다. 분석은 수동으로 트리거할 때만 실행됩니다.

관련 페이지

가드레일 로그

가드레일 탐지 이벤트 전용 로그

자동 평가

에이전트 응답 품질 자동 평가 결과

사용량

토큰 사용량 및 비용 분석