트레이싱(Tracing)은 AI 요청이 처리되는 전 과정을 단계별로 추적하고 기록 하는 기능입니다.
LangSmith와 유사한 방식으로 각 처리 단계(Run)를 트리 구조로 시각화하여, 복잡한 AI 워크플로우의 실행 흐름을 투명하게 파악할 수 있습니다.
관리자 > 평가 > 트레이싱 탭에서 접근합니다.트레이싱은 라이선스 기능입니다. trace 피처가 활성화된 라이선스가 필요합니다.
트레이싱 개념 사용자 메시지 하나가 처리되는 과정에는 여러 단계가 포함됩니다. 트레이싱은 이 모든 단계를 Trace > Run 계층 구조로 기록합니다.
개념 설명 Trace 하나의 메시지에 대한 전체 처리 과정 Run Trace 내의 개별 처리 단계 Run 트리 부모-자식 관계로 구성된 Run 계층 구조
트레이스 검색 검색 방법 검색 타입 설명 Chat ID 특정 채팅의 모든 트레이스 조회 Message ID 특정 메시지의 트레이스만 조회
필터 옵션 필터 옵션 기간 최근 1일, 7일, 30일, 전체 상태 Success, Error, Running, Pending 유형 Chain, LLM, Tool, Retrieval, Web Search, Guardrail, Embedding 사용자 특정 사용자 ID (관리자만)
채팅 화면에서 메시지 옵션 메뉴의 **“트레이싱 보기”**를 클릭하면 해당 메시지의 트레이스 화면으로 바로 이동할 수 있습니다.
메시지 카드 검색 결과는 메시지 카드 목록으로 표시됩니다.
항목 설명 사용자 메시지 원본 입력 메시지 (최대 2줄) Message ID 메시지 식별자 (축약 표시) 시간 요청 시간 총 지연시간 전체 처리 시간 (ms) 총 토큰 전체 토큰 소비량 트레이스 배지 각 Run 유형별 상태 표시
트레이스 상세 조회 메시지 카드를 클릭하면 상세 트레이스 모달이 열립니다. 좌측에 Run 트리, 우측에 선택된 Run의 상세 정보가 표시됩니다.
Run 트리 구조 좌측 패널에서 처리 단계가 트리 구조로 표시됩니다.
[CH] Response 2.34s ├─ [GD] guardrail:보안 0.05s ├─ [RG] KnowledgeBase 0.32s ├─ [LM] GPT-4 1.89s └─ [TL] web_search 0.13s
Run 타입 약어 타입 설명 CH Chain 복합 작업 (메시지 처리 전체) LM LLM LLM API 호출 TL Tool 도구 실행 RG Retrieval RAG 문서 검색 WB Web Search 웹 검색 GD Guardrail 가드레일 체크 EM Embedding 임베딩 생성 IM Image 이미지 생성 ACT Action Tool + 하위 작업 그룹
상태 표시 상태 표시 Success 초록색 원 Error 빨간색 원 Running 노란색 반원 Pending 회색 원
Run 상세 정보 우측 패널에서 선택한 Run의 상세 정보를 확인합니다.
섹션 설명 Status 상태, 지연시간, 모델 ID Inputs 입력 데이터 (시스템 프롬프트, 사용자 메시지 등) Outputs 출력 데이터 (AI 응답, 검색 결과 등) Error 오류 메시지 (오류 발생 시) Token Usage prompt_tokens, completion_tokens, total_tokens (LLM 타입)
뷰 모드 Inputs/Outputs는 세 가지 형식으로 볼 수 있습니다.
모드 설명 Tree 계층적 트리 구조 (기본) JSON 원본 JSON 형식 Text 평문 텍스트
텍스트 검색 Outputs 영역에서 텍스트를 검색할 수 있습니다.
동작 방법 검색 검색어 입력 시 노란색 하이라이트 다음 매치 Enter 이전 매치 Shift + Enter 매치 수 검색창 옆 1/5 형식으로 표시
트레이스 유형 메인 응답 사용자 메시지에 대한 AI 응답 생성 과정입니다.
유형 설명 Response 전체 응답 생성 (최상위 Chain) LLM LLM API 호출 RAG 지식기반 검색 Tool 도구 실행 Search 웹 검색 Guard 가드레일 체크
백그라운드 작업 채팅 보조 기능을 위한 백그라운드 작업입니다.
유형 설명 Title 채팅 제목 자동 생성 Tag 채팅 태그 자동 생성 Query RAG 검색 쿼리 생성 Emoji 채팅 이모지 생성 Autocomplete 자동완성 제안 Function 함수 호출 판단
트레이스 분석 리포트 트레이스 데이터를 LLM으로 분석하여 문제의 근본 원인을 자동으로 파악 하는 기능입니다.
분석 시작
트레이스 상세 모달 상단의 “트레이스 분석” 버튼을 클릭합니다. 입력 항목 설명 필수 분석 모델 분석에 사용할 LLM 모델 필수 문제 설명 관찰된 문제 상황 기술 선택
분석 결과 확인
LLM이 트레이스 데이터를 분석하여 구조화된 리포트를 생성합니다. 리포트 섹션 내용 요약 분석 결과 2~3문장 요약 트레이스 개요 ID, 상태, 지연시간, 토큰, Run 수, 오류 수 근본 원인 분석 주요 원인 및 기여 요인 도구 선택/실행 분석 올바른 도구 호출 여부 최종 답변 분석 수집 데이터 대비 답변 적절성 개선 권장사항 즉시 조치, 설정 변경, 데이터 개선
리포트 저장/공유
기능 설명 복사 클립보드에 전체 텍스트 복사 다운로드 마크다운 파일(.md)로 다운로드
이전에 분석한 리포트가 있는 경우, “리포트 보기” 버튼으로 재분석 없이 바로 확인할 수 있습니다.
트레이스 관리 역할 권한 일반 사용자 자신의 트레이스만 조회 가능 관리자 모든 사용자의 트레이스 조회 및 관리
데이터 정리 오래된 트레이스는 관리자가 /api/traces/cleanup API를 통해 정리할 수 있습니다.
특정 시점 이전의 트레이스를 일괄 삭제합니다.
트레이스 삭제는 복구할 수 없습니다. 삭제 전 필요한 분석 리포트를 먼저 다운로드하세요.
활용 사례
느린 응답의 트레이스를 조회합니다
Run 트리에서 각 단계의 지연 시간을 비교합니다
가장 오래 걸린 단계를 식별합니다 (예: RAG 검색 0.8s, LLM 호출 3.2s)
해당 단계를 최적화합니다 (문서 수 조정, 모델 변경 등)
