헬스, 캐싱 & 로깅¶

health_checks:
  enabled: true                    # 헬스 모니터링 활성화/비활성화
  interval: "30s"                  # 확인 주기
  timeout: "10s"                   # 요청 타임아웃
  unhealthy_threshold: 3           # 비정상 표시까지의 실패 횟수
  healthy_threshold: 2             # 정상 표시까지의 성공 횟수
  endpoint: "/v1/models"           # 확인할 엔드포인트
  warmup_check_interval: "1s"      # 워밍업 중 가속화된 확인 주기
  max_warmup_duration: "300s"      # 최대 워밍업 감지 시간

backends:
    - name: vllm-custom
    type: vllm
    url: http://localhost:8000
    models:
        - my-model
    health_check:
        endpoint: /custom-health          # 기본 엔드포인트
        fallback_endpoints:               # 기본 엔드포인트가 404 반환 시 시도
            - /health
            - /v1/models
        method: GET                       # HTTP 메서드: GET, POST 또는 HEAD
        timeout: 10s                      # 전역 헬스 체크 타임아웃 재정의
        accept_status:                    # 정상을 나타내는 상태 코드
            - 200
            - 204
        warmup_status:                    # 모델 로딩 중을 나타내는 상태 코드
            - 503

backends:
    - name: custom-api
    type: generic
    url: http://localhost:9000
    models:
        - custom-model
    health_check:
        endpoint: /api/v1/health
        method: POST
        body:
            check: true
        accept_status:
            - 200
            - 400    # Bad request는 서버가 동작 중임을 의미
            - 401    # Unauthorized는 서버가 동작 중임을 의미
            - 429    # Rate limited는 서버가 동작 중임을 의미

request:
  timeout: "300s"                  # 최대 요청 지속 시간
  max_retries: 3                   # 실패한 요청의 재시도 횟수
  retry_delay: "1s"                # 재시도 간 초기 지연

retry:
  max_attempts: 3                  # 최대 재시도 횟수
  base_delay: "100ms"              # 재시도 간 기본 지연
  max_delay: "30s"                 # 재시도 지연 상한
  exponential_backoff: true        # 지수 백오프 사용
  jitter: true                     # 무작위 지터 추가

cache:
  model_cache_ttl: "300s"         # 모델 목록 캐시 기간
  deduplication_ttl: "60s"        # 동일 요청 캐시 기간
  enable_deduplication: true      # 요청 중복 제거 활성화

model_aggregation:
  cache_ttl: 60                     # 캐시 TTL (초, 기본값: 60)
  soft_ttl_ratio: 0.8               # 백그라운드 갱신 트리거 시점 (기본값: 0.8 = 80%)
  empty_response_base_ttl_seconds: 5   # 빈 응답의 기본 TTL
  empty_response_max_ttl_seconds: 60   # 지수 백오프 최대 TTL
  max_cache_entries: 100            # 최대 캐시 항목 수
  background_refresh:
    enabled: true                   # 백그라운드 갱신 활성화
    check_interval: 10s             # 검사 간격

response_cache:
  enabled: true                     # 응답 캐싱 활성화 (기본값: false)
  backend: memory                   # 캐시 백엔드: "memory" (기본값), "redis", 또는 "tiered"
  capacity: 1000                    # 최대 캐시 응답 수 (LRU 퇴거)
  ttl: "5m"                         # 캐시 항목 유효 기간 (예: "5m", "1h")
  max_response_size: 1048576        # 최대 응답 본문 크기 (바이트, 기본값: 1 MiB)
  max_stream_buffer_size: 10485760  # 최대 스트리밍 버퍼 크기 (바이트, 기본값: 10 MiB)

cargo build --release --features redis-cache

response_cache:
  enabled: true
  backend: redis                     # Redis 백엔드 선택
  ttl: "5m"
  redis:
    url: "redis://localhost:6379"    # 일반 TCP
    # url: "rediss://redis.example.com:6380"   # TLS
    # url: "redis://:password@localhost:6379"  # 인증 포함
    pool_size: 8                     # 연결 풀 크기 (기본값: 8)
    key_prefix: "cr:resp:"           # 키 네임스페이스 접두사 (기본값: "cr:resp:")
    connect_timeout_ms: 3000         # 연결 타임아웃 (기본값: 3000)
    command_timeout_ms: 1000         # 명령별 타임아웃 (기본값: 1000)
    tls: false                       # TLS 사용 (기본값: false)
    fallback_to_memory: true         # 실패 시 인메모리로 폴백 (기본값: true)

cargo build --release --features s3-cache

response_cache:
  enabled: true
  backend: tiered                    # 계층형 L1/L2 백엔드 선택
  ttl: "5m"                          # 두 티어 모두의 기본 TTL

  l1:                                # L1 (핫) 티어 — 빠르고 제한됨
    type: memory                     # "memory" 또는 "redis" (redis는 redis-cache 기능 필요)
    max_value_size: 1048576          # 이보다 큰 값은 L2 전용 (기본값: 1 MiB)

  l2:                                # L2 (웜) 티어 — S3
    type: s3
    endpoint: "https://s3.example.com:8080"
    bucket: "llm-response-cache"
    key_prefix: "response-cache/"    # 객체 키 접두사 (기본값: "response-cache/")
    region: "us-east-1"              # 리전 문자열 (기본값: "us-east-1")
    access_key: "${S3_ACCESS_KEY}" # 환경 변수 확장 지원
    secret_key: "${S3_SECRET_KEY}"
    ttl_override: "24h"              # 선택적: L2 항목을 전역 TTL보다 오래 유지

  tiered:                            # 프로모션/강등 동작
    promote_on_hit: true             # L2 히트를 L1으로 프로모션 (기본값: true)
    l1_promotion_ttl: "5m"          # 프로모션된 항목의 TTL (기본값: "5m")

cargo build --release --features redis-cache,s3-cache

response_cache:
  backend: tiered
  l1:
    type: redis                      # 인스턴스 간 공유를 위해 Redis를 L1으로 사용
    max_value_size: 1048576
  redis:                             # l1에서 재사용되는 공유 Redis 설정
    url: "redis://localhost:6379"
    pool_size: 8
  l2:
    type: s3
    endpoint: "https://s3.example.com:8080"
    bucket: "llm-response-cache"
    access_key: "${S3_ACCESS_KEY}"
    secret_key: "${S3_SECRET_KEY}"

kv_cache_index:
  enabled: true                      # KV 캐시 인덱스 활성화 (기본값: false)
  backend: memory                    # 인덱스 백엔드: "memory" (기본값) 또는 "redis"
  max_entries: 100000                # 추적할 최대 접두사 해시 항목 수
  entry_ttl_seconds: 600             # 인덱스 항목 TTL (초)
  scoring:                           # 백엔드 선택을 위한 스코어링 가중치
    overlap_weight: 0.6              # 캐시 오버랩 신호 가중치 (0.0-1.0)
    load_weight: 0.3                 # 백엔드 부하 신호 가중치 (0.0-1.0)
    health_weight: 0.1               # 백엔드 헬스 신호 가중치 (0.0-1.0)
    min_overlap_threshold: 0.3       # KV 인식 라우팅 활성화 최소 오버랩
    gpu_tier_weight: 1.0             # GPU 상주(핫) 캐시 데이터에 대한 계층 배수
    storage_tier_weight: 0.6         # 스토리지 오프로드(웜) 캐시 데이터에 대한 계층 배수
  storage_offloading:                # 계층형 스토리지 인식 (GPU 핫 / 스토리지 웜)
    enabled: false                   # 스토리지 계층 추적 활성화 (기본값: false)
    treat_eviction_as_offload: true  # 퇴거를 웜 스토리지로의 오프로드로 처리 (기본값: true)
  event_sources:                     # vLLM 백엔드 KV 이벤트 스트림 엔드포인트
    - backend_name: "vllm-1"
      endpoint: "http://vllm-1:8000/v1/kv_events"
      reconnect_interval_ms: 5000
    - backend_name: "vllm-2"
      endpoint: "http://vllm-2:8000/v1/kv_events"
      reconnect_interval_ms: 5000

final_score = overlap_weight * (raw_overlap * tier_multiplier)
            + load_weight * (1 - load_ratio)
            + health_weight * health_score

response_cache:
  redis:
    url: "redis://localhost:6379"
    pool_size: 8

kv_cache_index:
  enabled: true
  backend: redis    # response_cache.redis의 Redis 설정 사용

logging:
  level: "info"                   # trace, debug, info, warn, error
  format: "json"                  # json, pretty
  enable_colors: false            # 컬러 출력 (pretty 형식만)