성능 가이드¶

# 모든 벤치마크 실행
cargo bench

# 특정 벤치마크 실행
cargo bench performance

# 벤치마크 리포트 생성
cargo bench -- --save-baseline main

# wrk 설치
brew install wrk  # macOS
apt-get install wrk  # Ubuntu

# 기본 처리량 테스트
wrk -t12 -c400 -d30s --latency \
  http://localhost:8080/v1/chat/completions \
  -s scripts/chat_completion.lua

wrk.method = "POST"
wrk.body   = '{"model":"gpt-3.5-turbo","messages":[{"role":"user","content":"Hello"}]}'
wrk.headers["Content-Type"] = "application/json"

# hey 설치
go install github.com/rakyll/hey@latest

# 지연 시간 테스트
hey -z 30s -c 100 -m POST \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-3.5-turbo","messages":[{"role":"user","content":"Hi"}]}' \
  http://localhost:8080/v1/chat/completions

# /etc/sysctl.conf

# 네트워크 튜닝
net.core.somaxconn = 65535
net.core.netdev_max_backlog = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_keepalive_probes = 5
net.ipv4.tcp_keepalive_intvl = 15

# 파일 디스크립터 제한
fs.file-max = 2097152
fs.nr_open = 2097152

# 메모리 튜닝
vm.swappiness = 10
vm.dirty_ratio = 15
vm.dirty_background_ratio = 5

# 설정 적용
sudo sysctl -p

# /etc/security/limits.conf
continuum soft nofile 65535
continuum hard nofile 65535
continuum soft nproc 32768
continuum hard nproc 32768

# config-high-throughput.yaml
server:
  bind_address: "0.0.0.0:8080"
  connection_pool_size: 1000
  keepalive_timeout: 75

request:
  timeout: 30
  max_retries: 1

cache:
  model_cache_ttl: 900  # 15분

http_client:
  pool_idle_timeout: 90
  pool_max_idle_per_host: 100

# config-low-latency.yaml
server:
  bind_address: "0.0.0.0:8080"

routing:
  strategy: "LeastLatency"
  fallback_strategy: "RoundRobin"

request:
  timeout: 10
  max_retries: 0  # 최저 지연 시간을 위해 재시도 없음

cache:
  model_cache_ttl: 3600  # 1시간 캐시로 일관성 유지

health_checks:
  interval: 10  # 정확한 라우팅을 위한 빈번한 체크

# config-low-memory.yaml
server:
  connection_pool_size: 10

cache:
  model_cache_ttl: 60  # 메모리 감소를 위한 짧은 TTL

request:
  timeout: 30

logging:
  level: "error"  # 로그 볼륨 감소

routing:
  strategy: "LeastLatency"
  fallback_strategy: "RoundRobin"

  # WeightedRoundRobin용
  weights:
    "http://backend1:11434": 3
    "http://backend2:11434": 1

// 시작 시 자동 연결 사전 워밍
// - HTTP/2 연결을 미리 설정
// - 첫 번째 요청에 대한 콜드 스타트 지연 감소
// - 적절한 연결 상태를 위한 인증 헤더 포함

// HttpClientFactory::optimized_streaming()
// - 적극적인 keep-alive와 함께 HTTP/2
// - 큰 연결 풀 (호스트당 100개)
// - 확장 사고 모델용 600초 타임아웃
// - TCP keepalive 활성화

# 개별 백엔드 테스트
./tests/scripts/test_anthropic_ttfb.sh claude-haiku-4-5 5
./tests/scripts/test_openai_ttfb.sh gpt-4o-mini 5
./tests/scripts/test_gemini_ttfb.sh gemini-2.5-flash 5

# 모든 백엔드 테스트
./tests/scripts/test_all_ttfb.sh 5

# macOS
brew install k6

# Linux
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys C5AD17C747E3415A3642D57D77C6C491D6AC1D69
echo "deb https://dl.k6.io/deb stable main" | sudo tee /etc/apt/sources.list.d/k6.list
sudo apt-get update
sudo apt-get install k6

import http from 'k6/http';
import { check, sleep } from 'k6';

export let options = {
  stages: [
    { duration: '2m', target: 100 },  // 램프 업
    { duration: '5m', target: 100 },  // 100 유지
    { duration: '2m', target: 200 },  // 200으로 램프
    { duration: '5m', target: 200 },  // 200 유지
    { duration: '2m', target: 0 },    // 램프 다운
  ],
  thresholds: {
    http_req_duration: ['p(95)<500'],  // 95%가 500ms 미만
    http_req_failed: ['rate<0.1'],     // 오류율 < 10%
  },
};

export default function() {
  let payload = JSON.stringify({
    model: 'gpt-3.5-turbo',
    messages: [{ role: 'user', content: 'Hello' }],
  });

  let params = {
    headers: { 'Content-Type': 'application/json' },
  };

  let res = http.post('http://localhost:8080/v1/chat/completions', payload, params);

  check(res, {
    'status is 200': (r) => r.status === 200,
    'response time < 500ms': (r) => r.timings.duration < 500,
  });

  sleep(1);
}

k6 run load-test.js

metrics:
  enabled: true
  endpoint: "/metrics"
  auth:
    enabled: true
    username: "metrics"
    password: "secure_password"

# 요청 속도
rate(http_requests_total[5m])

# 오류율
rate(http_requests_total{status=~"5.."}[5m])

# P95 지연 시간
histogram_quantile(0.95, http_request_duration_seconds_bucket)

# 백엔드 헬스
backend_health_status