RelateAnything Lab

01 / DIAGNOSIS

관계 점수가 사라지는 이유를 추적하기

병을 잡아 올렸다가 테이블에 내려놓는 약 20초 영상을 생성했습니다. 같은 영상의 모든 프레임에 YOLO11s와 RelateAnything을 실행하고, 사람이 병을 잡는 관계와 병이 테이블 위에 있는 관계를 살펴봤습니다.

초기 실행은 프레임마다 bottle로 분류된 검출만 선택했습니다. 그런데 병을 든 구간의 물체가 vase, cell phone, cup으로 바뀌어 분류되면서, 위치가 검출되어도 병의 관계 모델 입력에서는 제외됐습니다.

02 / IMPLEMENTATION

물체의 동일성과 관계 점수 분리

신뢰도가 높은 bottle 검출로 객체를 초기화한 뒤, 다음 프레임의 모든 분류 후보를 위치·이동·크기로 연결합니다. 현재 프레임에서 실제로 관찰된 박스만 관계 모델에 전달합니다. 검출이 없으면 점수를 미관측으로 남깁니다.

RelateAnything은 이미지 한 장과 영역, 관계 어휘를 입력받는 프레임별 모델입니다. 이전 프레임을 기억하는 객체 연결과 EMA·히스테리시스는 별도로 구현했습니다. 모델 점수와 시간 후처리의 상태를 나누어 표시합니다.

1. 01영상 프레임

   원본 시간과 프레임 번호

2. 02검출·객체 연결

   현재 관찰된 영역

3. 03RelateAnything

   방향성 객체 쌍 × 관계 점수

4. 04기록·비교

   원시 예측 / 시간 후처리

03 / EVIDENCE

누락과 오탐을 따로 평가하기

추론 전에 영상을 보고 0.25초 간격으로 초안 라벨을 작성했습니다. 접촉 전환이 불명확한 프레임은 uncertain으로 제외하고, 프레임 번호를 정확히 맞춰 평가합니다. 생성 요청에 적은 동작 시간은 정답으로 사용하지 않았습니다.

검출 누락은 관계가 거짓이라는 관찰과 다릅니다. 조건부 지표와 전체 파이프라인 지표를 함께 확인하며, 전체 평가에서는 양성 관계를 관찰하지 못한 경우도 FN에 포함합니다. 0.5 임계값은 별도 검증셋에서 최적화한 값이 아닙니다.

초기 자동 검출은 병 영역을 287/481프레임에서 제공했고 holding F1은 0.120이었습니다. 분류에 관계없이 같은 물체를 연결한 뒤에는 481프레임 모두에서 실제 관찰 박스를 확보했고, 시간 후처리 전 F1은 0.825였습니다. 정밀도는 70.2%, 재현율은 100%였으며 오탐 14개는 남았습니다.

시간 후처리는 holding 오탐을 14개에서 13개로 줄였고 F1은 0.835였습니다. on 관계는 추적 후에도 양성 56개를 모두 놓쳤습니다. 객체를 유지하는 개선과 관계를 정확히 판정하는 문제를 구분해 남은 실패도 함께 공개합니다.

RTX 4090·FP32·배치 1에서 추적과 후처리를 포함한 파이프라인의 평균은 38.68ms/프레임, p95는 46.14ms였습니다. 평균 시간의 역수는 약 25.85 FPS이며 웹 재생 속도나 배포 서버의 성능 수치는 아닙니다.

04 / RECORDED DEMO

원본·추론·후처리를 같은 시점에 비교

공개 데모에서는 원본 영상과 저장된 실행 결과를 같은 시점에 확인합니다. 객체가 어떤 분류로 관찰됐는지, 관계 점수가 있는지, 시간 후처리로 표시 상태가 어떻게 바뀌는지 구분합니다.

Vercel은 결과 탐색 화면을 제공합니다. 이 공개 페이지에서 GPU 모델을 실행하거나 업로드한 새 영상의 관계를 계산하지 않습니다. 표시된 실행 시간은 로컬 RTX 4090에서 측정한 기록입니다.

ENGINEERING DECISIONS

설계 판단