AI · 컴퓨터 비전 실험 모음

Vision Lab

공개 비전 모델의 추론을 연결하고 평가·시각화를 구현했습니다. 18개 기술 페이지에서 객체 관계, 동작 비교, 물리 제어, 추적·자세 추정·모션 캡처·이상 탐지의 실행 결과와 오류를 살펴보고, 실행한 단계와 모델 공개·접근·파일 준비가 필요한 단계를 구분합니다.

역할추론 연동 · 평가 설계 · 오류 분석 · 제어 구현 · 결과 뷰어
기간2026.09–11
주요 도구Python · PyTorch · MuJoCo · WebGL · Vercel
Vision LabDAVIS 기차 영상 위에 투영한 TraceAnything의 3D 궤적
직접 실행한 기차 80프레임 실험의 한 장면. 색 궤적은 모델 추정치이며, 웹에서는 저장된 결과를 탐색합니다.
기술별 페이지
18

실제 실행 결과 · 단계별 진행 · 모델 준비 상태

관계 인식 입력 프레임
481

하나의 생성 영상 · 기본·개선 실행 비교

물리 시뮬레이션 평가
400

한 기준 동작·4관절 모형의 내부 반복

01 / EXPERIMENT MAP

기술별 실행 범위

기존 5개 실험에 13개 기술 페이지를 추가했습니다. 18개는 페이지 수이며, 18개 모델의 전체 파이프라인 실행 성공을 뜻하지 않습니다. 결과가 있는 페이지에서는 입력과 원시 예측을 비교하고, 준비 중인 페이지에는 완료 단계와 필요한 모델 공개·접근·파일을 기록합니다. 관계 인식과 동작·제어의 상세 설계는 기존 사례로 연결합니다.

실험살펴보는 것실행 범위
RelateAnything객체 연결 전후의 관계 점수와 오류생성 영상 481프레임
MotionCheck V12D 관절과 시간 정렬로 동작 차이 비교기준·수행 영상과 오류 사례
MotionCheck V2동작 단계 판정과 MuJoCo 팔의 토크 제어내부 시뮬레이션 400회
TraceAnything영상 위 궤적과 3D 점군기차 80·춤 90프레임과 입력 변형
DeepLabCut사람·생쥐의 2D 키포인트와 사람의 3D 포즈 추정춤 90프레임·17관절, 생쥐 120프레임·27점
TAPNext++영상 속 표면 점의 2D 궤적춤 90·기차 80프레임 실제 추론
Sapiens2308개 키포인트와 신체·의복 영역 분할춤 90프레임, pose·segmentation 각각 실행
HTD-RefinePVA-Net의 관절 위치·속도·가속도 추정90프레임 PVA-Net 실행 · 최종 메시 보정 대기
ReViV1인칭 영상의 몸·양손·카메라·시선·상대 깊이 추정공식 2초 예제 · 256 모델의 16입력 프레임 → 60모션 프레임
4DAnyone사람 영상에서 새로운 시점의 영상 생성공개 가중치 준비 · SMPLX_NEUTRAL.npz 파일 필요
SAM 3.1텍스트로 지정한 대상의 마스크·ID 추적코드·환경 준비 · 모델 접근 승인 대기
Fast SAM 3D Body이미지별 인체 메시 추정 가속모델 API import 확인 · 가중치 접근 승인 대기
CARI4D사람과 물체의 3D 동작·상호작용 복원코드·환경 준비 · SMPL-H 모델 파일 필요
Dense4D몸·옷·머리카락의 밀집 4D 표면 대응공식 데모 연결 · 코드·가중치 공개 대기 · 자체 추론 미실행
S4VY시공간에 걸친 물체 영역 분할과 ID 연결춤 90프레임의 기존 분할·점 추적 비교와 입력점 준비 · S4VY 코드 공개 승인 대기
PatchCore정상 오렌지와의 외관 차이·이상 히트맵·놓친 사례사진 248장 평가 · 실제 선별 라인 247프레임 검출·추적 연동
SOMA인물별 골격 자세에 따른 피부·근육 변형공식 자료 조사 · SKIM v2 데이터·가중치 접근 미승인 · 자체 추론 미실행
MoCapAnything V2참조 골격을 사용하는 관절 위치·회전 추정과 BVH 내보내기재규어 렌더링 34프레임·북극곰 wild sample 103프레임 실제 추론

02 / MY CONTRIBUTION

구현한 기능과 검증 범위

구현에서는 객체 연결·시간 후처리, 관절 비교·단계 판정, MuJoCo 토크 제어를 구성했습니다. TraceAnything 추론은 Windows와 24GB GPU에 맞춰 실행 순서와 attention 호환 처리를 조정하고, 내보낸 좌표가 원시 예측과 일치하는지 확인했습니다.

평가에서는 관측 누락과 관계 오분류, 자세 차이와 시간 차이, 제어 오차와 완료 여부를 구분했습니다. DeepLabCut은 기본 설정과 대상 박스 선택 조건을 비교하고, 예측 신뢰도와 실제 정확도를 구분해 기록했습니다. 추가 모델은 실행한 단계·내보낸 데이터·남은 조건을 기록하고, 실제 결과와 준비 상태를 같은 Vercel 사이트의 18개 기술 페이지로 연결했습니다.

03 / 2D POINT TRACKING

TAPNext++

공식 공개 가중치로 춤 90프레임과 기차 80프레임의 2D 점 추적을 실행했습니다. 원본 영상 위 궤적과 프레임별 예측을 함께 제공해 같은 점이 어디로 이동하는지, 어느 구간에서 표면을 벗어나는지 확인할 수 있습니다.

결과는 영상 픽셀 좌표의 점 궤적입니다. 인체 관절 이름이나 세계 좌표의 3D 이동을 추정한 결과가 아니며, 가림·빠른 회전에서의 오류와 정답 대비 정확도는 별도 검증이 필요합니다.

04 / POSE AND SEGMENTATION

Sapiens2

같은 춤 90프레임에 Sapiens2-0.4B의 pose와 segmentation을 각각 실행했습니다. 308개 키포인트와 배경을 포함한 29개 신체·의복 분할 클래스의 결과를 원본과 비교합니다. 모델 가중치는 로컬에 두고 영상, 원시 예측, 실행 조건을 내보냈습니다.

Pose는 프레임마다 가장 큰 사람 검출 박스를 선택하고, segmentation은 프레임별로 영역을 분할합니다. 시간에 걸친 사람 ID나 마스크 일관성을 보장하지 않습니다. 관절 점수는 1을 넘을 수 있는 원시 heatmap 값이며, 확률·정확도로 표시하지 않았습니다. 내보낸 90프레임과 원시 데이터의 일치를 확인했습니다.

05 / PARTIAL PIPELINE

HTD-Refine

HTD-Refine의 PVA-Net 단계에서 공식 운동 예제 90프레임의 관절 위치·속도·가속도를 추정했습니다. 이 단계의 실제 출력과 입력을 공개하고, 전체 파이프라인에서 어디까지 실행했는지 구분했습니다.

최종 인체 메시 보정은 실행하지 않았습니다. 별도 SMPLX_NEUTRAL.npz 모델 파일이 필요하며, PVA-Net 결과를 완성된 3D 모션 보정이나 메시 복원으로 표현하지 않습니다.

06 / EGOCENTRIC MOTION

ReViV

공식 2초 RGB 예제에 256×256 reviv_500b 모델을 실행해 몸, 양손, 카메라, 시선과 상대 깊이를 추정했습니다. 원본 32프레임·16fps에서 16프레임·8fps를 입력으로 선택했고, 몸·손·카메라·시선은 60프레임·30fps로 출력됩니다. 상대 깊이는 16프레임·8fps 출력입니다. 뷰어에서는 원본과 깊이 프레임을 반복해 같은 시간축으로 비교합니다.

몸·카메라 3D 뷰는 예측 좌표계를 그대로 사용했습니다. 양손의 화면 재투영에만 공식 예제의 정답 카메라 내부 파라미터 K를 사용했고, 모델 추론 입력에는 넣지 않았습니다. 특히 첫 프레임의 손 위치가 영상과 크게 어긋나는 결과를 수동 수정 없이 보존했습니다.

단일 공식 예제의 실행·출력 형식을 확인한 실험이며, 정답 관절·시선과 정확도를 비교하지 않았습니다. 회색조 상대 깊이는 실제 미터 단위 거리로 검증하지 않았습니다. Cosmos 1.0 접근 동의가 필요한 512×512 metric_depth 모델은 실행하지 않았습니다.

07 / KEYPOINT ESTIMATION

DeepLabCut

SuperAnimalHumanBody의 RTMPose-x로 춤 영상 90프레임의 17관절을, SuperAnimalTopViewMouse의 HRNet-w32로 생쥐 영상 120프레임의 27개 키포인트를 추론했습니다. 원본과 예측 영상을 같은 프레임으로 비교하고, 실행 조건·신뢰도·예측 데이터를 함께 제공합니다.

여러 사람이 있는 춤 영상의 기본 설정에서 대상 인물이 바뀌는 오류를 확인했습니다. 프레임마다 가장 큰 검출 박스를 선택하는 조건을 추가해 비교했습니다. 이 규칙은 사람의 신원을 연결하는 추적기가 아니며, 같은 인물이 계속 선택되거나 관절 위치가 정확하다는 보장은 없습니다.

같은 춤 90프레임에 FMPose3D 0.0.10의 공식 연동으로 H36M 17관절의 3D 추정을 실행했습니다. 별도 YOLOv3·HRNet-w48 입력을 사용하며, 기본·최대 박스 선택의 예측과 회전 영상을 비교합니다. 골반 기준 상대 좌표이고, 최대 박스 선택에서도 60프레임 부근의 관절 오배치가 남아 있습니다.

08 / 3D TRACKING

TraceAnything

TraceAnything으로 DAVIS 기차 80프레임과 춤 90프레임을 추론했습니다. 춤은 전체 90프레임, 3프레임마다 선택한 30프레임, 인물 주변을 고정 크롭한 30프레임을 비교합니다. 원영상 위 투영과 회전 가능한 3D 뷰를 함께 제공합니다.

DAVIS 마스크는 표시할 대상, 고정 크롭과 카메라 정합 가중치에 사용했습니다. 마스크가 예측된 3D 좌표를 교정하지는 않습니다. 빠른 회전과 가림에서 점이 몸 표면을 벗어나는 오차가 남아 있어 현재 품질 검토 중입니다.

09 / ANOMALY DETECTION

PatchCore

PatchCore를 별도 PyTorch 구현으로 연결해 정상 오렌지 사진 110장의 특징 메모리 뱅크를 만들고, 별도 정상 30장으로 임계값을 고정했습니다. 평가 사진 248장의 원본·이상 히트맵·점수와 놓친 사례를 공개합니다. 불량 198장 중 12장만 검출해 재현율은 6.06%였고, 정상 50장에서는 오탐이 없었습니다. 낮은 검출 성능을 그대로 남긴 탐색 실험입니다.

실제 Pexels 선별 라인 영상 247프레임에는 RF-DETR Small 검출, ByteTrack 추적, PatchCore 이상 점수와 연속 프레임 판정을 연결했습니다. 저장된 원본·오버레이와 추적 기록을 비교할 수 있습니다. 이 영상은 사진과 촬영 조건이 다르고 품질 정답이 없어, 파이프라인 연동 확인 범위로 기록했습니다.

10 / MOTION CAPTURE

MoCapAnything V2

저자가 공개한 clean reimplementation과 가중치로 Jaguar-Run 렌더링 예제 34프레임·30fps의 39관절과 북극곰 wild sample 배경 제거본 103프레임·15fps의 34관절을 추론했습니다. 단안 영상과 참조 자산의 단일 참조 프레임·골격 정보를 입력해 관절 위치와 회전을 얻고, 예측 회전을 BVH 파일로 내보냈습니다.

입력 영상과 회전 가능한 3D 관절을 같은 프레임으로 비교하고, 직접 예측한 관절 위치와 내보낸 BVH를 다시 읽어 계산한 FK 관절 위치를 전환해 살펴볼 수 있습니다. 원시 좌표·영상·BVH와 실행 조건을 함께 제공합니다. 두 공개 예제의 실행 검증이며 논문 벤치마크 재현은 아닙니다. 북극곰 영상에는 정답 관절이 없어 정확도를 계산하지 않았습니다.

ENGINEERING DECISIONS

설계 판단

01

추론과 결과 탐색 분리

GPU 추론은 로컬에서 실행하고 프레임별 출력과 실행 조건을 저장합니다. 브라우저에서는 모델을 다시 실행하지 않고 같은 시점의 입력과 결과를 비교합니다.

02

예측·후처리·시각화를 구분

마스크 선택이나 보기 좋은 시각화를 정확도 개선으로 표현하지 않습니다. 원시 출력과 처리 조건을 남겨 결과를 다시 확인할 수 있게 합니다.

SCOPE & LIMITS

한계와 검증 범위

  • MoCapAnything V2는 2026년 11월 3일 공개 재규어 렌더링 예제와 저자가 배경을 제거한 북극곰 wild sample로 실행했습니다. 배포 저장소의 clean reimplementation을 사용했으며 논문의 평가 수치와 동등한 결과를 주장하지 않습니다. 북극곰의 원 촬영 조건과 카메라 정보는 확인하지 못했습니다. 루트 기준 정규화 좌표이므로 실제 세계 이동·미터 단위 크기를 복원한 결과가 아닙니다. 참조 자산의 골격이 필요하고 새로운 사람·동물·리그에 대한 일반화 성능은 검증하지 않았습니다.
  • SOMA는 2026년 10월 29일 공개 MIT 코드와 SKIM v2 자료를 조사했습니다. 추론에는 해당 인물의 골격 자세·해부학적 메시·리그·학습 가중치가 필요하며, 임의의 단안 영상을 바로 처리하는 모델이 아닙니다. 데이터·가중치는 기관 계정 승인과 비상업적 학술 이용 조건이 있는 포털에서 배포됩니다. 접근 승인 계정이 없어 자체 추론은 실행하지 않았으며, MIT 코드 라이선스를 데이터·가중치 재배포 허가로 적용하지 않습니다.
  • PatchCore 사진 실험은 불량 198장 중 186장을 놓쳤습니다. 선별 라인 영상에는 품질 정답이 없고 사진 학습과 촬영 환경이 달라, 영상의 이상 표시를 불량 확정이나 산업용 품질 검증으로 해석할 수 없습니다. 추적 ID 수는 실제 과일 개수가 아니며, 히트맵의 결함 위치 정확도도 검증하지 않았습니다.
  • S4VY는 2026년 10월 29일 공식 저장소에서 코드 공개 승인 대기 상태를 확인했습니다. 같은 춤 90프레임의 원본·기존 Sapiens2 의미 분할·TAPNext++ 2D 점 추적을 동기화해 비교하고, 선택한 입력점 좌표를 내보내는 준비 화면을 구현했습니다. 이는 S4VY 추론이나 사람 ID 추적 결과가 아닙니다. 공식 Playground는 저자의 재구성 메시 탐색이며 사용자 영상 업로드 기능은 없습니다.
  • Dense4D는 2026년 10월 20일 공식 페이지의 Code Coming soon 상태를 확인했습니다. 논문 조사와 저자의 사전 계산 데모 연결만 포함하며, 이 프로젝트의 추론·설치 성공 사례로 세지 않습니다.
  • 이 프로젝트의 기여는 공개 모델을 연결한 구현·평가·시각화입니다. 원본 모델을 개발하거나 재학습한 결과가 아니며, Vercel은 저장된 결과를 제공하고 새 영상의 GPU 추론을 실행하지 않습니다.
  • 18개 기술 페이지에는 실제 결과, 일부 단계만 실행한 결과, 모델 공개·접근·파일 준비 중인 항목이 함께 있습니다. SAM 3.1·Fast SAM 3D Body는 공식 가중치 접근 승인이, 4DAnyone·HTD-Refine의 후속 단계는 SMPLX_NEUTRAL.npz가, CARI4D는 SMPL-H 모델 파일이 필요합니다. 코드 설치·import 성공을 추론 완료로 세지 않습니다.
  • 관계 인식의 on 관계 실패, 실제 동작 영상의 판정 보류·오거절, 3D 추적의 드리프트, DeepLabCut의 대상 전환과 키포인트 오차가 남아 있습니다. 제한된 입력의 개발 실험이며 실제 로봇이나 새로운 사람·장면에 대한 일반화 성능을 입증하지 않습니다.
  • DeepLabCut 화면의 신뢰도는 2D 모델의 출력이며, 정답 대비 정확도나 FMPose3D의 3D 정확도를 뜻하지 않습니다. FMPose3D는 골반 원점의 상대 좌표로, 실제 세계 좌표 이동·미터 단위·정답 대비 3D 정확도를 검증하지 않았습니다. 장시간 개인 식별 추적도 검증 범위에 포함되지 않습니다.
  • TraceAnything은 2026년 9월 29일 조사에서 코드 공개를 확인하지 못한 TrackEverything과는 별도 모델입니다. 이 실행은 999프레임 이상 추적이나 정답 대비 3D 정확도를 검증한 결과가 아닙니다. TAPNext++는 2D 점 추적이고, Sapiens2는 프레임별 자세·분할 추정입니다.
다음 사례RelateAnything ↗
같이 만들어요hyunaeee@gmail.com ↗

포트폴리오 PDF

역할, 설계 판단, 검증 결과와 자료 링크를 함께 담습니다.

인쇄 창에서 ‘PDF로 저장’을 선택하세요.