Research Portfolio

실제 환경의 변동성에 강건한 시각 · 멀티모달 인식

비전 기반 동적 환경 인식  ·  멀티모달 정서 이해  ·  산업 검사 및 HCI를 위한 강건한 인식
WACV 2026 Best Paper  ·  SoccerNet Challenge 2025 1위  ·  국제 학술대회 및 저널 논문 10편

AI Researcher | 황예원

Index

01 이력사항 경력 · 학력 · 기술역량 · 수상 · 논문 및 특허
02 Research Overview 실제 환경의 변동성에 강건한 인식 — 세 가지 연구 축
03 비전 기반 동적 환경 인식 Game State Reconstruction (MOT · Homography) · Spatiotemporal Event Spotting Broadcast2Pitch  ·  WACV 2026 Best Paper STES  ·  BMVC 2025
04 Multimodal Affective Understanding under Limited Supervision 추가 annotation 없이 부족한 supervision을 생성하는 joint training SUGRM  ·  EACL Findings 2023 EASUM  ·  WACV 2024
05 Robust Perception for Industrial Inspection & HCI 가변 입력 · 사용자별 패턴에 강건한 인식 모델 MarsNet  ·  IEEE Access 2020 Invisible Mobile Keyboard  ·  IJCAI 2021 Writing in the Air  ·  IEEE Trans. on AI 2022
02
01 이력사항 프로필 · 경력
황예원
황예원
AI Researcher
+82 010-6624-5581 yewonhwang0816@gmail.com linkedin.com /in/yhwang16
PROFILE

멀티모달 데이터와 대규모 AI 모델을 활용한 지능형 시스템 연구개발 경험을 보유한 AI 연구자입니다. 영상·센서·언어 데이터 기반 환경 이해, 감정 인식, 다중객체 탐지·추적·식별, task planning 모델을 설계·구현하였으며, 데이터 구축부터 분석, 모델 설계 및 학습, 성능 검증, 시스템 통합까지 AI 개발 전 주기에 걸친 end-to-end 경험을 보유하고 있습니다.

EXPERIENCE
박사후연구원 한국과학기술연구원 (KIST) 09.2024 – 10.2026
비전 기반 동적 환경 이해 AI 시스템 개발
  • 다중 객체의 위치 · 식별정보를 동시에 추론하는 AI 시스템 개발
  • 영상 기반 객체 추적 및 추적 결과 후보정 알고리즘 설계
  • VLM fine-tuning을 통한 시각-언어 정합 기반 객체 식별
  • 영상 데이터를 정형화된 좌표계로 투영하여 scene understanding 수행
Raw 데이터 기반 AI 시스템 구축
  • 대규모 영상 데이터 수집, 라벨링 설계, 라벨링 툴 공동 개발
  • 데이터 정제, 노이즈 분석, 오류 분석을 포함한 데이터 중심 AI 개발 수행
헬스케어 멀티모달 AI 연구
  • IMU 센서 및 영상 기반 키포인트를 활용한 멀티모달 융합 모델 개발
  • 시간적 패턴을 반영한 temporal modeling 및 상태 변화 분석
  • 특징 및 모달리티 수준에서의 해석 가능한 모델 설계를 통해 모델 신뢰성 확보
박사과정 연구원 한국과학기술원 (KAIST) 02.2021 – 08.2024
  • 멀티모달 감정 이해 — 텍스트/음성/영상 기반 표현 학습 모델 및 크로스모달 정합 구조 설계, 노이즈·결측 모달리티 환경에서의 강건한 학습 기법 개발
  • LLM 기반 태스크 플래닝 — 자연어 명령을 행동 시퀀스로 변환하는 모델 개발, 동적 환경의 객체 상태 변화 및 관계를 반영한 reasoning 구조 설계
석사과정 연구원 한국과학기술원 (KAIST) 02.2019 – 02.2021
  • 인간-컴퓨터 상호작용 — 손가락 움직임 인식 기반 비접촉 입력 시스템 및 좌표 기반 모바일 텍스트 입력 모델 설계
  • 산업용 비전 기반 결함 검출 — CNN 기반 멀티라벨 결함 분류 모델 개발, 다양한 해상도 및 입력 조건에서 강건한 모델 설계
03
01 이력사항 학력 · 기술역량 · 수상 · 활동
EDUCATION
전기및전자공학 박사 한국과학기술원 (KAIST) 2021.02 – 2024.08
전기및전자공학 석사 한국과학기술원 (KAIST) 2019.02 – 2021.02
기계공학 학사 펜실베니아주립대학교 (Pennsylvania State University‑University Park) 2014.08 – 2018.05
AWARDS
WACV 2026 Best Paper2026
SoccerNet Challenge 2025 1위2025
LANGUAGES
한국어
원어민 레벨
영어
원어민 레벨
TECHNICAL SKILLS
AI / ML
다중 객체 추적 멀티모달 러닝 VLM LLM 기반 추론 시간적 모델링
FRAMEWORK
PyTorch Python
PATENTS
[1] Jong Hwan Kim, Juyoun Park, Yewon Hwang, Jin Man Park, Seung Jae Lee, Tae Min Choi, Yong Ho Yoo, Duk Young Lee. “Substrate Inspection Apparatus and Method of Determining Fault Type of Screen Printer.” US 11,531,843 B2, 2022.
[2] 김종환, 유상민, 김의환, 황예원. “소프트 키보드를 분석 및 제공하기 위한 장치 및 그에 관한 방법.” 한국, 10-2021-0026835, 2021.
ACTIVITIES
AI World Cup 2018 영어 MC 및 해설자
  • 행사 진행 및 경기 해설 수행
Women in Engineering Program 학습 진행자
  • 학습 세션을 운영하며 개념 설명과 문제 풀이, 시험 대비 지원
  • 학습 자료와 예제를 개발하고 협력적 학습 환경을 조성하여 학생들의 이해도와 성취도 향상에 기여
04
01 이력사항 논문

Publications

국제 학술대회 및 저널 논문 10편  ·  WACV 2026 Best Paper 수상  ·  * 공동 제1저자

[1] Yewon Hwang, Yin May Oo, Muhammad Amrulloh Robbani, Vanyi Chao, Ankhzaya Jamsrandorj, Hoang Quoc Nguyen, Kyung-Ryoul Mun, Jinwook Kim. “Broadcast2Pitch++: Depth-Aware Game State Reconstruction from Unconstrained Soccer Videos.” Machine Vision and Applications, 2026.
[2] Yin May Oo*, Yewon Hwang*, Muhammad Amrulloh Robbani, Vanyi Chao, Ankhzaya Jamsrandorj, Hoang Quoc Nguyen, Kyung-Ryoul Mun, Jinwook Kim. “Broadcast2Pitch: Game State Reconstruction from Unconstrained Soccer Videos.” WACV, 2026.
[3] Ankhzaya Jamsrandorj, Vanyi Chao, Hoang Quoc Nguyen, Yin May Oo, Muhammad Amrulloh Robbani, Yewon Hwang, Kyung-Ryoul Mun, Jinwook Kim. “Spatiotemporal Event Spotting via 3D Heatmaps with Dynamically Shifted Gaussian Kernels.” BMVC, 2025.
[4] Yin May Oo, Ankhzaya Jamsrandorj, Vanyi Chao, Hoang Quoc Nguyen, Yewon Hwang, Kyung-Ryoul Mun, Jinwook Kim. “Jump-Aware: Player Position Rectification and Identification in Dynamic Sports Using Jump Event Spotting.” CVsports @ CVPR, 2025.
[5] Yewon Hwang, Jong-Hwan Kim. “EASUM: Enhancing Affective State Understanding through Joint Sentiment and Emotion Modeling for Multimodal Tasks.” WACV, 2024.
[6] Yewon Hwang, Jong-Hwan Kim. “Self-Supervised Unimodal Label Generation Strategy Using Recalibrated Modality Representations for Multimodal Sentiment Analysis.” EACL Findings, 2023.
[7] Curie Kim, Yewon Hwang, Jong-Hwan Kim. “Deep Q-Network for AI Soccer.” International Conference on Robot Intelligence Technology and Applications, 2022.
[8] Ue-Hwan Kim*, Yewon Hwang*, Sun-Kyung Lee, Jong-Hwan Kim. “Writing in The Air: Unconstrained Text Recognition from Finger Movement Using Spatio-Temporal Convolution.” IEEE Trans. on Artificial Intelligence (TAI), 2022.
[9] Sahng-Min Yoo, Ue-Hwan Kim, Yewon Hwang, Jong-Hwan Kim. “Type Anywhere You Want: An Introduction to Invisible Mobile Keyboard.” IJCAI, 2021.
[10] Ju-Youn Park, Yewon Hwang, Dukyoung Lee, Jong-Hwan Kim. “MarsNet: Multi-Label Classification Network for Images of Various Sizes.” IEEE Access, 2020.
05
02 Research Overview 세 가지 연구 축

실제 환경의 변동성에 강건한 인식

움직이는 카메라와 객체, 부족한 라벨, 가변적인 입력과 사용자별 차이처럼 실제 환경의 변동성 속에서도 안정적으로 동작하는 인식 모델을 연구

03
비전 기반 동적 환경 인식

스포츠 중계 영상에서 누가 · 어디에 있고 언제 · 어디서 무엇이 일어났는지 인식

  • Game State Reconstruction — MOT · Homography · VLM 식별
  • Spatiotemporal Event Spotting — 3D heatmap
Broadcast2Pitch · WACV 2026 Best Paper
Broadcast2Pitch++ · MVA 2026
STES · BMVC 2025  |  Jump-Aware · CVsports@CVPR 2025
04
멀티모달 정서 이해

라벨이 부족한 환경에서 추가 annotation 없이 supervision을 생성하고 함께 학습

  • 모달리티별 라벨 생성 — SUGRM
  • 태스크 간 pseudo label 전이 — EASUM
SUGRM · EACL Findings 2023
EASUM · WACV 2024
05
산업 검사 및 HCI를 위한 강건한 인식

가변적인 입력 해상도와 사용자별 입력 패턴에 강건한 인식 모델

  • PCB 결함 분류 — MarsNet
  • 터치 · 공중 필기 입력 인식 — IMK · WiTA
MarsNet · IEEE Access 2020
IMK · IJCAI 2021  |  WiTA · IEEE TAI 2022
06
03 비전 기반 동적 환경 인식 Overview

비전 기반 동적 환경 인식

카메라와 객체가 끊임없이 움직이는 스포츠 중계 영상에서 누가 · 어디에 있는지와 언제 · 어디서 무엇이 일어났는지를 인식

GSRGame State Reconstruction
Who & Where
  • 다중 객체 추적 (MOT) — 급격한 움직임 · 유사한 외형 · 시야 이탈 속에서 선수 궤적과 ID 유지
  • Homography 기반 좌표 정합 — 영상 좌표를 경기장 평면 좌표로 변환
  • VLM 기반 식별 — 역할 · 소속 팀 · 등번호 인식
→ 모든 선수의 2D 위치와 신원 정보를 평면도에 복원
STESSpatiotemporal Event Spotting
When & Where
  • 새로운 태스크 정의 — 이벤트의 발생 프레임과 위치를 동시에 검출
  • 3D Heatmap with Dynamically Shifted Gaussian Kernels — 공의 궤적을 따라 이동하는 시공간 표현
  • VNL 데이터셋 구축 — 8개 이벤트에 대한 시공간 라벨
→ 경기 이벤트가 언제 · 어디서 발생했는지 검출
선수 상태와 경기 이벤트를 공통 경기장 좌표계 위에서 결합하여
동적 장면을 시간 · 공간적으로 함께 이해하는 것을 목표로 합니다.
07
03 GSR Game State Reconstruction (GSR)

Game State Reconstruction

영상으로부터 모든 선수의 2D 위치와 신원 정보(역할 · 소속 팀 · 등번호)를 2D 평면도에 복원하는 태스크

Broadcast2Pitch 파이프라인
Broadcast2Pitch 파이프라인 — Sports Field Registration(Keypoint & Line Detection → Homography Estimation)과 Player Detection · Tracking · Identification(YOLOX → ReID → DeepEIoU → VLM 기반 Identification → Tracklet Refinement)을 결합하여 Pitch-space tracklet을 복원
Broadcast video와 Pitch map
Broadcast video(좌) → Pitch map(우) 복원 결과
담당지원자가 맡은 부분
  • 다중 객체 탐지 및 추적과 Tracklet 후보정
  • Depth-aware Association 설계
  • VLM 기반 객체 식별
08
03 GSR · MOT 다중 객체 추적 (MOT)

스포츠 영상에서의 선수 추적 문제와 해결 방법

선수의 급격한 움직임과 동일 유니폼으로 인한 높은 외형 유사성은
위치 정보만으로 신원을 유지하기 어렵게 만드는 두 가지 핵심 난제입니다.
01비선형적이고 급격한 선수 움직임

문제 — 선수의 급격한 방향 전환과 속도 변화로 인해 Kalman Filter 기반 위치 예측의 정확도가 저하될 수 있음.

해결 — Expanded IoU를 활용하여 예측 위치 주변의 공간적 허용 범위를 확장하고, 급격한 움직임에도 선수 간 연관 관계를 안정적으로 유지.

02동일한 유니폼으로 인한 높은 외형 유사성

문제 — 같은 팀 선수들은 유니폼 색상과 형태가 유사하여, 위치 정보만으로는 선수의 신원을 구분하기 어려움.

해결 — ReID 모델을 활용하여 선수의 외형적 특징을 추출하고, Query 선수와 Gallery 후보 간 특징 유사도를 비교하여 동일 선수 여부를 식별.

09
03 GSR · MOT 객체 추적 방법

YOLOX 탐지 + Deep-EIoU 기반 추적

DeepEIoU 프레임워크
Deep-EIoU 프레임워크 — 탐지 신뢰도에 따라 High / Unmatched / Low Score Detection으로 분기하고, 각 분기에서 Expansion 후 EIoU 및 ReID 기반 Association 수행
1
YOLOX를 활용한 객체 탐지
프레임 단위 선수 바운딩 박스 검출 및 ReID 모델을 통한 외형 임베딩 특징 추출
2
탐지 신뢰도 기반 2단계 매칭
탐지 신뢰도에 따라 외형 및 공간 정보를 선택적으로 활용하여 매칭 수행
3
반복적 확장 범위 증가
매칭 실패 시 바운딩 박스의 확장 범위를 점진적으로 증가시켜 급격한 움직임으로 인한 추적 단절을 완화하고 매칭 안정성을 향상
10
03 GSR · MOT 기존 Deep-EIoU의 한계 및 개선

Depth-aware Association

문제경로 교차 시 ID Switch 발생
  • 두 선수의 이동 경로가 교차할 때 바운딩 박스 간 IoU가 높아져 잘못된 매칭 발생
  • 2D 공간 정보만으로는 객체 간 앞뒤 관계를 충분히 구분하기 어려움
해결Depth-aware Association
  • 객체 간 깊이(Depth) 정보를 Association Cost에 추가
  • 2D 위치와 깊이 정보를 함께 활용하여 공간적 관계를 반영
  • 경로 교차 상황에서 동일 선수에 대한 매칭 정확도 향상
ID switch 감소 그래프
Depth 정보 추가 시 총 ID switch가 3,140 → 1,652로 감소하고, 49개 시퀀스 중 47개에서 개선
정성적 비교 — ID switch vs ID preserved
정성적 비교 — 경로 교차 구간에서 기존 Deep-EIoU는 ID switch가 발생하는 반면, Depth를 추가한 경우 동일 선수의 ID가 그대로 유지됨
47% ↓
ID Switch 감소
기존 Deep-EIoU 대비
47/49
개선된 시퀀스
Depth 적용이 유리한 구간 비율
3,140 → 1,652
총 ID Switch
SoccerNet-Tracking 전체 합계
11
03 GSR · MOT 장시간 추적을 위한 궤적 단절 보정

Identity-aware Tracklet Split & Merge

문제카메라 시야 이탈로 인한 궤적 단절
  • 선수가 카메라 시야에서 벗어났다가 재등장하면서 동일 선수의 궤적이 여러 Tracklet으로 분리
  • 분리된 Tracklet은 공간적 연속성을 잃고, 선수들의 유사한 외형으로 인해 잘못된 연결이 발생할 수 있음
해결ID-Aware Tracklet Split & Merge
Tracklet Split
프레임 간 시간 간격이 임계값 이상이고, 간격 전후의 선수 식별 정보가 불일치할 경우 궤적 분할
Tracklet Merge
외형 유사도, 공간적 연속성 및 선수 식별 정보를 Soft Association Cost로 통합하고, Cost가 임계값 이하이며 시공간적 연속성 조건을 만족하는 Tracklet을 병합
Sample 1 IDASTR 정제 결과
Sample 1 — 트래커가 4개의 ID로 분리한 동일 선수를 IDASTR이 하나(id 34)로 병합
Sample 2 IDASTR 정제 결과
Sample 2 — 3개로 분리된 궤적을 단일 ID(id 3)로 복원. 카메라 시야 이탈 및 재등장으로 분리된 Tracklet을 재연결하여 동일 선수의 궤적 연속성 복원
12
03 GSR · Homography Homography 기반 공간 좌표 정합

영상 기반 공간 좌표 정합 및 기하학적 변환 추정

연구 목표 — 영상의 선수 위치를 실제 경기장 좌표로 변환

Pitch keypoint/line 대응 및 투영 결과
Canonical Pitch Layout의 Keypoint(좌) 및 Line(중)과 영상 간 대응 관계로부터 Homography G를 추정하여 경기장 구조를 영상에 투영(우)
01How?
  • 영상 내 경기장 Keypoint 및 Line 검출
  • 실제 경기장 평면도(Pitch Map)와의 대응 관계를 활용한 Homography 추정
  • 영상 좌표를 경기장 평면 좌표로 변환하여 선수의 공간적 위치 복원
02핵심 기술
  • 대응점 추출 — 영상과 Pitch Map 간 keypoint 및 선의 대응 관계 구축
  • 기하학적 변환 추정 — 투영 기하학 기반 Homography 행렬 추정
  • 정합 오차 최적화 — 예측 keypoint와 실제 좌표 간 오차 최소화
03동적 환경 인식에서의 활용
  • GSR — 추적된 선수 위치를 경기장 평면 좌표로 투영하여 Pitch map 구성
  • Event Spotting — 픽셀 단위로 검출한 이벤트 위치를 경기장 좌표로 투영하여 이벤트의 공간 분포 분석
  • 움직이는 중계 카메라 환경에서 서로 다른 인식 결과를 공통 좌표계로 정렬
13
03 Event Spotting Spatiotemporal Event Spotting (STES)

이벤트가 언제, 그리고 어디서 일어났는가

기존 Temporal Event Spotting은 이벤트의 발생 시점만 검출 — 전술 분석에 필요한 발생 위치는 고려하지 않음

TES와 STES 비교
(a) Temporal Event Spotting은 “Spike”가 발생한 프레임만 찾는 반면, (b) Spatiotemporal Event Spotting은 프레임과 함께 이벤트가 발생한 위치(공의 위치)까지 검출 — 노란 박스: heatmap 확대
문제STES를 위한 데이터셋 · 모델 부재
  • TES(Temporal Event Spotting) 데이터셋(SoccerNet 등)은 공간 라벨이 없음
  • STAL(Spatiotemporal Action Localization)은 여러 프레임에 걸친 행동 구간을 다루며, 단일 프레임의 이산 이벤트 위치와는 다른 문제
기여태스크 · 데이터셋 · 모델
  • STES 태스크 정의 — 이벤트의 프레임 단위 시점과 픽셀 단위 위치를 동시에 검출
  • VNL 데이터셋 구축 — 반자동 라벨링 파이프라인(pseudo-label 생성 → 수작업 보정)으로 이벤트 시공간 라벨, 프레임별 공 위치, court homography(영상–코트 좌표 변환 정보) 제공
  • SoccerNet BAS(Ball Action Spotting) 벤치마크 확장 — 이벤트별 공간 라벨 추가 및 시간 라벨 보정
VNL Dataset Stats
24
경기 (남 12 · 여 12)
VNL 2022–2023 시즌
3,518
랠리 클립
총 579.5분
23,000+
시공간 이벤트 라벨
프레임 + 공 위치
8
이벤트 클래스
Serve · Receive · Set · Spike · Block · Dig · Pass · Score
14
03 Event Spotting 3D Heatmap 기반 시공간 이벤트 모델링

3D Heatmap with Dynamically Shifted Gaussian Kernels

학습용 GT 3D Heatmap 생성
  • 시간축 Gaussian — 이벤트 프레임에서 최대값(ω = 1)을 갖고 인접 프레임으로 갈수록 감쇠 — 이벤트 시점의 불확실성 반영
  • 동적으로 이동하는 공간 Gaussian — 각 프레임의 kernel 중심을 그 프레임의 공 위치에 두어, 고정된 중심 대신 공의 궤적을 따라 이동하는 motion-aware 표현 생성
프레임 t의 GT 값 = 이벤트 프레임으로부터의 시간 가중치 ω(t) × 그 프레임의 공 위치 (x₀(t), y₀(t))를 중심으로 한 2D Gaussian
H(x, y, t) = ω(t) · exp( −[(x − x₀(t))² + (y − y₀(t))²] / 2σs² )
ω(t) = exp( −t² / 2σt² )
모델 및 학습
  • 3D U-Net — 50프레임 클립을 입력받아 encoder–decoder와 skip connection으로 시공간 특징을 추출하고, 이벤트 클래스별 3D heatmap을 출력 (Cout = 이벤트 클래스 수)
  • 생성한 GT 3D heatmap과 모델이 예측한 3D heatmap 사이의 MSE loss로 학습
Dynamically shifted 3D heatmap
3D heatmap — 프레임마다 Gaussian 중심이 공을 따라 이동
3D U-Net 구조
3D U-Net — (3, T, H, W) 영상 클립 → (Cout, T, H, W) 3D heatmap, Cout = 이벤트 클래스 수
15
03 Event Spotting 실험 결과

배구 · 축구 영상에서의 시공간 이벤트 검출

85.63
VNL — Temporal mAP@2
E2E-Spot 85.31 · T-DEED 80.80
91.16
VNL — Spatial mAP@8px
@2px 71.10 · 픽셀 단위 위치 검출
57.25
SoccerNet BAS — Tight avg-mAP (1~5초 이내)
T-DEED 36.54 대비 +20.7%p
64.02
SoccerNet BAS — Loose avg-mAP (5~60초)
T-DEED 44.01 대비 +20.0%p
예측 heatmap 시각화
예측 heatmap 시각화 — 배구 Spike(위)와 축구 Pass(아래)에서 heatmap이 공의 궤적을 따라 이동하며 이벤트 프레임 주변에서 가장 강하게 활성화
주요 결과
  • BLOCK · DIG · SCORE처럼 정밀한 시공간 추론이 필요한 이벤트에서 특히 높은 성능
  • 시공간 heatmap 학습이 위치 정보뿐 아니라 이벤트 간 구분력까지 높여, 동작이 비슷해 시간 정보만으로는 구분이 어려운 HEADER · SHOT · CROSS에서 큰 성능 향상을 보임
  • Baseline이 전혀 검출하지 못한 THROW IN을 공 주변 공간 단서로 검출
  • 단순한 3D U-Net 구조로도 두 종목 모두에서 SOTA — 종목 간 일반화 확인
16
04 멀티모달 정서 이해 Overview

Joint Training을 통한 멀티모달 정서 이해

감정 데이터셋은 필요한 지도 신호를 일부만 제공합니다.
명시적인 정답이 없는 부분을, 이미 가진 정보로부터 만들어낼 수 있는가?
Limited
Supervision
두 연구가 공유하는 출발점
SUGRMEACL Findings 2023
→
Missing
unimodal labels
→
Generate modality-specific supervision
→
Complementary information
across modalities
EASUMWACV 2024
→
Missing sentiment /
emotion labels
→
Transfer complementary affective supervision
→
Complementary information
across affective tasks
17
04 SUGRM Problem definition  ·  EACL Findings 2023

모달리티별 정서 정보를 어떻게 더 효과적으로 학습할 것인가?

멀티모달 감정 분석 데이터셋은 하나의 통합 라벨만 제공할 뿐, 각 모달리티에 대한 라벨은 부재함

모달리티별 라벨 부재
음성·영상·텍스트 각각의 sentiment 라벨은 존재하지 않고, 데이터셋이 주는 것은 통합 라벨 하나뿐
1
지도 신호가 하나뿐
MSA 데이터셋은 multimodal sentiment label 하나만 제공하며, modality-specific supervision은 존재하지 않음
2
모달리티마다 신호가 다름
말은 긍정적이지만 표정은 부정적인 경우처럼, 각 모달리티는 서로 다르거나 상충하는 단서를 담을 수 있음
3
융합 표현만 학습하면 손실이 발생
fused representation만 학습할 경우 모달리티 고유의 감정 단서가 충분히 활용되지 못함
18
04 SUGRM Method

모달리티 재보정 MRM + 유니모달 라벨 생성 ULGM

Text Audio Video MRM Modality Recalibration Module Recalibrated Features Multimodal Task Unimodal Tasks (text · audio · video) GT Label multimodal only ULGM label generation Joint Training Multimodal + 3 Unimodal Tasks
1MRM — Modality Recalibration Module

각 모달리티를 다른 모달리티의 정보를 참조해 재가중 — 세 모달리티의 문맥에서 중요도를 산출하고, 그 가중치로 text · audio · video 특징을 다시 보정

2ULGM — Unimodal Label Generation Module

가정 — 공통 semantic space에서 feature 거리는 label 거리에 비례한다

멀티모달 feature와 각 유니모달 feature 사이의 거리로부터 label offset을 구하고, 이를 멀티모달 라벨에 더해 유니모달 라벨을 자동 생성 — 사람의 추가 annotation 불필요

19
04 EASUM Problem definition  ·  WACV 2024

Emotion과 Sentiment, 서로 상호보완적으로 학습할 수 있는가

Sentiment와 emotion 데이터셋은 각각 해당 task의 label만 제공

ASentiment Datasets
MOSI MOSEI

제공 — Positive / Negative

부재 — emotion supervision ✕

감정 범주를 학습할 supervision이 없어, 같은 발화라도 어떤 감정인지는 예측할 수 없음

BUT
Sentiment ↔ Emotion
Positive  →  Happy · Excited
Negative  →  Angry · Fear · Sad
두 태스크는 독립적이지 않고
의미적으로 연결되어 있음
BEmotion Datasets
MELD IEMOCAP

제공 — Happy / Sad / Angry / …

부재 — sentiment supervision ✕

정서의 방향을 직접 학습할 supervision이 없어, 긍·부정 정보를 명시적으로 학습하기 어려움

20
04 EASUM Method

Cross-Task Supervision을 통한 Joint Training

Phase 1이질적인 4개의 데이터셋을 domain-invariant한 표현 공간으로 정렬
Sentiment benchmark MOSI MOSEI Emotion benchmark MELD IEMOCAP Domain Alignment Moment Matching Domain-Invariant Affective Representation (DIAR) Sentiment Classifier Emotion Classifier
Phase 2부재한 라벨을 pseudo label로 채워 함께 학습
Example — MOSI Sentiment ✓ 보유  ·  Emotion ✕ 없음
↓
Pretrained DG Model Phase 1의 DIAR + emotion classifier → emotion pseudo label 생성
↓
Emotion Soft Pseudo Label [ Happy .65  |  Neutral .20  |  … ]
↓
Sentiment GT  +  Emotion Pseudo Label
↓
Joint Training 두 태스크를 함께 학습해 서로를 보강
21
04 Impact Research outcome

제한된 supervision에서 더 풍부한 정서 이해로

두 연구 모두 사람의 추가 annotation 없이 부족한 지도 신호를 생성하여 벤치마크 최고 성능을 달성함

SUGRMEACL Findings 2023
모달리티별 supervision을
사람 개입 없이 생성
84.0%→86.3%
CMU-MOSI accuracy
+2.3%pSOTA
멀티모달 supervision only → 멀티모달 + 유니모달 supervision
  • 모달리티별 라벨을 자동 생성하여 유니모달 표현까지 함께 학습
  • 추가 annotation 비용 없이 기존 데이터셋만으로 적용 가능
EASUMWACV 2024
태스크 간 supervision을
사람 개입 없이 생성
86.1%→87.2%
CMU-MOSI — sentiment benchmark
+1.1%pSOTA
sentiment supervision only → sentiment + emotion supervision
66.3%→66.7%
MELD — emotion benchmark
+0.4%pSOTA
emotion supervision only → sentiment + emotion supervision
시너지 효과 검증 — 각 태스크에 없는 라벨을 생성하고, GT와 생성된 라벨(sentiment + emotion)을 함께 이용해 학습했을 때 두 태스크 모두 성능 향상
  • sentiment ↔ emotion 간 지식 전이로 두 태스크를 동시에 개선
  • 서로 다른 4개 데이터셋을 하나의 표현 공간에서 함께 학습
22
05 강건한 인식 모델 Overview

Robust Perception for Industrial Inspection & HCI

AIndustrial Inspection

PCB별로 다른 이미지 해상도의 미세한 결함 패턴 모델링

MarsNet

PCB Inspection — 원본 해상도와 공간 구조를 보존하는 멀티라벨 결함 분류 네트워크

BHuman–Computer Interaction

사용자마다 다른 입력 패턴을 데이터로부터 학습하는 사용자 입력 모델링

Invisible Mobile Keyboard

Touch-based — 키보드 레이아웃 없이 사용자별 타이핑 패턴을 학습하는 디코딩 모델

Writing in the Air

Vision-based — RGB 영상만으로 연속 공중 필기를 인식하는 end-to-end 모델

23
05 MarsNet Problem definition

다양한 크기의 PCB를 위한 공간 정보 보존형 결함 분류

Key Challenge  |  미세 결함을 구분하기 위한 공간 정보 보존

문제 1Loss of Spatial Information
3x4 feature maps
  • 일반 CNN은 반복적인 downsampling으로 feature map이 3×4 수준까지 축소
  • 미세 결함의 fine-grained 공간 정보가 소실
문제 2Variable Image Sizes
75x121 PCB image
75×121 110×110 341×397 → Resize 224×224
  • 고정 입력 크기를 맞추려 resize하면 종횡비와 구조가 왜곡
Design PrinciplePCB 이미지의 원본 공간 구조를 최대한 보존
① No Resizing
원본 PCB 해상도를 그대로 입력
→
② Dilated Convolution
넓은 receptive field를 유지하면서 고해상도 공간 특징을 보존
→
③ Horizontal & Vertical Pooling
공간 정보를 고정 차원 특징으로 변환
24
05 MarsNet Architecture & results

MarsNet — 다양한 해상도에서 공간 정보를 보존하는 멀티라벨 결함 분류

Variable-size
PCB Image
→
mDRN
고해상도 feature map 생성
→
HVP
고정 차원 특징 생성
→
Multi-label
Classification
→
Multiple
PCB Defects
Standard CNN
Standard CNN — 단계마다 해상도가 축소되어 미세 결함의 공간 정보가 소실
Dilated convolution
mDRN — 해상도를 유지한 채 receptive field만 확장
Horizontal and vertical pooling
HVP — 수평·수직 pooling 결과를 이어붙여 입력 크기와 무관한 (4+4+8+8)×D 고정 차원 벡터를 생성
95.11%
Multi-label classification accuracy
+2.93%p
vs. ResNet-18 baseline
작은 이미지에서
가장 큰 개선
입력 해상도가 제한될수록 고해상도 특징 보존의 효과가 커짐
25
05 Invisible Mobile Keyboard Problem & dataset

사용자별 타이핑 패턴을 학습하는 Invisible Mobile Keyboard

고정 키보드 레이아웃 없이 사용자별 터치 패턴을 직접 학습

일반 키보드
정해진 레이아웃 안에서만
입력 가능
Invisible Mobile Keyboard
화면 어디에나 입력
Keyboard layout-free
사용자별 터치 분포
사용자 9명의 터치 분포 — 같은 글자를 입력해도 중심 위치, 퍼짐, 기울기가 사람마다 크게 다릅니다. 고정된 레이아웃 가정으로는 해석할 수 없습니다.
88
참가자
24,400
수집 문장
1.93M
터치 좌표
공개 데이터셋
구축 및 배포
26
05 Invisible Mobile Keyboard Decoding model

위치와 문맥을 결합한 2단계 디코딩

OUTPUT
Decoded text
↑
3
Semantic decoder
“문맥상 어떤 글자가 자연스러운가?” — 마스킹된 위치를 문맥 기반으로 revision
↑
2
Confidence masking
“어떤 예측이 불확실한가?” — 확신도가 낮은 위치를 masking하여 잘못된 예측이 다음 단계로 전파되는 것을 차단
↑
1
Geometric decoder
“사용자는 어디를 누르려 했는가?” — 터치 좌표 시퀀스로부터 위치 기반 character prediction 수행
↑
INPUT
Touch coordinates
IMK 디코딩 아키텍처
3Semantic
decoder
2Confidence
masking
1Geometric
decoder
BiGRU로 위치 기반 예측을 만들고, softmax 확신도로 masking한 뒤 Transformer encoder가 문맥을 반영해 문자를 교정
27
05 Invisible Mobile Keyboard User study

사용자 검증 — 낮은 작업 부하와 높은 만족도

12명의 참가자가 5점 척도로 평가  ·  막대 내 숫자는 응답자 수

Workload  ·  낮을수록 좋음
Mental demand
8
3
1
Physical demand
8
2
1
1
Temporal demand
7
5
Experience  ·  높을수록 좋음
Comfortability
3
1
6
2
Overall satisfaction
2
3
4
3
1 (Low)
2
3
4
5 (High)
Typing speed
일반 키보드 38.0
IMK 51.6
단위: WPM (words per minute)
  • 레이아웃을 확인하려 시선을 옮길 필요가 없어 입력 속도가 오히려 향상
  • 정신적·신체적 부하 모두 최저 점수에 응답이 집중
28
05 Writing in the Air Problem & dataset

RGB 영상 기반 연속 공중 필기 인식

추가 센서 · 사전 정의 제스처 없이 자연스러운 필기 동작을 텍스트로 변환

공중 필기 입력 영상
손끝 궤적만으로 문자를 쓰는 입력 영상 — 예시는 “re”를 쓰는 장면
기존Previous approaches
  • 사용자 신체에 센서 부착
  • depth · motion 센서 필요
  • 사전 정의된 제스처만 인식
  • 단일 문자 단위 인식
제안Our setting
  • RGB 카메라 단독
  • 자연스러운 손글씨 동작
  • 연속된 텍스트 인식
  • 한국어 + 영어 동시 지원
WiTA 데이터셋 구성
WiTA 데이터셋 — 한국어·영어 lexical / non-lexical 및 한·영 혼합 non-lexical의 총 5개 데이터 구성
122
참가자
209,926
수집 영상
5
하위 데이터셋
2
지원 언어
한국어 · 영어
29
05 Writing in the Air Architecture & results

공간과 시간을 함께 모델링하는 end-to-end 인식

손끝의 공간 정보와 획의 시간 정보는
네트워크 전 구간에서 분리되지 않고 함께 모델링되어야 합니다.
Video Frames
RGB 손 동작 영상
→
Spatio-Temporal
3D CNN
공간·시간 특징을 동시에 추출
→
Temporal
Feature Sequence
프레임 단위 특징 시퀀스
→
CTC-based
Decoding
프레임-문자 정렬 없이 학습
→
Character
Sequence
연속 문자열 출력
29.24%
CER — English
Character error rate
33.16%
CER — Korean
Character error rate
697 FPS
추론 속도 — English
실시간 처리 가능
435 FPS
추론 속도 — Korean
실시간 처리 가능
30

Thank you

yewonhwang0816@gmail.com  ·  +82 010-6624-5581  ·  linkedin.com/in/yhwang16
yewon95.github.io

AI Researcher | 황예원