[논문 요약] Face-to-BMI: Using Computer Vision toInfer Body Mass Index on Social Media

Face-to-BMI: Using Computer Vision to Infer Body Mass Index on Social Media

Face-to-BMI: 소셜 미디어에서 체질량 지수를 추론하기 위한 컴퓨터 비전 활용

 

 

< 논문 요약>

 

0. Introdution

 

본 논문에서, 프로필 사진과 같은 소셜 미디어 이미지에서 개인의 BMI를 추론하기 위해

최첨단 컴퓨터 비전 기술을 사용하는 새로운 파이프라인을 제안한다.

주어진 데이터 이미지 쌍을 구별하는 성능이 더 과체중인 사람일수록 인간의 성능과 비슷하다는 것을 보여준다.

 

1. Related Work

 

아래의 논문에서의 데이터 set은 배경이 깨끗한 여권 스타일의 전면 사진만 구성했기 때문에

노이즈가 많은 소 셜 미디어 사진의 경우 BMI 예측 모델의 성능이 불확실하다.

[논문 요약] A computational approach to body mass index prediction from face images

2. 데이터 : VisualBMI 프로젝트의 annotated images set 중 2103쌍 - 레딧에서 수집 (Faces with BMI Data)

 

시스템이 프로필 사진과 같이 노이즈가 많고 품질이 낮은 소셜 미디어 사진과 작동하도록 하기 위해

VisualBMI 프로젝트의 annotated images set을 사용

 

VisualBMI 프로젝트의 annotated images set

1. 사진들은 Reddit 게시물에서 수집되어 imgur.com 서비스에 연결된다.

--> www.reddit.com/r/progresspics/

2. 총 16483개의 이미지 

성별, 키, 이전 및 현재 신체 무게로 annotatation 된 before / after 쌍을 포함

 

논문에서 위의 데이터 전처리 과정

1. 수동으로 이미지의 URL을 검토하고 이미지의 얼굴 부분을 잘라낸다.

2. 이전과 현재 신체무게만 가지고 있기 때문에 두 개의 얼굴을 가진 것을 제외한 모든 이미지 무시

--> 이 과정을 거친 후 2103쌍의 얼굴과 그에 상응하는 성별, 키, 이전 및 현재 신체 무게를 갖게되었다.

그리고 각 쌍에 대해 이전 BMI와 현재 BMI를 계산 ( BMI = (body mass in kg) / (body height in m)2 )

 

이로 인해 해당 성별 및 BMI 정보를 가진 총 4206명의 얼굴 이미지 data가 생성되었다.

이 중 남성은 2438명 여성은 1768명이다.

 

train image : 3368장 / test image : 838장 (서로 독립적)

해당 성별 및 BMI 정보를 가진 총 4206명의 얼굴 이미지 data  / image data 예시 (출처 : 논문)

3. Face-to-BMI System 

(i) 예측 모델을 구축하는 데 사용되는 컴퓨터 비전 아키텍처

(ii) 평가 및 인간 성능과의 비교에 대한 세부 정보를 설명

이를 사용하기 위한 사전 훈련된 모델 및 스크립트는 학술 연구 목적으로

http://face2bmi.csail.mit.edu/에서 다운로드할 수 있다. (링크 접속이 왜 안되는지 의문..)

 

3.1 Computer Vision Architecture

 

deep feature extraction (심층 특징 추출) --> training a regression model (회귀모델 훈련)

deep convolutional networks에서 학습된 features은 다른 시각적 인식 작업에서 사용될 때,

특히 훈련 샘플이 제한되고 성공적인 deep model을 학습하는 것이 과적합으로 인해 실현 가능하지 않을 때

전송 가능하고 상당히 효과적인 것으로 입증되었다.

제한된 훈련 예제를 가지고 있다는 점을 고려하여 transfer learning 접근법을 채택했다

1) deep feature extraction (심층 특징 추출) - VGG-Face

 

1. VGG-Net : general object classification (일반 객체 분류)

2. VGG-Face : a face recognition task (얼굴 인식)

특징 추출을 위해 잘 알려진 두개의 deep model 사용 (두개를 각각 사용한다고 해석됨)

두 모델 모두 수백만개의 매개변수를 가진 deep convolutional model이고 수백만개의 이미지에 대해 훈련된다.

 

fc6 layer로부터 나온 features은 train set의 각 얼굴 이미지에 대해 추출되어진다.

 

아래의 Table 1에서 보듯이 VGG-Face에서 추출한 feature가 성능이 더 우수하다.

따라서 Face-to-BMI에서 VGG-Face를 사용한다.

출처 : 논문

 

2) training a regression model (회귀모델 훈련)

 

epsilon support vector regression models

--> 강력한 일반화 동작

 

---------------------------------------------------------------------------------------------

 

시스템이 사람 간의 비교(comparing across people)가 아니라 한 사람의 체중 변화를 추적하는 데 사용될 수 있는지 확인 하기 위해

다른 train-test split을 정의한다.

(내 해석 : dataset에서 사람마다 얼굴 이미지에서의 변화(?)로 인한 비교가 아닌 같은 사람끼리의 비교(이전 얼굴과 현재 얼굴 image)로 체중변화를 추적하는 것이 가능한지 실험해본다......???)

 

1. dataset에서 838명의 고유한 개인을 무작위로 선택

2. 이러한 각 개인에 대해, 두 개의 해당 사전 얼굴 사진 중 하나를 무작위로 선택하여 new test set에 추가

3. 나머지 사진은 모두 new training set에 추가되었다.

--> test set에 얼굴 이미지가 있는 모든 사람은 training set에 얼굴 이미지가 있다.

train과 test 크기는 동일하다.

--> 모델은 across-people setup에서 0.65와 비교하여 0.68 상관 관계를 달성했으며,

이는 우리 시스템이 예측중인 개인을 위해 훈련할 이미지의 이력을 보유함으로써 이익을 얻는다는 것을 시사한다.

 

4. Human Evaluation (사람의 평가와 비교)

 

Face-to-BMI 시스템의 성능을 인간의 성능과 비교하는 간단한 실험을 수행

: 2개 face image(face images for two individuals)가 주어지고 머신와 인간은 각각 어떤 image가 과체중인지 구별한다.

(이전에 학습된 모델은 특정 이진 분류 작업에 훈련되지 않았기 때문에

전용 시스템이 더 잘 수행될 수 있다는 것을 유의해야 한다.)

 

평가 데이터 : 총 900쌍 --> test set에서 나온 것만 사용

남성 vs 남성 / 여성 vs 여성 / 남성 vs 여성 (각 300쌍)

이 조건을 만족시켜야 한다. (출처 : 논문)

사람 총 3명에게 900개의 쌍을 보여주고 과체중 image를 선택하게 해 답 수집

--> 모든 답을 함께 사용하여 인간의 성능을 얻고 정확성으로 표현한다.

(개인의 성과를 평가하기 위해 다수결 투표 방식을 적용하지 않았다.)

 

Face-to-BMI 시스템은 각 질문에 대해 시스템 출력(BMI 예측)을 비교하여 과체중을 선택한다.

 

----------------------------------------------------------------------------------------------------

그림 2는 한 쌍의 성별 유형과 각 쌍의 개인 간의 BMI 차이에 의해 분류된 비교 결과를 보여준다.

인간과 기계의 전체적인 성능 차이는 2% 미만이지만, 성별 하위 범주를 다르게 보면 '남성 대 남성' 비교에서 5% 정도 차이가 더 난다. 인간은 작은 BMI 차이에서 기계를 약간 능가하고, 큰 BMI 차이에는 거의 성능 차이가 없다.

출처 : 논문

 

5. Discussion

 

Discussion에서 Algorithmic Bias과 Ethical Considerations과 관련되어 결과를 설명한다.

남성-여성 쌍에서 여성 BMI가 더 높을 것이고 백인-아프리카인 쌍에서 백인에 대한 BMI가 더 높을 것이라 예측한다와 같은 편향된 부분, 윤리적인 부분을 다룬다.

자세히 읽지 않아서 넘어간다.

 

6. Conclusion

 

본 연구에서 최신 컴퓨터 비전 기술을 적용하여 새로운 Face-to-BMI 시스템을 얻는다. 

이 tool의 성능은 한 쌍의 프로필 이미지를 제공할 때 더 과체중인 사람을 구별하는 인간과 동등하다.

 

개인의 프로필 이미지에서 정보를 추론할 때 알고리즘 편향과 윤리적 고려와 관련된 문제를 논의한다.

이 결과에 대한 남용의 가능성을 제한하기 위해 이 논문의 사전훈련된 모델은 의도된 사용을 설명한 후에 학술연구자들이 이용할 수 있도록 한다.