MediaPipe Holistic을 활용한 모션 인식 및 JSON 파일 추출

이번 포스팅에서는 MediaPipe Holistic을 활용하여 모션 인식을 하고, 이미지에서 추출한 랜드마크 데이터를 JSON 파일로 저장하는 방법을 단계별로 설명하겠습니다.

<목차>

1. 라이브러리 임포트 및 MediaPipe 초기화
2. 이미지 파일 목록 및 랜드마크 데이터 리스트 설정
3. 랜드마크 데이터 추출 함수 정의
4. MediaPipe Holistic을 사용하여 이미지 처리
5. 감지된 랜드마크 데이터 추출 및 저장
6. 이미지에 랜드마크 주석 추가
7. 랜드마크 데이터를 JSON 파일로 저장
8. 결과
9. 참고

---

1. 라이브러리 임포트 및 MediaPipe 초기화

먼저 필요한 라이브러리를 임포트하고, MediaPipe Holistic과 그리기 유틸리티를 초기화합니다.

import cv2
import mediapipe as mp
import json
import matplotlib.pyplot as plt

# MediaPipe Holistic 및 그리기 유틸리티 초기화
mp_drawing = mp.solutions.drawing_utils
mp_drawing_styles = mp.solutions.drawing_styles
mp_holistic = mp.solutions.holistic

 

2. 이미지 파일 목록 및 랜드마크 데이터 리스트 설정

처리할 이미지 파일 목록을 설정하고, 랜드마크 데이터를 저장할 리스트를 준비합니다.

# 처리할 이미지 파일 목록
IMAGE_FILES = ["../singlePerson_image/yoo/balance.jpeg"]
BG_COLOR = (192, 192, 192)

# 랜드마크 데이터를 저장할 리스트
landmarks_data = []

 

3. 랜드마크 데이터 추출 함수 정의

랜드마크 데이터를 추출하여 리스트로 반환하는 함수를 정의합니다. 이 함수는 각 랜드마크의 이름과 좌표(x, y, z)를 포함합니다.

def extract_landmark_data(landmarks, landmark_enum=None):
    if landmark_enum is not None:
        return [{'name': landmark_enum(lm_idx).name, 'x': lm.x, 'y': lm.y, 'z': lm.z, 'visibility': lm.visibility if hasattr(lm, 'visibility') else None}
                for lm_idx, lm in enumerate(landmarks.landmark)]
    else:
        return [{'index': lm_idx, 'x': lm.x, 'y': lm.y, 'z': lm.z, 'visibility': lm.visibility if hasattr(lm, 'visibility') else None}
                for lm_idx, lm in enumerate(landmarks.landmark)]

 

4. MediaPipe Holistic을 사용하여 이미지 처리

이미지를 읽고, MediaPipe Holistic을 사용하여 포즈, 얼굴, 손의 랜드마크를 감지합니다.

with mp_holistic.Holistic(
    static_image_mode=True,
    model_complexity=2,
    enable_segmentation=True,
    refine_face_landmarks=True) as holistic:
    for idx, file in enumerate(IMAGE_FILES):
        # 이미지 읽기
        image = cv2.imread(file)
        image_height, image_width, _ = image.shape
        results = holistic.process(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))

 

5. 감지된 랜드마크 데이터 추출 및 저장

감지된 랜드마크 데이터를 추출하여 리스트에 저장합니다

        landmarks = {}
        if results.pose_landmarks:
            landmarks['pose_landmarks'] = extract_landmark_data(results.pose_landmarks, mp_holistic.PoseLandmark)
        if results.face_landmarks:
            landmarks['face_landmarks'] = extract_landmark_data(results.face_landmarks)
        if results.left_hand_landmarks:
            landmarks['left_hand_landmarks'] = extract_landmark_data(results.left_hand_landmarks, mp_holistic.HandLandmark)
        if results.right_hand_landmarks:
            landmarks['right_hand_landmarks'] = extract_landmark_data(results.right_hand_landmarks, mp_holistic.HandLandmark)

        landmarks_data.append({
            'file': file,
            'landmarks': landmarks
        })

 

6. 이미지에 랜드마크 주석 추가

감지된 랜드마크를 이미지에 그려서 주석을 추가합니다.

        # 이미지에 랜드마크 그리기
        annotated_image = image.copy()
        mp_drawing.draw_landmarks(annotated_image, results.left_hand_landmarks, mp_holistic.HAND_CONNECTIONS)
        mp_drawing.draw_landmarks(annotated_image, results.right_hand_landmarks, mp_holistic.HAND_CONNECTIONS)

        if results.face_landmarks:
            for landmark in results.face_landmarks.landmark:
                x = int(landmark.x * image_width)
                y = int(landmark.y * image_height)
                cv2.circle(annotated_image, (x, y), 1, (0, 255, 0), -1)

        mp_drawing.draw_landmarks(
            annotated_image,
            results.pose_landmarks,
            mp_holistic.POSE_CONNECTIONS,
            landmark_drawing_spec=mp_drawing_styles.get_default_pose_landmarks_style()
        )

        # 주석 처리된 이미지 표시
        fig = plt.figure(figsize=[10, 10])
        plt.title("Output")
        plt.axis('off')
        plt.imshow(annotated_image[:, :, ::-1])
        plt.show()

 

7. 결과

 

8. 참고

https://github.com/google-ai-edge/mediapipe/blob/master/docs/solutions/holistic.md

이 단계를 통해 MediaPipe Holistic을 사용하여 이미지에서 랜드마크를 추출하고, 이를 시각화하며, 데이터를 JSON 파일로 저장하는 방법을 배웠습니다. 이 데이터는 다양한 모션 분석 및 제스처 인식 응용 프로그램에 활용될 수 있습니다.