MediaPipe Holistic을 활용한 실시간 웹캠 모션 인식

2024.06.19 - [인공지능(AI)] - MediaPipe Holistic을 활용한 모션 인식 및 JSON 파일 추출

지난 블로그 포스팅에서는 MediaPipe Holistic을 활용해 이미지에서 모션을 인식하는 방법을 다뤘습니다. MediaPipe Holistic은 Google에서 제공하는 강력한 도구로, 이미지에서 신체, 얼굴, 손의 랜드마크를 쉽게 캡처하고 분석할 수 있습니다. 이번 포스팅에서는 이를 한 단계 더 나아가 실시간 웹캠 모션 인식에 활용하는 방법을 소개하겠습니다.

<목차>

0. 사전 준비
1. 라이브러리 및 유틸리티 설정
2. 랜드마크 데이터 추출 함수
3. 디렉토리 설정
4. 웹캠에서 프레임 캡처 및 처리
5. 랜드마크 데이터 처리 및 저장
6. 이미지에 랜드마크 그리기 및 저장
7. 종료 처리
8. 결과

---

0. 사전 준비

코드를 실행하기 전에 필요한 라이브러리가 설치되어 있는지 확인하세요. OpenCV와 MediaPipe 라이브러리가 필요합니다.

pip install opencv-python mediapipe

 

1. 라이브러리 및 유틸리티 설정

우선 필요한 라이브러리와 유틸리티를 불러오고, MediaPipe의 그리기 유틸리티와 스타일, 그리고 Holistic 솔루션을 설정합니다.

import cv2
import mediapipe as mp
import json
import os

mp_drawing = mp.solutions.drawing_utils
mp_drawing_styles = mp.solutions.drawing_styles
mp_holistic = mp.solutions.holistic

# 배경색 설정
BG_COLOR = (192, 192, 192)

 

2. 랜드마크 데이터 추출 함수

랜드마크 데이터를 추출하여 JSON 형식으로 저장할 수 있도록 도와주는 함수입니다.

def extract_landmark_data(landmarks, landmark_enum=None):
    if landmark_enum is not None:
        return [{'name': landmark_enum(lm_idx).name, 'x': lm.x, 'y': lm.y, 'z': lm.z, 'visibility': lm.visibility if hasattr(lm, 'visibility') else None}
                for lm_idx, lm in enumerate(landmarks.landmark)]
    else:
        return [{'index': lm_idx, 'x': lm.x, 'y': lm.y, 'z': lm.z, 'visibility': lm.visibility if hasattr(lm, 'visibility') else None}
                for lm_idx, lm in enumerate(landmarks.landmark)]

 

3. 디렉토리 설정

랜드마크가 그려진 이미지와 JSON 파일을 저장할 디렉토리를 설정합니다.

output_image_dir = 'cam_output_images'
output_json_dir = 'cam_output_json'

if not os.path.exists(output_image_dir):
    os.makedirs(output_image_dir)
if not os.path.exists(output_json_dir):
    os.makedirs(output_json_dir)

 

4. 웹캠에서 프레임 캡처 및 처리

웹캠에서 프레임을 캡처하고, MediaPipe Holistic을 사용하여 랜드마크를 추출합니다.

cap = cv2.VideoCapture(0)
frame_count = 0

with mp_holistic.Holistic(
    static_image_mode=False,
    model_complexity=2,
    enable_segmentation=True,
    refine_face_landmarks=True) as holistic:
    while cap.isOpened():
        ret, frame = cap.read()
        if not ret:
            break

        image = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
        image.flags.writeable = False
        results = holistic.process(image)
        image.flags.writeable = True
        image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)

 

5. 랜드마크 데이터 처리 및 저장

추출된 랜드마크 데이터를 JSON 파일로 저장합니다.

        landmarks = {}
        if results.pose_landmarks:
            landmarks['pose_landmarks'] = extract_landmark_data(results.pose_landmarks, mp_holistic.PoseLandmark)
        if results.face_landmarks:
            landmarks['face_landmarks'] = extract_landmark_data(results.face_landmarks)
        if results.left_hand_landmarks:
            landmarks['left_hand_landmarks'] = extract_landmark_data(results.left_hand_landmarks, mp_holistic.HandLandmark)
        if results.right_hand_landmarks:
            landmarks['right_hand_landmarks'] = extract_landmark_data(results.right_hand_landmarks, mp_holistic.HandLandmark)

        pose_data = {
            'frame_index': frame_count,
            'landmarks': landmarks
        }

        # JSON 파일 저장
        json_file_path = os.path.join(output_json_dir, f'pose_data_{frame_count}.json')
        with open(json_file_path, 'w') as json_file:
            json.dump(pose_data, json_file, indent=2)

 

6. 이미지에 랜드마크 그리기 및 저장

캡처된 이미지에 랜드마크를 그린 후 저장합니다.

        # 이미지에 랜드마크 그리기
        annotated_image = frame.copy()
        mp_drawing.draw_landmarks(annotated_image, results.left_hand_landmarks, mp_holistic.HAND_CONNECTIONS)
        mp_drawing.draw_landmarks(annotated_image, results.right_hand_landmarks, mp_holistic.HAND_CONNECTIONS)

        if results.face_landmarks:
            for landmark in results.face_landmarks.landmark:
                x = int(landmark.x * annotated_image.shape[1])
                y = int(landmark.y * annotated_image.shape[0])
                cv2.circle(annotated_image, (x, y), 1, (0, 255, 0), -1)

        mp_drawing.draw_landmarks(
            annotated_image,
            results.pose_landmarks,
            mp_holistic.POSE_CONNECTIONS,
            landmark_drawing_spec=mp_drawing_styles.get_default_pose_landmarks_style()
        )

        # 랜드마크가 표시된 이미지 저장
        image_file_path = os.path.join(output_image_dir, f'annotated_image_{frame_count}.png')
        cv2.imwrite(image_file_path, annotated_image)

        frame_count += 1

        cv2.imshow('MediaPipe Holistic', annotated_image)
        if cv2.waitKey(5) & 0xFF == 27:
            break

 

7. 종료 처리

웹캠과 모든 창을 종료합니다.

cap.release()
cv2.destroyAllWindows()

print(f"Total number of frames processed: {frame_count}")

 

8. 결과

 

이 코드는 실시간으로 웹캠에서 프레임을 읽어 MediaPipe Holistic을 통해 신체, 얼굴, 손의 랜드마크를 추출하고, 이를 이미지와 JSON 파일로 저장합니다. 이를 통해 실시간 모션 인식을 구현할 수 있습니다