AWS로 이전한 YouTube Data API 자동화 업로드 시스템 구축기 (FastAPI + Firebase + Lambda)

앱에서 시작해 서버리스로… 나의 첫 클라우드 이전 이야기

퇴사 후 약 한 달 반 정도 개인 앱 개발을 진행했었다.

Android 기반의 오랜 개발 경력을 바탕으로 YouTube Data API를 활용해, 내가 보고 싶은 영상을 필터링해주는 앱을 만들어본 것이었다.

초기엔 Firebase Storage에 JSON 데이터를 수동으로 업로드하는 구조로 구현했는데, 창업 관련 교육을 들으면서 자연스럽게 백엔드까지 직접 구현해보고 싶다는 생각이 들었었다.

그렇게 해서 나온 결과가 FastAPI 기반 서버를 AWS에 배포하고, 일정 주기로 데이터를 수집해 Firebase에 자동 업로드하는 지금의 구조인 것이다.

왜 처음엔 앱에서 직접 Firebase 업로드를 했었나

처음에는 서버 개발 경험이 거의 없었기 때문에, 앱에서 직접 데이터를 수집하고 JSON 파일로 만들어 Firebase Storage에 업로드하는 방식으로 구성했었다.

이 방식은 단순했고, 당시의 목표에도 부합했다. 앱을 빠르게 런칭하고 싶었고, 클라이언트 개발에 집중하면서 기능을 검증해보자는 의도가 강했기 때문이다.

YouTube Data API로 인기 영상, 추천 영상 등을 요청해 데이터 수집
앱 내에서 JSON 파일을 생성한 후 로컬에 저장
Firebase Storage에 직접 업로드
앱에서는 해당 JSON을 읽어 리스트 형태로 사용자에게 표시

이 과정을 매일 수작업으로 실행했었고, 나중에는 Android WorkManager로 자동화할까 고민도 했지만, 결국에는 앱에서 서버 역할까지 하는 방식이 우습게 느껴져 그만두게 되었던 것이다.

파이썬과 FastAPI로 백엔드 전환을 결심한 계기

창업 교육을 들으면서 ChatGPT를 자주 활용하게 되었고, 생성형 AI의 흐름 속에서 자연스럽게 파이썬에 대한 관심이 되살아났었다.

예전에 N사에서 얼굴 인식 프로젝트를 할 때 파이썬을 사용했던 경험이 있었기에, 익숙하진 않아도 낯설지 않았고, 이번 기회에 다시 파이썬으로 서버를 구성해보기로 마음먹게 되었던 것이다.

AWS 기반으로 전환된 자동화 프로세스

지금의 백엔드 프로세스는 FastAPI와 AWS 서비스를 결합하여 구성한 구조이다. 전체적인 흐름은 다음과 같다.

1. FastAPI 서버 구축

YouTube Data API로부터 비동기로 데이터를 수집
인기 영상, 에디터 픽, 랭킹 영상 등을 단계별 함수로 분리
Pydantic을 활용해 JSON 구조를 정형화함

2. StreamingResponse로 진행 상황 확인

각 단계의 데이터를 StreamingResponse로 확인하면서 저장하도록 구성하였다.

단계별로 어떤 데이터를 만들고 있는지 쉽게 파악할 수 있도록 설계한 것이다.

3. AWS Lambda를 통한 자동 실행

FastAPI 코드를 ZIP으로 패키징하여 AWS Lambda에 업로드
Lambda 타임아웃을 기본 3초에서 최대치인 15분으로 늘려야 안정적으로 실행되는 것을 확인했었다
일정 시간마다 Lambda가 실행되도록 EventBridge로 Cron 등록을 해두었다

4. 에러 대응: CloudWatch + SNS

Lambda 실행 중 오류가 발생하면 CloudWatch에서 로그를 수집하고,

SNS를 통해 이메일로 알림을 보내도록 구성했었다.

이렇게 하면 문제가 생겼을 때 빠르게 대응할 수 있게 되는 것이다.

5. Firebase Storage에 최종 업로드

마지막 단계에서는 국가별(locale, countryCode) 데이터를 나눠서 JSON 파일을 만들고, Firebase Storage에 업로드하도록 구성해두었다.

YouTube API 호출 제한 때문에 하루 한 번만 실행

YouTube Data API는 하루 10,000포인트까지만 쿼리 요청이 가능하다.

특히 검색 쿼리는 1회당 500포인트를 소모하므로 매우 제한적일 수밖에 없다.

그래서 데이터는 가능한 조합을 줄이고, 매일 한 번만 실행되도록 EventBridge의 Cron을 설정해둔 것이다.

물론 1년 무료가 향 후엔 비용을 지불 해야겠지만..

마무리: 처음 해보는 백엔드, 의외로 할 만했다

처음에는 모든 걸 앱에서 처리하려 했고, 서버 개발은 나와 거리가 멀다고 생각했었다.

하지만 FastAPI와 AWS, 그리고 ChatGPT의 도움을 받으며 구조를 하나하나 바꾸어보니 의외로 할 만하다는 생각이 들었었다.

지금 이 구조는 어디까지나 1인 개발자 입장에서 충분히 만족할 수 있는 수준이고,

앞으로 사용자가 많아진다면 다른 구조로의 확장도 고려해야 하겠지만, 지금은 이렇게 구성한 것만으로도 충분히 의미 있었던 것이다.