실시간 검색 키워드 수집, Python으로 자동화하기 – Pytrends와 SerpApi 비교 분석

실시간 키워드 수집을 Python으로 알아 보려한다. 그리고 실제 구현에서 느낀 점과 활용도에 대해서 한번 설명해 보고자 한다.

실시간 검색에 대한 단상

과거에는 네이버에서 실시간 검색, 다음의 실시간 검색등이 존재 해서 현재 온라인 상에서 사람들이 관심이 있는 주제에 대해서 이슈화되고 화제화가 된 내용들에 대해 알 수있었던 시절이 있었다. 이 때문에 사회적인 이슈나 부작용들이 발생해서 서비스 종료가 되고 현재는 구글에 트랜드 검색, 네이버 데이터랩에서 제공하는 통계 와 일부 사이트들도 서비스를 제공 해주지만 그때 그 포털 사이트에서 알려주는 실시간 검색의 파급효과 만큼은 아닌거 같다.

실시간 검색 키워드 수집을 하려는 목적와 아이디어

실시간 키워드는 검색 트렌드를 빠르게 반영하고 콘텐츠 기획에 결정적인 힌트를 제공한다. AI 가 많은 도움을 주고 있는 지금 이슈화된 키워드와 해당 키워드를 어떻게 수집하고 그 키워드를 바탕으로 해 볼 수있는 것들이 있을까? 라는 생각에 키워드를 수집하는 방법을 찾아 보려고 했다. 찾아보니 많이 이용하고 있는 것들 중에 두 가지 정도가 검토 대상이 되었다.

Pytrends – 가볍고 유용하지만 제약도 명확한 도구

pytrens 는 오픈소스이며 구글 트랜드를 가져오기 위해서 제공해주는 파이썬 라이브러리 이다

블로그 검색 해서 설명을 보고 진행 해보려고 했다. 그러나 제대로 동작 되지 않았다. 2023.4월에 마지막 업데이트 인데 더이상 업데이트가 되지 않았다.

Google 공식 API 를 사용해서 하는 것이 아니라 crawling 기법을 써서 가져오는 것이라 구글쪽에서 html 문서의 형식이나 구조를 바꾸면 오류가 발생하기 때문에 지속적으로 모니터링 하고 수정해야 할 것같은데 현재는 바뀌어서 그런지 제대로 데이터를 가져오지 못했다.(공식적 루트는 아니기에)

장점

무료 사용이 가능하여 MVP나 테스트 프로젝트에 적합
국가, 지역별 인기 키워드를 확인할 수 있어 지역 SEO 전략에 유리
related_queries, trending_searches 등 다양한 기능 제공

단점

Google Trends의 공식 API가 아니기 때문에 간헐적 접속 제한 및 429 오류 발생
실시간이라기보다는 지연된 데이터 (최소 수십 분~수 시간 전 정보)
검색량은 절대값이 아닌 상대적 수치로 제공되어 정량적 분석 한계

SerpApi – 실시간성과 정확도가 강점인 상용 API

그래서 여기 저기 찾아보는 중에 해당 api 를 발견했다.

오? 구글 유투브 검색 API 도 제공해주네? 사실 유투브 API 는 하루에 10,000 개의 Limit 가 걸려있어서 실시간으로 서비스를 제공하기에 좀 무리가 있다고 판단 되었다. 물론 서버에서 하루양만 가져오고 실시간은 아니지만 API 로 주던가, 아니면 유투브 모바일 웹을 활용하면 어느정도 될 것같다곤 생각하지만 여러가지 또 걸리는 부분이 있기 때문에 적용하기 어려웠는데 여기서는 crawing 기법으로 데이터를 가져오는 API 를 쉽게 가져 올 수있을 것 같다.

SerpApi는 Google 검색 결과 페이지를 JSON으로 파싱해주는 유료 API 서비스다. 실시간 검색 키워드 외에도 뉴스, 쇼핑, 이미지 등 다양한 유형의 데이터를 가져올 수 있어 활용 범위가 넓다.

일단 git 주소는 아래와 같다. 다양하게 소통을 하는 것 같다.

https://github.com/serpapi/serpapi-python

장점

실시간 검색어, 뉴스 헤드라인 등을 즉시 수집 가능
검색 결과 순위, snippet, URL 등을 포함해 콘텐츠화가 용이
다양한 검색엔진과 언어 지원으로 글로벌 확장성 보유

단점

유료 API로 호출 수에 따라 요금이 빠르게 증가(한달 100건 까지 무료)
한글 쿼리에서 파라미터 설정 오류나 번역 이슈가 발생할 수 있음
검색 결과는 시점마다 다르므로 캐싱 및 후처리 설계가 필수

특히 초반에는 요청 파라미터 설정을 잘못해 원하는 결과가 누락되는 경우가 잦았다.

또한, 한국어 기반으로 쿼리할 경우 결과의 정확도가 떨어져 전처리 단계에서 hl=ko, gl=KR, lr=lang_ko 설정을 필수로 적용해야 했다.

또한 싸이트에 들어가서 PlayGround 영역에 진입할때 디폴트로 coffee 가 셋팅이 되어있는데 요청 카운트로 잡혀 버린다(아깝게 1개 깍이기 때문)

가입 방법

홈페이지 접속하면 테스트도 해볼 수있다.(https://serpapi.com/)

아래 홈페이지에 우측 위에 register 버튼 을 누른뒤 정보를 입력한 뒤에 인증후 사용할 수 있다.

인증단계

로그인을 하고 나면 아래 내용으로 진행 하면 되는데 (register -> sign up -> 입력 하여 검증-> 완료)

특이한 점은 전화번호를 입력해야 하는 것이다. 전화번호는 테스트를 위해서 자기 폰 1개인 경우가 많은데 한번 입력해서 검증을 받은 전화번호라면 전화번호는 못쓴다.(주의)
3개 검증이 다 끝나야만 100개 요청 무료를 받을 수가 있다.

둘러 보기

가격

가격은 비싼 축에 들어간다고 생각한다. 100개 무료이지만 테스트를 하다보면 100개가 금방 없어진다. 내가 원하는 것은 트랜드 API 와 유투브 검색 API 인데 역시나 유료를 쓰기전에 MVP 검증 정도라면 적절히 분배해서 사용하는 것도 괜찮을 것같다.

개발자 가격도 대략 월 75$ 니까 환율로 따지면 13 만원 정도인데 5,000여건 요청이라 사용해볼 만한데 일단 될지 않될지 판단이 들지 않은 상태에서 선뜻 사용하기엔 좀 무리가 있을 것같다.

메인 홈

로그인 절차가 마무리 되면 내 개인 메인 홈이 위처럼 나온다.
메인 홈에 센터에는 내 api 키가 존재해서 실제 api 를 요청할때 뒤에 붙여서 사용하면 된다.
조금 놀라웠던게 좌측에 메뉴들인데 구글이나 검색에 필요한 내용들이 API 로 제공 되고 있다.
거의 반 유료라 업데이트도 자주 되는 것같고 이슈가 덜 한거 같기도 하다(현재까지)

좌측메뉴에서 위 그림 처럼 내가 검색했던 히스토리도 나오고 있다. 여기서 클릭하거나 json 또는 html 로 접속하면 request 는 차감 되진 않는다.

좌측 메뉴에서 플레이 그라운드를 클릭하면 위 화면이 나오는데 몇가지 파라메터를 입력하고 검색하여 결과물을 확인 할 수있다.

기술 구현 시 유의 사항

일단 pytrend 는 데이터가 제대로 나오지 않아서 serpApi 로 개발과 검증을 진행했다.

serpApi 를 사용할때 주의점이나 삽질 하다가 알게된 사실을 정리한다.

1달에 100건까지 무료고 그 이후에 유료기때문에 100건을 무료로 사용해 볼 생각이라면 일단 mock 데이터를 만들어 놓은 뒤에 로컬에서 읽어온 후에 파싱하여 내 코드에 대해서 검증을 추천한다.

파싱 구조가 playground 에서 제공은 해주지만 실제 구현할때 틀릴 수도 있고 크롤링 데이터기때문에 어떤 검색어일때는 나오고 아닐때도 있기때문에 여러 상황에서 고려해야한다.

요청할때 https://github.com/serpapi/serpapi-python 에 있는 이 업체의 python 라이브러리르 사용하는게 좋다. 그냥 간단히 get 방식이여서 파라메터를 붙이고 요청하는 구현을 하게 되면 내가 원하는 태그가 정상적으로 파싱이 되지 않아서 응답이 온다. 플레이그라운드에서는 제대로 나오지만 실제 요청 응답에서는 리턴이 정상적으로 안되어서 몇일 삽질하다가 위 github 공식 요청 응답을 사용해야한 무리없이 다 가져온다는걸 알게 되었다.

결론 – SerpApi 를 활용한 키워드 뽑아내는 전략

SEO 나 어떤 자동화를 하기위해서는 핵심 키워드를 뽑아내는 것이 중요한 팩트인데 serpApi 는 비록 무료의 카운트는 적어도 불필요한 크롤링을 구지 할필요없이 원하는 키워드를 뽑을 수있는 좋은 도구라고 생각한다.
이 API 와 n8n 워크플로우와 연결하면 실시간으로 구글 트랜드를 알아온뒤에 그 키워드로 다양한 컨텐츠를 만들 수있겠다는 생각을 해보았다.

다음에는 구글 Trend 와 n8n 자동화 도구의 통합 관련 내용을 정리해 보고자 한다.