무료 코딩 없는 웹스크래핑 텍스트 마이닝 데이터 시각화│일본 유기농 립스틱 아마존 재팬 현지 고객 리뷰 사례 분석

무료로 코딩 없이 웹스크래핑 도구인 DataMiner와 KH Coder3을 이용하여, 실제 아마존 재팬에서 판매 중인 일본산 유기농 립스틱 고객 리뷰 분석 사례를 정리해 보겠습니다. 

 

1. 무료 웹스크래핑, DataMiner

무료로 웹스크래핑이 가능한 도구들이 많이 있고, 이전 포스팅에서도 몇 가지 무료 웹스크래핑 도구 사용법들을 소개 한 바 있는데요. 이번 포스팅에서는 새로운 무료 웹스크래핑 도구인 DataMiner를 이용합니다. 정확하게는 한 달에 500페이지까지만 무료이며, 그 이상 사용하는 경우에는 과금이 됩니다. 자세한 사항은 과금 정보는 해당 링크를 통해 확인하기 바랍니다. 또한 구체적인 사용방법은 DataMiner에서 제공하는 아래 유튜브 튜토리얼 영상을 참고하기 바랍니다. 

DataMiner 사용법

 

2. 아마존 재팬,  일본 내 최대 전자상거래 기업

참고로 amazon.co.jp는 2021년 일본에서 총순매출액이 130억 달러에 달해 순매출액 기준 일본 온라인 스토어 1위를 기록 중입니다. 관련 블로그 포스팅은 링크를 참고하기 바랍니다. 

 

3. 아마존 재팬 고객 리뷰, Web Scraping

아마존 재팬에서 판매 중인 일본산 유기농 립스틱 고객 리뷰를 웹스크래핑하겠습니다. 해당 립스틱은 포스팅 현재, 고객 평점은 5점 만점에 3.6점으로 보통입니다. 총 1,665개의 평가와 382개의 고객 리뷰를 받고 있습니다.  전체 382개 리뷰 중 100개 정도만 수집하겠습니다. 아래 그림은 DataMiner를 이용하여 고객 리뷰 10개 페이지를 웹스크래핑하는 과정을 캡처한 것입니다. 

DataMiner 웹스크래핑 실행화면 캡처

웹스크래핑한 후, 자동으로 내려받은 엑셀 파일도 같이 업로드해 두겠습니다. 연습용으로 활용하면 되겠습니다. 

B07WS6W2PC.xlsx

0.07MB

 

4. KH Coder3 품사 분석

KH Coder3 설치부터 활용까지 앞서 여러 포스팅에서 소개한 바 있습니다. KH Coder3가 처음인 분들은 아래 링크를 통해 설치 먼저 하시기 바랍니다. 

한글 텍스트 마이닝│KH Coder3 내려받고 설치하기 │Window 기준

 

웹스크래핑한 고객 리뷰들을 KH Coder3로 불러오고 전처리를 수행합니다. 다음 그림은 명사만 추출한 품사 분석 결과입니다. 해당 그림은 코딩하지 않고 웹상에서 데이터 시각화가 가능한  Datawrapper를 활용하였습니다. 

Datawrapper 활용 방법이 궁금한 분들은 아래 이전 포스팅을 참고하기 바랍니다. 

[카드뉴스] 데이터 시각화 │차트 그리기│No Coding │Datawrapper 사용법

 

5. KH Coder3 매개 중심성 분석

다음 분석 결과는 동시출현네트워크분석 중 매개 중심성 분석 결과입니다.

일단 색(色)이라는 키워드가 매개 중심성이 가장 높은 것으로 나타났습니다. 보습력 좋고, 사용 후 만족감이 높아 보다 다양한 색상을 추가 구매하겠다는 긍정적인 후기도 있지만, 발색이 고르지 않고, 딱딱해 여러 번 발라야 한다는 불만도 있습니다. 향에 대한 의견도 긍정적인 의견과 부정적인 의견으로 나뉘는데요, 부정적 의견 중에는 크레파스 냄새가 난다는 의견도 있었습니다. 나머지 결과는 실제로 KH Coder3로 앞서 업로드한 고객리뷰 파일을 불러들인 후, 실제 분석해보기를 권합니다. 

 

6. 정리 

일단 무료 웹스크래핑 도구인 DataMiner는 사용이 매우 간편했고, 개인적으로는 좋은 도구를 찾은 것 같습니다.  이번 포스팅에서는 간단하게 테스트용으로 활용해 보았습니다만, 추후 아마존 재팬에서 판매 중인 한국 화장품 고객 리뷰들을 수집, 비교하는데 활용하면 좋을 것 같습니다.