본문 바로가기

교육

AI 자동 무료 텍스트 마이닝 일본어 사이트 사용법 (1)│ユーザーローカル

무료로 일본어 AI 텍스트 마이닝을 자동으로 구현해 볼 수 있는 대표적인 웹사이트는 User Local(ユーザーローカル)입니다. 최근 User Local(ユーザーローカル)이 여러 가지 기능들을 개선 및 제공하고 있어서 이번 포스팅을 통해 소개해보고자 합니다. 다만, 일본어로 사용자 계정 생성을 위한 회원가입이 필요하고, 특정 서비스는 글자 수(200,000자까지)가 제한된 경우도 있습니다.  이번 포스팅에서는 계정 생성 방법과 샘플 데이터를 이용하여 User Local(ユーザーローカル) 에서 제공하는 네 가지 카테고리 서비스 중 "하나의 문서를 분석" 하는 카테고리의 세부 분석 서비스 메뉴인 워드클라우드, 동시 출현 네트워크 분석, 계층적 군집분석, 감정 분석, 문서 요약, 문서 검색 서비스 기능까지만 살펴보겠습니다. 

 

텍스트 마이닝 무료 도구 │voyant tools│데이터 입력과 불용어 처리 방법

코딩하지 않고 자동으로 텍스트 마이닝 실행할 수 있는 무료 도구인 voyant tools의 데이터 입력과 불용어 처리방법에 관하여 정리합니다. voyant tools는 오픈 소스 웹 기반의 텍스트 마이닝 도구로서

e-datanews.tistory.com

 

1. 무료 회원 가입

먼저 User Local(ユーザーローカル)에서 제공하는 텍스트 마이닝 AI 서비스를 무료로 이용하기 위해서는 다음과 같은 회원 가입이 필요합니다. User Local 웹사이트로 이동하고, 웹사이트 우측 상단의 신규 가입이라는 아이콘을 클릭합니다. 그럼 아래 이미지와 같은 계정생성 정보등록 페이지로 이동하게 됩니다. 한국어를 일본어로 변환하는 웹서비스 등을 이용하여 빈칸을 채워줍니다. 아래 이미지의 각 기입 순서는 이름 > 회사명 > 부서 > 비밀번호 > 비밀번호 확인 순입니다. 이용자가 학생인 경우에는 재학중인 학교명과 전공명을 기입해도 됩니다. 

계정 생성을 위한 회원 정보 기입
계정 생성을 위한 회원 정보 기입

 

일본 주소 한글 우편번호 검색 │한글 이름 일본어 변환 │추천 웹사이트

일본 현지 주소 우편번호를 한글로 쉽게 검색할 수 있고, 한글 이름을 일본어(카타카나, 히라가나)로 간단하게 변환시켜 주는 유용한 웹사이트가 있어서 공유합니다. 얼마전 일본 웹사이트에 회

e-datanews.tistory.com

 

2. 샘플 텍스트 데이터 불러오기

신규 계정을 생성하고 나면, 아래 이미지처럼 우측 상단에 서비스 로그인 아이콘이 생성됩니다. 또한 User Local(ユーザーローカル) 에서 제공하는 샘플 데이터를 활용하여 자동 일본어 텍스트 마이닝 서비스를 경험해 볼 수 있습니다.  아래 이미지처럼 메뉴 하단에 샘플(サンプル) 원고를 클릭합니다. 그러면 User Local(ユーザーローカル)에서 제공하는 워드클라우드 등 다양한 텍스트 마이닝 서비스들을 무료로 이용 및 확인할 수 있습니다. 

계정 생성 완료 및 샘플 데이터를 활용한 텍스트 마이닝 서비스 확인
계정 생성 완료 및 샘플 데이터를 활용한 텍스트 마이닝 서비스 확인

 

3. 워드클라우드

User Local(ユーザーローカル)이 제공하는 워드클라우드의 특징은 품사별로 단어의 색깔이 다르게 구현된다는 점입니다. 먼저 명사는 파란색, 동사는 빨간색, 형용사와 형용동사는 초록색을 각각 의미합니다.  마지막으로 완성된 워드클라우드는 이미지 하단의 다운로드 버튼을 클릭하여 내 컴퓨터로 내려받을 수 있습니다. 

User Local(ユーザーローカル)의 워드클라우드 서비스
User Local(ユーザーローカル)의 워드클라우드 서비스

 

코딩하지 않고 무료로 일본어 워드 클라우드 만들기 │lab.fanbright.jp

코딩하지 않고 무료로 일본어 워드 클라우드를 만들어 보겠습니다. 코딩하지 않고 무료로 만들기 때문에 몇 가지 제약 사항이 있다는 점은 미리 말씀드립니다. 이전 포스팅에서 코딩하지 않고,

e-datanews.tistory.com

 

4. 동시 출현 네트워크 분석

각 품사별로 구분된 단어들이 동시 출현 정도를 네트워크 그래프로 구현한 결과를 제시해 줍니다. 동시 출현 네트워크 분석 결과 이미지 우측 상단에 동시 출현 횟수 다운로드(共起回数を ダウンロード)를 클릭하면, 각 단어 별 동시 출현 분석 결과를 확인할 수 있습니다. 예제 파일의 분석 결과는 이미지 하단에 파일로 업로드해 둘 테니 참고하기 바랍니다. 

User Local(ユーザーローカル)의 동시출현네트워크분석 서비스
User Local(ユーザーローカル)의 동시출현네트워크분석 서비스
太宰治『走れメロス』_cooccurrence.csv
0.16MB

 

R 한글 텍스트 마이닝 분석 (4) : tidygraph와 ggraph │키워드 네트워크 분석

R을 이용한 한글 텍스트 마이닝 분석 다섯 번째 포스팅 주제는 tidygraph와 ggraph를 이용한 키워드 네트워크 분석입니다. 이전에 활용한 네이버의 생성형 AI 서비스 큐 보도자료를 계속 인용하겠습

e-datanews.tistory.com

 

5. 계층적 군집분석

단어 간의 출현 경향이 유사(가로축의 숫자)한 단어들을 수형도로 구현한 것으로 그룹 간 차이는 색상으로 구분합니다. 즉 같은 색의 단어는 가까운 군집에 속한다고 할 수 있습니다(상세 설명은 이쪽을 클릭!). 

User Local(ユーザーローカル)의 계츷적 군집분석 서비스
User Local(ユーザーローカル)의 계츷적 군집분석 서비스

 

계층적 군집분석 │ 와드(Ward) │ 유클리디안 거리

군집분석은 비슷한 속성을 가진 분석대상을 몇 개의 집단으로 묶고 각 집단의 특징을 파악하여 전체 데이터를 탐색하는 방법입니다. 몇 개의 집단으로 묶기 위해서는 묶이는 집단 간 유사도가

e-datanews.tistory.com

 

6. 감정 AI 분석

두 번째 서비스 메뉴는 감정분석입니다. 전체 문서를 분석하고 감정의 추세를 시각적으로 제시해 줍니다. 먼저 다음 이미지는 감정분석 결과의 요약입니다. 긍정적인 감정의 문장비율은 초록색으로 부정적인 경우는 빨간색으로 중립인 경우는 회색으로 표시됩니다. 또한 5가지의 감정(기쁨, 좋음, 슬픔, 두려움, 분노) 크기를 레이더 그래프 형태로 제시해 줍니다. 

User Local(ユーザーローカル)의 AI 감정분석 요약
User Local(ユーザーローカル)의 AI 감정분석 요약


이 외에도 다음 이미지처럼 문서의 시작(왼쪽)부터 끝(오른쪽)까지 분할 및 분석하여 감정 기복의 추이를 시각화하여 제시해 줄 수도 있습니다. 해당 감정의 정도가 클수록 영역의 증폭이 커집니다. 

User Local(ユーザーローカル)의 AI 감정추이 분석 서비스
User Local(ユーザーローカル)의 AI 감정추이 분석 서비스

 

귀멸의 칼날 : 무한열차편 │감성분석 │네이버 영화 │R 텍스트 마이닝

극장판 귀멸의 칼날(무한열차편) 네이버 영화평 5,044개를 웹크롤링한 후, 감성분석 텍스트 마이닝을 실행해보겠습니다. 분석도구는 R 4.0.2입니다. 감성 분석 전에 아래 포스팅 참조하여 한글 텍

e-datanews.tistory.com

 

7. AI 문서 요약

세 번째 서비스 메뉴는 AI 문서 요약입니다. 챗 GPT API를 이용하여 분석할 문서의 주요 내용을 요약할 수 있습니다. 아래 이미지처럼 초록색 버튼을 클릭하면, 챗 GPT에 의한 요약 서비스가 시작됩니다. 이 외에도 3줄, 5줄 및 10줄 요약도 별도 가능합니다. 

User Local(ユーザーローカル)의 AI 문서 요약 서비스
User Local(ユーザーローカル)의 AI 문서 요약 서비스

 

PDF 문서 자동 번역 및 요약 간단 방법│ChatPDF │Bing 검색

이번 포스팅은 ChatPDF와 Bing을 이용하여 간단히 그것도 무료로 PDF 문서 자동 번역 및 요약하는 방법을 비교 정리하겠습니다. 국내외 문서를 많이 읽는 분들에게는 괜찮은 팁이니 참고하기 바랍니

e-datanews.tistory.com

 

8. 본문 검색

마지막 네 번째 서비스 메뉴는 베타 서비스 중인 본문 검색 서비스입니다. 특정 단어(여기서는 大丈夫)를 입력창에 입력한 후, 돋보기 아이콘의 찾기 버튼을 클릭하면, 해당 단어(大丈夫)와 연관된 워드클라우드 분석 결과와 동시 출현 네트워크 분석 결과를 확인할 수 있고, png 등의 파일로 내려받을 수 있습니다. 

User Local(ユーザーローカル)의 본문 검색 베타 서비스
User Local(ユーザーローカル)의 본문 검색 베타 서비스

 

베이지크 국내 비건 스킨케어 일본 사용 후기 텍스트 마이닝 분석 사례│ 아마존 재팬

이전 포스팅에서 일본 현지 추천 국내 비건 스킨케어 브랜드를 소개한 바 있고, 무료로 코딩 없이 웹스크래핑과 텍스트 마이닝 하는 방법을 정리한 바 있습니다. 이번 포스팅에서는 이어서 국내

e-datanews.tistory.com

 

9. 정리

이번 포스팅에서는 무료로 일본어 텍스트 마이닝 웹 서비스를 제공하는 User Local(ユーザーローカル) 웹사이트의 신규 계정 생성 방법과 User Local(ユーザーローカル)에서 제공하는 샘플 데이터를 활용하여 "하나의 문서를 분석" 하는 카테고리 서비스를 중심으로 구체적으로 어떤 텍스트 마이닝 서비스가 제공되는지 정리해 보았습니다. 다음 포스팅에서는 이어서 실제 아마존 재팬 고객 리뷰 스크래핑 자료를 활용하여 실습을 진행해보겠습니다. 

 

비건 화장품 국내 시장 조사 │빅카인즈 썸트렌드 KHCoder3 활용

국내 비건 화장품 시장 조사를 위해 뉴스 기사를 검색하고, KHCoder3을 활용하여 수집된 뉴스 데이터를 통해 특정 품목을 발굴하는 한편, 썸트렌드를 통해 발굴된 품목의 특성 등을 비교해보는 예

e-datanews.tistory.com

이어서 다음 포스팅에서는 실제 아마존 재팬의 일본 고객 리뷰 데이터를 활용하여 User Local(ユーザーローカル) 사용 방법을 정리하겠습니다.