본문 바로가기

텍스트마이닝

무료 웹스크래핑 Dataminer 사용 방법 │아마존 고객 리뷰 │keto diet 웹스크래핑 서비스인 dataminer 사용 방법을 정리합니다. 미리 말씀드리면, 정말 매우 간단합니다. 다만, 일정한 페이지까지는 웹스크래핑이 무료이나, 무료 서비스 이용 범위를 넘어서면 과금된다는 점은 미리 말씀드리니 사용 시 유의하기 바랍니다. 웹스크래핑할 예제는 아마존 keto diet 관련 품목 중의 하나를 골라 고객 리뷰 관련 정보를 스크래핑해 보겠습니다. The Ketogenic Diet: A Guide to Weight Loss and Improved Health The ketogenic diet is a low-carb, high-fat eating routine that has been demonstrated to help people with weight reduction and oth.. 더보기
단어 빈도-역문서 빈도 분석(TF-IDF) 개념과 계산 방법│ChatGPT의 오류, 영혼 없는 사과 단어빈도-역문서빈도(Term Frequency-Inverse Document Frequency: 이하 TF-IDF) 분석은 전처리와 토큰화 이후 분석할 텍스트 데이터를 탐색하는 가장 기초적인 분석 단계입니다. 이번 포스팅에서는 TF-IDF의 개념과 계산 방법을 ChatGPT를 이용하여 정리합니다. 특히 ChatGPT를 이용한 코딩 공부 시, 유의사항도 함께 확인하기 바랍니다. ChatGPT 사용 후기│티스토리 글쓰기 정보 수집 2023년 첫 번째 블로그는 1주일 간 사용해 본 ChatGPT 후기입니다. 작년 12월 1일 ChatGPT이 첫 공개된 후, 다양한 활용 사례가 공유되고 있는데요. 이번 포스팅에서는 ChatGPT을 활용한 티스토리 같은 블 e-datanews.tistory.com R ChatGP.. 더보기
텍스트 마이닝 토픽분석 키워드 네트워크 분석 │국내 연구 동향 │2002년-2022년 한국 학술지 인용 색인에서 텍스트 마이닝, 토픽분석 및 키워드 네트워크 분석 이라는 검색 결과를 활용하여 국내 텍스트 마이닝 관련 연구 동향을 정리해 보았습니다. 텍스트마이닝 분석 절차 │비정형 데이터 분석 방법 │중국 경제 해외 연구 텍스트 데이터의 분석 방법인 텍스트 마이닝 분석 절차에 대하여 예시 자료와 함께 개념적인 이해를 도모해보고자 합니다. 중국 경제에 관한 해외 연구 분석 사례를 중심으로 비정형 데이터 분 e-datanews.tistory.com 국내 텍스트 마이닝 연구 동향 : 2002년 - 2022년 한국 학술지 인용 색인에서 텍스트 마이닝이라는 키워드로 검색하는 경우 2002년부터 국내 논문이 등장하기 시작합니다. 이후 2022년에는 647편의 논문이 게재되어 거의 하루에 두 편 꼴로 .. 더보기
일본 전 총리 아베 총격 등 구글 실시간 해외 뉴스 의미망 분석 일본 전 총리인 아베 신조 총리가 나라시에서 유세 지원 도중 피격되는 사건이 있었습니다. 현재 야후 재팬 뉴스에 올라온 기사로는 집중 치료실에서 치료 중입니다. 구글의 실시간 해외 뉴스를 웹 스크랩 핑한 후, 간단하게 의미망 분석을 실행해보겠습니다. 구글 실시간 해외 뉴스 데이터 수집 결과 구글 실시간 해외 뉴스 데이터를 수집하는 방법은 이전 포스팅을 참고해 주기 바랍니다. rvest를 이용한 구글 실시간 뉴스 데이터 수집 결과는 아래 업로드해두겠습니다. 사회연결망 분석결과 : 연결 중심성 먼저 단어 빈도-역문서 빈도를 계측하고, 상위 30대 뉴스 키워드를 도출합니다. 도출된 키워드를 이용하여 사회 연결망 분석을 실행한 후, 연결 중심성이 가장 높은 3개 단어를 추출하여 시각화하면 아래와 같습니다. 우선.. 더보기
웹스크랩퍼 활용사례│텍스트데이터 자동수집│ 카자흐스탄 flip.kz 사례 웹스크랩퍼 활용사례│텍스트데이터 자동수집│카자흐스탄 flip.kz 사례 이번 포스팅은 웹스크랩퍼를 활용하여 고객 구매후기 혹은 사용후기와 같은 리뷰 혹은 댓글 등 텍스트데이터를 자동으로 수집할 수 있는 크롬익스텐션 사용법을 소개하고자 합니다. 구체적인 설치 및 사용법 설명에 앞서 우선 어떻게 사용하는지 아래 유튜트 동영상을 먼저 살펴보기 바랍니다. 웹스크랩퍼를 사용하기 위해서는 크롬익스텐션 설치를 먼저 해야 합니다. 아래 그림을 참고하여 구글에서 먼저 web scraper를 검색한 후, 설치하면 됩니다. 이전 포스팅에서 크롬익스텐션 설치를 하였으므로 구체적인 설명은 생략합니다. 구매자 사용후기를 수집할 웹사이트는 카자흐스탄의 화장품 전문온라인샵은 플립으로 해보겠습니다. 일단 아래와 같이 마스카라 화장품에.. 더보기