⚠️ 개요

• KBS World Radio에서 다국어 기사를 크롤링하여 코퍼스 자료로 저장하는 프로그램
• 수집 가능 언어 : 한국어, 아랍어, 중국어, 프랑스어, 독일어, 인도네시아어, 일본어, 러시아어, 스페인어, 베트남어, 영어
• 대상 언어와 수집할 기사 수를 입력하면 최근 기사를 기준으로 입력한 개수만큼의 기사 제목과 내용을 담은 csv 파일로 반환

🎯 제작 목적

• 언어데이터 분석 및 자연어처리를 위한 코퍼스 데이터 제작
• HTML 구조 및 파싱 과정의 이해
• OOP를 통한 프로그램 제작의 이해
• Selenium 사용 연습

📔 사용 모듈 및 라이브러리

• Python

• Selenium : 크롬 웹드라이버를 통한 크롬 조작 및 element parsing

                    Headless Brower 환경에서 크롤링 위해 사용
  

• re : 정규표현식을 통한 특수문자 정제

• csv : 데이터를 csv로 저장

😁 배운 점