cloudscraper2 python3 - Crawler (Investing.com 원자재 데이터 읽기) "Investing.com " 웹사이트에서는 전세계 다양한 주식/선물/ETF등등 정보를 무료로 공개한더 본 문서에서는 Investing.com 사이트에서 "천연가스 선물" 데이터의 과거 데이터를 읽는 크롤링 코드에 대해 설명한다 크롤링을 수행하기 위해서는 대상 페이지의 기본적인 구조를 알아야한다. "천연가스 선물 " 페이지의 과거데이터 부분 페이지 구조는 다음과 같다. 해당 페이지에서 천연가스 데이터를 크롤링하기 위해 분석한결과, 분석 대상 페이지에서는 "" 을 먼저 찾아야한다. 위 그림과 같이 테이블 정보를 먼저 찾고 그 하위에 tbody (과거 데이터 테이블 몸체) 그리고 각 일자별 데이터 정보는 tr, "datatable_row_qHMpQ" 클래스로 구성되어있다. 표 테이블의 각각의 행은 가 배열로.. 2023. 6. 3. python3 - 크롤러 (cloudscraper) 일반적으로 파이썬 크롤링에서는 "requests" 모듈을 이용하여 해당 페이지 데이터를 읽어온다 import requests url = 'https://kr.investing.com/commodities/natural-gas' headers = {'User-Agent' : 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.4587.173 Mobile Safari/537.36'} html_1 = requests.get(url, headers=headers) #헤더를 넣고 요청 html_2 = requests.get(url) #헤더 없이 요청 requests 모듈을 사.. 2023. 6. 3. 이전 1 다음 728x90
