programming/python7 python3 - 크롤러 (cloudscraper) 일반적으로 파이썬 크롤링에서는 "requests" 모듈을 이용하여 해당 페이지 데이터를 읽어온다 import requests url = 'https://kr.investing.com/commodities/natural-gas' headers = {'User-Agent' : 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.4587.173 Mobile Safari/537.36'} html_1 = requests.get(url, headers=headers) #헤더를 넣고 요청 html_2 = requests.get(url) #헤더 없이 요청 requests 모듈을 사.. 2023. 6. 3. python - schedule(스케쥴) 파이썬 코드를 원하는 시각(일정)에 맞추어 실행할수 있다. 관련 모듈 : schedule pip install schedule 샘플 코드 import schedule import time import os def minder_job(): print("I'm working...") os.system("/Users/user/Desktop/miner") def exit(): print("function exit") sys.exit() # 매일 00:44 에 실행 job1 = schedule.every().day.at("00:44").do(minder_job) # 매일 00:46 에 실행 job2 = schedule.every().day.at("00:46").do(exit) while True: schedule.. 2023. 5. 29. python3 - sqlite3 example 접속/해제 (file) import sqlite3 try: conn = sqlite3.connect(db_file) # 데이터베이스 연결 except sqlite3.Error as er: print("An error occurred:", er.args[0]) conn = sqlite3.connect(db_file) conn.close()# 연결 종료 테이블 생성 #테이블 샐성 cur = conn.cursor() try: cur.execute("CREATE TABLE 'main' ('index' INTEGER,'test1' TEXT,'test2' TEXT)") except sqlite3.Error as er: print("An error occurred:", er.args[0]) 입력 (INSERT) #정.. 2023. 5. 26. 이전 1 2 다음 728x90