
beautifulsoup을 사용해서 날씨 데이터를 불러오고 싶은데요 print(soup) 진행시 아무런 html code가 불려오지 않습니다.
날씨정보 url: https://www.accuweather.com/en/us/new-york/10021/daily-weather-forecast/349727
혹시 제가 사용하려는 웹사이트가 dynamic website 일까요? 그럼 날씨 정보를 크롤링이 불가한건가요?
import requests
from bs4 import BeautifulSoup
from pymongo import MongoClient
client = MongoClient('mongodb+srv://test:sparta@cluster0.v0amks8.mongodb.net/?retryWrites=true&w=majority')
db = client.dbsparta
# URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.accuweather.com/en/us/new-york/10021/daily-weather-forecast/349727',headers=headers)
# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
soup = BeautifulSoup(data.text, 'html.parser')
print(soup)
