크롤링 관련 질문입니다.
강의 중, 데이터 서버 (몽고) 연결 후 크롤링 데이터를 올리려고 하는데
크롤링 구문이 작동하지 않아 방법을 문의드립니다.
기존에 작성했던 크롤링 구문이랑, 코즈니스펫에 올라와있는 파이썬 구문도 작동하지 않는데
어떤 부분이 문제일까요?
import requests
from bs4 import BeautifulSoup
from pymongo import MongoClient
client = MongoClient('mongodb+srv://Victor_DS:qlalfqjsgh@cluster0.lliwcjt.mongodb.net/?retryWrites=true&w=majority')
db = client.dbsparta
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)
soup = BeautifulSoup(data.text, 'html.parser')
movies = soup.select('#old_content > table > tbody > tr')
for movie in movies:
a = movie.select_one('td.title > div > a')
b = movie.select_one('td:nth-child(1) > img')
c = movie.select_one('td.point')
if a is not None:
title = a.text
rank = b['alt']
star = c.text
doc = {
'rank': rank,
'title': title,
'star': star
}
db.users.insert_one(doc)