커뮤니티
포인트
쿠폰
내 강의실
국비 신청 내역
증명서
계정
로그아웃
학습 질문
개발 일지
나의 활동
답변 완료
[혼자연습] 멜론에서 크롤링 한건데 한꺼번에 몽고디비에 넣는 방법은 없을 까요?
undefined주차
북마크
김*태
댓글
10
추천
0
조회수
31
조회수
31
답변 완료


프로그램이 번잡해서 문제가 좀 있긴한데 좀 더 간단히는 힘들겠더라고요

if 문 때문에 키 값들이 흩어져서 그런데 하나로 합해서 디비에 넣을 방법은 없을 까요?

해결이 안되네요ㅠㅠ






작성한 코드 및 에러 메세지

import requests
from bs4 import BeautifulSoup

import certifi
ca = certifi.where()

from pymongo import MongoClient
client = MongoClient('mongodb+srv://test:sparta@cluster0.qoeckag.mongodb.net/Cluster0?retryWrites=true&w=majority', tlsCAFile=ca)
db = client.dbsparta

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}

data = requests.get('https://www.melon.com/chart/index.htm',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

musics = soup.select('#lst50 > td')
musics2 = soup.select('#lst100 > td')

for music in musics:
    r = music.select_one("div > span.rank")
    t = music.select_one("div > div > div.ellipsis.rank01 > span > a")
    s = music.select_one("div > div > div.ellipsis.rank02 > a")
    if r is not None:
        print(r.text, end=" ")
    if t is not None:
        print(t.text, end=" ")
    if s is not None:
        print(s.text)

for music2 in musics2:
    r = music2.select_one("div > span.rank")
    t = music2.select_one("div > div > div.ellipsis.rank01 > span > a")
    s = music2.select_one("div > div > div.ellipsis.rank02 > a")
    if r is not None:
        print(r.text, end=" ")
    if t is not None:
        print(t.text, end=" ")
    if s is not None:
        print(s.text)

오류 발생 시, 작성한 코드 전체와 에러 메시지를 첨부해 주세요.

Tip 1) </> 아이콘을 눌러 코드박스를 만들어 보세요.

Tip 2) Ctrl+A(맥의 경우 Command+A) 단축키로 코드를 한 번에 선택할 수 있어요!




취소
 공유
취소
댓글 0
댓글 알림
나의얼굴