파이썬 웹 크롤링

기초 중 기초 아무나 다 할 수 있는 파이썬 웹 크롤링

그전에 라이브러리인 pip install beauifulsoup4 requests를 설치 합니다.

BeautifulSoup을 통하여 크롤링을 한다.

# -*- coding: utf-8 -*-

from urllib.request import urlopen, Request

import urllib

import bs4

location = '강남구'

enc_location = urllib.parse.quote(location + '+날씨')

url = 'https://search.naver.com/search.naver?ie=utf8&query='+ enc_location

req = Request(url)

page = urlopen(req)

html = page.read()

soup = bs4.BeautifulSoup(html,"html.parser") #html은 파싱할 문서, html.parser는 파싱방식

area_weather = ('현재 ' + location + ' 날씨는 ' + soup.find('p', class_='info_temperature').find('span', class_='todaytemp').text + '℃ 이고, 체감기온은 ' + soup.find('span', class_='sensible').find('span', class_='num').text + '˚ 입니다.')

print('현재 ' + location + ' 날씨는 ' + soup.find('ul', class_='info_list').find('p', class_='cast_txt').text + '.')

print(area_weather)

#find는 html tag를 통해서 원하는 부분을 찾습니다.

#find : 1개의 태그만 찾음.

#find_all : 모든 태그를 찾음.

#select_one : 1개의 태그만 찾음.

#select : 모든 태그를 찾음.