웹 스크래핑 배우기
웹 스크래핑은 마법과 같죠.
인터넷에는 무수히 많은 데이터가 있습니다.
기업은 가격을 비교하고,
고객을 이해하고, 경쟁하기 위해
인터넷에서 데이터를 수집합니다.
우리는 웹 스크래핑의 도움으로
인터넷에서 데이터를 스크래핑할 수 있습니다.
전제 조건:
데이터를 스크랩하려면
Python에 대한 기본 지식만 있으면 됩니다.
파이썬에 대한 기본 지식을 알고 있다고 가정하고
웹 스크래핑을 다뤄보겠습니다.
과제:
이름, 등급, 가격과 같이
Flipkart에 나열된 모든 노트북 세부 정보를
추출하여 비교하고 더 나은 거래를
하도록 도와드립니다.
1단계: 필요한 모든 라이브러리 다운로드
먼저 데이터 스크래핑에 필요한
모든 라이브러리를 다운로드해야 합니다.
BeautifulSoup:
Beautiful Soup은 HTML 및 XML 파일에서
데이터를 가져오기 위한 Python 라이브러리입니다.
pip install bs4
requests:
requests를 사용하면
HTTP/1.1 requests를 매우 쉽게 보낼 수 있습니다.
URL에 쿼리 문자열을 수동으로 추가하거나
POST 데이터를 형식 인코딩할 필요가 없습니다.
pip install requests
lxml:
lxml은 XML 및 HTML 파일을 쉽게 처리할 수 있는
Python 라이브러리이며 웹 스크래핑에도
사용할 수 있습니다.
이 라이브러리의 주요 이점은
사용이 간편하고 대용량 문서를 구문 분석할 때
매우 빠르고
문서화되어 있으며 데이터를 Python 데이터 유형으로
쉽게 변환할 수 있어 파일 조작이 더 쉽다는 것입니다.
pip install lxml
필요한 모든 라이브러리를 설치했습니다.
2단계: 라이브러리 가져오기
from bs4 import BeautifulSoup
import requests
3단계: 스크랩할 URL 가져오기
Flipkart로 이동하여 tv를 검색한 다음
URL을 복사합니다.
url = "https://www.flipkart.com/search?q=laptop&otracker=search&otracker1=search&marketplace=FLIPKART&as-show=on&as=off&page=1"
4단계: URL 가져오기 요청
r = requests.get(url)
r을 인쇄하면 응답 코드가 표시되고,
응답 코드가 200–299이면
스크랩할 웹 페이지의 HTML 파일을 가져올 수 있습니다.
r
웹 페이지의 html 파일이나 콘텐츠를 가져오기 위해
콘텐츠 메서드를 사용합니다.
rContent = requests.get(url).content
5단계: BeautifulSoup 개체에서 HTML 파일 변환
BeautifulSoup 객체에서 HTML 파일을 변환하면
웹 스크래핑을 수행하고 필요한 모든 데이터를
매우 쉽게 스크래핑할 수 있습니다.
soup = BeautifulSoup(rContent,'lxml')
6단계: 모든 정보가 포함된 div 태그 긁기
여기에서 class : _3pLy-c row를 사용하여
<div> 태그에서 긁어내고자 하는
모든 필요한 정보를 포함하는 태그를 지정할 수 있습니다.
전체 div 태그를 긁기 위해 find() 메서드를 사용합니다.
laptop = soup.find('div','_3pLy-c row')
7단계: laptop 이름 스크랩
name = laptop.find('div','_4rR01T')
name.text
8단계 : 스크랩 가격
price = int(laptop.find('div','_30jeq3 _1_WHN1').text.replace('₹','').replace(',',''))
price
9단계 : 평점 스크래핑
rating = float(soup.find('div','_3LWZlK').text)
rating
10단계: 모든 laptop의 세부 정보 스크래핑
find() 메서드를 사용하여 첫 번째 <div> 태그를 선택하고
단일 태그에서 데이터를 스크랩했습니다.
이제 find_all() 메서드를 사용하고
단일 페이지에서 모든 랩톱의 데이터를 스크랩합니다.
from bs4 import BeautifulSoup
import requests
url = "https://www.flipkart.com/search?q=laptop&otracker=search&otracker1=search&marketplace=FLIPKART&as-show=on&as=off&page=1"
r = requests.get(url).content
soup = BeautifulSoup(r,'lxml')
laptops = soup.find_all('div','_3pLy-c row')
for laptop in laptops:
name = laptop.find('div','_4rR01T').text
price = int(laptop.find('div','_30jeq3 _1_WHN1').text.replace('₹','').replace(',',''))
if laptop.find('div','_3LWZlK') == None :
rating = 0.0
else :
rating = float(laptop.find('div','_3LWZlK').text)
print('Name : ',name)
print('Price : ',price)
print('Rating : ',rating)
11단계: N 페이지에서 세부 정보 스크래핑하기
모든 페이지의 URL이 동일하다는 것을 알면
페이지 수만 증가시키는 루프를 사용하여
n개의 페이지에서 모든 데이터를 추출할 수 있습니다.
from bs4 import BeautifulSoup
import requests
import pandas as pd
# 페이지 수
n = 10
for page in range(1, n + 1):
url = f'https://www.flipkart.com/search?q=laptop&otracker=search&otracker1=search&marketplace=FLIPKART&as-show=on&as=off&page={page}'
r = requests.get(url).content
soup = BeautifulSoup(r,'lxml')
laptops = soup.find_all('div','_3pLy-c row')
for idx, laptop in enumerate(laptops):
name = laptop.find('div','_4rR01T').text
price = int(laptop.find('div','_30jeq3 _1_WHN1').text.replace('₹','').replace(',',''))
if laptop.find('div','_3LWZlK') == None :
rating = 0.0
else :
rating = float(laptop.find('div','_3LWZlK').text)
temp = pd.DataFrame([name, price, rating]).T
temp.columns = ["name","price","rating"]
if idx == 0 :
final = temp
else :
final = pd.concat([final, temp])
if page == 1:
totLabTopInfo = final
else:
totLabTopInfo = pd.concat([totLabTopInfo, final])
totLabTopInfo
