본문 바로가기

Web-Crawling3

02-Beautifulsoup을 사용해서 정적 crawling하기 1. Beautifulsoup 패키지 선언 from openpyxl import load_workbook, Workbook import pandas as pd import re import requests from bs4 import BeautifulSoup as soup 2. 검색 페이지에서 검색어를 정의하여 검색 페이지 지정하기(한글의 경우 unicode로 변환하여 url을 불러오기 위해서 url= 다음에 f키를 입력 # 검색어 변수 정의 search_keyword='강아지' # 빈 Naver Query 주소를 활용 + 검색어 url=f"https://search.naver.com/search.naver?sm=top_hty&fbm=0&ie=utf8&query={search_keyword}" 3. ur.. 2020. 8. 25.
01. 환경설정 및 원하는 웹사이트 로그인하기(동적 Crawling 활용) 1. Anaconda navigator의 Environment에서 create를 누른다. 2. 버전과 이름을 입력하고 ok를 누른다. 3. 설치되어 있는 패키지 리스트에서 All을 선택하고 필요한 패키지를 추가로 설치한다. 4. Jupyter Notebook, requests, Bs4, Openpyxl, Panda, re2, selenium selemiun은 동적 크로울링을 위한 방식으로, 클릭/입력/로딩 등의 명령을 구성한다. 5. Home에서 Jupyter notebook을 실행한후, 사용자 폴더의 특정위치에 새폴더를 만들고, Jupyter nootebook에서 새로운 Python 3 파일을 생성후 아래와 같은 코드를 입력하낟. from openpyxl import load_workbook, Work.. 2020. 8. 25.
Anaconda 및 chromedriver 설치하기 아래의 링크에서 Anaconda (OS에 맞게) 와 chromedriver(설치된 Chrome 버젼에 맞게) 설치하기 www.anaconda.com/products/individual Anaconda | Individual Edition Anaconda's open-source Individual Edition is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com chromedriver.chromium.org/downloads Downloads - ChromeDriver - WebDriver for Chrome WebDriver for Chrome chromed.. 2020. 8. 25.