#파이썬 크롤링 네 번째 : 크롤링시 유용한 활용법들! 크롬 브라우저 개발자 모드 MAC : Command + Alt + i window : F12 위의 단축키를 누루면 개발자 모드에 접속할 수 있다. 여기에서 HTML을 통해 웹페이지의 구조를 볼 수 있다. 물론 페이지 아무곳에서 마우스 오른쪽 클릭 후 페이지 소스를 볼 수 도 있다. 데이터 이중 추출 한번에 추출하기 힘든 데이터들은 큰 범위에서 추출을 한번하고, 다시 한번 작은 부분을 추출하면 편하다. requests와 BeautifulSoupd을 활용 wideRange = soup.find( '추출할 태그') smallRange = wideRange.find_all('추출할 태그') 문자열 함수와 함께 사용해 원하는 데이터 출력 및 깔끔한 출력 fo..

#파이썬 크롤링 세 번째 : CSS의 이해 css 언어 : Cascading Style Sheet 크롤링을 하기위해서 HTML뿐만 아니라 CSS에 대한 기본이해도 필요하다. 그 이유는 CSS는 HTML에 문서의 스타일을 지정할 수 있는 언어기 때문에 웹 페이지 제작시에 필수로 사용되고, 이 때문에 크롤링할 범위를 정확하게 파악하기 위해서는 CSS의 기본구조를 알고, 원하는 위치의 코드를 가져와야한다. 문서의 스타일이란, 우리가 워드나 한글에서 글자를 글씨체 설정, 가운데 정렬, 클자크기를 15로, 글자색을 빨간색으로, 글자를 Bold표시 등으로 설정하는 것을 스타일이라고 보면된다. css 언어 적용하기 1. 각 태그별 적용 방법 *태그: 사용자가 원하는 아무 글자..

# 파이썬 크롤링 두 번째 : HTML의 이해 파이썬을 활용해 크롤링을 하기 위해서는 기본적인 html 코드에 대한 이해가 필요하다. 그 이유는 크롤링시에 원하는 데이터의 위치를 웹 소스에서 확인 후, 원하는 데이터를 가져와야 하기 때문이다. 만약 html을 몰라서, 복잡한 웹소스에서 원하는 데이터를 정확하게 찾아오지 못한다면 당연하게도 잘못된 데이터를 분석하고, 잘못된 결과를 도출하게 된다. HTML의 기본코드에 대해서 공부한 내용을 다시 한번 적어본다. HTML 기본구조 '내용' #이미지 파일 #테이블의 경계 기본값 ' 내용' #행 '내용' #열 블로그 글에서 작성하기는 생각보다 힘들다. 컴파일러의 색구분이나 자동 완성 등이 없어서 위치를 맞추기 힘들다. 그래도 직접 하나하나 다시 처보니 새롭게 이해..

# 파이썬 크롤링 첫 번째 : 크롤링 핵심 코드 패턴! 오늘은 처음으로 파이썬 크롤링 공부를 시작했다. 아직 파이썬 문법도 어색한 상황이지만, 실제로 무언가를 해봐야 빠르게 배울 수 있기 때문에 크롤링 공부를 시작했다. 아직 많이 어렵다. 오늘 공부한 내용을 다시 적어보면서 기억해봐야겠다. 인프런이라는 사이트에서 잔재미 코딩님의 파이썬 입문과 크롤링 기초 부트캠프 수업을 듣고 있다. 개인적으로는 코딩을 처음 접하는 사람들도 이해하기 쉽고 재미있게 수업을 알려주신다. 크롤링 핵심 코드 패턴 1. 라이브러리 임포트 import requests from bs4 import BeautifulSoup 2. 웹페이지 가져오기 res = requests.get(' 크롤링할 주소') 3. 웹페이지 파싱하기 soup =..