python 네 번째 일기 : 크롤링 기초(crawling basic)

#파이썬 크롤링 네 번째 : 크롤링시 유용한 활용법들!

 

크롬 브라우저 개발자 모드

MAC : Command + Alt + i 

window : F12

 

위의 단축키를 누루면 개발자 모드에 접속할 수 있다.

 

네이버 주식화면 개발자 모드

 

여기에서 HTML을 통해 웹페이지의 구조를 볼 수 있다.

 

물론 페이지 아무곳에서 마우스 오른쪽 클릭 후 페이지 소스를 볼 수 도 있다.

 

 

데이터 이중 추출

한번에 추출하기 힘든 데이터들은

 

큰 범위에서 추출을 한번하고, 다시 한번 작은 부분을 추출하면 편하다.

 

requests와 BeautifulSoupd을 활용

 

wideRange = soup.find( '추출할 태그')

smallRange = wideRange.find_all('추출할 태그')

 

문자열 함수와 함께 사용해 원하는 데이터 출력 및 깔끔한 출력

 

for 구문에 사용

strip() 을 이용해 빈칸제거

split()을 이용해 필요한 문자 출력

 

자세하게 공부내용을 작성하고 싶지만, 저작권을 위반할 수 있어서 간략하게 적는다.

오늘은 위의 내용들 이외에도 css활용 크롤링, 네이버 주식 크롤링, 네이버 쇼핑 크롤링 등을 해보고

엑셀로 크롤링한 파일을 만들기까지 해보았다.

 

크롤링의 기초를 쉽게 배우고 싶다면, 인프런에서 잔재미 코딩을 검색해서 강의들으시길 추천한다.