04.17 CLASS HW (웹 스크레이핑)

1. 웹 스크레이핑이란?

웹 스크레이핑이란 웹 사이트에서 모아진 정보(크롤링)을 바탕으로 원하는 데이터를 추출하는 작업

 

 

*원하는 태그 찾기

-Find_all(): 전체를 대상으로 조건에 해당되는 모든 태그를 리스트로 리턴

-Find(): 해당하는 태그만 리턴하기에 태그가 하나인 경우 더 효율적 사용 가능

 

2. 서버와의 통신 과정

• 사용자가 웹 브라우저의 주소창에 주소를 입력
• 요청: 웹 브라우저는 요청 메시지를 작성해 웹 서버로 발송
• 요청 메시지 전달: 요청 메시지가 인터넷의 복잡한 통신망을 거쳐 웹 서버에 전달
• 응답: 웹 서버는 요청받은 정보를 요청자에게 전송
• 응답 메시지 전달: 응답 메시지가 인터넷의 복잡한 통신망을 거쳐 웹 브라우저에 전달
• 웹 브라우저가 응답 메시지를 해석해 사용자에게 정보를 출력

3. 요청 메서드

웹에서 클라이언트와 서버가 통신하는 방법은 크게 두 가지가 있다.

1) GET: 요청하는 데이터를 주소에 더해 서버로 전송한다.

2) POST: Head가 아닌 Body에 요청하는 정보를 추가해 전송

 

*URL이란?

웹 공간의 수많은 자원에 대한 식별자로서, Uniform Resource Locator의 약자이다. 따라서 이를 바탕으로 데이터를 요청할 수 있다.