728x90
스크래핑 툴은 여러가지 있다. 그중 BeautifulSoup 대신 Selenium을 사용하는 이유는 무엇일까?
바로 Javascript 기반 웹사이트를 스크래핑 하기 위해서다. Bs는 불가하다.
그렇다면 어떻게 웹사이트가 Javascript 기반인지 아닌지 어떻게 알 수 있나? 이번 포스팅에서는 이에 대해 알아보자.
자바스크립트 기반 웹사이트 여부 확인 방법
크롬 브라우저 dev toold - settings - Debugger -> Disable Javascript ✅ On 체크해준다
자바스크립트 실행을 중지시키면..
이런 에러 화면이 뜰 것이다. 자바스크립트로 동작하기 때문이다. 어떤 웹사이트는 이런 페이지가 뜨지 않고 그냥 데이터만 무한 로딩하는 경우도 있다. 데이터가 뜨지 않거나 이런 에러 페이지가 뜨는 경우 자바스크립트로 작동된다고 생각하면 된다.
728x90
'Research > Python' 카테고리의 다른 글
shootingstar_성공로그_Selenium 스크래퍼 flask 서버 EC2 Linux에 배포하기 (0) | 2023.04.14 |
---|---|
Python_WSGI? ASGI? (0) | 2023.04.10 |
XPath_Basics (0) | 2023.03.26 |
BeautifulSoup_여러 페이지 수집하기 (0) | 2023.03.26 |
BeautifulSoup_Basics (0) | 2023.03.25 |
댓글