6주차 내 마음대로 움직이는 로봇 브라우저

코알라UNIV

6주차 내 마음대로 움직이는 로봇 브라우저

인듯아닌듯 2019. 11. 13. 22:16

6주차는 1주차부터 쌓인 누적량이 커져서 내용이 길어진다. 그래서 보기좋게 정리하는데 오랜시간이 걸린다.

그래도 마지막 주차인 만큼 알고있는 모든 내용을 쏟아붓기로한다

정적페이지와 동적페이지 구분

동적페이지:

1. 주소가 바뀌지않음

2. 검사 창에 있는 정보가 소스코드에는 존재하지않음

3. 1번2번의 이유는 유저가 행동에 따라 변할때, 페이지가 new_load 되는 것이 아니라, 페이지는 변하지않고 페이지안의 앱이 연산하는 것이기 때문에

<input>, <textarea> 등의 태그 안에 텍스트를 입력하고 싶을 때는선택한 요소에 .send_keys() 함수를 사용하면 원하는 내용을 입력할 수 있습니다.
<button>, <a> 등의 클릭 가능한 요소를 선택한 후에는 .click() 함수를 사용해서 상호작용이 가능합니다.
select와 select_one 은 find_elements 와 find_element 와 동치이다.-> 완전히 같아서 연속적인 select_one처럼, 연속적으로 selector를 사용하여 element을 찾아줄 수 있음.

-implicitly wait, explicitly wait 차이점

implicitly wait는 내제된 모든코드에서 될때까지 기다려주는 것

->근데 실행가능하면 바로 넘어감. 이것때문에 값을 load하지 못하는경우가 많다 차라리 time.sleep()이 확실해서 좋다.

explicitly wait는 특정코드에서 될때까지 기다려주는것(조금 어렵게 쓰이는 것으로 알고있다)

만약 여러분이 ajax를 사용하지 않는 웹 사이트에서 단순하게 DOM구조만 변경되는 상황이라면 사실 Explicitly wait을 사용하지 않아도 괜찮을 가능성이 높습니다. (DOM API처리속도는 굉장히 빠릅니다.) 하지만 최신 웹 사이트들은 대부분 ajax요청을 통해 웹 구조를 바꾸는 SPA(Single Page App)이 많기 때문에 크롤링을 진행할 때 Explicitly wait을 이용하는 것이 좋습니다.

webdriver.Chrome("./chromedriver")는 꼭 써줘야하는 요소

웹브라우저 기다려주는 방법 3개중 2개

webdriver.Chrome("./chromedriver").implicitly_wait()

time.wait()

---------------------------------------------------------------------