본문 바로가기

크롤링4

8주차 데이터 사이언스를 위한 파이썬 특강 2주차 '데이터수집을 위한 기초 파이썬'에서 배웠던 것과 마찬가지로 앞으로 데이터사이언스를 하기위해서, 필요한 파이썬 코딩에 대해 배워보았다. 지금까지는 Pycharm(개발도구)를 이용하여 python언어를 사용했다면, 이제는 jupyter을 이용하려고한다. jupyter는 파이썬 코드 실행과 함께 문서작업이 용이하기때문에, 앞으로 데이터사이언스를 활용하고 그 결과를 문서형태로 내보낼 때 좋을 것이라고 생각한다. jupyter는 python.interactive한 언어. pycharm는 python.script한 언어 Python has two basic modes: script and interactive. The normal mode is the mode where the scripted and fi.. 2019. 11. 28.
~중간점검~ 전반기 교육인 '네이버 정복 파이썬 크롤링'을 무사히 마쳤다. 데이터사이언스 12시간 입문기'를 들어가기에 앞서서, 코알라유니브2기 대학생들을 한번 다시 모으는 자리를 가졌다. (장소: 홍대 청춘마루 B1) 이번 세미나는 지금까지 배워온 내용을 간단히 정리해보고, 추가적으로 스스로 공부할 때의 Tip 같은 것을 주셨다. 사은품을 주는 재밌는 퀴즈시간도 있었다. 이후에 후반기에 나올 데이터사이언스에 대한 간단한 목차소개와 해커톤에 대한 설명이 이어졌다. 해커톤의 일정과 1기에 나왔던 해커톤 결과물을 보여주면서 당부하신 말은 각 팀별로 정말로 관심있는 분야에 대해서, 어떻게든 결과를 끝까지 내는 것이 중요하다고 말하셨다. 이 말씀은 컴퓨터로 프로그램을 만들어 봤다면, 너무 공감되는 이야기이다. 생각만 하는 .. 2019. 11. 13.
6주차 내 마음대로 움직이는 로봇 브라우저 6주차는 1주차부터 쌓인 누적량이 커져서 내용이 길어진다. 그래서 보기좋게 정리하는데 오랜시간이 걸린다. 그래도 마지막 주차인 만큼 알고있는 모든 내용을 쏟아붓기로한다 정적페이지와 동적페이지 구분 동적페이지: 1. 주소가 바뀌지않음 2. 검사 창에 있는 정보가 소스코드에는 존재하지않음 3. 1번2번의 이유는 유저가 행동에 따라 변할때, 페이지가 new_load 되는 것이 아니라, 페이지는 변하지않고 페이지안의 앱이 연산하는 것이기 때문에 ​ , 등의 태그 안에 텍스트를 입력하고 싶을 때는선택한 요소에 .send_keys() 함수를 사용하면 원하는 내용을 입력할 수 있습니다. , 등의 클릭 가능한 요소를 선택한 후에는 .click() 함수를 사용해서 상호작용이 가능합니다. select와 select_one.. 2019. 11. 13.
1주차 웹페이지를 이해해보자 코알라유니브 1주차 수업에서는 웹페이지의 데이터를 크롤링하기 위한 선행학습으로, 웹페이지의 구성과 원하는 정보는 찾을 수 있게하는 선택자에 대해 배워보았다. 기본적인 내용은 팀원들 모두 코알라에 올라와있는 인터넷강의와 자료를 통해서 숙지가 되어있었지만, 선택자를 찾는 것을 처음해보다보니, 여러가지 의문점을 생겼다. 스터디에서는 그 의문점을 해결해보는 시간을 가졌다. 그후 시간은 추가적으로 선택자를 찾는 연습을 하기위해서 다양한 웹페이지에서 선택자를 찾아보고, 의견을 나누었다. 그룹스터디를 하니깐, 혼자 했을 때는 당연히 넘어갔던 부분도 정확하게 하기위해 더 많은 질문이 나왔고, 또 다른사람이 궁금해하는 점에 대해서도 생각해보고 같이 해결하는 시간을 가질 수 있었다. 다만 아쉬웠던 것은 7명이라는 수가 적.. 2019. 10. 3.