개요
Selenium을 이용한 웹 크롤러
GUI 환경에서 설정하여 순차적 실행 자동화 프로그램
기본 기능
1. URL이동
2. INPUT에 지정한 값을 입력
3. 버튼 클릭
4. FRAME 이동
5. 글 목록 가져오기
6. 가져온 글 저장하기
설정한 값들을 순차적 실행.
프로그램 다운로드
1. GITHUB에 전체 소스 및 실행파일이 올라가 있으며 하기 URL 다운로드
https://github.com/hyungpilkim/auto_scrapy/tree/master/dist/
2. 폴더내 main.exe를 실행합니다. 하위와 같이 프로그램 실행하면 정상.
GitHub - hyungpilkim/auto_scrapy
Contribute to hyungpilkim/auto_scrapy development by creating an account on GitHub.
github.com
세부설명
1. 그룹 리스트
- 작업 리스트의 묶음을 관리하기 위한 그룹 리스트
2. 작업 리스트
- 하나의 작업을 지정할 할 수 있습니다.
- 컬럼정보
| 이름 | 작업이름 |
| Target구분 |
1. single :하나의 element에 대한 수행
2. multiple : 부모 element에 대한 하위 element를 수행할때 multiple이고 target정보가 동일한 것을 하나의 작업 그룹으로 지정됨 3. url : 이동 4. frame : frame이동 |
| Target정보 | Target input |
| 액션_구분 | 1. click 2. get 3. set |
| 선택자구분 | 1. xpath 2. id 3. class 4. query_selector |
| 선택자 | 선택자 input |
| Input | 액션 set인 경우 input입력 |
| 확인 | 선택 행 실행 |
| 위로 | 행 위로 이동 |
| 아래로 | 행 아래로 이동 |
3. 실행 결과 : 실행 시 단위 이름 결과가 출력
4. 그룹 실행 결과 : multiple의 경우 하위 element를 테이블 형태로 출력됨.
네이버 카페 글 목록 가져오기 설정
1. 그룹 추가
2. url 이동
3. 카페 메뉴 클릭
4. 프레임 이동
5. 글 가져오기 설정
6. 실행 > 글가져오기