[Spring] 스프링 부트에서 크롤링 하기

스프링 부트에서 크롤링 하기

회사에서 크롤링을 할 일이 있어서 Java로 크롤링 하는 방법을 구글링으로 알아보았다.

그 과정을 간단하게 정리했다.

 

728x90

 

 

 

 

먼저 라이브러리 설치한다.

- jsoup 설치

implementation 'org.jsoup:jsoup:1.15.3'

 

- 크롤링 하고 싶은 url 확인

회사에선 다른 url을 크롤링 했지만, 여기선 예시로 네이버 해외축구 페이지를 크롤링 해보려고 한다.

https://sports.news.naver.com/wfootball/index.nhn

해외축구 : 네이버 스포츠

 

 

- 크롤링 할 데이터 위치 확인

 

 

- 코드 작성

private static void crawling() {
    String URL = "https://sports.news.naver.com/wfootball/index.nhn";; // 원하는 url
    Document doc;

    try {
        doc = Jsoup.connect(URL)
                .userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.152 Safari/537.36")
                .get(); // 원하는 url에서 전체 구조를 받아온다
        Elements elem = doc
                .select("div.home_news");

        // 확인
        elem.forEach(System.out::println);


    } catch (IOException e) {
        e.printStackTrace();
    }

}

 

- 결과

추천뉴스
너에게만큼은 절대로 못진다
선수들 빵꾸난 양말 혈투 흔적 아니었네
독기품은 獨, 온몸 던져 16강 희망 살렸다
무지개, 코소보, 욱일기…월드컵에 끼어든 정치적 메시지
日 울린 코스타리카의 유효 슈팅 1개..."대회 유일 슈팅이 승점 3 만들었다"
24년 만의 승리에 과하게 취했다…모로코 팬들 폭주에 유럽 곳곳 몸살 [비디오머그]
서른에 찾아온 전성기! 'K리그가 배출한 스타' 오르샤 크로아티아의 '특급 조커'
글로벌 인플레이션 정점 찍었나…물가 관련 지표 둔화 추세
'크로아티아 마스크맨' 그바르디올, 러브콜 쏟아지는 이유 알겠네
한때 8강까지 넘봤지만...일격 당한 일본 감독 발언 '논란' [자막뉴스]
‘황금세대’의 몰락? ‘졸전’ 벨기에의 위기 [카타르월드컵]
인스타그램 팔로워 5억명 돌파 호날두, SNS 영향력 1위···손흥민은 24위
메시가 미국 간다고?...대변인, "거짓말! 가짜 뉴스야"
‘이름값 하는 죽음의 조’…3차전까지 향방 주목되는 E조
‘히잡 시위’ 여파…월드컵 미국vs이란 전 앞두고 긴장 고조
랭킹은 숫자에 불과하다…'언더독의 반란' 어디까지[SS월드컵]
태국, 전국 교도소에 월드컵 경기 시청 허용
독일 대표팀의 항의, 카타르 팬들은 외질 사진으로 응수
꼭 해야 돼?… ‘경기장 청소’ 일본도 자부심-불편 교차
19년 만에 EPL 우승 위해 쏜다! '우크라이나 네이마르' 아스널 유니폼 입는다

 

 

 

 

- 참고

https://jul-liet.tistory.com/209