Top 25 네이버 이미지 크롤링 The 185 Top Answers

You are looking for information, articles, knowledge about the topic nail salons open on sunday near me 네이버 이미지 크롤링 on Google, you do not find the information you need! Here are the best content compiled and compiled by the toplist.tfvp.org team, along with other related topics such as: 네이버 이미지 크롤링 네이버 이미지 크롤링 막힘, 네이버 이미지 크롤링 selenium, 네이버 이미지 크롤링 API, 구글 이미지 크롤링, 네이버 블로그 이미지 크롤링, Python 이미지 크롤링, 네이버 이미지 검색 API, 파이썬 이미지 크롤링 예제

파이썬 크롤링 예제 네이버 이미지 검색결과 한번에 다운로드 프로그램

Table of Contents

[Python] Selenium을 사용한 네이버 이미지 크롤링 — 오늘의 기록

Article author: gksdudrb922.tistory.com
Reviews from users: 25256 Ratings
Top rated: 3.7
Lowest rated: 1
Summary of article content: Articles about [Python] Selenium을 사용한 네이버 이미지 크롤링 — 오늘의 기록 [Python] Selenium을 사용한 네이버 이미지 크롤링. danuri 2021. 9. 8. 00:46. 진행 중인 프로젝트에서 음식 이미지를 사용할 일이 있어서 이미지 크롤링에 대해 찾아 … …
Most searched keywords: Whether you are looking for [Python] Selenium을 사용한 네이버 이미지 크롤링 — 오늘의 기록 [Python] Selenium을 사용한 네이버 이미지 크롤링. danuri 2021. 9. 8. 00:46. 진행 중인 프로젝트에서 음식 이미지를 사용할 일이 있어서 이미지 크롤링에 대해 찾아 … 진행 중인 프로젝트에서 음식 이미지를 사용할 일이 있어서 이미지 크롤링에 대해 찾아보기 시작했다. 여러 사이트를 뒤져봤는데, 그 중 네이버 이미지에는 CCL 상업적 이용 가능 옵션이 있어서 보다 안전하게 프..
Table of Contents:

블로그 메뉴

[Python] Selenium을 사용한 네이버 이미지 크롤링

진행 중인 프로젝트에서 음식 이미지를 사용할 일이 있어서 이미지 크롤링에 대해 찾아보기 시작했다.

여러 사이트를 뒤져봤는데, 그 중 네이버 이미지에는 CCL 상업적 이용 가능 옵션이 있어서 보다 안전하게 프로젝트에 사용할 수 있지 않을까 싶어서 네이버에서 크롤링을 하기로 했다.

구글링을 열심히 해서 여러 크롤링 코드들을 참고했지만, 실제로 잘 동작하지 않아서…. 직접 참고한 몇몇 코드를 따와서 재구성해보았다.

일단 beatifulsoup으로 크롤링을 시도했을 때는 특정 태그부터는 parser가 접근을 하지 못해서 (해당 태그에 dataGroupKey 같은 인증 관련된 부분이 있었는데 이 문제인듯 싶다…) selenium을 통해 구현하기로 했다.

selenium 설치

우선 selenium 사용을 위해 터미널에 다음 명령어를 입력해준다.

pip install selenium

chrome driver 설치

다음은 google Chrome Driver를 설치해 주어야 한다.

https://sites.google.com/a/chromium.org/chromedriver/downloads

이 사이트에 들어가서 자신의 chrome과 맞는 버전을 다운받아야 한다.

+) chrome 버전은 chrome 브라우저 오른쪽 끝에 더보기 -> 도움말 -> Chrome 정보를 통해 확인할 수 있다.

설치를 완료했으면 자신의 PATH 디렉토리 하위에 chromedriver을 위치시킨다. 이렇게 하면 이후 다양한 프로젝트에서 드라이버를 호출할 때 유용하기에 권장하는 방법이다.

나의 경우는 python, pip 등의 명령어가 모여있는 /usr/local/bin 디렉토리로 chromedriver를 이동시켰다.

sudo mv {…/chromdriver} /usr/local/bin # 설치한 chromedriver 경로 -> /usr/local/bin

여기까지 진행했으면 기본 세팅은 끝났다.

코드

<전체 코드>

from selenium import webdriver from urllib.parse import quote_plus from urllib.request import urlopen import os def save_images(images, save_path): for index, image in enumerate(images[:10]): # images[:크롤링하고 싶은 사진 개수] src = image.get_attribute(‘src’) t = urlopen(src).read() file = open(os.path.join(save_path, str(index + 1) + “.jpg”), “wb”) file.write(t) print(“img save ” + save_path + str(index + 1) + “.jpg”) def create_folder_if_not_exists(directory): try: if not os.path.exists(directory): os.makedirs(directory) except OSError: print(‘Error: Creating directory. ‘ + directory) def make_url(search_term): # 네이버 이미지 검색 base_url = ‘https://search.naver.com/search.naver?where=image§ion=image&query=’ # CCL 상업적 이용 가능 옵션 end_url = ‘&res_fr=0&res_to=0&sm=tab_opt&color=&ccl=2’ \ ‘&nso=so%3Ar%2Ca%3Aall%2Cp%3Aall&recent=0&datetype=0&startdate=0&enddate=0&gif=0&optStr=&nso_open=1’ return base_url + quote_plus(search_term) + end_url def crawl_images(search_term): # URL 생성 url = make_url(search_term) # chrome 브라우저 열기 browser = webdriver.Chrome(‘chromedriver’) browser.implicitly_wait(3) # 브라우저를 오픈할 때 시간간격을 준다. browser.get(url) # 이미지 긁어오기 images = browser.find_elements_by_class_name(“_image”) # 저장 경로 설정 save_path = “/Users/danuri/Desktop/images/” + search_term + “/” create_folder_if_not_exists(save_path) # 이미지 저장 save_images(images, save_path) # 마무리 print(search_term + ” 저장 성공”) browser.close() if __name__ == ‘__main__’: crawl_images(input(‘원하는 검색어: ‘))

함수로 분리해서 그렇지 복잡한 코드는 아니다. 아래서부터 위로 올라가면서 알아보자.

if __name__ == ‘__main__’: crawl_images(input(‘원하는 검색어: ‘))

프로그램 시작 시 원하는 검색어를 입력해서 이미지 크롤링을 시작한다.

<이미지 크롤링>

def crawl_images(search_term): # URL 생성 url = make_url(search_term) # chrome 브라우저 열기 browser = webdriver.Chrome(‘chromedriver’) browser.implicitly_wait(3) # 브라우저를 오픈할 때 시간간격을 준다. browser.get(url) # 이미지 긁어오기 images = browser.find_elements_by_class_name(“_image”) # 저장 경로 설정 save_path = “/Users/danuri/Desktop/images/” + search_term + “/” create_folder_if_not_exists(save_path) # 이미지 저장 save_images(images, save_path) # 마무리 print(search_term + ” 저장 성공”) browser.close()

이미지를 크롤링하는 중심 함수다. 위에서부터 알아보자.

1. URL 생성

url = make_url(search_term) def make_url(search_term): # 네이버 이미지 검색 base_url = ‘https://search.naver.com/search.naver?where=image§ion=image&query=’ # CCL 상업적 이용 가능 옵션 end_url = ‘&res_fr=0&res_to=0&sm=tab_opt&color=&ccl=2’ \ ‘&nso=so%3Ar%2Ca%3Aall%2Cp%3Aall&recent=0&datetype=0&startdate=0&enddate=0&gif=0&optStr=&nso_open=1’ return base_url + quote_plus(search_term) + end_url

네이버 이미지 검색 URL + 검색어(search_term) + CCL 상업적 이용 가능 옵션을 이어서 크롤링하고자 하는 URL로서 사용한다.

2. chrome 브라우저 열기

browser = webdriver.Chrome(‘chromedriver’) browser.implicitly_wait(3) # 브라우저를 오픈할 때 시간간격을 준다. browser.get(url)

– webdriver.Chrome(‘chromedriver’): 아까 설치한 chromedriver를 사용해 크롬 페이지를 연다.

– implicitly_wait(3): 브라우저를 오픈할 때 약간의 시간간격을 줘야 이미지가 크롤링된다. 실제로 해당 부분 코드를 지우면 브라우저가 열리자마자 닫힌다.

– get(url): chrome에서 해당 url로 접속한다.

3. 이미지 긁어오기

images = browser.find_elements_by_class_name(“_image”)

네이버 이미지 검색 페이지 HTML을 분석해보면 각 이미지들이 ‘_image’ 클래스를 갖고 있다. 이를 전부 긁어온다.

4. 저장 경로 설정

save_path = “/Users/danuri/Desktop/images/” + search_term + “/” create_folder_if_not_exists(save_path) def create_folder_if_not_exists(directory): try: if not os.path.exists(directory): os.makedirs(directory) except OSError: print(‘Error: Creating directory. ‘ + directory)

각자 원하는 저장 경로를 설정한다. 나는 ‘바탕화면/images/김치찌개’ 로 검색어마다 ‘images/[검색어]’ 디렉토리에 저장되도록 설정했다.

create_folder_if_not_exists는 해당 저장경로가 존재하지 않으면 생성해주는 함수다.

5. 이미지 저장

save_images(images, save_path) def save_images(images, save_path): for index, image in enumerate(images[:10]): # images[:크롤링하고 싶은 사진 개수] src = image.get_attribute(‘src’) t = urlopen(src).read() file = open(os.path.join(save_path, str(index + 1) + “.jpg”), “wb”) file.write(t) print(“img save ” + save_path + str(index + 1) + “.jpg”)

설정한 저장 경로(save_path)에 긁어온 이미지들(images)을 저장한다.

나는 검색어당 10장이면 충분해서 10장만 저장하도록 했다. (1.jpg ~ 10.jpg)

6. 마무리

print(search_term + ” 저장 성공”) browser.close()

마지막으로 chrome 브라우저를 닫아준다.

<실행 결과>

원하는 검색어: 김치찌개 img save /Users/danuri/Desktop/images/김치찌개/1.jpg img save /Users/danuri/Desktop/images/김치찌개/2.jpg img save /Users/danuri/Desktop/images/김치찌개/3.jpg img save /Users/danuri/Desktop/images/김치찌개/4.jpg img save /Users/danuri/Desktop/images/김치찌개/5.jpg img save /Users/danuri/Desktop/images/김치찌개/6.jpg img save /Users/danuri/Desktop/images/김치찌개/7.jpg img save /Users/danuri/Desktop/images/김치찌개/8.jpg img save /Users/danuri/Desktop/images/김치찌개/9.jpg img save /Users/danuri/Desktop/images/김치찌개/10.jpg 김치찌개 저장 성공

크롤링 성공!

Naver 이미지 크롤러

이미지 크롤러 – Naver

Naver Open API를 이용한 이미지 url 가져오기

공식적인 방법으로 어플리케이션을 등록을 통해 API를 사용할 수 있다.

import urllib.request import json client_id = “XXXXXX” client_secret = “XXXXXX” encText = urllib.parse.quote(“아이유”) url = “https://openapi.naver.com/v1/search/image?query=” + encText + “&sort=sim&display=100” request = urllib.request.Request(url) request.add_header(“X-Naver-Client-Id”, client_id) request.add_header(“X-Naver-Client-Secret”, client_secret) response = urllib.request.urlopen(request) rescode = response.getcode() if (rescode == 200): response_body = response.read() response_json = json.loads(response_body.decode(‘utf-8’)) else: print(“Error Code:” + rescode)

웹드라이버를 이용한 방법에 비해 옛날 이미지가 많이 포함되어 있다.

매우 빠른 검색 속도

하루 25,000 쿼리 제한

쿼리당 최대 1000개의 이미지 획득가능

Selenium을 이용한 웹페이지 파싱

Selenium 은 브라우저의 웹드라이버를 이용하여 웹사이트의 동작을 테스트한다. 따라서 현재 사용중인 브라우저 버전과 호환가능한 웹드라이버를 다운로드 받아야한다. 크롬 브라우저의 웹 드라이버는 link에서 다운로드할 수 있다.

Naver 검색창의 웹페이지 동작을 분석하고 아래의 웹드라이버의 동작을 구현하여 이미지 url을 가져올 수 있다.

1. 키워드 검색 2. 스크롤 3. img 태그에서 src 속성값 획득 4. url 중복 제거
[Naver] 스크롤

네이버 이미지 검색에서 더 이상 스크롤 할수 없는 경우 로딩창의 style 속성에 display가 ‘none’으로 설정된다.

from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By def infinite_scroll_down(driver, wait=.5): body = driver.find_element_by_tag_name(‘body’) while True: body.send_keys(Keys.END) if driver.find_elements(By.XPATH, ‘//div[contains(@class,”photo_loading”)]’)[0].get_attribute(‘style’) == ”: time.sleep(wait) else: break
[Naver] 썸네일 이미지 가져오기

2021.1.26 기준으로 네이버 이미지 검색에서는 스크롤 위치에 따라 썸네일이 로드되며 이전에는 src 속성에 empty 값( data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7 )이 할당된다. 따라서 스크롤을 강제로 움직여 썸네일 이미지를 로드한 후 이미지의 url을 크롤링해야한다.

)이 할당된다. 따라서 스크롤을 강제로 움직여 썸네일 이미지를 로드한 후 이미지의 url을 크롤링해야한다. (수정) 이미지의 src가 empty인 경우 data-lazy-src 속성에 썸네일 url이 있기 때문에 굳이 강제로 스크롤 하지 않아도 된다. 하지만 get_attrubute() 를 호출하는 시점에 따라 element의 상태가 다를 수 있기 때문에 반복검사를 수행하도록 구현하였다.

def get_thumbnail_urls(driver, wait=.1, retry=3): empty_src = ‘data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7’ urls = [] imgs = driver.find_elements(By.XPATH, ‘//img[@class=”_image _listImage”]’) for img in imgs: count = retry while count: src = img.get_attribute(‘src’) if src == empty_src: src = img.get_attribute(‘data-lazy-src’) if src is not None and src != empty_src: urls += [src] break count -= 1 time.sleep(wait) print(f'{len(urls)}/{len(imgs)} images are loaded’) return urls
[Naver] 원본 이미지 가져오기

2021.1.26 기준으로 네이버 이미지 검색은 질의어에 대한 검색 결과들의 썸네일을 리스트업하고 썸네일 클릭시 우측에 원본 이미지와 유사 이미지를 제공한다.

원본과 썸네일 이미지는 사실 동일한 리소스임을 확인할 수 있다. 원본의 경우 https://search.pstatic.net/common/?src=xxxx%yyyy.jpg&type=sc960_832 와 같은 형식의 url을 얻을 수 있으며 썸네일은 https://search.pstatic.net/common/?src=xxxx%yyyy.jpg&&type=a340 와 같은 형식으로 썸네일 이미지가 따로 저장되어 있는 것이 아니라 호스팅 서버에서 동일한 이미지를 요청데이터에 따라 이미지 프로세싱하고 있음 을 알 수 있다. 따라서 이전과 같은 방법으로 썸네일 주소를 획득하여 문자열 치환을 통해 원본을 얻을 수 있지만 직접 클릭을 통해 원본의 url을 얻는 방법으로 구현하였다.

와 같은 형식의 url을 얻을 수 있으며 썸네일은 와 같은 형식으로 을 알 수 있다. 따라서 이전과 같은 방법으로 썸네일 주소를 획득하여 문자열 치환을 통해 원본을 얻을 수 있지만 직접 클릭을 통해 원본의 url을 얻는 방법으로 구현하였다. 원본이미지가 완전히 로드되기 전까지는 썸네일 url을 제공한다.

def get_image_urls(driver, wait=.1, retry=3): def check_loaded(img): return False if img.get_attribute(‘src’).endswith(‘type=a340’) else True body = driver.find_element_by_tag_name(‘body’) body.send_keys(Keys.HOME) imgs = driver.find_elements(By.XPATH, ‘//img[@class=”_image _listImage”]’) urls = [] for n, img in enumerate(imgs): if n == 0: img.click() count = retry origin_img=driver.find_element(By.XPATH, ‘//div[@class=”image _imageBox”]//img’) while count and not check_loaded(origin_img): time.sleep(wait) count -= 1 if check_loaded(origin_img): urls.append(origin_img.get_attribute(‘src’)) body.send_keys(Keys.RIGHT) print(f'{len(urls)}/{len(imgs)} images are loaded’) return urls
[Naver] ToDo

네이버 이미지 웹크롤링

반응형

import urllib.request from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.common.keys import Keys import time binary = ‘chromedriver.exe’ options = webdriver.ChromeOptions() options.add_experimental_option(‘excludeSwitches’, [‘enable-logging’]) browser = webdriver.Chrome(options=options) browser.implicitly_wait(10) browser.get(“https://search.naver.com/search.naver?where=image&sm=stb_nmr&”) elem = browser.find_element_by_id(‘nx_query’) elem.send_keys(“경복궁”) elem.submit() for i in range(1, 5): browser.find_element_by_xpath(“//body”).send_keys(Keys.END) time.sleep(10) time.sleep(10) html = browser.page_source soup = BeautifulSoup(html, “lxml”) def fetch_list_url(): params = [] imgList = soup.find_all(“img”, class_=”_img”) for im in imgList: try : params.append(im[“src”]) except KeyError: params.append(im[“data-src”]) return params def fetch_detail_url(): params = fetch_list_url() for idx,p in enumerate(params,1): urllib.request.urlretrieve(p, “C:/naver/” + str(idx) + “.jpg”) fetch_detail_url() browser.quit()

밑에 저장할 폴더를 설정하고 이미지 크롤링할 검색어를 설정해준다.

크롬드라이버를 설치하고 실행하면 된다.

그럼 폴더에 이렇게 저장된다.

반응형

So you have finished reading the 네이버 이미지 크롤링 topic article, if you find this article useful, please share it. Thank you very much. See more: 네이버 이미지 크롤링 막힘, 네이버 이미지 크롤링 selenium, 네이버 이미지 크롤링 API, 구글 이미지 크롤링, 네이버 블로그 이미지 크롤링, Python 이미지 크롤링, 네이버 이미지 검색 API, 파이썬 이미지 크롤링 예제

Top 25 네이버 이미지 크롤링 The 185 Top Answers

[Python] Selenium을 사용한 네이버 이미지 크롤링 — 오늘의 기록

Naver 이미지 크롤러

네이버 이미지 웹크롤링

네이버 웹 이미지 크롤링(Crawling)하기.

브라보 마이라이프 :: 파이썬으로 네이버 이미지 크롤링하기 (Image Crawling)

Object Detection을 위한 네이버 이미지 크롤링 구현

Python 웹크롤링 (Web Crawling) 02. 네이버 이미지 검색결과 다운로드 프로그램 ([SSL: CERTIFICATE_VERIFY_FAILED] 오류해결)

[Python] Selenium을 사용한 네이버 이미지 크롤링

Naver 이미지 크롤러

네이버 이미지 웹크롤링

Leave a Comment Cancel reply

[Python] Selenium을 사용한 네이버 이미지 크롤링 — 오늘의 기록

Naver 이미지 크롤러

네이버 이미지 웹크롤링

네이버 웹 이미지 크롤링(Crawling)하기.

브라보 마이라이프 :: 파이썬으로 네이버 이미지 크롤링하기 (Image Crawling)

Object Detection을 위한 네이버 이미지 크롤링 구현

Python 웹크롤링 (Web Crawling) 02. 네이버 이미지 검색결과 다운로드 프로그램 ([​​​​SSL: CERTIFICATE_VERIFY_FAILED] 오류해결)

[Python] Selenium을 사용한 네이버 이미지 크롤링

Naver 이미지 크롤러

네이버 이미지 웹크롤링

Leave a Comment Cancel reply

Python 웹크롤링 (Web Crawling) 02. 네이버 이미지 검색결과 다운로드 프로그램 ([SSL: CERTIFICATE_VERIFY_FAILED] 오류해결)