[U-Information] 02. 봇의 목적과 종류[robots.txt] - 좋은 봇, 나쁜 봇 (Bots Overview, Types-Good Bots, Bad Bots)

봇의 목적

https://www.indiatoday.in/

봇(Bot)이란?

인터넷 봇(Internet bot), 웹 로봇(web robot), WWW 로봇(WWW robot), 단순히 봇(bot)은 인터넷 상에서 자동화된 작업(스크립트)을 실행하는 응용 소프트웨어입니다. 봇은 인간이 하는 행동을 흉내 내도록 만들어지며, 검색엔진의 웹 크롤러는 웹 사이트 정보를 자동으로 읽어들여 저장하는 프로그램입니다.

 

이외에도 인터넷 채팅에서 자동 응답을 하도록 만든 채터 봇 프로그램 등이 있으며, 각 서버는 봇이 따를 서버 규칙이 포함된 robots.txt라는 이름의 파일을 소유하고 있습니다. 일부 봇들은 악의적인 목적으로도 이용되기 하며, 자기 복제 기능을 가지기도 합니다.

 

봇의 종류

1Noonbot

1 Noonbot이란?

첫눈(http://www.1noon.com)의 스노우랭크 검색 기술이 기반이 된 봇으로써, 어느 날부터 '예티(Yeti/0.01 nhn/1noon, yetibot@naver.com, check robots.txt daily and follow it)'라는 이름으로 일부 국내 한글 홈페이지들에게 매일 수십~수백차례씩 방문하고 있는 것으로 탐지되었습니다.

 

그리고 크롤러의 IP 주소는 61.247.219.41 ~ 50 등으로 다양하였고, 상당한 수의 검색 로봇이 국내 웹사이트를 동시에 훑고 있는 것으로 파악되었습니다. '첫눈(1noon)'이라는 명칭의 로봇 제작자 nhn과 '설인(雪人)'을 뜻하는 'Yeti'를 로봇 명으로 사용했다는 점에서 봇의 성능을 실험하고 검토하기 위함이라, 추측되고 있습니다.

Name:	1Noonbot
URL:	http://www.1nooncorp.com
User Agent Key:	1Noonbot
User Agents:	Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; 1Noonbot 1.0 mailto:sc_1noonbot@1nooncorp.com)

 

360Spider

http://so.360.cn/index.htm

360Spider란? 

중국의 검색 엔진인 치후 360(Qihoo 360, 奇虎 360, Qihoo 360 Technology Co. Ltd.)의 봇 중 하나이다. 치후 360은 바이러스 검사 소프트웨어(360 세이프가드, 360 모바일 세이프), 웹 브라우저 (360 브라우저), 모바일 애플리케이션 스토어 (360 모바일 어시스턴스)로 알려져 있는 중국의 인터넷 보안 회사입니다.

 

2005년 6월에 Zhou Hongyi와 Qi Xiangdong에 의해 설립되었으며, 인터넷 보안 제품들의 경우 496,000,000 여명의 사용자들을 보유하고 있으며 모바일 안티바이러스 제품들의 경우 641,000,000 여명의 사용자를 보유하고 있습니다.

Name:	360Spider
URL:
User Agent Key:	360Spider
User Agents:	Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.8.0.11) Firefox/1.5.0.11; 360Spider

Similarity

- 360Spider(compatible; HaosouSpider; http://www.haosou.com/help/help_3_2.html)

- 360Spider-Image
- 360Spider-Video

- MediavBot/1.0 (+http://www.mediav.com/)

 

Google-Bot

 

구글봇(Googlebot)이란? 
구글이 사용하는 검색 봇 소프트웨어이며, 웹으로부터 문서를 수집하여 구글 검색 엔진을 위한 검색 가능한 색인을 만들기 위해 사용됩니다. 구글의 봇의 이름은 실제로 각기 다른 두 종류의 웹 크롤러를 가리키기 위해 사용되며 크게 두 가지로 나뉩니다.
- 데스크톱 크롤러(데스크톱 사용자를 시뮬레이트하기 위함)
- 모바일 크롤러(모바일 사용자를 시뮬레이트하기 위함)

Name:	Googlebot
URL:	http://www.googlebot.com/bot.html
User Agent Key:	Googlebot
User Agents:	Googlebot/1.0 (googlebot@googlebot.com http://googlebot.com/) Googlebot/2.1 (+http://www.googlebot.com/bot.html) Googlebot/Test Googlebot/Test (+http://www.googlebot.com/bot.html) Googlebot/2.1 (+http://www.google.com/bot.html) Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Googlebot

Similarity

- Googlebot-Image
- GoogleDocs
- GoogleEarth
- Googlegod
- Google-HTTP-Java-Client
- Google-Read-Aloud
- Google-Sitemaps

- Mediapartners-Google

 

AhrefsBot

https://ahrefs.com/

에이치랩스(Ahrefs)란?

에이치랩스는 사이트 노출 개선을 돕는 SEO 툴을 제공하며 사이트 마케팅을 도와주는 회사입니다. 해당 툴은 검색엔진 최적화와 웹 사이트를 분석, 소셜 미디어를 추적, 백 링크 구축 등 여러가지의 강력한 기능들이 있습니다. 웹 데이터 수집을 목적으로 크롤링을 하기위해 에이치랩스봇(AhrefsBot)을 사용합니다.

Name:	AhrefsBot
URL:	http://ahrefs.com/robot/
User Agent Key:	AhrefsBot/
User Agents:	Mozilla/5.0 (compatible; AhrefsBot/1.0; +http://ahrefs.com/robot/) Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)

Similarity

- AhrefsBot/5.0
- AhrefsBot/5.1

- Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)
- Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/)

 

 

NaverBot

https://www.naver.com

네이버(Naver)란?
대한민국의 포털 사이트이며, 1997년 2월 26일 이해진, 권혁일, 김보경, 구창진, 오승환, 최재영, 강석호 등으로 구성된 삼성SDS의 사내 벤처에서 '웹글라이더'라는 이름으로 시작해 1998년 1월에 분리된 네이버컴 주식회사에서 운영하다가 2000년 자회사인 한게임과 합병하여 NHN이 된 후 재분리하여 현재는 (주)네이버에서 운영되고 있는 회사입니다.

Name:	Yeti
URL:	http://www.1noon.com/
User Agent Key:	Yeti
User Agents:	Yeti/1.1 (NHN Corp.; http://help.naver.com/robots/) Yeti/1.1 (Naver Corp.; http://help.naver.com/robots/) Mozilla/5.0 (compatible; Yeti/1.1; +http://naver.me/bot) Mozilla/5.0 (compatible; Yeti/1.1; +http://help.naver.com/support/robots.html) Yeti Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it) Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follow it) Yeti/1.0 (+http://help.naver.com/robots/) Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/) Mozilla/5.0 (compatible; Yeti/1.0; NHN Corp.; http://help.naver.com/robots/) Mozilla/5.0 (compatible; Yeti/1.1; +http://naver.me/spd)

Similarity

- Mozilla/5.0 (compatible; AdsBot-Naver/1.0; +http://searchad.naver.com)

 

BaiduSpider

바이두(Baidu)란?

중국 최대 검색엔진 사이트인 바이두는 하루 60억건 이상의 검색과, 중국 인터넷시장 85%가 넘는 점유율을 갖고 있습니다. 미국하면 구글, 한국하면 네이버, 중국하면 바이두라 할 수 있습니다.

 

근래에 들어서는 한국 사람들도 바이두를 많이 찾고있는 추세인데, 그 이유는 바이두의 클라우드가 대표적이며, 무려 2TB(2048G)의 용량을 제공하기 때문입니다. BaiduSpider는 Baidu의 검색가능한 색인을 만들기 위해서 사용되는 웹 크롤링 봇입니다.

Name:	Baiduspider
URL:	http://www.baidu.com/search/spider.htm
User Agent Key:	Baiduspider
User Agents:	Baiduspider+(+http://www.baidu.com/search/spider.htm) Baiduspider+(+http://www.baidu.com/search/spider_jp.html) Baiduspider+(+http://help.baidu.jp/system/05.html) Baiduspider+(+http://www.baidu.jp/spider/) Mozilla/5.0 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html) Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) Baiduspider+ (http://www.baidu.com/search/spider.htm)

Similarity

- Baiduspider-image
- Baiduspider-news
- Baiduspider-video

 

ZumBot

줌(Zum)이란?

줌(zum)은 이스트소프트의 계열사인 줌인터넷이 운영하는 포털 사이트입니다.

2011년 8월 4일부터 베타 서비스를 시작하여 2011년 9월 21일에 공개 서비스로 전환하여 현재까지 잘 운영되고 있으며, 여러 포털사이트로 쉽게 진입할 수 있는 링크가 있는 것이 특징입니다. 줌봇(Zumbot)은 줌인터넷에서 웹 크롤링을 목적으로 이용되는 봇입니다.

Name:	ZumBot
URL:	http://help.zum.com/inquiry
User Agent Key:	ZumBot/
User Agents:	ZumBot/1.0 (ZUM Search; http://help.zum.com/inquiry) [('User-agent', 'Mozilla/5.0 (compatible; ZumBot/1.0; http://help.zum.com/inquiry)')] Mozilla/5.0 (compatible; ZumBot/1.0; http://help.zum.com/inquiry) Mozilla/5.0 (Windows NT 10.0; ZumBot/1.0; http://help.zum.com/;WOW64;Trident/7.0;rv:11.0) Chrome/50.0.2661.94 (KHTML, like Gecko) Mozilla/5.0 (compatible; Windows NT 6.1?; ZumBot/1.0; http://help.zum.com/inquiry)

 

Mail.RU_Bot

메일루(Mail.RU)란?

메일루는 러시아 최대 규모의 인터넷 회사이며, 1998년 이메일 서비스를 시작으로 2013년에는 Mail.ru가 소유한 웹 사이트가 러시아에서 가장 많은 잠재 고객을 확보하는 쾌거를 이루었습니다.

 

그리고 더 나아가 2010년 11월 런던증권거래소(LSE)에 상장했고 현재는 러시아를 대표하는 게임 퍼블리싱 회사이자, 인터넷 트래픽의 상당수를 확보한 종합 인터넷 회사로 성장했습니다. 메일루봇(Mail.Ru_Bot)은 웹 크롤링을 목적으로 이용되는 봇 중 하나입니다.

Name:	Mail.RU_Bot
URL:	http://go.mail.ru/help/robots
User Agent Key:	Mail.RU_Bot
User Agents:	Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +http://go.mail.ru/help/robots) Mozilla/5.0 (compatible; Mail.RU_Bot/2.0) Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots) Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +http://go.mail.ru/help/robots)

*fell for bad bot trap - 악성봇으로 추정 됨

 

RogerBot

https://moz.com/

모즈(Moz)란?
Moz는 시애틀에 본사를 둔 SaaS (Software as a Service) 회사로써, 인바운드 마케팅 및 마케팅 분석 소프트웨어 판매를 주력으로 합니다. 2004년 Rand Fishkin과 Gillian Muessig가 컨설팅 회사로 설립하여 2008년 SEO 소프트웨어 개발로 전환했습니다.

 

전 세계 100만명 이상의 디지털 마케팅 담당자와 마케팅 관련 도구로 구성된 온라인 커뮤니티를 포함하는 웹 사이트를 호스팅하고 있으며, 검색 엔진에서의 위치와 순위를 개선하는 방법을 더 잘 파악할 수 있도록 키워드 연구, 링크 작성, 사이트 감사 및 페이지 최적화 정보를 포함하는 SEO 도구를 제공합니다. 로저봇(RogerBot)은 Moz의 크롤링을 위한 봇 중 하나입니다.

Name:	rogerbot
URL:	http://moz.com/help/pro/what-is-rogerbot
User Agent Key:	rogerbot/
User Agents:	rogerbot/1.0 (http://moz.com/help/pro/what-is-rogerbot-, rogerbot-crawler+shiny@moz.com) rogerbot/1.0 (http://www.seomoz.org/dp/rogerbot, rogerbot-crawler+shiny@seomoz.org) rogerbot/1.0 (http://moz.com/help/pro/what-is-rogerbot-, rogerbot-wherecat@moz.com) rogerbot/1.1 (http://moz.com/help/guides/search-overview/crawl-diagnostics#more-help, rogerbot-crawler+pr4-crawler-15@moz.com)

Similarity

- Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)

*fell for bad bot trap - 악성봇으로 추정 됨

 

 

Yahoo! ,Bingbot

Yahoo! Bing Network란?
야후와 빙 그리고 그외 파트너 사이트들로 이루어진 검색광고 네트워크라 할 수 있으며, 2009년 야후와 마이크로소프트가 검색 관련 서비스에 대해 파트너쉽을 맺은 이래로 두 회사의 검색광고 서비스를 대표하는 명칭은 따로 없었기에, 이번 리브랜드 과정에서 새롭게 Yahoo! Bing Network라는 공식 명칭을 만들었습니다. Yahoo! surp와 Bigbot은 웹 크롤링을 위해 이용되는 봇들 중 하나입니다.

Name:	Yahoo Slurp
URL:
User Agent Key:	Yahoo! Slurp
User Agents:	Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

 

Name:	Yahoo Pipes
URL:	http://developer.yahoo.com/yql/provider
User Agent Key:	Yahoo Pipes
User Agents:	Yahoo Pipes 1.0 Mozilla/5.0 (compatible; Yahoo Pipes 2.0; +http://developer.yahoo.com/yql/provider) Gecko/20090729 Firefox/3.5.2

 

Name:	bingbot
URL:	http://www.bing.com/bingbot.htm
User Agent Key:	bingbot/
User Agents:	Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)

Similarity

- yahoo-blog
- Yahoo-MMCrawler
- Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

- BusinessBot: Nathan@lead-caddy.com

 

archive.org_bot

WayBackMachine란?

archive.org로도 잘 알려진 인터넷 아카이브(Internet Archive)는 누구나 쉽게 접근할 수 있는 자유로운 온라인 디지털 도서관을 구축해 유지하고 있는 비영리 단체로, 사무실은 샌프란시스코의 프레시디오(Presidio)에, 데이터 센터는 샌프란시스코를 포함해 레드우드 시티, 마운틴 뷰에 위치해 있습니다.

 

데이터 센터에서는 웹 페이지, 소프트웨어, 영화, 책, 녹취물을 저장하고 있다. 안정성을 고려해 이집트 알렉산드리아 도서관에 미러가 있다. archive.org_bot은 WayBackMachine의 웹 크롤링을 위한 봇입니다.

Name:	Archive.org
URL:	http://www.archive.org
User Agent Key:	archive.org
User Agents:	Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322; +http://www.archive.org) Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.8) Gecko/20100722 Ubuntu/10.04 (lucid) Firefox/3.6.8 +http://www.archive.org/ Mozilla/5.0 (compatible; archive.org_bot +http://archive.org/details/archive.org_bot) Mozilla/5.0 (compatible; archive.org_bot; Archive-It; +http://archive-it.org/files/site-owners.html) Mozilla/5.0 (compatible; archive.org_bot +http://www.archive.org/details/archive.org_bot)

 

BLEXBot

BLEXBot이란?

WebMeUp이라는 SEO 소프트웨어 제품을 판매하는 회사의 웹 크롤링을 위해 만들어진 봇입니다. 검색 엔진 최적화,  웹 사이트 프로모션 도구, 검색 엔진 최적화 도구, SEO 소프트웨어, 온라인 SEO 소프트웨어 등의 서비스를 지원합니다.

Name:	BLEXBot
URL:	http://webmeup-crawler.com/
User Agent Key:	BLEXBot/
User Agents:	Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html) Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)

*fell for bad bot trap - 악성봇으로 추정 됨

 

BDCbot

BDCbot이란?

2013년부터 서비스를 시작한 빅데이터 회사입니다. 데이터 캡쳐 프로세스를 통해 브라질과 라틴 아메리카의 빅데이터 시장을 주도하였으며, 10억 개가 넘는 웹 사이트와 수만 개의 공개 데이터베이스에서 정보를 수집하고 구성하고 있습니다. 전문분야로는 빅 데이터, 데이터, 정보, 데이터 검증, 사기 예방, 시장 모니터링, 제품 모니터링이 있고 웹 크롤링을 위해 BDCbot이 만들어졌습니다.

Name:	BDCbot
URL:	http://ecommerce.bigdatacorp.com.br/faq.aspx
User Agent Key:	BDCbot/
User Agents:	Mozilla/5.0 (Windows NT 6.1; compatible; BDCbot/1.0; +http://ecommerce.bigdatacorp.com.br/faq.aspx) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.107 Safari/535.1

 

facebookexternalhit

Facebook이란?

페이스북(Facebook)은 미국 캘리포니아주 멘로파크에 본사를 둔, 소셜 네트워크 서비스이다. 2004년 2월 4일에 마크 주커버그(영어: Mark Zuckerberg)가 하버드대 동문이자 룸메이트인 사람들과 함께 웹사이트를 개설하였습니다.

 

2018년 8월 기준으로, 월 실 사용자(Monthly Active Users)의 수가 무려 22억 명에 달했다. 해당 수치는 전 세계 인구 3명 가운데 한 사람이 페이스북을 하는 것이다. facebookexternalhit는 웹 크롤링에 쓰이는 봇의 종류 중 하나입니다.

Name:	facebookexternalhit
URL:	http://www.facebook.com/externalhit_uatext.php
User Agent Key:	facebookexternalhit
User Agents:	facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php) facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php) bandscraper ( facebookexternalhit/1.1 )

 

 

Uptimebot

UptimeRobot이란?

사용자가 웹 사이트 / 서버의 다운 타임을인지하고 그 성능을 추적 할 수 있도록하는 가동 시간 모니터링 서비스를 제공하는 회사이며, 서로 다른 서버에서 인터넷 연결 및 서비스를 모니터링 할 수 있습니다.

 

공개 IP 주소, 도메인 또는 동적 DNS 만 표시한 다음 ping, HTTP / HTTPS, 키워드 및 확인과 같은 모니터링 유형을 선택할 수 있고 포트 (서비스가 라우터에서 올바르게 열려있는 것처럼 작동하는 경우) 경고가있는 경우 이메일, SMS, 음성 통화, webhook, 트위터, 텔레그램, Google 행 아웃 등의 통신 방법으로 알려줍니다. Uptimebot은 모니터링에 필요한 데이터를 크롤링하기 위해 만들어진 봇입니다.

Name:	UptimeBot
URL:	http://www.uptimebot.com
User Agent Key:	UptimeBot
User Agents:	Mozilla/5.0 (compatible; Uptimebot/1.0; +http://www.uptime.com/uptimebot)

Similarity

- Uptimebot/0.1.73
- Uptimebot/0.2.42
- Uptimebot/0.2.43

CheckMarkNetwork

CheckMarkNetwork란?

CheckMark Network는 전체 상표 모니터링 서비스 (전 세계 및 미국 특정) 및 온라인 브랜드 보호 서비스 (도메인 이름 모니터링, 소셜 미디어, 로고, 마켓 플레이스 및 모바일 앱 포함)를 제공하며, 25년 이상의 상표 경험을 보유한 변호사에 의해 설립되어, 최신 기술을 전문가 분석과 합병하여 우수한 브랜드 보호 서비스를 제공하는 지적 재산권 전문가에게 제공하는 회사입니다.

 

전문분야로 상표 모니터링, 도메인 이름 모니터링, 인터넷 콘텐츠 시계, 소셜 미디어 모니터링, 모바일 앱 모니터링, 웹 페이지 변경 시계, 마켓 플레이스 시계, 온라인 로고 시계, 특허 알림, 딥 러닝 기술, 이미지 모니터링, 전자 상거래 모니터링 등이 있으며, 모니터링에 필요한 데이터 수집을 위해 CheckMarkNetwork 봇이 생산되었습니다.

Name:	CheckMarkNetwork
URL:	http://www.checkmarknetwork.com/spider.html
User Agent Key:	CheckMarkNetwork/
User Agents:	CheckMarkNetwork/1.0 (+http://www.checkmarknetwork.com/spider.html)

 

Contacts-Crawler

ScrapingHub란?

Scrapinghub는 성공적인 웹 크롤링 및 데이터 처리 솔루션을 제공하기 위한 최고의 기술 및 컨설팅 서비스를 제공하는 회사입니다. Scrapinghub 팀에서는 주로 개발한 Scrapy와 같은 오픈 소스 라이브러리, 웹 크롤링 실행 및 관리를 위한 PaaS, 예제를 기반으로 데이터를 자동으로 추출 할 수있는 서비스,  많은 웹 사이트의 스파이더를 포함한 거대한 내부 소프트웨어 라이브러리, 사용자 지정 추출기, 데이터 사후 처리, 프록시 관리 등을 제공합니다.

Name:	Contacts-Crawler
URL:	http://www.scrapinghub.com
User Agent Key:	Contacts-Crawler
User Agents:	Contacts-Crawler/0.2 (+http://www.scrapinghub.com)

 

kisaBot

kisaBot이란?

KISA에서 개인정보 검색하기 위해 사용되는 봇입니다. [자세한 정보는 없음.]

Similarity

- kisaBot v1.0
- KisaBotD/2.0

 

Daum

Daum이란?

카카오(舊 다음커뮤니케이션)에서 운영하는 포털 웹사이트입니다.

본래는 예술사이트로 출발했지만 패션사이트, 커뮤니티 사이트, 영화 웹진 서비스, 여행 정보 서비스 한메일넷 등 각종 사업을 벌이다가 IMF 외환위기로 인한 침체기 때 무료 이메일 서비스로 대박을 터뜨렸고, 그 후 검색 엔진 서비스와 뉴스 서비스 등을 대대적으로 도입하여 종합 포털사이트로 거듭났습니다.

 

네이버가 급부상하기 이전에는 야후 코리아, 라이코스 코리아와 함께 선두권에 있었지만 2003년을 기점으로 네이버에게 밀리기 시작하여 3위 포털사이트의 자리를 장기간 유지하고 있는 중입니다. Daum 봇은 웹 크롤링을 위해 사용되는 봇입니다.

Name:	daum
URL:
User Agent Key:	daum
User Agents:	Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; GTB7.1; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; Embedded Web Browser from: http://bsalsa.com/; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; BRI/2) daum Mozilla/5.0 (compatible; MSIE 9.0; Firefox/50.1) Daum/4.1 Mozilla/5.0 (compatible; Daum/4.1; +http://cs.daum.net/faq/15/4118.html?faqId=28966)

Similarity

- Mozilla/5.0 (compatible; MSIE or Firefox mutant; not on Windows server; +http://ws.daum.net/aboutWebSearch.html) Daumoa/2.0
- daumos

 

Dataprovider

Dataprovider란?

Dataprovider.com은 인터넷을 구조화된 데이터베이스로 변환하는 웹 크롤링 회사입니다. 한 국가의 모든 웹 사이트를 색인하기 위해 링크에서 링크로 이동하는 크롤러를 이용하고 있고 이를 통해, 매달 50 개 국가에서 2억 8천만 개 이상의 도메인에 대한 광범위한 데이터를 수집합니다.

 

이 모든 데이터는 회사 정보, 연락처 정보, 전자 상거래 특성, 호스팅 속성 및 기술적 측면을 포함하는 깨끗하고 검색 가능한 플랫폼으로 요약을 시키며, 도메인과 개발된 웹 사이트에 대한 포괄적인 정보를 제공하는 데이터베이스는 리드 생성, 시장 조사, 고객 통찰력, 온라인 브랜드 보호 등을 위한 유용한 도구로써 사용중입니다. Dataprovider.com 봇은 크롤링에 이용됩니다.

Name:	Dataprovider
URL:	https://www.dataprovider.com/spider/
User Agent Key:	Dataprovider
User Agents:	Mozilla/5.0 (compatible; Dataprovider.com) Mozilla/5.0 (compatible; Dataprovider/6.101; +https://www.dataprovider.com/) Mozilla/5.0 (compatible; Dataprovider; https://www.dataprovider.com/spider/) Mozilla/5.0 (compatible; Dataprovider/6.92; +https://www.dataprovider.com/) Mozilla/5.0 (compatible; Dataprovider.com;)

 

DuckDuckGo-Favicons-Bot

https://duckduckgo.com/

덕덕고(DuckDuckGo, DDG)란?

사용자의 개인정보를 수집하지 않는 검색 엔진입니다. 덕덕고는 사용자가 인터넷에서 어디를 방문하든 웹 검색 및 브라우징 시, 개인정보를 완벽하게 관리하는 데 필수적인 개인정보 보호 기능을 제공합니다. 

덕덕고 검색엔진의 일부는 오픈 소스이고, 검색결과를 사용자가 만들 수 있으며, 회사는 미국의 펜실베이니아주에 있습니다. DuckDuckGo-Favicons-Bot은 웹 크롤러 봇입니다.

Name:	DuckDuckGo-Favicons-Bot
URL:	http://duckduckgo.com
User Agent Key:	DuckDuckGo-Favicons-Bot
User Agents:	Mozilla/5.0 (compatible; DuckDuckGo-Favicons-Bot/1.0; +http://duckduckgo.com)

 

 

empas

https://www.nate.com/

엠파스(empas)란?

엠파스(empas)는 대한민국의 종합 인터넷 검색회사였으며, 'e-media'와 'compass'의 합성어로 디지털시대의 나침반을 뜻한다. 엠파스의 최초 전략은 자연어 검색이었으나, 2005년부터 해당 관계자가 동종 업계로 옮겨가면서 검색의 내용이 바뀌어버렸다. 이윽고 2009년 2월 28일 네이트와 통합되었다. empas 봇은 네이트의 웹 크롤링을 위한 봇입니다.

Name:	empas.com
URL:	http://www.empas.com
User Agent Key:	http://www.empas.com
User Agents:	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 4.2; SV2; http://www.empas.com); .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)

 

Exabot

https://www.exalead.com/

엑사리드(EXALEAD)란?

EXALEAD는 2000년에 설립 된 소비자 및 비즈니스 사용자를 위한 검색 플랫폼 및 검색 기반 응용 프로그램을 제공하는 소프트웨어 회사입니다. 이 회사는 프랑스 파리에 본사가 있으며 Dassault Systèmes의 자회사입니다.

 

Exabot은 Exalead 로봇의 사용자 에이전트이며, 그 역할은 전 세계에서 Exalead의 검색 엔진으로 데이터를 수집하고 색인을 생성하는 것입니다. Exabot 에이전트는 사이트를 크롤링하여 해당 컨텐츠가 Exalead 기본 색인에 포함되어 Exalead 검색 결과 페이지에 포함되도록합니다.

Name:	Exabot
URL:	http://www.exabot.com/go/robot
User Agent Key:	Exabot/
User Agents:	Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot) Mozilla/5.0 (compatible; Exabot/3.0 (BiggerBetter); +http://www.exabot.com/go/robot)

ia_archiver

https://www.amazon.com/

알렉사(Alexa)란?

아마존 알렉사(Amazon Alexa)는 아마존에서 개발한 인공지능 플랫폼이다. 알렉사는 아마존 에코에 처음 사용되었으며, 사용자는 아마존 에코를 이용해 알렉사와 의사소통을 할 수 있으며, 알렉사는 음악재생, 알람설정, 날씨정보 제공, 교통정보 제공 등 많은 기능들을 제공해준다. 

알렉사는 클라우드 기반으로 작동되기 때문에, 알렉사를 자주 사용할수록, 알렉사는 사용자가 말하는 패턴, 단어, 개인적인 기호등을 학습해서 더 잘 받아들인다. 현재 아마존은 알렉사에 대한 소프트웨어정보를 공개하였고, 이러한 정보들을 이용해 여러 기업에서 가전제품, 자동차 등에 도입이되었다.

 

ia_archiver 봇은 웹 컨텐츠를 식별 및 분류하고 백 링크를 발견을 위해, 웹을 크롤링에 이용됩니다.

Name:	Alexa/Internet Archive
URL:	http://pages.alexa.com/help/webmasters/
User Agent Key:	ia_archive
User Agents:	ia_archiver ia_archiver/1.6 ia_archive (NewsFetcher 1.0) (http://www.alexa.com/ crawler@alexa.com) InternetArchive/0.8-dev (Nutch; http://lucene.apache.org/nutch/bot.html; nutch-agent@lucene.apache.org) ia_archiver-web.archive.org

 

IDBot

텔레그램(Telegram)이란?

Telegram Messenger LLP사가 개발/운영 중인 오픈 소스 인터넷 모바일 메신저입니다. 

러시아의 니콜라이 두로프(Nikolai Durov), 파벨 두로프(Pavel Durov) 형제가 개발하여, 2013년 8월에 iOS용으로 처음 출시하였고, 현재는 안드로이드, Windows, Windows Phone, 리눅스, macOS, 웹 브라우저까지 지원하는 메신저이다. 구글 크롬용 확장 기능 버전도 제공하고 있다.

비영리이기 때문에 유료 기능이나 광고가 없고, 이것이 가능한 이유는 텔레그램의 개발자중 한 명인 파벨 두로프가 러시아에서도 손꼽히는 억만장자이기 때문에 서버 유지, 개발비 등 모든 비용을 충당할 수 있기 때문입니다. 앞으로도 어떠한 경우에도 광고를 싣거나 유료화되는 일은 없을 것이라고 하며, 비용이 부족할 것으로 예측된다면 기부를 받을 것이라고 합니다.

2018년 3월 기준으로 텔레그램이 월 활성 사용자 2억 명을 돌파했고 매일 35만 명이 가입하며 매일 15억 개의 메시지를 전달하는 메신저가 되었습니다. IDBot은 텔레그램의 ID 생성 및 웹 크롤링을 위한 봇입니다.

Name:	IDBot
URL:
User Agent Key:	IDBot/
User Agents:	Mozilla/5.0 (compatible; IDBot/1.0; +http://www.id-search.org/bot.html) Mozilla/5.0 (compatible; IDBot/1.1; +http://www.id-search.xyz/bot.html)

*fell for bad bot trap - 악성봇으로 추정 됨

 

Linkdexbot

Linkdex란?

Linkdex Ltd.는 2008년에 창립하였고,  팀 관리 소프트웨어와 검색 엔진 최적화 도구를 결합한 엔터프라이즈 급 플랫폼 서비스를 제공하는 회사입니다. 

 

때로는 웹 사이트를 크롤링하여 백 링크 프로필을 이해하거나, 사용자에 대한 정보를 수집하여 웹 사이트 및 SEO 전략을 개선하기 위해 사용합니다. linkdexbot은 프로필 및 웹 크롤링을 위해 사용하는 봇입니다.

Name:	linkdex.com
URL:	http://www.linkdex.com/bots/
User Agent Key:	linkdexbot/
User Agents:	linkdex.com/v2.0 Mozilla/5.0 (compatible; linkdexbot/2.0; +http://www.linkdex.com/about/bots/) Mozilla/5.0 (compatible; linkdexbot/2.0; +http://www.linkdex.com/bots/) Mozilla/5.0 (compatible; linkdexbot/2.2; +http://www.linkdex.com/bots/)

 

meanpathbot

 

tenable이란?

개발사(Tenable Network Security)는 세계에서 가장 많이 사용되는 취약점 스캐너인 Nessus를 제작한 회사이다.

 

클라우드, 컨테이너에 이르기까지 전체 공격 영역을 위험 기반으로 파악하여 취약성을 신속하게 식별, 조사할 수 있으며 사이버 보안 취약점 관리 1위라고 해도 과언이 아닐정도이다. meanpathbot은 자동 웹 크롤링을 위해 사용하는 봇이다.

Name:	meanpathbot
URL:	http://www.meanpath.com/meanpathbot.html
User Agent Key:	meanpathbot/
User Agents:	Mozilla/5.0 (compatible; meanpathbot/1.0; +http://www.meanpath.com/meanpathbot.html)

 

mfibot

MFI Soft란?

MFI Soft는 러시아 회사이며, 정보 보안 시스템 개발자(DLP 시스템, DDoS 방지), 인터넷 트래픽 필터링 시스템 및 법적 통제 시스템(SORM), 사기 방지 시스템을 제공하고 있습니다. 이 회사의 본사는 니즈니 노브 고로드의 개발 센터인 모스크바에 있습니다.

회사의 솔루션은 정보 보안의 내부 및 외부 위협과 관련된 재무 및 평판 위험을 줄이고 통신 사업자의 상업적 기회를 확대하기위한 것입니다. mifibot은 웹 크롤링을 위한 봇입니다.

Name:	mfibot
URL:	http://www.mfisoft.ru/analyst/
User Agent Key:	mfibot/
User Agents:	mfibot/1.1 (http://www.mfisoft.ru/analyst/; <admin@mfisoft.ru>; en-RU)</admin@mfisoft.ru>

*fell for bad bot trap - 악성봇으로 추정 됨

 

 

MJ12bot

Majestic이란?

Majestic은 13개 언어와 60개 이상의 국가에서 수십만 개의 기업이 소비자 기반 검색 엔진과 독립적으로 인터넷지도를 그리는 데 사용하는 영국 기반 전문 검색 엔진입니다.

 

Alex Chudnovsky가 2004년에 시작한 분산 검색엔진 프로젝트로 Google과 같은 인터넷 검색엔진을 구축하기 위해 진행했습니다. 분산 검색엔진이란 Majestic12가 독립적으로 직접 검색자료를 수집하는 형태가 아닌 개인의 PC들을 검색 Agent화 하여 자료를 수집하는 형태로 이미 3D 영상 Rendering 서비스 등에서 활용중인 네트워크 개념의 전산 처리 시스템이다. 요즘 자주 매체에서 등장하는 DDOS 및 좀비pc가 이런 분산 Agent의 안 좋은 예로 볼 수 있다.

 

MJ12bot은 웹 컨텐츠 및 데이터 수집, 크롤링을 하기위해 사용하는 봇이다.

Name:	MJ12bot
URL:	http://www.majestic12.co.uk/bot.php?+
User Agent Key:	MJ12bot/v
User Agents:	MJ12bot/v0.5.0 (http://www.majestic12.co.uk/projects/dsearch/mj12bot.php) run by PeerID=E71E149BF7B07EFCFE510E729DD2B9E3 MemberID=C9403BB515387FBB631AC512950E6F0E MJ12bot/v0.6.0 (http://www.majestic12.co.uk/projects/dsearch/mj12bot.php?) run by PeerID=E71E149BF7B07EFCFE510E729DD2B9E3 MemberID=C9403BB515387FBB631AC512950E6F0E MJ12bot/v0.8.7 (http://www.majestic12.co.uk/projects/dsearch/mj12bot.php?V=v0.8.7&NID=000000D0D373624D&MID=7F397F58862A3560&BID=573A52050229B3310517B80DDC9766C7&+) MJ12bot/v1.0.4 (http://majestic12.co.uk/bot.php?+) MJ12bot/v1.0.5 (http://majestic12.co.uk/bot.php?+) MJ12bot/v0.6.0 (http://www.majestic12.co.uk/projects/dsearch/mj12bot.php?) NID=E71E149BF7B07EFCFE510E729DD2B9E3 MID=C9403BB515387FBB631AC512950E6F0E MJ12bot/v0.8.7 (http://www.majestic12.co.uk/projects/dsearch/mj12bot.php?V=v0.8.7&NID=000000D0E3347D52&MID=0D29895C32C458C3&BID=BC6D546D6BDAE33CFD18768A953F2E57&+) MJ12bot/v0.8.7 (http://www.majestic12.co.uk/projects/dsearch/mj12bot.php?V=v0.8.7&NID=00D0F39B37266252&MID=7A764EA9585B2914&BID=65331449AA9EE6F926342D62622BEB8D&+) MJ12bot/v1.0.6 (http://majestic12.co.uk/bot.php?+) MJ12bot/v1.0.7 (http://majestic12.co.uk/bot.php?+) MJ12bot/v1.0.8 (http://majestic12.co.uk/bot.php?+) MJ12bot/v1.1.1 (http://majestic12.co.uk/bot.php?+) MJ12bot/v1.1.2 (http://majestic12.co.uk/bot.php?+) MJ12bot/v1.2.0 (http://majestic12.co.uk/bot.php?+) Mozilla/5.0 (compatible; MJ12bot/v1.2.3; http://www.majestic12.co.uk/bot.php?+) Mozilla/5.0 (compatible; MJ12bot/v1.4.6; http://mj12bot.com/)

**무분별한 웹 크롤링 수집으로 업무의 연관성이 없다면 차단 권고

 

YandexBot

https://yandex.com/

얀덱스(Yandex)란?

얀덱스(러시아어: Яндекс, 나스닥: YNDX, 모스크바: YNDX)는 러시아에서 60%의 시장 점유율을 차지하는 러시아 최대의 검색 엔진을 운영하는 인터넷 기업이며, 수많은 인터넷 기반 서비스와 제품들을 개발합니다. 

컴스코어에 따르면 얀덱스는 전 세계 검색 엔진에서 4위를 차지하고 있으며, 2012년 4월 기준으로 날마다 150,000,000건 이상의 검색을 처리하며 2013년 2월 기준으로 50,500,000명 이상이 방문합니다. 이 회사의 목적은 사용자들이 생각하는 질문들에 대한 답변을 명시적으로나 암묵적으로 제공하는 것입니다. 

얀덱스는 우크라이나와 카자흐스탄에서도 존재감이 매우 큰 편인데, 해당 국가들의 시장에서 모든 검색 결과의 거의 1/3을 제공하며 벨라루스의 경우 전체 검색 결과의 43%를 제공한다. YandexBot은 검색 엔진 색인을 위한 크롤링을 목적으로 사용되고 있습니다.

Name:	YandexBot
URL:	http://yandex.com/bots
User Agent Key:	YandexBot/
User Agents:	Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

 

YisouSpider

https://www.etao.com/

이타오닷컴(etao.com)이란?

알리바바 그룹(阿里巴巴集團)은 세계 최대 규모의 온라인 쇼핑몰 알리바바 닷컴을 운영하는 뉴욕 증권거래소 상장 기업의 이름이다. 본사는 중화인민공화국 항저우 시에 있으며, 이 회사가 운영하는 알리바바 닷컴은 B2B 온라인 쇼핑몰이다. 

중국의 중소기업이 만든 제품을 전 세계 기업들이 구매할 수 있도록 중개해 주며, 그 후 일반인을 대상으로 한 온라인 쇼핑몰 '타오바오'가 추가되었고 부유층을 타켓으로 한 온라인 백화점 '티몰' 등 계열사들이 추가되었다.

이타오닷컴(etao.com, 一淘网)은 알리바바 그룹의 검색 엔진이며, YisouSpider는 검색 엔진 색인을 위해 이용되는 웹 크롤링 봇입니다.

Name:	YisouSpider
URL:
User Agent Key:	YisouSpider
User Agents:	YisouSpider

 

PageAnalyzer

Social PageAnalyzer란?

페이스 북 페이지, 게시물 및 의견을 분석하는 강력한 Mac / PC 소프트웨어인 Social Page Analyzer는 자신의 소셜 마케팅 캠페인을 위한 최고의 마케팅 컨텐츠 및 전략 을 발견할 수 있도록 도움을 주는 솔루션입니다.

 

팬 페이지 도구, Facebook 광고에 관심을 가져 오기, 대규모 데이터, 알파벳 추가, 페이지 점수 등의 기능들이 대표적이며, PageAnalyzer 봇은 데이터 수집에 이용됩니다.

Name:	PageAnalyzer
URL:
User Agent Key:	PageAnalyzer/
User Agents:	Mozilla/5.0 (compatible; PageAnalyzer/1.1;)

 

msnbot

MSN이란?

MSN(Microsoft Network, 마이크로소프트 네트워크)은 마이크로소프트가 운영하는 포털 사이트이자 인터넷 서비스 제공 업체입니다.

 

MSN은 1995년 8월, 윈도우 95의 발매와 동시에 서비스를 개시하였으며, 처음에는 이른바 PC 통신 서비스로 제공되었지만, 인터넷이 급성장함에 따라 인터넷 접속 서비스로 전환하고, 포털 사이트 서비스도 시작하게 되었습니다.

 

msnbot은 검색 엔진의 색인을 위해 웹 크롤링에 사용됩니다.

Name:	MSNBot
URL:	http://search.msn.com/msnbot.htm
User Agent Key:	msnbot
User Agents:	msnbot/0.11 (+http://search.msn.com/msnbot.htm) msnbot/0.3 (+http://search.msn.com/msnbot.htm) msnbot/0.9 (+http://search.msn.com/msnbot.htm) msnbot/1.0 (+http://search.msn.com/msnbot.htm) msnbot/2.0b (+http://search.msn.com/msnbot.htm) MSNBOT/0.1 (http://search.msn.com/msnbot.htm)

Similarity

- msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)

 

**하기 봇 MSMOBOT은 msnbot의 fake된 형태의 봇으로써 'O'가 하나더 추가된 문자열로 되어있으니 주의요망!

Name:	MSMOBOT
URL:
User Agent Key:	MSMOBOT
User Agents:	MSMOBOT/1.1 (+http://search.msn.com/msnbot.htm)

 

PagesInventory

페이지인벤토리(PagesInventory)란?

PagesInventory.com은 웹 호스팅 및 도메인 이름, 역방향 IP (+ Ipv6) 검색 및 기타 서비스에 대한 정보를 무료로 제공하는 서비스 사이트입니다. 

 

PagesInventory 봇은 웹 호스팅 및 도메인 IP 정보를 크롤링 하기위해 사용되는 봇입니다.

Name:	PagesInventory
URL:	http://www.pagesinventory.com
User Agent Key:	PagesInventory
User Agents:	PagesInventory (robot +http://www.pagesinventory.com) PagesInventory.com (robot http://www.pagesinvenotry.com) PagesInventory (robot http://www.pagesinvenotry.com) PagesInventory (robot http://www.pagesinventory.com)

 

 

SemrushBot

에스이엠러시(Semrush)란?

SEMrush는 SaaS 서비스로 소프트웨어에 기반을 둔 회사입니다. 온라인 가시성 및 마케팅 분석 서비스 소프트웨어을 판매 하고있으며, Oleg Shchegolev와 Dmitry Melnikov 가 SaaS 모델을 채택하기 전에 SEO 도구 및 브라우저 확장 프로그램을 기반으로 설립되었습니다.

 

이 소프트웨어는 웹 사이트 트래픽 정보, 키워드 , 예상 애드워즈 지출, 사이트 감사, 주제 조사, 리드 생성 및 기타 SEO 관련 데이터를 포함한 인텔리전스 데이터를 제공 할 수 있습니다.

SEMrush 회사의 고객으로는 eBay, Quora, Booking.com, Hewlett Packard Enterprise 및 BNP Paribas 등이 있습니다. SemrushBot 봇은 웹 사이트 데이터 크롤링에 사용됩니다.

Name:	SemrushBot
URL:	http://www.semrush.com/bot.html
User Agent Key:	SemrushBot
User Agents:	Mozilla/5.0 (compatible; SemrushBot/0.97~bl; +http://www.semrush.com/bot.html) Mozilla/5.0 (compatible; SemrushBot/0.98~bl; +http://www.semrush.com/bot.html) SemrushBot/0.9 Mozilla/5.0 (compatible; SemrushBot/0.95; +http://www.semrush.com/bot.html) Mozilla/5.0 (compatible; SemrushBot/0.99~bl; +http://www.semrush.com/bot.html) SEMrushBot Mozilla/5.0 (compatible; SemrushBot/1.1~bl; +http://www.semrush.com/bot.html) Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html) Mozilla/5.0 (compatible; SemrushBot-BA; +http://www.semrush.com/bot.html)

**무분별한 웹 크롤링 수집으로 업무의 연관성이 없다면 차단 권고

 

Plukkie

Plukkie란?

검색 엔진 (botje.com)을 출시하기위한 새로운 인덱싱을 개발하며 만들어졌습니다. 인덱싱은 네덜란드, 벨기에, 프랑스, ​​영국에서 네덜란드(botje.nl), 벨기에(botje.be), 프랑스 (botje.fr), 영국 (botje.co.uk) 검색 엔진을 업데이트합니다.

 

Plukkie는 웹 크롤링 및 검색 엔진 색인을 위해 만들어진 봇입니다.

Name:	Plukkie
URL:	http://www.botje.com/plukkie.htm
User Agent Key:	Plukkie/
User Agents:	Mozilla/5.0 (compatible; Plukkie/1.1; http://www.botje.com/plukkie.htm) Mozilla/5.0 (compatible; Plukkie/1.2; http://www.botje.com/plukkie.htm) Mozilla/5.0 (compatible; Plukkie/1.6; http://www.botje.com/plukkie.htm) Mozilla/5.0 (compatible; Plukkie/1.7; http://www.botje.com/plukkie.htm)

**해당 개발자들은 Plukkie가 무분별한 크롤링을 한다면 robot.txt에서 차단 진행을 권고하였습니다.

 

Wotbox

WOTBOX이란?

WOTBOX는 시드니를 기반으로 한 맞춤형 컨테이너 솔루션 회사로서, 호스 피탈 리티 및 마케팅을 포함한 이벤트 및 관련 산업에 품질, 효율적이고 잘 설계된 운송 컨테이너 솔루션을 제공하는 것을 목표로하고 있습니다. 

고객과 협력하여 겸손한 컨테이너 사용을 극대화하기 위해 장기 및 단기 사용을 위한 맞춤형 솔루션을 제공하며 소매 기회, VIP 지역, 커피 숍, 레스토랑 및 음식점, 옥상 데크, 생맥주 및 냉장고 시스템이있는 바를 제작합니다. 

시드니에 본사를 둔 호주 전역에 솔루션을 제공 할 수 있으며 이벤트 업계의 시험 및 요구 사항에 대한 이해에 자부심을 가지고 있으며, 지난 15년 동안 축제와 라이브 이벤트를 중심으로 작업하였고 아이디어를 현실로 만드는 가장 좋은 방법에 대한 광범위한 지식을 가지고 있는 회사입니다. Wotbox 봇은 웹 크롤링에 이용되는 봇입니다.

Name:	Wotbox
URL:	http://www.wotbox.com/about/
User Agent Key:	Wotbox
User Agents:	Wotbox/2.0 (bot@wotbox.com; http://www.wotbox.com) Wotbox/2.01 (+http://www.wotbox.com/bot/)

 

psbot

Picsearch란?

Picsearch는 대규모 웹 사이트를 위한 이미지 검색 서비스를 개발하고 제공 하는 스웨덴 회사입니다. 이미지 검색 서비스 개발과 다른 Picsearch 고객으로는 독일의 지역 검색 포털, 터키 및 아랍어 포털이 있습니다. 검색 포털 영역 밖의 고객은 통신, 엔터테인먼트 사이트, 전자 상거래, 스포츠 웹 사이트, 옐로우 페이지 및 커뮤니티를 포함합니다.

Picsearch는 또한 비디오 커뮤니티, 블로그(비디오 블로그), 전자 상거래 사이트의 비디오 검토, 기업 비디오 프레젠테이션, 뉴스 비디오 및 부동산 포털의 가상 쇼에 사용되는 브랜드 이름 Screen9으로 온라인 비디오 플랫폼을 개발하고 제공합니다.

psbot 봇은 웹 크롤링 및 이미지 데이터 수집에 사용됩니다.

Name:	Picsearch
URL:	http://www.picsearch.com/bot.html
User Agent Key:	picsearch.com
User Agents:	psbot/0.1 (+http://www.picsearch.com/bot.html) psbot-page (+http://www.picsearch.com/bot.html)

 

SafeDNSBot

SafeDNS란?
SafeDNS는 DNS(Domain Name System) 클라우드 기반의 인터넷 필터링 솔루션을 제공하여 봇넷, 맬웨어 및 피싱으로부터 웹 컨텐츠 필터링 및 보호 기능을 제공하는 회사입니다 . 

SafeDNS는 필터링을 우회하지 않도록 웹 프록시 및 익명으로 된 IP를 차단하고 프록시 서버(PoP)는 유럽, 아시아, 북미 및 중앙 아메리카에서 호스팅되고 있습니다. SafeDNSBot은 인터넷 필터링을 위한 데이터 크롤링에 사용되고 있습니다.

Name:	SafeDNSBot
URL:	https://www.safedns.com/searchbot
User Agent Key:	SafeDNSBot
User Agents:	SafeDNSBot (https://www.safedns.com/searchbot)

 

 

spbot

SEO 프로파일러(seoprofiler)란?
SEO 프로파일러는 Google 및 기타 검색 엔진에서 더 높은 순위를 얻는 데 도움을 주는 웹 소프트웨어입니다. 

검색 엔진에서 순위가 ​​높으면 더 많은 웹 사이트 방문자, 더 많은 고객 및 더 많은 판매를 얻을 수 있으며, Google의 현재 순위 알고리즘으로 높은 순위를 얻는 데 필요한 최신 SEO 작업에 중점을 두고 있습니다. 

 

SEO 프로파일러는 국제 SEO이기 때문에, 솔루션이 로마 문자 집합을 사용하는 모든 국가에서 웹 사이트와 작업(예를 들어, 영어, 스페인어, 독일어, 프랑스어, 이탈리아어, 네덜란드어, 덴마크어, 노르웨이어, 포르투갈어, 스웨덴어, 등)에 용이하게 사용 가능합니다.

spbot은 구글에 게시된 웹 사이트 및 데이터 크롤링에 사용됩니다.

Name:	spbot
URL:	http://www.seoprofiler.com/bot/
User Agent Key:	; spbot/
User Agents:	Mozilla/5.0 (compatible; spbot/1.0; +http://www.seoprofiler.com/bot/ ) Mozilla/5.0 (compatible; spbot/5.0.3; +http://OpenLinkProfiler.org/bot )

**무분별한 웹 크롤링 수집으로 업무의 연관성이 없다면 차단 권고

 

SMTBot

SimilarTech란?
SimilarTech는 기술 채택 및 사용 분석을 실시간으로 추적하는 Sales Insight Platform(SIP)이며, 웹 크롤링 을 통해 비즈니스 통찰력을 제공하는 포괄적인 SaaS 기술 및 분석 도구입니다. 

해당 기술은 파트너에게 정보를 활용하고 비즈니스를 성장시키기 위해 수백만 개의 사이트에서 기술에 대한 중요한 통찰력을 제공하며, SimilarTech는 트렌드, 리서치 시장, 리드 및 잠재 고객 생성을 위한 분석 도구를 제공합니다. 

웹 기술의 전체 범주를 추적하고 나열하고 실시간 교통 데이터와 정확한 국제 범위를 따릅니다.
SMTBot은 웹 크롤링 및 데이터 수집에 사용됩니다.

Name:	SMTBot
URL:	http://www.similartech.com/smtbot
User Agent Key:	SMTBot
User Agents:	SMTBot (similartech.com/smtbot) Mozilla/5.0 (compatible; SMTBot/1.0; +http://www.similartech.com/smtbot)

*fell for bad bot trap - 악성봇으로 추정 됨

 

Sogou web spider

 

소우거우(Sogou)란?

Sogou, Inc.는 주로 웹 검색을 전문으로하는 중국 기술 회사이며, 'Sohu, Inc.'의 자회사입니다. 검색 엔진을 운영하고 있으며, 중국어로 대한민국의 네이버, zum, daum과 같은 서비스와 같다고 보면 된다.

 

Sogou web spider는 검색 엔진 색인을 위해 크롤링하는 봇입니다.

Name:	Sogou web spider
URL:	http://www.sogou.com/docs/help/webmasters.htm#07
User Agent Key:	Sogou web spider
User Agents:	Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

SurveyBot

https://www.whois.com/

Whois란?

Whois.sc에서 도메인 조회 서비스를 제공하고 있습니다. 조회 서비스를 사용하면 도메인 이름의 소유권과 기간을 추적 할 수 있습니다. 모든 도메인 이름 레지스트리는 도메인을 통해 구매 한 모든 도메인 이름에 대한 정보, 소유자 및 구매 날짜까지 기록을 유지하고 있습니다. 

 

SurveyBot는 매주 통계 및 기타 유용한 정보를 웹 사이트에서 조회하며, 이 정보는 Whois Source 도메인 검색 엔진을 만드는 데 사용됩니다.

Name:	SurveyBot
URL:	http://www.whois.sc/info/webmasters/surveybot.html
User Agent Key:	SurveyBot
User Agents:	SurveyBot/2.2 http://www.whois.sc'>Whois Source SurveyBot/2.3 (Whois Source) Mozilla/5.0 (Windows; U; Windows NT 5.1; en; rv:1.9.0.13) Gecko/2009073022 Firefox/3.5.2 (.NET CLR 3.5.30729) SurveyBot/2.3 (DomainTools)

 

TurnitinBot

Turnitin이란?
Turnitin은 Advance의 자회사인 미국의 상업 인터넷 기반 표절 탐지 서비스입니다 .

1997년에 설립되었고 대학 및 고등학교는 일반적으로 사용하는 라이센스를 구매 서비스로 소프트웨어를 검사 데이터베이스 및 식별의 목적으로 다른 웹 사이트의 내용에 대해 문서를 제출(SaaS) 웹 사이트, 표절 탐지합니다. 기존 출처와의 유사점을 식별 할 수 있으며, 학생들이 표절을 피하고 글쓰기를 향상시키는 방법을 배우는 데 도움이되도록 형성 평가에 사용되기도 합니다.

학생들은 특정 과정이나 수업을 수강하기 위해 Turnitin에 작품을 제출하기도 해야 했으며, 해당 소프트웨어는 논쟁의 원인이되어 왔습니다.

TurnitinBot은 콘텐츠를 수집을 목적으로하며 특히, 타 게시물의 유사점을 찾기위해 사용되고 있습니다.

Name:	TurnitinBot
URL:	http://www.turnitin.com/robot/crawlerinfo.html
User Agent Key:	TurnitinBot
User Agents:	TurnitinBot/1.5 (http://www.turnitin.com/robot/crawlerinfo.html) TurnitinBot/1.5 http://www.turnitin.com/robot/crawlerinfo.html TurnitinBot/2.0 (http://www.turnitin.com/robot/crawlerinfo.html)

 

xovibot

XOVI란?
XOVI GmbH는 2009년부터 온라인 마케팅 산업을 위한 SaaS(Software as a Service) 솔루션을 제공하는 회사입니다. XOVI 회사는 XOVI 온라인 마케팅 제품군에 설립되었습니다. 

검색 분석 소프트웨어를 사용하면 고객이 검색 엔진 최적화 및 계열사 마케팅에서 경쟁 우위를 확보하며, 성공적인 온라인 마케팅에 필요한 모든 관련 데이터를 수집, 분석 및 제시합니다. 

XOVI를 사용하면 검색 엔진을 통해 트래픽을 극대화하고 가장 중요한 키워드를 찾아 사용하며 안정적인 제휴 네트워크를 구축이 가능하게 합니다. XOVI 봇은 데이터 수집 및 웹 크롤링에 사용되고 있습니다.

Name:	XoviBot
URL:	http://www.xovibot.net/
User Agent Key:	XoviBot/
User Agents:	Mozilla/5.0 (compatible; XoviBot/2.0; +http://www.xovibot.net/)

**무분별한 웹 크롤링 수집으로 업무의 연관성이 없다면 차단 권고

Virusdie crawler

virusdie란?
virusdie는 자동 웹 사이트 및 서버 맬웨어 제거, 웹 사이트 보호, 모니터링 및 보안 분석을 위한 올인원 웹 사이트 보안 도구를 서비스 하는 회사입니다. 

Virusdie는 2012년에 설립되어 웹 마스터를위한 가장 쉽고 강력한 자동 웹 사이트 보안 도구를 제공하며, 2014년에 Virusdie LLC로 재구성하여 전 세계로 전환했습니다. 그리고 현재 Virusdie는 웹 사이트 소유자, IT 관리자, 호스트, 대행사, 기술 플랫폼 및 엔터프라이즈 배포 업체와 파트너 관계를 맺고 전 세계 1,250 만 개 이상의 사이트에 웹 사이트 보안 솔루션을 제공 중입니다. 

제품 : Virusdie (SaaS), Virusdie.Server (호스트, 개발자, VPS 및 전용 서버를위한 독립 실행 형 솔루션)
Virusdie crawler 봇은 웹 사이트들의 정보를 크롤링하기 위해 사용됩니다.

Name:	Virusdie crawler
URL:
User Agent Key:	Virusdie crawler
User Agents:	Virusdie crawler/3.0

좋은 봇, 나쁜 봇?

봇은 사용방법에 따라 악성의 구분을 짓기는 어렵습니다. 그러므로 아카마이 측은, 봇 대응에 고민하는 기업들에게 비즈니스 영향에 따라 봇을 분류하라고 하였습니다.

 

단순히 봇을 차단하지 않고 GOOD, BAD로 나누어 관리하고 봇에 대한 트래픽을 모니터링하여 동향 분석, 업무에 영향이 미치는지 파악이 중요합니다.

 

만약, 비즈니스에 영향이 미치지 않고 이익이 있다면 관리를 해야하는 대상이 됩니다. 예를들어, 경쟁사가 우리 회사의 가격 정보를 실시간으로 크롤링 해 간다고 가정한다면, 가짜 가격정보를 건내주어 '오판'하도록 유도할 수 있습니다.

 

오히려 온라인 미디어 업계에서는 콘텐츠 수집 봇만 걸러내어 방문자가 줄어드는 것을 방지하기도 합니다.

참고 사항

http://www.robotstxt.org/db.html
http://www.botreports.com

https://www.mk.co.kr/

https://www.mk.co.kr/

BotReports.com - Updates on the bots and user-agents for the latest spiders, crawlers, scrapers and more

The Web Robots Pages