본문 바로가기 메뉴바로가기
모달창닫기

Solution

Solution

IWAZ Crawler

IWAZ Crawler는 방대한 웹과 데이터베이스, 파일, SNS 등의 다양한 환경에서 정보 수집 기능을 제공합니다. 또한 대용량 콘텐츠의 빠른 수집과 강력한 크롤링 기능을 통하여 웹 데이터를 포함한 DBMS, 파일 시스템, 게시판, 블로그, 카페, SNS 등에 존재하는 다양한 정형 및 비정형 빅데이터 수집이 가능합니다.

당사의 대용량 검색엔진인 IWAZ Search Server와 IWAZ Big Data Platform 솔루션과 연계되어 더욱 강력한 기능을 제공합니다. 다양한 고객의 요구에 대응할 수 있도록 유연한 수집 설정 기능을 제공하며, 수집 기술을 선도할 수 있는 최신기술을 채택하여 적용하고 있습니다.

지원환경 OS 지원(Window 32bit/64bit, UNIX, Linux 등)

  • Target DB/File, Web, News, Blog, SNS, Image, 음악, 동영상 등
  • Language 유니코드, 다국어(UTF-8)
  • Support Window, Unix, Linux 등
  • Function 단어(언어) 필터링, 분산수집, 조회/통계 서비스 등
  • Usage OpenAPI/공공데이터, 뉴스/언론사, 소셜데이터
  • System Structure

    IWAZ Crawler 시스템
  • Main Function

    • 다양한 콘텐츠 수집지원 (DB/File, 웹문서, 뉴스, 블로그, SNS, 이미지, 음악, 동영상 등)
    • 동적 웹페이지(Java Script, Ajax 해석 및 처리) 지원
    • 중복문서 및 데드링크 관리
    • 데이터 패턴기반 메타데이터 추출 및 금칙어/허용어 필터링
    • 수집 항목 지정(제목, 내용, 작성자 등) 정보 추출 지원
    • 대용량 검색을 위한 분산수집 및 색인지원
    • 데이터베이스 및 파일시스템 정보수집 및 관리
    • 안정된 시스템 운영(데이터 백업 및 롤백 기능)
    • GUI 기반 수집 등록, 규칙 설정 및 관리 기능 제공
    • 다양한 OS 지원(Window 32bit/64bit, UNIX, Linux 등)
    • 수집 데이터 조회 및 통계 서비스
    • 수집 차단 우회 및 방지 기능
    • 수집 시뮬레이션 지원
    • 다국어 처리(UTF-8 지원)
  • Usage

    • 뉴스 및 언론 데이터 수집
    • 지식베이스 구축을 위한 정형/비정형 데이터 수집
    • 소셜미디어 정보 수집
    • 회사 내부 데이터 수집
    • 빅데이터 분석을 위한 다양한 데이터 수집
    • 시스템 및 사이트 로그 데이터 수집
    • 블로그, 카페 수집 지원
    • 데이터베이스 및 파일 시스템 수집
    • 모바일 데이터 수집
    • Open API 데이터 및 공공 데이터 수집

TOP 페이지 처음으로 이동