사용자:민다현/연습장
텍스톰(Textom)은 통합된 이용 환경 하에서 데이터 수집, 정제하며 분석이 가능한 매트릭스 데이터 생성과정을 일관되게 처리하는 데이터 컨베이어 벨트 시스템이다.
실시간 대용량 데이터를 수집, 서버/스토리지 가상화 데이터 분산 복제 저장, 저장된 정형/비정형 데이터의 분산/병렬 분석, 분석 결과 시각화에 대한 기능을 제공한다.
한국어, 중국어, 영어 등 다양한 언어의 데이터 수집 및 분석을 지원하며, 네이버, 다음, 구글, 바이두, 트위터, 페이스북 외 특정 사이트를 포함한 다양한 수집 채널을 지원한다.
수집데이터뿐만 아니라 보유데이터까지 처리 가능한 1-way 및 2-way 정제/분석 방법을 제공한다. 분석결과를 SPSS, UCINet, NodeXL, NetMiner, Pajek, Gephi 등 다양한 통계 분석 프로그램을 이용해 분석이 가능하다. 편리한 인터페이스와 쉬운 사용법으로 누구나 이용할 수 있다.
2014년 버전 1이 출시된 이후 2018년 감성분석 기능을 탑재한 버전 2.5가 출시되었으며, 안전한 삶을 책임지는 소셜 플랫폼 안전안심도시, 농민들의 농산물 재배를 돕는 플랫폼 영주사과작황정보, 어패럴 시장의 미래소비 분석&예측 플랫폼 Fashion MISP 등으로 활용되고 있다.
버전[편집]
2014년 6월 –일 텍스톰 1.0버전이 출시되었다. 가장 최신 버전은 2018년 1월 –일 출시된 텍스톰 2.5버전이다.
텍스톰 1.0버전[편집]
2014년 6월 –일
- 실시간 대용량 데이터의 수집
- 크롤러를 이용한 특정사이트별 데이터 수집 기능
- 필요한 날짜별의 데이터 수집 기능
- 빠르고 정확한 데이터의 처리 및 정제 기능(분산저장기술, 자연어 처리 기법 적용)
- 수집데이터와 업로드한 보유 데이터의 빠른 정제 처리
- 사전 학습 기능을 통한 불용어 처리 기능
- 정제된 데이터를 엑셀과 xml 포맷으로 저장 가능
- 다양한 알고리즘에 의한 분석 데이터 생성(다양한 매트릭스 생성 알고리즘, 데이터 마이닝, 분석 데이터 생성)
- 저장된 데이터들 중 선택된 데이터에 대한 통합 및 다운로드 기능
- Hadoop과 Map Reduce를 통한 분산 및 병렬처리
- 대용량 데이터 저장 기능 및 시각화 기능
텍스톰 20150112버전[편집]
2015년 1월 22일(블로그 게시글 기준)
- 사용자 정의 사전 기능 추가
- 전체 정제 및 타이틀 정제 기능 추가
- 가정제 데이터 편집 기능 개선
텍스톰 2.0버전[편집]
2015년 8월 3일(블로그 게시글 기준)
- 데이터 저장 공간 알림 기능 추가
- 기간 별 데이터 병합 기능 추가
- 다국어 수집 기능 추가(영어, 중국어)
업데이트 2016년 12월 6일(블로그 게시글 기준)[편집]
- 메뉴 영문으로 교체
- 시각화 기능 디자인 개선
- 에고(Ego) 네트워크 시각화 기능 추가
- 워드트리 시각화 기능 추가
업데이트 2016년 12월 21일(블로그 게시글 기준)[편집]
- 서베이 기능 추가
업데이트 2017년 2월 9일(블로그 게시글 기준)[편집]
- 분석모듈 추가(Espresso K, MeCab-ko)
업데이트 2017년 2월 23일(블로그 게시글 기준)[편집]
- 개체명 인식 기능 추가
텍스톰 2.5버전[편집]
2108년 1월 -일
- Customized Data 페이지 추가
- News Data 채널 추가
- Sentiment(감성분석) 기능 추가
- Visualization_Upload Data 기능 추가
- User Data 업로드 시 키워드 지정 기능 추가
- 수집, 분석 처리 속도 향상
특징[편집]
호환성 높은 데이터 결과 생성[편집]
텍스톰은 다양한 분석 프로그램(UCINet, NodeXL 등)에 대한 데이터 포맷을 지원한다. 1-mode, 2-mode 매트릭스와 유클리디언, 자카드, 코사인 값 등 다양한 형태의 값을 생성한다.
클라우드 기반[편집]
텍스톰은 웹 기반의 빅데이터 솔루션으로 데이터를 언제 어디서나 분석할 수 있다.
다국어 지원[편집]
텍스톰은 한글 형태소 분석기와 자연어 처리 기술이 반영된 한국어 기반 솔루션이다. 현재 한국어, 영어, 중국어를 지원한다.
다채널 지원[편집]
텍스톰은 각종 웹 사이트, SNS 등 세분화된 채널에서 데이터 수집이 가능하므로 맞춤형 분석을 할 수 있다.
시각화[편집]
텍스톰은 분석 값(Value)을 직관적으로 보여주면서 다양한 차트와 그래프를 제공한다. 가중치 부여방식을 선택할 수 있다.
1-way 및 2-way 정제/분석 방법 제공[편집]
텍스톰은 수집 데이터와 업로드한 보유 데이터도 처리할 수 있는 2-way 정제/분석 기능을 제공한다.
빅데이터 정제[편집]
텍스톰은 형태소 분석기 및 자연어 처리를 통한 자동정제 기능을 지원하며, 가정제 데이터에 대한 에디터 과정 및 저장을 제공한다. 비정형 데이터 내 단어 빈도 추출 및 미리보기 기능을 지원하며, 사전 학습 기능을 통한 불용어를 처리한다. 매트릭스 정제 기능과 미리보기 기능을 상호 연동하여 사용할 수 있고 정제된 데이터를 엑셀 포맷으로 저장할 수 있다.
빅데이터 저장[편집]
텍스톰은 수집·정제·분석된 데이터의 저장과 관리를 위한 분산파일 시스템과 NoSQL 기능을 구현한다. 데이터의 효율적인 선택과 실시간 분석을 위한 데이터 색인 기능을 제공하고, 채널별 보관된 데이터양 및 수집량을 확인할 수 있다.
