IBM은 11일 인간 언어의 가장 까다로운 요소를 더 명확하게 식별, 이해, 분석하는 새로운 왓슨 기술을 기업들이 통찰력 있는 정보를 비즈니스에서 활용할 수 있게 됐다고 발표했다.

이 신기술들은 IBM 리서치 연구소에서 복잡한 주제로 인간과 토론할 수 있도록 개발한 유일한 AI 시스템, '프로젝트 디베이터 (Project Debater)'의 핵심 자연어 처리(NLP, Natural Language Processing) 기술을 최초로 상용화한 것이다. 이 기술 중 ‘어드밴스드 센티멘트 애널리시스(Advanced Sentiment Analysis)’ 기술은 최초로 관용어나 구어적 표현을 식별하고 분석할 수 있다.

‘hardly helpful(그다지 쓸모 있지 않다)’ 또는 ‘hot under the collar(몹시 난처하다)’와 같은 표현은 알고리즘으로 파악하기 어려워 AI가 이를 적절하게 구분하는 것은 그간의 과제 였다. 왓슨 API로 제공되는 기술로 기업은 구어적 표현이 포함된 언어 데이터까지 분석이 가능해졌고, 이런 표현들이 사용되는 비즈니스 운영 전반에 대해 보다 전체적인 이해가 가능해졌다. 아울러 IBM은 PDF, 계약서 등 각종 비즈니스 문서를 이해하는 기술도 AI 모델에 추가할 예정이다.

IBM은 고객이 비즈니스에서 자연어를 보다 잘 활용할 수 있도록 올 한 해 동안 프로젝트 디베이터의 주요 기술들을 IBM 왓슨에 통합할 계획이다.

어드밴스드 센티멘트 애널리시스(Advanced Sentiment Analysis) 기술은 관용어(관용구, 관용 표현) 및 소위 센티멘트 시프터(sentiment shifter, "hardly helpful"과 같이 여러 단어의 조합으로 전혀 새로운 의미를 갖는 것)와 같은 복잡한 언어 구조를 더 효과적으로 식별하고 이해해 정서 분석을 강화했다. 이 기술은 이달 중에 ‘IBM 왓슨 내추럴 랭귀지 언더스탠딩(Watson Natural Language Understanding, 자연어 이해)’에 통합될 예정이다.

고객들이 조달 계약과 같은 비즈니스 문서에서 사용하는 조항들을 보다 쉽게 분류할 수 있는 AI 모델을 만들 수 있도록 새로운 분류 기술도 발표됐다. 이 기술은 프로젝트 디베이터의 딥러닝 기반 분류 기술을 기반으로 수백 개의 샘플만을 학습하여 새로운 조항과 문구를 빠르고 쉽게 구분하고 분류할 수 있다. 이 기술은 올해 말 ‘IBM 왓슨 디스커버리(Watson Discovery)’에 추가 될 예정이다.

써머라이제이션(Summarization) 기술은 다양한 출처로부터 문자 데이터를 가져와 특정 주제에 관한 말과 글을 요약하여 사용자에게 제공한다. 올해 그래미 시상식에서 이 기술의 초기 버전을 활용하여 1800 만 개가 넘는 기사, 블로그 및 약력을 분석하여 수백 명의 그래미 아티스트 및 유명 인사에 대한 간단한 정보를 제공했다. 이 데이터는 그래미닷컴의 레드카펫 라이브 스트림, 주문형 비디오 및 사진에 녹여져 팬들에게 그날 밤의 주요 주제에 대한 심층적인 정보를 제공하는데 활용됐다. 이 기술 또한 연말에 ‘IBM 왓슨 내추럴 랭귀지 언더스탠딩 (Watson Natural Language Understanding, 자연어 이해)’에 통합될 예정이다.

어드밴스드 토픽 클러스터링(Advanced Topic Clustering) 기술은 프로젝트 디베이터에서 얻은 인사이트로부터 탄생한 새로운 토픽 클러스터링 기술이다. 사용자가 수집되는 데이터를 무리지어(cluster) 관련 정보의 유의미한 "토픽"을 생성한 다음 분석할 수 있게 한다. 올해 후반에 ‘IBM 왓슨 디스커버리(Watson Discovery)’에 통합될 이 기술은 분야별 전문가가 특정 비즈니스 또는 업종(예: 보험, 의료, 제조)의 언어를 반영하도록 토픽을 맞춤화하고 정밀 튜닝이 가능하다.

IBM은 주로 IBM 리서치 연구소에서 개발한 자연어 처리 기술을 IBM 왓슨 제품을 통해 상용화하고 있는데, 문서 해독을 위한 ‘IBM 왓슨 디스커버리(Watson Discovery)’, 가상 에이전트인 ‘IBM 왓슨 어시스턴트(Watson Assistant)’, 고급 정서 분석용 ‘IBM 왓슨 내추럴 랭귀지 언더스탠딩(Watson Natural Language Understanding)’등이 여기에 포함된다.

롭 토마스 IBM 데이터 및 AI 총괄 사장은 “언어는 정보를 위한 도구일 뿐만 아니라 사상과 의견을 표현하는 수단이다”라고 말하고, “이것이 우리가 프로젝트 디베이터에서 기술을 추출하여 IBM 왓슨에 통합시킨 이유이다. 이 기술들을 통해 기업들은 인간의 언어에서 더 많은 것을 파악, 분석, 이해할 수 있게 되고, 데이터에 담긴 지식을 활용하는 방법에 있어서도 진일보하게 되었다”라고 말했다.

이향선기자 hslee@nextdaily.co.kr