티스토리 뷰

여러분~ zum.com을 잘 사용해 주시고 계신가요?
zum 블로그에 항상 방문해 주시고 관심을 기울여 주시는 분들은
모두 잘 사용해 주시고 계시리라 굳게 믿고 있습니다. 험험;;

벌써 zum.com을 여러분께 소개해 드린지가 5개월이 다 되어 가는군요~
감회가 새롭습니다!

처음 zum.com의 서비스 일부를 조심스레 세상에 선보였을 때,
7년만에 고착화된 국내 포털 시장에 새로운 도전자가 나타났다고...
나름(?) 세간의 주목을 받아 부담도 느끼고 한 적이 엊그제 같은데 벌써 5개월이 되었군요!
(저..저흰 도전한건 아니에요... 그저 더 편리한 서비스를 선보인 것 뿐이라는...쿨럭;;)

어쨌든 zum.com이 세상의 선보였을 때 많은 분들이 궁금해 하셨고, 문의도 많이 주신 부분이 있었습니다!

바로...
"왜 포털 사이트라면서 자체 검색이 없느냐?" 이런 의문이었죠.

이러한 의문점을 한방에 해소 시켜드릴 자체검색!! '검색zum'이 
드디어 오늘~!! 오픈 베타 형식으로 여러분께 선보이게 되었습니다.
(이거 제가 개발한건 아니지만, 약간 눙무리 나는군요... 후후)

그런데!! zum.com의 자체 검색서비스 '검색zum'은 기존의 포털과는 약간 다른 검색 결과를 보여 준다고 합니다!!

바로 '개방형' 검색이죠~
도대체 개방형 검색이란 무엇일까요??

한마디로 똭~! 정리해 드리자면 
'사용자가 찾고자 하는 정보가 가장 잘 나와 있는 콘텐츠를 우선적으로 보여드리는 것'
이라고 할 수 있습니다.

정보 제공자가 대형 포털이든, 중소 사이트든, 개인 블로그든 묻지도 따지지도 않고!!
콘텐츠의 사용자 선호도를 분석하여 그 결과가 높은 콘텐츠를 우선적으로 보여 드립니다.
이것을 바로 '개방형 검색'이라고 부릅니다.

아직까지 '개방형 검색'이 무엇인지 확실히 모르시겠다고요?

개방형 검색을 지향하는 검색zum 철학 및 이러한 검색엔진이 어떻게 만들어졌는지
조금 더 자세히 소개해 드리기 위해!!

줌인터넷 박수정 사장님께 카메라를 들고 찾아가 보았습니다.
(사...사실 직접 간건 아니고, 팀내 후배를 특파원으로 파견보냈지요 호호;;)


줌인터넷 박수정 사장은 블로그 검색 '나루', 블로그 서비스 '이글루스'를 탄생시킨 이력을 가진 
국내 최고 수준의 검색엔진 전문가 입니다.

※ 인터뷰 내용에 기술적인 부분이 포함되다 보니 다소 어려워서 어지러움을 유발할 수 있으니,
    시력이 나쁘신 분, 음주를 하신 분 등은 천천히 끊어서 읽어 주시기 바랍니다!!
    (내용이 어려울 것 같아서... 특파원을 파견한건 아니라구요...험험;;)


자~ 이제부터 검색zum의 철학! 그리고 어떤 원리로 검색결과를 보여 주는지!!
자세한 인터뷰 내용을 소개해 드립니다. 궈궈궈~! 




#1. zum의 검색은 기존 포털과 어떻게 다른가요?



검색zum만의 기술적인 차이는 분명히 존재합니다. 하지만 이러한 기술적인 차이점은 일반 사용자가 느끼기는 매우 어렵죠. 예를 들어 국내 1,2위 포털의 검색결과 차이를 뚜렷하게 설명할 수 있을까요? 
이와 같이 기술적인 측면으로 이야기 하자면 실제 사용자에게 와 닿지 않는 부분이 많을 수 있습니다.

물론 검색기술에 대하여 깊이 높의를 하자면 커버리지와, 랭킹이라는 전통적인 두 가지 관점이 존재합니다. 

먼저 ‘커버리지(coverage)’로, 검색 결과로서 보여줄 수 있는 문서의 개수가 얼마나 되는지에 관한 이야기죠. 
한동안, 구글과 야후가 검색결과에 보여주는 문서의 개수를 가지고 경쟁한 적이 있는데, 
사용자 통계를 통해서 나오는 결론은 사용자들은 검색결과의 처음 한두 페이지만 볼뿐 그 다음 페이지는 
거의 보지 않는다는 결과가 나왔습니다. 

이렇기 때문에 십억 건의 자료를 가지고 있는 검색엔진과 백억 건의 자료를 가지고 있는 검색엔진의 검색결과가 열 배의 차이가 나는 것은 아니라는 결론에 도달하게 되었죠.

나머지 하나는 ‘랭킹(ranking)’으로, 구글의 PageRank가 널리 알려져 있습니다.
PageRank는 현재 많은 검색엔진이 채택해서 사용하고 있고, 검색 결과를 내기 위한 수많은 랭킹 알고리즘의 하나로 가장 좋은 문서를 찾기 위한 대표적인 알고리즘이라고 생각하고 있습니다. 그러나 검색을 할 때 항상 가장 좋은 문서를 찾는 것 만은 아닙니다. 특히 뉴스를 검색할 때는 가장 좋은 문서보다는 가장 최신의 문서를 찾게 되며, 그래서 대부분의 검색엔진이 검색 옵션에 ‘정확도’와 ‘시간순’ 두 가지 옵션을 제공하고 있죠.

줌은 이러한 두 가지 관점에서 검토한 검색엔진의 효용에 대해서 새로운 관점을 제공하고자 노력하였습니다.

#2. 그렇다면 zum은 검색기술의 기존 관점과 어떤 측면에서 다른가요?


검색zum을 한마디로 정의하면, attention(관심)에 기반한 검색이라고 할 수 있습니다.
 
2000년대 후반 관심경제(attention economy)라는 이론이 등장했는데, 이는 사용자들이 정보에 주는 관심은 그 만큼 가치가 있다고 보는 것이죠. 이와 마찬가지로 사용자들이 인터넷을 사용하면서 접하게 되는 수 많은 정보에 명시적으로 혹은 암시적으로 반응하여 보여주게 되는 관심이 해당 정보에 대한 좋은 평가라고 판단하고, 검색zum에서는 이것을 attention ranking으로 표현하였습니다. 

Attention ranking은 문서를 만드는 사람의 의도와 주장보다 소비하는 사람의 관심이 더 중요하다고 보기 때문에,
기존 랭킹보다 훨씬 더 소비자의 관점에 다가가 있다고 판단 한것이죠.

이러한 Attention에 대한 접근은 매우 오랫동안 이루어져왔지만, attention의 양이 너무나 많기 때문에 문서 하나에 대한 평가를 하기 위해서 수많은 attention을 계산해야 한다는 난제가 남아 있었습니다. 더군다나 최신성을 갖추어야 하는 뉴스 같은 문서는 빠른 시간 안에 수 많은 attention을 처리해서 1초 이내에 검색결과를 제공해 주어야 하니, attention을 계산 하는 것은 매우 어려운 일이죠.
 
이렇게 현실적으로 처리하기 어려운 문제가 있었기 때문에 Attention은 오랫동안 이야기 되어 왔으나 그간 그다지 각광을 받지 못했었죠. 하지만 최근 하드웨어의 발달과 대용량 분산처리를 위한 오픈소스가 고도화되고 대중화되면서 많은 부분이 가능해졌습니다. 갈수록 장비가 좋아지니 참 좋더군요 (웃음)

어쨌든 이러한 대용량 정보 처리 분야를 BigData 라고 하는데, BigData의 한 종류로
검색zum에서 사용한 attention을 이야기할 수 있습니다.


#3. zum의 검색엔진에 대해 좀 더 구체적으로 설명해주세요. 



검색zum은 자체 개발한 실시간 검색엔진과 오픈소스를 기반으로 구축한 대용량 검색엔진의 두 가지 엔진을 보유하고 있으며, 10억건 이상의 초대용량 검색이 가능한 엔진도 개발하고 있습니다.

하드웨어의 발달에 힘입어 zum의 실시간 검색엔진은 최신 하드웨어에 최적화된 형태로 개발되어, 
타사 대비 두 배 이상 효율적으로 운영되고 있으며 attention을 반영할 수 있도록 준비되어 있는 상태죠.

그리고 대용량 검색엔진의 경우, lucene 등 오픈소스의 고도화와 대중화로 인해 그 자체는 이미 일상화(commodity)되었다고 볼 수 있으며 1억건 정도의 문서량 처리도 크게 어렵지 않은 수준으로 발전했기 때문에, 검색기술의 관건은 이렇게 여러 개의 모듈로 구성된 검색엔진을 어떻게 조합하여 조화롭게 쌓아서 효율적이고 효과적으로 운영할 수 있는가에 있다고 생각합니다.

또한 10억건이 넘는 초대용량 검색은 google과 bing 정도가 사용하고 있는 것으로 알려져 있는데, 앞으로 시간이 흐르고 문서량이 많아질수록 초대용량 검색의 중요성은 더욱 높아질 것으로 생각하고 있습니다. 
이에 검색zum도 초대용량 검색이 가능한 엔진 개발에 주력을 다할 계획이구요.


#4. zum은 사용자에게 어떤 검색 가치를 제공할 것인가? 


사용자가 검색 서비스에 대해서 느끼는 가장 큰 차이는 '익숙함' 과 '낯설음' 이라고 생각합니다. 
더 좋은 검색 결과가 있다고 해서 구태여 지금까지의 익숙한 서비스를 다른 것으로 바꾸고 싶어 하지 않는 사용자들의 
선택이 새로운 검색 서비스가 시장에서 자리잡는데 어려움으로 작용하고 있죠. 

따라서 검색zum은 익숙한 서비스에서 느끼지 못 했던 낯선 검색 결과를 제공해서
사용자분들께 새로움을 드리려고 합니다. 

즉, 기존 포털에 노출되지 않았던 콘텐츠를 가지고 있는 업체들과의 합리적인 제휴를 통해서
새로운 정보의 ‘발견’을 가능하게 해드리는 것이죠.

또한 콘텐츠 제공자가 포털이든, 기타 중소 사이트든 어떠한 것도 가리지않고
사용자가 원하는 정보를 가장 잘 가지고 있는 곳으로 안내해 드릴 것 입니다.

네이버의 정보가 더 좋다면 다음에 익숙한 사용자도 네이버로 보내주고, 네이버에 익숙한 사용자도 다음에 더 좋은 정보가 있다면 다음으로 보내줄 것이라는 거죠~ 
 
Attention에 대한 이해와 분석을 통해서 우리는 이러한 시도가 가능하다고 생각했고, 
zum이 곧 선보일 새로운 지식서비스 ‘아하zum’을 통한 사용자 참여에 의해서 가속화 될 것이라고 기대하고 있습니다. 


댓글
  • 프로필사진 범상한범상 하하 드디어 기다리던 검색 줌 오픈 베타가 됬군요 기뻐요.
    2012.02.22 13:49 신고
  • 프로필사진 비밀댓글입니다 2018.11.02 18:03
  • 프로필사진 tukhinrt 관리자의 승인을 기다리고 있는 댓글입니다 2018.11.02 18:03
  • 프로필사진 해품달달달 써 봤는데 굿입니다. 낚시글은 바로 신고할 수 있게 '신고' 잘 마련해 두신 거 정말 잘하셨습니다. 철학도 멋지네요. 아쉬운 점은 베타니까 보완해 주시겠죠~ 만족도 조사했습니다~ㅋㅋ 2012.02.22 16:21 신고
  • 프로필사진 비밀댓글입니다 2018.11.02 18:04
  • 프로필사진 박민규 아파치 루씬이 쓰인건가요 ? 2008년도에 모 기업에서 DB FTS용으로 연구하던 때가 있었는데 ...
    reference로 찾던중에 누군가가 lucene으로 search engine을 만들던게 두루 회자된적이 있었는데,
    그 분이랑 관련이 있으신건지 ?

    아무튼 좋은 ranking algorithm으로 제2의 구글, 아니 구글을 뛰어넘는 글로벌한 써치엔진이 되었으면 합니다 ~
    2012.04.16 02:25 신고
  • 프로필사진 비밀댓글입니다 2018.11.02 18:06
  • 프로필사진 ifjwbqjn 관리자의 승인을 기다리고 있는 댓글입니다 2018.11.02 18:06
댓글쓰기 폼