프리챌은 UCC 로 유명한 곳으로 알고 있는데, 드디어 동영상 검색엔진 개발한다는 기사가 오늘자로 올라왔다.
프리챌 "모든 서비스 동영상化 추진한다"
위 기사를 보면, "장면을 인식할 수 있는 동영상 검색엔진 개발"이라는 문구가 참 이색적이었다. 예전부터 야후의 "야미", 네이버에서의 반자동 동영상 검색등이라는 이야기가 흘러나왔는데, 이렇게 구체적으로 장면 인식 기반 동영상 검색이라는 걸 보니 참 세상은 좋아진 것 같다.
하지만, 장면 인식이란게 conv2군의 생각으로는 키 프레임(key frame)을 찾아내는 것을 가리키는 듯 하다. 키 프레임에 대한 정의는 보통 장면 첫 화면이다. 즉, 키 프레임의 쉬운 예로는 동영상을 보면 갑자기 변화하는 화면을 들 수 있다.
아무튼 장면 인식을 하려면 샷 검출(shot detection) 이라는 전처리 과정과 키 프레임 추출 순으로 이루어져야 한다.
첫째, 샷 검출 과정에 대해서는 통상 여섯 가지 패턴 기반으로 둔 것을 이용한 것으로 잘 알려져 있다.
1. 컷(cut) : 급격하게 변화할 때
2. 페이드 인/아웃(fade in/out) : 영상이 점차 또렷화 하거나 혹은 희미해질 때
3. 디졸브(dissolve) : 오버래핑(overlapping) 할 때 즉 겹쳐질 때
4. 와이프(wipe) : 한 화면이 한쪽으로 사라지면서 연이어 다음 영상이 나타날 때
5. 객체가 움직일 때
6. 카메라의 상황 : 상하좌우, 기울이기, 줌인/줌아웃 등
1~4는 장면 전체가 바뀔 때이고, 5~6은 장면내에서의 일부가 바꿔졌을 때이다.
둘째, 키 프레임 추출(key-frame extraction)에 있어서는 한 장면 내 연속된 프레임 즉 유사한 내용이 있을 것이므로, 샷 검출 전 후의 프레임 집합에서 가장 정보를 많이 담고 있을 프레임 선택한다. 그게 바로 키 프레임이다. 그렇지만 통상 장면의 첫 부분을 키 프레임으로 하는 게 대부분이다.
장면 인식 과정에서 필요한 처리는 여러 가지가 있으나, 대표적인 예는 다음과 같다.
1. 키 프레임 수를 줄이기 : 이전의 키 프레임과 유사하면 통합
2. 샷 검출시에 대한 보정 : 잡음이나 이상한 것이 들어간 프레임을 잘못 추출했을 때 버리기
3. 정확한 샷 검출과 빠른 속도로 수행
그러면 결국 한 동영상당 수십개~수백개 이상의 키 프레임만 추출된다. 이걸 갖고 스토리 보드 구성한다고 한다. 그래서 동영상 관리 솔루션의 기능 중의 하나는 각 키프레임에 대한 정보(시작 위치)를 갖고, 해당 키 프레임을 누르면 동영상 시연하는 것을 들 수 있겠다. 참고로 이미 8년전에 Excalibur에서 그렇게 시연하는 것을 본 적이 있다.
이와 같이 프리챌에서는 장면 전환 검색이란게 아마도 스토리 보드로 된 것을 쭈욱~~~ 찾아보면 되는 것을 가리키는 건 아닐까 싶다. 하지만 진작 키 프레임으로 검색한다면 필요한 게 바로 CBIR(Content-Based Image Retrieval : 내용기반 이미지 검색) 이다.
진정한 동영상 검색을 하려면 CBIR를 갖추어야 할 필요가 있다. 하지만 지금으로부터 8년전에는 CBIR를 개발하는 회사가 몇몇 있었는데, 지금은 코난테크놀로지 밖에 없을 정도로 명맥이 끊겨져 있다. (있다면 conv2군에게 댓글로 알려주시길 바란다. 즉시 수정하겠다.)
동영상의 특징이 아주 다양하므로, 이에 맞춰 최적화할 수 있는 CBIR를 만들 수 있는 개발자가 프리챌에 있다면 좋은 현상이다. 왜냐하면 앞에서 말했다시피 CBIR 개발자는 요즘 눈을 닦아봐도 안보이기 때문이다. 어디로 숨었는지 모르겠지만, 일단 프리챌에 이미 있다고 가정해야 할 것 같다. 과연 그 분이 누군지 알고 싶다. conv2군도 한 수 배우고 싶을 정도의 고수이신듯 하다.
그 정도의 검색엔진 만들기 위한 팀원 구성에 대해서는 아마도 이렇게 될 듯 하다.
1. 동영상 관련 전문가 : 샷 검출 & 키프레임 추출 알고리즘 보유
2. 비전 전문가(혹은 영상처리 전문가) : 검색을 위한 특징 벡터 추출 알고리즘 전문가
3. 이미지 검색엔진 개발자 : 색인 구조 설계, 전처리기, 색인, 검색 모듈 개발
4. 정보 검색엔진 개발자 : 키 프레임 관련 메타데이터 색인/검색
5. 동영상 검색엔진 서비스 개발자 : 검색엔진 API를 이용해 웹으로 검색케 함.
그런데, 1~5번을 한꺼번에 할 수 있는 분은 가장 톱 레벨로 올라서 있을 정도일 거다. 실제로 정보검색엔진과 동영상 처리, 이미지 검색엔진을 모두 다 할 수 있는 거면 대단한 고수다. 정보검색도 어려운데 이미지 검색까지 겸한다면 일당백이므로, 구글에서 모셔가야 할 인재이지 않을까. 하지만 현실상 어려우므로 최소한 인원으로 꾸려간다면 최소한 3명 정도만 있어도 괜찮겠다. 단지 시간과 시행착오를 감당할 수 있다는 전제를 깔아둔다.
아무튼 프리챌의 개발 이야기에 대해서는, 엄청나게 많이 쌓이는 UCC 동영상 데이터에 대한 검색 요구가 높아져가고 있음을 보여주는 사례라고 할 수 있겠다.
참! CBIR를 어떻게 구현하나고요? 구현하는 방법에 대해서는, conv2군이 집필한 "오픈소스 CxImage를 이용한 Visual C++ 디지털 영상처리"에 szSearch 라는 프로젝트를 실었으니 한번 보길 바란다. 여기서 키 프레임만 추출해서 색인 시키고 검색하면 될 것이다. 너무 간단한가요? ^^;
8년전에는 두 발자국을 앞서 내딛었다면, 이젠 반 발자국밖에 남지 않을 정도로 멀티미디어 검색 엔진 시장은 이미 막 오른 상태이다. 하지만 그것을 만들 수 있는 개발자는 도대체 어디에 있는 걸까? 하물며 정보검색엔진 개발자도 귀하다고 하는데....
끝으로, 옛 CBIR 개발자로서 당부하건데, 프리챌이 꼭 성공하길 바란다. 그래야 conv2군이 술 한잔 걸치고 같이 이야기 할 수 있는 기회가 많아지니까... 그동안 CBIR 개발자라는 설움(?)이 많았는데 말이지... 그래서 성공한다면, 언젠가 어른이 될 딸래미에게 "아빠가 옛날에 CBIR를 만들었단다" 라고 자신있게 말할 수 있을 거니까... ^^;
* 추신 : 동영상 검색에 대해 CBIR를 배제한 채, 정보검색엔진 이론과 접목한다면 아마도 이렇게 될겁니다. 즉, 동영상에서 관심 객체를 추출한 후, 자동으로 이것과 관련한 품질 높은 메타데이터를 만듭니다. 그 다음 이걸 검색하거나 더 나아가서 그 메타데이터간의 관계를 온톨로지로 표현하여 활용하는 방법 등이 있겠습니다. 이와 같이 보다 더 좋은 서비스를 제공하는 방법이 있습니다. 일단 프리챌의 동영상 검색 서비스 자체가 CBIR 기반인지, 정보검색 기반인지, 두 가지를 혼합하여 제공하는지에 대해 추이를 지켜봐야 할 것입니다.
-- conv2's EOF |
| 이 글의 관련글 주소 :: http://conv2.com/blog/rserver.php?mode=tb&sl=501
|
| 고감자 07/02/22 00:37 x |
정말 잘 봤습니다.
큰 도움이 되었네요.
슬슬 이미지 프로세싱 공부를 해볼까 하는 생각도 듭니다. ㅋ ~~
욕심이 너무 과한걸까? 헤헤 |
| conv2 07/02/23 05:09 x |
고감자님 //
배움에는 무엇이 중요하리까? 오직 필요한건 열정이죠.
모든 것을 알아가고, 깨우치는 그 기쁨 늘 간직하세요.
|
| Kenny. 07/03/13 21:08 x |
| 동영상 Processing 속도가 그렇게 빠를 수 없는데, 데이터에서 키프레임을 뽑고, 이미지 처리하고, 비젼으로 메타 데이터 생성해서, 색인까지 하는데, 코스트가 서비스 할 수 있을 정도가 되려는지 궁금하네요. 물론 기술도 갈길이 멀지만. |
| conv2 07/03/14 08:36 x |
Kenny님//
동영상에서 키프레임 추출, 메타데이터 생성까지 색인하는 것에 대해서는, 실시간으로 하는 건 아니라면 아무런 문제가 되지 않습니다. 만약에 실시간으로 하겠다면, 즉 사용자가 동영상을 올려 검색하겠다면 서버에서 감당하기가 힘듭니다. 따라서 올라웍스처럼 프로그램 제공하는 것도 하나의 방법입니다. 이 경우는 사용자 PC에서 메타데이터를 뽑아내서 서버로 전송하면 되겠지요?
그만큼 위 사례에서 볼 수 있듯이, 동영상이나 정지영상 검색의 경우 정보검색엔진에서의 색인/검색 속도를 따라잡는 건 자신이 하기 나름이 아닐까 싶습니다.
|
| 하린 07/06/14 18:58 x |
영상처리 관련 자료 검색하다 conv2님의 블로그에 제가 다니는 회사 이름이 나와서 덧글 남깁니다.
7년전부터 위에 말씀하신 Excalibur(현재 convera)의 장면전환, 내용기반이미지 검색, 텍스트 검색 엔진가지고 작업을 했었는데 감회가 새롭네요. ^^,
자주 들리겠습니다. |
| conv2 07/06/18 14:48 x |
하린님 //
늦었습니다. 현재 convera 회사에 다니시고 계시는군요. 검색엔진의 세계는 너무나 넓습니다. 변함없이 고객에게 도움이 되는 검색엔진을 만드시길 바라면서, 다음에 종종 놀러오세요. |
|
|