Saturday, January 5, 2013

검색엔진의 진화 ─ 플랫폼을 통한 인식의 진화

Leave a Comment
미군집 최적화 (Ant Colony Optimization) 은 최적화 기법 중에서 자연계 상의 개미 군집의 특성에서 아이디어를 얻어 인간의 문제를 해결하려는 방법이다. 최적화란 어떤 문제를 해결하는데 있어 목표를 가장 효과적으로 달성하기 위해서 취하는 방법 / 경로를 이야기한다. 간단히 나무에 못을 박는데 딴딴한 물체 중 무게가 집중되어 있는 망치를 사용하는 것이 다른 것을 사용할 때보다 더 효과적으로 할 수 있다는 것, 그리고 만약 가능하다면 못을 손으로 잡고 고정시키고 있기 보다는 다른 도구로 잡고 있으면 안전하게 처리할 수 있는 것처럼 적당한 방법을 사용하면 문제를 쉽게 해결할 수 있고 이때 우리는 최적화라는 말을 사용할 수 있다.

이미 최적화라는 단어에서 풍기는 느낌으로 우리는 어떤 것인지 대충 알고 있다. 아주 간단히 최적화란 우리의 시간을 포함한 제한된 자원 안에서 우리가 얻고자 하는 목표를 가장 효과적으로 끌어낼 수 있는 방법(경로)를 찾아내는 것이다. 다시 처음으로 넘어오면 개미군집 최적화는 자연에서 개미가 군집을 이루고 살아가면서 먹이를 찾을 때 어떤 방식으로 효과적으로 빨리, 자신의 집단이 있는 공간에서 먹이까지 가장 최적을 방법을 찾아내는가를 관찰하며 알아내게 되었다.


원리는 다음과 같다. 목표는 먹이까지 가는 가장 짧은 경로를 찾는 것이다. 일개미들은 처음에는 무작위(random)로 개미소굴(N; Nest)에서 먹이를 찾아 나선다. 그리고 특정 개미가 우연히 먹이(F; Food)를 발견하고 돌아오는 길을 따라 페로몬을 남기며 돌아온다. 개미들은 페로몬을 좋아하고 그 페로몬의 강도에 따라서 더 이끌리게 된다. 먹이를 찾아서 경로를 알게 된 개미들은 여러마리가 참여하게 되고 그 모든 개미들도 먹이를 향해 가고 돌아오지만 모든 개미가 다 같은 경로를 가는 것이 아니라 갈래길이 나오면 개미 땡기는대로 길을 선택하게 된다. 그러나 더 짧은 길과 긴 길을 비교했을 때 시간 당 짧은 길이 페로몬이 더  농도가 높아지기 때문에 그 이후의 개미들은 페로몬이 강한 짧은 길을 선택하게 되고 그렇게 되어 다양한 경로를 거친 다양한 개미들이 존재하게 되지만 페로몬이 강해지는 가장 최적의 길이 완성되는 것이다.

여기에서 여러가지 문제점도 있고 해결하기 힘든 난제들도 있지만 일단은 개미들이 군집이 먹이를 찾아오는 문제 해결 방식에 집중해서 살펴보자. 이런 방식으로 전혀 지능이 없어 보이는 개미들도 집단의 수집된 정보를 통해서 하나의 문제를 해결한다. 이런 개미의 군집 능력을 통해서 인간의 문제에 적용해서 해결할 수 없을까 고민하던 사람들이 최적화 기법으로 소개했다. 그렇다면 이런 최적화 방법은 인간의 어떤 문제에 해결 할 수 있을까?

─ 모델링

조금은 전공스러운 이야기이니 이 부분은 그냥 넘어가도 별 문제는 없을 것 같다. 우리는 자연이나 사회의 현상을 이해하고 나아가 예측하기 위해서 모델링(modeling)이란 방법을 사용한다. 즉, 자연계의 현상과 원리를 통해서 자연계에서 나타나는 다양한 물성 (온도, 질량, 힘, 탄성 .... 등등) 을 표현해주는 가상의 모델을 만든다. 예를 들어 비행기를 만들 때, 대충 예쁘게 설계하고, 사람들 많이 태울 수 있도록 그리고, 어떤 재료를 쓸 것인지 대충 지금 시장에서 싼 재료를 가지고 만드는 것이 아니라 수송인원을 정하고, 비행 능력을 설정하고 나서 비행기가 어느정도 무게와 어떤 비행기 날개 모양이면 날아갈 수 있다는 것을 모두 계산하게 된다. 그런데 이때 계산을 한다는 것은 수학적인 어떤 함수를 가지고 있어야 한다. 그래서 우리가 원하는 답을 넣었을 때 어떤 결과가 나올지 예상할 수 있는 수치가 나온다. 이처럼 아직 비행기는 실제로 만들어지지 않았지만 비행기라고 가정해서 우리가 조건을 주면 어떤 반응을 일으키는지 보는 대상(object)을 수학의 다양한 식과 자연의 공식을 이용해 만든 것이 모델(model)이다.


모델을 만드는 모델링의 가장 기본적인 이유는 예측을 하기 위해서이다. 예상하지 못하는 상황, 실현 가능한지를 알아보기 위해 매번 비행기를 제작할 수 없기 때문에 가능한 범위가 무엇인지, 가능한 모양이 무엇인지 알아보기 위한 과정이다. 그리고 모델링의 궁극적인 이유는 그 대상에 대한 근원적인 원리(inherent principle)를 찾아내기 위해서이다. 즉, 우리가 힘을 주면 가속이 된다는 아주 간단한 물리 법칙에 따라서 어떤 대상에 100이란 힘을 주었을 때 우리가 알고 있는 물리법칙에 의한 모델은 30으로 가속이 된다고 예측을 하는데, 실제 15라는 실험값이 나온다면 우리는 그 대상에 대해서 근원적인 원리를 모르고 있다는 것이다. 그래서 가속을 15만큼 차이가 나게하는 원리가 무엇인지 다시 역으로 알아내려는 것이 바로 모델링의 이유이자 목적이다. 그래서 모델링의 목적은 ① 예측하고 ② 원리를 찾아내기 위한 과정이다.

─ 인터넷

터넷은 너무도 친숙하고 당연한 존재가 되어서 이제 정의를 내리는 것도 별로 의미가 없는 작업이 되어 버렸다. 불과 몇년 사이에 인터넷은 삶의 일부분이 되었고 사용자의 다양한 요구를 충족하기 위해서 다양한 기술적 발전이 이루어졌다고 생각한다. 초기 인터넷은 사용자의 다양한 요구가 원동력이 되어 그 요구를 충족시켜줄 수 있는 기술을 개발하려고 했지만 사실 상 요구를 모두 충족시켜 줄 수 있는 기술이 존재하지 않는 경우가 더 많았다. 그러나 이제는 오히려 다양한 기술이 현실이 되어가면서 그 반대의 현상이 일어나고 있다. 즉, 사용자가 미처 생각하지 못한 부분들을 만들어 사용자들이 아이이디에 매력을 느끼고 사용하도록 만드는 것이다. 심지어 우리가 인터넷을 사용할 수 있는 환경이 다양해지면 아이디어와 기회는 더욱 다양화되고 그만큼 경쟁적으로 사용자를 끌어들일 수 있는 방법을 찾아내고 있다. 그래서 유행, 전파, 쇠퇴의 속도도 빠르다. 사용자를 지속적으로 붙잡을 수 있는 충성도가 높은 서비스를 제공하지 않는다면 사용자들이 빠져 나가는 속도는 상상을 초월할 정도로 빠르다.

쇠퇴의 속도가 빠른 가장 큰 이유를 설명하는 가장 좋은 예는 메뚜기떼가 쓸고 지나가 황폐해지는 모습, 피라나가 황소 한마리를 먹어 치우는 모습이나 법의학에서 사용되는 풍뎅이떼를 가지고 깔끔하게 시체의 살점을 제거하는 것 등 아주 작은 개체가 아무리 큰 개체라도 큰 수의 군집을 이룬 상태에서는 그 속도가 빠른 것을 보면 인터넷에서 어떤 특정 서비스가 쇠퇴하는 모습을 상상하면 좋을 것 같다.


초기 인터넷은 서로 개인적 활동에 집중된 경향이 크다. 홈페이지를 통해서 일방적으로 자신의 이야기를 공유하거나 개인적인 활동으로 자신이 원하는 자료를 찾고, 자료를 공유하거나 그렇게 공유를 하는 방식도 제한적이었기 때문에 서로 나눌 수 있는 자료의 질과 양이 그리 많지 않았다. 그러나 인터넷 공간은 마치 개미떼의 통신 방식처럼 정보라는 매개체를 통해서 인기있는 서비스, 쇠퇴하는 서비스를 만들어 가고 그 사용자가 증가할 수록 그 효과는 극대화되기 시작했다. "정보"는 인터넷 공간에서 마치 "전자 페로몬"의 역할을 하면서 인간들이 어떤 서비스를 사용해야 이로운지, 그리고 기존 삶의 방식에서는 찾아보지 못하는 다양한 편리함을 추구할 수 있게 되었다.


우리가 궁극적으로 인터넷을 통해 무엇을 하려는 것인가? 쉽게 질문하면 인터넷을 왜 사용하는가이다. 앞서 설명한 개미군집 최적화에서 개미 군집이 찾으려고 하는 먹이는 도대체 무엇인가라는 질문이다. 광범위해진 인터넷의 넓은 영역을 통틀어 얘기하기 힘들지만 '정보'라는 단어로 설명할 수 있을 것 같다. 내 지식의 범위를 벗어나는 내용을 알기 위해서 정보를 얻어내는 것이다. 즉, 내가 어떤 문제를 해결하기 위해 필요한 정보를 알아서 최적화를 하기 위한 개인적인 활동이라고 설명할 수 있다. 개미 군집이 먹이를 찾기 위해 개별의 개미들의 행동들이 마치 인터넷을 사용하는 사용자의 모습이라고 볼 수 있다. 어떤 개미도 처음부터 먹이의 위치에 바로 갈 수 있는 경로를 알지 못하지만 경험적인 노력과 다른 개미들의 페로몬을 통한 정보를 통해서 이후 먹이를 찾으러 가는 개미들은 더 편하고 최적화된 길을 갈 수 있게 되는 것이다. 우리의 정보도 이미 축적된 것처럼 느껴지지만 사실 나와 같은 문제 혹은 비슷한 문제를 해결하기 위해서 노력했던 많은 사람들의 노력으로 좀 더 쉽게 찾을 수 있는 것이다.

─ 검색엔진 

여기에서 한가지 의문이 든다. 우리가 알고 싶은 정보를 어떻게 찾을 것인가? 지금 이 질문을 보는 사용자는 아주 간단하게 그 해답을 알고 있지만 인터넷이 우리에게 무엇을 해줄지 정확하게 알지 못했던 옛 시절에는 심지어 이런 것을 해결하기 위해서 수많은 노력을 해왔다. 결과적으로 검색엔진이라는 서비스를 만들어낸 것이다. 쉽게 말해 정보를 찾기 위해서 그 정보가 어디에 있는지를 저장하고 있다가 만약 사용자가 해당 정보를 알고 싶다고 입력하면 관련된 정보의 주소를 알려주어 사용자들이 찾을 수 있도록 해주는 것이다. 근본적 문제로 넘어가자. 군집을 이루며 먹이를 찾아 나서는 개미떼와 같이 정보를 찾아 나서는 사용자들과 비교할 때 개미떼와 사용자, 먹이와 정보 와 같이 서로 그 성격이 비슷한 요소를 찾아보는 것이다. 그렇게 될때 개미떼에게 나타나는 선택의 갈래길, 페로몬은 무엇으로 대조시킬 수 있을까 하는 것이다.

색엔진 이야기를 시작했으니 검색엔진이 페로몬이라고 생각할 수 있을 것이다. 그러나 조금만 생각해보면 더 적절한 대조는 개미떼에게 나타나는 갈래길이 검색엔진에 저장된 정보들이다. 만약 한 개미가 여러개의 갈래길에 놓여 있지만 어떻게 가면 개미소굴로 갈 수 있는지 확신을 한다면 갈래길에서 갈등을 할 필요가 없는 것이다. 인터넷 사용자도 마찬가지다. 자신이 가진 문제에 어떤 해결책 (경로)가 있는지 확인해보는 것이 바로 검색엔진이 보여주는 다양한 정보들이다. 그 정보 중에서 선택을 하는 것은 바로 사용자의 몫이다. 그렇다면 개미떼에게 페로몬과 같은 역할을 하는 것은 무엇일까?


검색엔진의 역사에서 하나의 분기점을 설정할 수 있는데 그 분기점에 해당하는 기업이 바로 구글이다. 구글의 검색엔진을 이해하기 위해서는 바로 개미가 먹이를 찾아서 최적의 경로를 찾는데 도움이 되는 페로몬의 역할을 하는 것이 무엇이냐라는 질문에 해답을 얻는 과정에서 좀 더 이해하기 쉬울 것이다. 우선 많이 방문한 횟수를 통해서 찾아낼 수 있을 것이다. 많이 방문을 하고 찾았다는 것은 그만큼 많은 사람들이 참조했을 가능성이 높기 때문이다. 그러나 이것만으로는 충분하지 않다. 우선은 정보의 양이 많지 않을 때는 검색하는 사용자들의 임의적인 소수의 선택에 의해서 쉽게 다수의 선택으로 보일 가능성이 높기 때문이다. 물론 이 부분은 사용자의 숫자가 많아지고 사용자들의 추가적인 설명 (comment) 이나 부가적인 정보들이 덧붙어지면 정보의 신뢰성이 높아질 수 있다. 개미떼에 비교하자면 초반에 어떤 갈래길에 페로몬의 농도가 비슷비슷할 경우에는 페로몬의 절대적 농도에 의존하기 보다는 개미의 본능적 선택에 좌우되게 된다. 결과적으로 검색엔진에 있어 페로몬의 역할을 할 수 있는 요소는 검색엔진이 보유하고 있는 정보의 양이 아니라 다양한 정보 중에서 어떤 순서대로 정보를 보여주냐에 따라서 사용자가 최적의 해결책을 찾는 시간은 달라질 것이다. 그래서 검색엔진의 핵심은 단순히 빠르게 잘 사용자의 키워드를 그대로 보여주는 것이 아니라 사용자가 가장 끌릴 수 있는 정보의 신뢰성에 따라(페로몬의 농도에 따라) 보여주는 것이다.

─ 플랫폼 1부 

다양한 분야에서 플랫폼(platform)이란 말을 사용하지만 범위를 인터넷으로 제한하여 개인적인 생각으로 정의하는 플랫폼은 "문제 해결을 위해 정보를 찾기 위한 모델링"이라고 설명하고 싶다. 문제 해결을 위한 정보를 찾는 역할을 하는 것은 이미 설명한 대로 검색엔진이기 때문에 요약하면 "검색엔진의 모델링"이라고 설명하고 싶다. 모델링은 앞서 설명한 것처럼 두가지 기능을 전제로 움직인다. 첫번째는 예측하는 것이고 두번째는 원리는 찾아내는 것이다. 조금은 협소할 수 있지만 인터넷에서 말하는 플랫폼은 기본적으로 검색엔진을 떠나서는 설명할 수 없다고 생각한다. (오해의 소지를 줄이기 위해서 다시 부언하자면, OS나 개발 환경 등도 플랫폼이라 이름을 붙일 수 있지만 이 부분은 논의에서 제외하고 싶다.)

앞서 설명한 것처럼 우리가 필요로 하는 검색엔진은 다양한 갈래길에서 페로몬의 농도를 적절하게 보여주는 것이다. 페로몬의 농도를 위해서 수많은 사람들이 노력을 했을 것이다. 그 중에서 앞서 언급한 구글의 시작은 이런 페로몬의 농도를 어떻게 평가하고 보여줄 수 있는가에 대한 해답으로 페이지랭크(PageRank)란 개념을 도입하게 된 것이다. 개미군집 최적화에서 보여지듯, 페로몬은 개미에 의해서 농도가 증가한다. 마찬가지로 인터넷에서 정보의 신뢰성을 평가하는 집단도 사용자들의 집단이고 그 군집의 크기는 크면 클수록 통계적으로 신뢰성이 증가할 수 있다. 물론 단순한 덧셈을 통한 농도를 평가하는 것이 아니라 다양한 알고리즘을 통해서 정보가 가지는 페로몬의 농도를 보여준다. 여기에서 한가지 잊고 있던 내용들이 있다.  바로 개미군집 최적화에서 궁극적으로 어떻게 최적화가 이루어지는가이다.



  • 첫번째는 페로몬은 개별의 개미들이 만든 경로이지만 실제로 우리가 갈래길에서 선택하는 것은 개별 개미들이 얼마나 지나갔는가의 한 지점을 통해서 평가한다는 점이다. 바로 이 부분이 우리가 키워드라고 부르는 부분들이 될 수 있다. 즉, 우리가 양질의 정보를 찾는 것은 얼마나 많은 양질의 키워드를 가지고 있는가에 따라서 달라진다는 것이다. - 정보의 단편성 
  • 두번째는 페로몬은 휘발성을 가진다는 것이다. 검색엔진은 단순히 자료를 저장하고 키워드에 맞춰 출력을 하는 것이 아니라 시간에 따라서 정보의 질도 달라진다는 것을 반영해야 한다는 것이다. 즉, 앞서 설명한 최적화가 이루어지는 원리의 핵심은 페로몬의 축적만큼 휘발하게 되어 시간 당 축적되는 양이 증가할 수록 페로몬의 농도가 증가하게 된다는 점이다. - 정보의 휘발성
  • 세번째는 최적화가 거의 이루어진 경로에 대한 관리이다. 최적화는 평생 최적 상태일 수 없다. 우선 먹이가 다 사라진다면 더 이상 찾아낸 최적화 경로는 의미가 없어진다. 두번째는 이미 이루어진 경로에 장애물이 생긴다면 새로운 경로를 찾기 위해 다시 찾는 초기의 과정이 필요하게 된다. - 최적화의 한계성

생각해보면 더 많겠지만 일단 세가지의 경우를 생각했을 때 검색엔진은 정적인 서비스가 아닌 동적인(dynamic) 서비스가 되어야 한다는 것을 느낄 수 있을 것이다. 바로 이 부분이 단순히 검색엔진과 플랫폼을 구별하는 특징을 제시해준다.

─ 플랫폼 2부 

정보의 단편성 : 우리가 어떤 문제를 해결하기 위해서 검색엔진을 사용할 때 우리는 대부분 단편적으로 우리가 연관이 있다고 생각하는 키워드를 입력하게 된다. 예를 들어 "화장실 배수구가 물이 빠지지 않을 때" 해결 방법을 찾기 위해서 사용자마다 넣는 키워드는 다양하다. "화장실 배수구" 를 넣을 수도 있고 "배수구 물이 빠지지 않을 때" 와 같이 문장을 넣을 수 있고, 때로는 원래 문제와 관련이 있는 "배수구 뚫어"와 같이 직접 원하는 행동을 넣을 수 있다.

앞서 설명한 것처럼 플랫폼은 "검색엔진의 모델링"이라고 표현했다. 그에 비추어 보았을 때 검색엔진이란 플랫폼이 가지고 있는 예측의 기능을 통하면 사용자들의 다양한 키워드에도 실제로 가장 좋은 정보가 무엇인지 보여주는 것이 바로 인간이 필요한 정보를 제공해주는 것이다. 따라서 진화된 의미의 검색엔진은 다양한 키워드가 중요한 것이 아니라 사용자가 궁극적으로 찾고 싶어하는 목적이 무엇인지, 그리고 그 목적 행동이 무엇인지를 제시해준다. 아주 간단한 예를 들어보자. 검색엔진을 통해서 환율을 알아보려고 할 때 검색엔진에 "환율 달러 한화" 와 같이 검색을 하면 원하는 정보를 어떻게든 찾아낼 수 있지만 여기에서 한가지 키워드의 중요성이 부각된다. 우리는 당연히 달러라고 하면 미국달러라 생각하지만 사실 호주달러, 싱가포르달러 등 다양한 달러가 있기 때문에 좋은 키워드가 아니다.

실제로 구글 검색엔진에서 '환율"이라는 검색어를 넣어보자. 달러라고 넣으려고 하는 순간 관련된 키워드가 회색으로 제시된다. 이런 키워드 제시는 우리가 최적의 문제를 해결하기 위한 생각하지 못한 키워드를 제시해줄 수 있다. 그리고 더 정확한 키워드 제시를 위해 '환율 usd' 를 입력하면 제시어로 krw 가 나온다. 또한 자신의 계정을 로그인하고 검색 기록을 저장하면 자신의 과거 검색 내용에 근거해서 자주 찾았던 검색어를 제시해주기도 한다. 그렇게 해서 검색어로 '환율 usd krw' 를 입력하면 다양한 관련 페이지를 보여주지만 맨 위에는 실제 환율 계산기를 보여준다. 즉, 환율을 찾으려고 하는 사람은 환율의 정의, 환율의 효과 등을 찾기 보다는 실제로 오늘 시세로 얼마 정도 바꿀 수 있는가를 알려고 하는 '사용자의 궁극적 행위'를 찾아서 가장 빠른 해결책을 제시해주는 것이다. 같은 검색어로 각종 검색 엔진에서 입력해보고 결과를 한번 살펴보자.


결국 정보의 단편성은 궁극적으로 사용자가 무엇을 원하는가를 예측하는 과정을 통해서 사용자가 찾고 싶은 목적을 제시하는 것이 바로 플랫폼이 검색엔진과 대조되는 특징이다. 환율뿐만 아니라 항공편, 날씨와 같은 내용으로 검색을 해보자.

Epiphany 를 검색했을 때 언제인지 바로 먼저 알려준다. Epiphany definition 으로 검색해보면 Epiphany 의 정의를 먼저 보여준다.

정보의 휘발성 : 정보는 변한다. 그리고 같은 문제라고 해도 해결 방법은 변화하고 더 좋은 방법이 제시될 수 있고 어떤 문제는 예상하지 못한 문제로 사용해서는 안되는 해결 방법이 될 수 있다. 앞서 설명한 개미군집 최적화가 최적의 경로를 찾아내는 가장 근본적인 이유는 시간에 따른 동적 변화가 존재하기 때문이다. 페로몬은 한번 쌓이면 사라지지 않는 것이 아니라 휘발을 하기 때문에 시간에 따라서 페로몬의 강도는 달라지게 된다. 그렇다면 검색엔진에서 생각해볼 수 있는 정보의 휘발성은 무엇인가?

누군가 열심히 글을 써서 자신의 블로그에 글을 올렸다. 참신하고 좋은 아이디어이기 때문에 많은 사람들이 좋아하고 인기도 많아졌다. 개미떼의 비유를 들자면 해당 블로그로 가는 페로몬의 양이 증가했을 것이다. 그런데 누군가 글을 자신의 블로그나 게시판에 자신이 쓴 것처럼 전체 글을 혹은 일부분을 그대로 복사해서 옮겨놨다고 생각해보자. 원본 페이지와 복사 페이지 모두 검색엔진에 의해서 등록이 되고 특정 키워드에 의해서 노출이 된다고 가정을 하자. 어떤 이는 교묘하게 여러명의 좋은 글들을 짜집기 해서 여러 글을 복사해서 자신의 글인 것처럼 보여준다고 했을 때 특정 키워드를 통해서 오히려 원본보다 복사해서 나온 페이지가 사용자들이 더 찾게 되는 경우가 발생할 수 있다. 도덕적 문제와 더불어 특히 지금은 자신의 블로그 같은 개인 공간에서 광고 링크를 통해서 광고 수익을 얻을 수 있다는 점으로 비추어 보았을 때 다른 사람의 생각과 저작권을 통해서 자신의 사적 이익을 얻는 결과이기 때문에 범죄가 될수도 있는 상황이다.

그렇다면 소위 진품(Originality)의 문제는 어떻게 해결할 수 있는가. 페로몬은 시간의 함수이지만 실제로 개미들이 느끼는 것은 자신이 있는 공간과 시간의 페로몬으로만 판단할 수 있게 된다. 그러나 검색엔진은 개미 개별이 가지고 있지 않은 개미떼의 전체적인 움직임과 최적 경로의 변화 과정을 찾을 수 있는 것이다. 소위 개별 개미들이 찾지 못하는 전체적인 시각을 가지고 있다는 것이다. 이 부분이 바로 자연계의 현상과 조금은 다를 수 있는 부분이다. 자연계에서 먹이의 다른 방향에 개미 퇴치용 약을 넣어 (주로 개미 퇴치용 약은 개미의 페로몬을 이용한다.) 개미들이 가짜 먹이를 소굴로 가지고 와서 군집이 다 죽어버리는 상황이 발생하더라도 특별히 해결할 수 있는 방법이 존재하지 않는다. 그러나 여기에서 플랫폼의 중요성이 한번 더 부각되는 것이다. 플랫폼은 예측을 통해서 원본과 복사의 차이점을 찾아내고 더 나아가 원본이 가지는 고유 가치를 보존해줄 수 있어야 한다. 따라서 플랫폼이 만들 수 있는 원리 중에는 바로 검색엔진이 사회의 가치에 부합하도록 정화하는 기능을 제시해줘야 한다는 점이다. 간단한 예로 원본/복사뿐만 아니라 유해한 정보에 대한 적절한 여과, 악의적인 이용을 막을 수 있는 다양한 보안의 문제까지 다루어야 하기 때문에 플랫폼은 단순히 검색 내용을 전달하는 것이 아니라 검색의 사회적 영향에 대해서도 적절하게 평가해야 한다.

검색엔진의 원본 가치(Originality)에 대한 참조: [ 네이버는 오리지날을 존중하지 않는다 ]

최적화의 한계성 : 정보의 휘발성과 다르게 최적화의 한계성은 정보의 중요도가 달라지는 것이 아니라 찾고자 하는 정보가 상황이 변경되거나 더이상 존재하지 않는 경로에 대해서 새로운 정보를 찾아야 하는 것이다. 뜻밖의 사고나 상황이 변경되어서 내가 하려고 하는 행동들에 영향을 받는 것, 혹은 예전의 정보와 다른 정보가 있는데 아직 사용자들이 찾지 않아 정보의 중요도가 높지 않아서 찾아보기 힘든 상황 등이다. 구체적인 예로 비행기를 아침에 타야 하는데 새벽에 내린 폭설로 비행기가 결항이 되는지 아닌지는 단순히 검색엔진의 영역에서는 확인할 수 없다. 검색을 위해 항공편을 입력해도 해당 비행기의 평소 경로나 그 비행기를 이용했던 사용자의 과거 블로그가 나올 수 있을 것이다.


잠시 다른 이야기로 넘어와, 요즘 모든 사람들이 좋아하는 트위터나 페이스북... 소위 소셜네트워크 서비스를 한번 생각해보자. 일차적으로 자신의 이야기를 나눌 수 있는 좋은 공간이 될 수 있고, 자신의 생각을 다른 사람들과 공유할 수 있는 공간으로 부가적인 인프라 구축없이 (홈페이지, 서버 등) 편리하게 이용할 수 있는 공간이다. 그러나 주의깊게 살펴볼 부분은 바로 동적 연결성(dynamic connectivity)라는 점이다. 많은 사람들은 소셜네트워크의 주요기능을 인간이 가지는 사회관계성, 연결성을 중심으로 다루지만 실제로 소셜네트워크가 친목, 인간관계 목적을 두고 활동한다는데 동의하는 사람들은 별로 없을 거라고 생각한다. 오히려 익명적 연결성이나 전혀 알지 못하는 지인, 유명인들과의 관계를 보면 그것이 실제 인간관계를 증가시켜줄 수 있는 도구가 아니라는 느낌이 더 강하다. 트위터의 리트윗(retweet)을 한번 보자. 요즘 인기있는 트윗 내용은 몇번 리트윗 되었는가를 통해서 이루어진다. 상당히 동적이다. 그리고 마치 개미 군집에서 "이쪽에 엄청 맛있는 먹이가 있다!"라고 하는 강력한 페로몬 같은 역할을 한다. 따라서 검색엔진이 가지는 동적인 부분에서 예상하지 못하는 제한상황(constraints)을 실시간의 동적인 소셜네트워크를 통해서 해결할 수 있는 것이다.


트위터같이 아주 동적이지 않지만 최적화의 한계성을 해결해주는 아주 좋은 도구는 사용자제작물(UCC)를 예로 들고 싶다. 한때 국내 포탈 서비스의 무뇌적 주입으로 UCC = 동영상이라는 잘못된 생각을 가지고 있다면 과감하게 버렸으면 좋겠다. 대표적 예로 구글 지도(Maps) 혹은 구글 어스(Earth) 를 예로 들고 싶다. 구글 어스에 보면 사용자들이 직접 해당 지역에서 찍은 사진이나 스스로 만든 3D 건물 등 서비스를 제공하는 구글은 지도와 기본적인 정보를 제공하지만 그 위에 각자 사용자들은 자신의 컨텐츠를 올려서 하나의 공간에 다양한 내용을 볼 수 있도록 해준다. 그래서 UCC 는 기본적으로 플랫폼이 있어야 한다. 그 플랫폼 안에서는 내가 기여하는 것은 컨텐츠이지만 다양한 사람들이 동일한 하나의 플랫폼 안에서 종합적인 정보를 찾아볼 수 있도록 해주는 것이다. 아주 간단한 형태이지만 지도 서비스 안에 맛집, 혹은 교통 정보 등을 포함하는 서비스, 그리고 나아가서는 만약 어느 지역에 사고가 발생했다는 트윗이 지역 정보와 함께 올라오면 이를 지도 위에서 보여준다면 뜻밖의 돌발 상황에 대해서도 최신의 정보로 대처할 수 있게 되는 것이다.



─ 진화

개미군집 최적화를 통해서 시작한 검색엔진의 이야기지만 실제로 개미군집 최적화에서 발생할 수 없는 부분(정보의 휘발성 일부, 최적화의 한계성)은 사회적 현상이라는 것을 알 수 있다. 즉, 소셜네트워크라고 부르는 것은 단순히 서로가 개인의 정보를 나누는 공간의 의미가 아니라 실제 생활에서 문제를 해결하는데 필요한 하나의 좋은 검색엔진의 확장으로 그 중 사회적 문제를 다루기 힘든 검색엔진의 한계성을 보안하기 위한 부분이라 소셜이란 이름을 붙인 것이 아닌가 생각한다. 즉, 이런 요소들을 통합적으로 고려해서 보다 검색엔진을 만들고 그 검색엔진을 기반으로 좋은 플랫폼을 만든다면 무엇이 좋은가?
좀 다른 표현을 하자면 검색엔진을 사용하면 우리 삶에 어떤 부분이 좋아지는가? 
이 질문에 대한 희망적인 내용을 생각하고 있을 때 국내 포탈 서비스에서 소위 실시간 검색어로 뜬 사건이 있었다. 그 키워드가 바로 "급성폐혈증"이었다.

우선 키워드로 올라왔던 폐혈증이란 병은 없다. 처음에는 폐질환(pulmonary disease)인가 생각해서 찾아보았지만 해당 키워드는 유명 대학교수의 사망원인인 패혈증(sepsis)였다. 맞춤법하나 잘못된 것이 뭐가 대수일까 생각하는 분들도 계시지만 병명 자체에 대한 오해를 불러 일으킬 수 있는 잘못된 단어이다. 그리고 더 재미있는 것은 패혈증이란 혈액에 세균이 퍼지면서 온몸에 염증 반응 등이 일어나는 사망률이 높은 증상이고 이 증상은 급성만 있지 만성패혈증이라면 아마도 연구대상이 되어야 할 것이다.

이처럼 잘못된 정보가 급속도로 퍼지게 되면 사용자들은 잘못된 정보조차 제대로 된 정보로 인식하고 지식으로 받아들인다. 그런데 문제는 이후이다. 검색엔진이 좋은 플랫폼으로 진화하기 위해서는 비록 사용자들이 잘못된 정보에 한순간에 휩쓸려 검색한다고 하더라도 이를 조정할 수 있는 사회적 역할(중재자; moderator)을 해야한다.


다른 측면을 살펴보고 싶다. 바로 급성폐혈증의 발단이 된 언론의 기사 내용이다. 처음에는 급성패혈증이라고 기사가 나왔지만 사용자들은 검색엔진에서 그 발음만으로 패혈증이 아닌 폐혈증을 찾고 그 수가 한순간 증가하게 되었던 것이다. 국내 포탈 서비스에서 경쟁적으로 보여주는 실시간 인기 검색어는 어떤 목적으로 만들어졌는지 궁금하다. 쉽게 말하자면 앞서 설명한 아주 강력한 페로몬의 역할과 거의 동일하다. 그리고 검색엔진이 정보를 찾기 위한 좋은 플랫폼으로 진화하기 이전에 국내 검색엔진은 내가 원하는 정보를 찾으려 하는 순간 나의 말초신경을 자극할만한 인기 검색어와 화려한 광고를 보여준다. 아우 신나라! 그래서 아마도 우리나라 검색엔진은 포탈이라는 이름을 붙인 것 같다. 내가 찾으려는 정보에 집중하기 전에 다른 세상으로 워프(warp; 순간이동)할 수 있는 입구(portal; 포탈)가 되어주기 때문이 아닐까.



─ 퇴화 

진화는 발전한다는 이야기가 아니다. 다양성을 통해서, 다양한 사용자의 참여로 최적의 방식을 찾아가는 항상 변화하는 동적인 상태이다. 그리고 그 안에서 모든 사용자가 자유롭게 활동하는 공간을 플랫폼이라고 부른다. 그러나 검색엔진이 의도적인 강력한 페로몬이나 정보를 임의적으로 보여주지 않거나 아니면 사용자에 의해 만들어진 페로몬이 아닌 임의적인 방식으로 정보의 중요도를 왜곡한다면 우리가 우려하는 유일한 퇴화가 될 것이다. 그리고 길게 설명하지 않아도 그 퇴화는 시스템 자체의 퇴화뿐만 아니라 인간이 다양한 생각을 할 수 있는 좋은 도구라 굳게 믿고 있는 검색엔진이 우리가 생각해야 할 주제와 생각하지 말아야 하는 주제로 구별해주는 무서운 정치적 도구가 되어버린다.

지금까지 검색엔진이 플랫폼으로 진화하기 위한 다양한 특성과 현상을 설명한 가장 큰 목적은 결국 검색엔진이 플랫폼으로 진화하며 인간의 인식도 진화시켜야 한다는 것이다. 정치적 목적에 검색엔진이 맘에 드는 것과 맘에 들지 않는 정보로 구별해서 제공하는 것은 인간의 생각이 퇴화하기 바라는 비인간적인 집단, 그리고 감추고 싶은 사실이 밝혀지면 자신의 이익이 사라질 것을 염려하는 사익집단의 치졸한 모습일 뿐이다.


─ 마감

우리가 무의식적으로 받아들이는 세상의 다양한 도구들은 생각보다 많은 고민과 노력으로 만들어진 하나의 값진 선물이다. 검색엔진도 마찬가지라고 생각한다. 그리고 그 검색엔진을 통해서 개미떼가 먹이를 가져오기 위한 목표를 위해 이루는 다양한 최적화의 방법이 우리의 삶을, 우리의 생각을 조금씩 진화하게 하는 현실적 방법이다.


그래서 검색엔진은 투명해야한다. 그 투명성과 인간 인식의 진화를 알려주는 한가지 대표적인 예로 글을 마무리하려고 한다. 전세계 사람들이 자신의 지역에서 "열이 난다" "감기" 등과 같은 독감에 관련된 검색어를 종합해서 독감이 발생할 수 있는 가능성이 높은 지역을 보여준다. 마치 개별 사용자들이 자신의 상황을 입력하고 자신의 문제를 해결하기 위한 방법으로 검색엔진을 찾지만 반대로 인간이 인식하기 힘든 전체적인 상황을 보여주는 인식의 범위를 넓혀준다. 플랫폼이 가지는 예측과 원리의 아름다움을 보여주는 모습이 아닐까...

0 comments:

Post a Comment