어제 오늘 Hadoop Cluster를 설정을 하고는 MapReduce 예제들을 돌려보고 있다.(jetty 웹서버가 인터넷에 연결이 되지 않으면 뭔 j2ee 네임스페이스를 찾을 수 없다고 에러를 내는 바람에 이거 찾느라고 어제 하루는 다 보내 버렸다.) 우선 RandomWriter를 통해서 30GB의 입력데이터로 사용할 데이터를 생성했다. 1GB씩 총 30개가 생성되었다. RandomWriter를 통해 생성된 데이터 총 1538초 약 26분정도의 시간이 소요되었다.(테스트는 총 3대의 DataNode에서 수행,,) 이 입력데이터를 가지고 역시 예제 Sort를 수행하였다. 처음에는 Map과 Reduce의 갯수를 지정하지 않고 다음과 같이 기본 명령만을 주고 수행하였다. $ bin/haddop jar had..
Map-Reduce나 HDFS를 지금하는 일들에 잘 써먹으면 좋을것 같다는 생각은 이전부터 가지고 있었지만, 나 혼자서 사용해서는 그 효과를 충분히 발휘 할 수 없기에 ㅋㄷㅋㄷ 우선 Hadoop을 2대의 컴퓨터에서 테스트 해봤다. 비교적 탄탄하게 잘 돌아는 간다는,,, ^^ Map 수행 Reduce 수행 wordcount 예제,,, ^^ Hadoop 구성은 여기를 보고 참고,, ^^ Running Hadoop On Ubuntu Linux (Multi-Node Cluster) Running Hadoop On Ubuntu Linux (Single-Node Cluster)
오늘은 대전에서 필리핀 후배들 두명이 서울로 올라왔다. 한국인터넷정보학회에 포스터 발표가 있었기 때문이었다. 후배의 핀리핀 친구들의 발표도 들었는데,,, 뭐 모바일 에이전트들을 효과적으로 배치하기 위해서 클러스터링 알고리즘을 사용하는 뭐 그런 내용의 발표였다. 그건 그렇고 간만에 서울에 올라온 외국인 후배들에게 용산과 63빌딩을 투어를 제안하고 둘러보고 왔는데,,, 완전히 체력이 바닥나 버렸다. 에고~ 에고~ 최소한의 동선을 유지하려고 애썼건만 역시 운동 부족인건가??
PlatformDay 발표자료를 정확히 10분전에 넘겼다. 다른 강연들과 확실히 차이나는 부분이 분산 플랫폼이 적용된 실사례들을 발표하는데 반해 내 발표에는 그것?이 없다는 것이다. 물론 이부분은 발표를 하기로 맘먹기 전에 이미 조율한 부분이지만, 그래도 다들 뭔가 실질적인 것을 원하시는 분들이 오신것일텐데, 생뚱맞은 세션이 하나 끼어 버렸으니,,, 이부분에 대해서 좀 걱정스럽다. 두번째로는 너무 낚시성 제목이라는 것이다. 물론 이것 또한 미리 조율?한 것이지만, 요즘 촛불집회다 뭐다 너무 시끄럽고, 또 내가 몸담고 있는곳 또한 전혀 무관하지 않지 않기 때문에,,, 다들 실제로 내용을 들으면 뭐야~라는 반응을 보이겠지만 ^^ 잠깐 참석하시는 분들을 살펴보니, 바이오관련 분들도 꽤 많이 오시는던데,,, 역..
5월 30일에 열리는 2008' Platform Day에 본의 아니게 발표를 하게 되었습니다. 이것저것 여러 실제 사용자분들의 의견을 수렴하러 다니는 중입니다. 참고로 제가 발표하는 세션은 기술적인 내용을 소개 보다는 생물학 데이터를 어떻게 Platform에 적용해야 할지로 되묻는? 그런 자리가 될 것 같습니다. ^^;; SSD 16GB를 주워다가 열심히 쓰고 있는데,, NFS를 Mac OS X와 잘 엮어서 사용하는 것에 중점을 두고 있습니다. 데이터는 몽땅 NFS로 ~~~ 근데,, 이거 iPhoto는 어쩐담,,,, 어제 기사를 보니 NASA에서 진행하는 프로젝트에 1TB SSD 스토리지를 MTRON에서 만든다는데,,, 극한환경에서 사용한다고 합니다. 나도 맥북들고 북극이라도 갔다올까나,,,,^^ Fre..
Freebase(집단지성의 저자도 이쪽으로 적을 옮겼다는군요 ^^)는 시맨틱하게 만들어진 공공의 데이터베이스(위키피디아 같은)인데,, 스피드레이서 정지훈을 살짝 넣어줬다. ^^;; Freebase의 Speed Racer에 포함된 정지훈~~ Freebase의 매시업인 Thinkbase로 그려진 Speed Racer 그래프 Freebase의 Data Model로 뭔가 해보면 좋을듯한데,,, 상당히 매력있는 사이트이다. 한번 가보는것이 좋을듯 ^^