클라우드는 지금 스토리지 가격 전쟁중
요즘 클라우드 업체간의 경쟁으로 인한 가격하락이 주요 기사로 등장하고 있다. 오늘은 클라우드 서비스 중 스토리지 서비스에 대해서 이야기 해보려고 한다. 왜냐면 우리가 g-Storage라는 서비스를 내놓은 시점에서 이런 일련의 일들이 일어나서 좀 정리 좀 하고 넘어갸려고 한다. 아마존 AWS 2월 1일 부터 S3(스토리지)가 가격 하락을 단행한다. 동부 버지니아 지역을 기준으로 기본 스토리지(Standard Storage)의 가격을 $0.085/ GB 약 92원, 중복을 줄인(클라우드 스토리지의 경우 일반적으로 똑같은 파일?(정확히 파일은 아니지만, 암튼)에 대해서 3개의 복사본을 유지하는데 이를 줄여서 2개 정도의 복사본을 유지) Reduced Redundancy Storage가 $0.068 / GB 약..
Amazon AWS vs. KT ucloud biz (GenomeCloud)
클라우드는 만능도 아니며, 공짜도 아니다. 하지만 클라우드가 무엇이고 자신의 환경에 어떻게 적용해야 할지에 대해서 분명 고민해야 할 부분이다. 아래 그림은 Bioinformatics 영역에서 클라우드 컴퓨팅을 활용하기 위한 방법을 잘 보여주고 있다. Prototyping 단계 대규모의 분석을 하기전에 우선 1대의 서버에 분석하고자하는 워크플로우를 작은 데이셋에 대해서 적용한다. 여기서는 NGS 데이터에 대해서 우선 2.2 MB의 read 파일을 가지고 진행하여 5시간에 끝냈다. 확장을 준비하는 Deveploing Sclable Application 단계 대규모 분석은 흔히 클러스터링을 통해 여러대의 서버를 동시에 사용한다. 이를 위해서 클러스터 관리 소프트웨어를 설치하고 1단계의 prototyping 단..
대용량 데이터 업로드 - parallel, multi-part upload
요즘 사용하는 컴퓨터는 코어가 여러개인 멀티-코어가 대세죠, 파일 업로드도 멀티-코어를 이용해서 패러럴하게 업로드하는 방법을 소개하겠습니다. 물론 업로드하는 곳은 아마존의 S3나 KT 클라우드 스토리지와 같은 서비스입니다. 병렬로 즉 멀티-코어를 활용하여 업로드 속도를 빠르게 업로드하는 방법은 크게 아래 그림과 같이 2가지 방식으로 생각해 볼 수 있습니다. 하나는 원본 파일1개에 대해서 클라이언트측에서 잘게 자른후 이 조각들(parts)을 코어/프로세스수에 맞추어 쓰레드로 동시에 업로드하는 것입니다. 실제 swift에는 조각나 저장되어 있지만, 사용자는 다운로드 할 경우에는 마치 1개의 파일인 마냥 사용할 수 있습니다. 물론 이러한 기능은 아마존의 S3도 지원하는 기능입니다. 다른 방법은 여러개의 파일을..
클라우드에는 스냅샷과 커스텀 이미지를 이용해서 관리자가 소프트웨어 인스톨이나 설정 및 시스템관리를 편리하게 할 수 있도록 도와준다. 하지만, 자주 변경되거나 시시각각으로 서로 다른 설정을 해줘야 하는 경우 (특히나 이쪽 분야는...)가 흔하디 흔하기 때문에 이러한 클라우드의 장점을 이용하기 보다는 걍 하나하나 설치/설정/관리를 해주는게 지금 나의 상황에서는 더 편리하다. 가령 10대의 서버에는 A라는 묶음의 소프트웨어를 설치/설정하고 20대의 서버에는 B라는 묶음의 소프트웨어를 설치/설정하고 3대에는 A라는 묶음+알파 또는 -알파의 설정이 필요한 경우가 비일비재하다는 것이다. 그렇다면 해결책은 바로 Fabric이라는 파이썬 라이브러리를 이용하면 된다. 잠시 나의 Fabric 설정을 살펴보면 다음과 같은 ..
KT의 ucloud CS를 통한 클라우드 컴퓨팅 맛보기
오늘 KT의 클라우드 컴퓨팅 서버인 ucloud CS Public 서비스를 신청했다. Amazon의 AWS Management Console의 역활을 담당하는 클라우드 콘솔을 통해서 다음과 같이 서비스를 신청했다. 운영체제는 CentOS 5.4 64-bit로 아직까지 베타서비스인 관계로 ubuntu와 같은 다른 리눅스 배포판이나 아마존과 같이 커스터마이즈된 OS 이미지를 설치할 수는 없다. 각각 4코어와 2코어 8/2GB의 서비스를 신청했으며, 신청과 동시에 계정에 SSH를 통해 접속 가능한 암호를 메일로 보내 주는데 첫번째 신청한 4코어짜리 서버는 메일이 오지 않아 접속을 할 수가 없었다. -.-;; 이것저것 해 볼 것도 없이 장점과 단점을 바로 기술해 보도록 하겠다. 우선 내가 원하는 용도의 클라우드..