computer system 39

클라우드는 지금 스토리지 가격 전쟁중

요즘 클라우드 업체간의 경쟁으로 인한 가격하락이 주요 기사로 등장하고 있다. 오늘은 클라우드 서비스 중 스토리지 서비스에 대해서 이야기 해보려고 한다. 왜냐면 우리가 g-Storage라는 서비스를 내놓은 시점에서 이런 일련의 일들이 일어나서 좀 정리 좀 하고 넘어갸려고 한다. 아마존 AWS 2월 1일 부터 S3(스토리지)가 가격 하락을 단행한다. 동부 버지니아 지역을 기준으로 기본 스토리지(Standard Storage)의 가격을 $0.085/ GB 약 92원, 중복을 줄인(클라우드 스토리지의 경우 일반적으로 똑같은 파일?(정확히 파일은 아니지만, 암튼)에 대해서 3개의 복사본을 유지하는데 이를 줄여서 2개 정도의 복사본을 유지) Reduced Redundancy Storage가 $0.068 / GB 약..

computer system 2014.01.27

Amazon AWS vs. KT ucloud biz (GenomeCloud)

클라우드는 만능도 아니며, 공짜도 아니다. 하지만 클라우드가 무엇이고 자신의 환경에 어떻게 적용해야 할지에 대해서 분명 고민해야 할 부분이다. 아래 그림은 Bioinformatics 영역에서 클라우드 컴퓨팅을 활용하기 위한 방법을 잘 보여주고 있다. Prototyping 단계 대규모의 분석을 하기전에 우선 1대의 서버에 분석하고자하는 워크플로우를 작은 데이셋에 대해서 적용한다. 여기서는 NGS 데이터에 대해서 우선 2.2 MB의 read 파일을 가지고 진행하여 5시간에 끝냈다. 확장을 준비하는 Deveploing Sclable Application 단계 대규모 분석은 흔히 클러스터링을 통해 여러대의 서버를 동시에 사용한다. 이를 위해서 클러스터 관리 소프트웨어를 설치하고 1단계의 prototyping 단..

computer system 2013.03.19

대용량 데이터 업로드 - parallel, multi-part upload

요즘 사용하는 컴퓨터는 코어가 여러개인 멀티-코어가 대세죠, 파일 업로드도 멀티-코어를 이용해서 패러럴하게 업로드하는 방법을 소개하겠습니다. 물론 업로드하는 곳은 아마존의 S3나 KT 클라우드 스토리지와 같은 서비스입니다. 병렬로 즉 멀티-코어를 활용하여 업로드 속도를 빠르게 업로드하는 방법은 크게 아래 그림과 같이 2가지 방식으로 생각해 볼 수 있습니다. 하나는 원본 파일1개에 대해서 클라이언트측에서 잘게 자른후 이 조각들(parts)을 코어/프로세스수에 맞추어 쓰레드로 동시에 업로드하는 것입니다. 실제 swift에는 조각나 저장되어 있지만, 사용자는 다운로드 할 경우에는 마치 1개의 파일인 마냥 사용할 수 있습니다. 물론 이러한 기능은 아마존의 S3도 지원하는 기능입니다. 다른 방법은 여러개의 파일을..

computer system 2013.01.03

클라우드 어플리케이션 관리 - Fabric with python

클라우드에는 스냅샷과 커스텀 이미지를 이용해서 관리자가 소프트웨어 인스톨이나 설정 및 시스템관리를 편리하게 할 수 있도록 도와준다. 하지만, 자주 변경되거나 시시각각으로 서로 다른 설정을 해줘야 하는 경우 (특히나 이쪽 분야는...)가 흔하디 흔하기 때문에 이러한 클라우드의 장점을 이용하기 보다는 걍 하나하나 설치/설정/관리를 해주는게 지금 나의 상황에서는 더 편리하다. 가령 10대의 서버에는 A라는 묶음의 소프트웨어를 설치/설정하고 20대의 서버에는 B라는 묶음의 소프트웨어를 설치/설정하고 3대에는 A라는 묶음+알파 또는 -알파의 설정이 필요한 경우가 비일비재하다는 것이다. 그렇다면 해결책은 바로 Fabric이라는 파이썬 라이브러리를 이용하면 된다. 잠시 나의 Fabric 설정을 살펴보면 다음과 같은 ..

computer system 2012.11.23

KT의 ucloud CS를 통한 클라우드 컴퓨팅 맛보기

오늘 KT의 클라우드 컴퓨팅 서버인 ucloud CS Public 서비스를 신청했다. Amazon의 AWS Management Console의 역활을 담당하는 클라우드 콘솔을 통해서 다음과 같이 서비스를 신청했다. 운영체제는 CentOS 5.4 64-bit로 아직까지 베타서비스인 관계로 ubuntu와 같은 다른 리눅스 배포판이나 아마존과 같이 커스터마이즈된 OS 이미지를 설치할 수는 없다. 각각 4코어와 2코어 8/2GB의 서비스를 신청했으며, 신청과 동시에 계정에 SSH를 통해 접속 가능한 암호를 메일로 보내 주는데 첫번째 신청한 4코어짜리 서버는 메일이 오지 않아 접속을 할 수가 없었다. -.-;; 이것저것 해 볼 것도 없이 장점과 단점을 바로 기술해 보도록 하겠다. 우선 내가 원하는 용도의 클라우드..

computer system 2010.12.15

macbook에서의 외부모니터 해상도 설정

맥북을 가지고 외부모니터 및 빔프로젝터에 연결하기 위해 DVI to VGA 어댑터를 구입했것만 맘에 드는 모니터가 없던 터라 그저 가끔 빔에 붙여놓고는 keynote 프리젠테이션만 하고 지냈다. 그러던중 LG FLATRON L2012P 20.1인치 모니터가 2개씩이나 생기는 바람에 하나는 맥북에 물려 쓰기로 했다. 윈도우에서는 1280x800의 좀 기형적인 해상도가 나오긴 했지만, 맥에서는 1200x800밖에는 잡히질 않았다. 조금이나마 큰 해상도를 경험하고 픈 마음에 이리저리 관련 자료를 찾아보기 시작했다. 원래 모니터는 1200x800이 기본 지원인지라, 맥북은 고맙게도 그어떤 다른 해상도를 지원하지 않았다. 그러던중 반강제적으로 해상도를 지원해주는 프로그램을 찾았으니, 이름하여 SwitchResX ..

computer system 2007.04.23

오라클 데이터 딕셔너리

오라클 데이타딕셔너리 All_all_tables : user가 access할수있는 모든 Table All_catalog : user가 access할수있는 모든 Table, Views, synonyms, sequence All_clusters : user가 access할수있는 모든 clusters All_col_comments : user가 access할수있는 모든 Table,Views에 대한 칼럼comments All_col_privs : user에게 또는 Public에게 허용된 모든 칼럼에 대한 권한. All_col_privs_made : user가 부여한 칼럼에 대한 권한. All_col_privs_recd : user에게 또는 Public에게 허용된 모든 칼럼에 대한 권한. All_coll_type..

computer system 2006.10.23

Out of Memory: 프로세스를 죽였다!!

8G 램을 지닌 시스템이 커널에서 out of memory 에러를 내면서 해당 프로세스를 죽여버렸다. 다음은 message의 내용이다. May 25 15:51:37 login kernel: Out of Memory: Killed process 2134 (perl). 이건 top이 뿌리고 있던 메세지인데 스왑을 더 잡았어야 하는건가?? 15:42:44 up 1:49, 4 users, load average: 2.71, 2.60, 2.07 49 processes: 48 sleeping, 1 running, 0 zombie, 0 stopped CPU states: cpu user nice system irq softirq iowait idle total 0.1% 0.0% 39.9% 0.0% 0.0% 27.7%..

computer system 2006.05.25