Fork me on GitHub 단맛만좋아요 :: 'computer system' 카테고리의 글 목록

computer system

  1. 클라우드는 지금 스토리지 가격 전쟁중 - published: 2014.01.27
  2. Amazon AWS vs. KT ucloud biz (GenomeCloud) - published: 2013.03.19
  3. 대용량 데이터 업로드 - parallel, multi-part upload - published: 2013.01.03
  4. 클라우드 어플리케이션 관리 - Fabric with python - published: 2012.11.23
  5. KT의 ucloud CS를 통한 클라우드 컴퓨팅 맛보기 - published: 2010.12.15
  6. 갑자기 버지니아 공대에 가고 싶어졌다. - published: 2007.05.08
  7. macbook에서의 외부모니터 해상도 설정 - published: 2007.04.23
  8. InfiniBand vs. Myrinet - published: 2006.11.20
  9. 오라클 데이터 딕셔너리 - published: 2006.10.23
  10. Out of Memory: 프로세스를 죽였다!! - published: 2006.05.25
  11. 2005 애플 부스 - published: 2006.05.24
  12. ATA password removal - 하드디스크 시큐리티 모드 - published: 2006.05.09
  13. 구글 gmail을 웹하드처럼 gspace - published: 2006.05.03
  14. genebank file browser - published: 2006.04.14
  15. gentoo 다시도전하기 - published: 2006.04.06
  16. scsi - published: 2006.04.04
클라우드는 지금 스토리지 가격 전쟁중
2014.01.27 01:55 | computer system
요즘 클라우드 업체간의 경쟁으로 인한 가격하락이 주요 기사로 등장하고 있다. 오늘은 클라우드 서비스 중 스토리지 서비스에 대해서 이야기 해보려고 한다. 왜냐면 우리가 g-Storage라는 서비스를 내놓은 시점에서 이런 일련의 일들이 일어나서 좀 정리 좀 하고 넘어갸려고 한다.

아마존 AWS

2월 1일 부터 S3(스토리지)가 가격 하락을 단행한다. 동부 버지니아 지역을 기준으로 기본 스토리지(Standard Storage)의 가격을 $0.085/ GB 약 92원, 중복을 줄인(클라우드 스토리지의 경우 일반적으로 똑같은 파일?(정확히 파일은 아니지만, 암튼)에 대해서 3개의 복사본을 유지하는데 이를 줄여서 2개 정도의 복사본을 유지) Reduced Redundancy Storage가 $0.068 / GB 약 73원이다.  (위의 가격은 저장되는 용량이 많아지면 GB 당 단가는 더욱 하락하지만 여기서는 가장 적은 용량을 저장하는 것을 기준으로 한다.) 성격이 좀 다른 Glacier Storage의 경우에는 $0.010 / GB 약 11원이다. Glaicier의 경우 나중에 좀 더 자세히 알아보도록 하고 여기선 우선 제외. 정리하자면 GB당 2월부터 최소요금이 73원(아직까지는 $0.095, 약 103원) 되겠다.

MS 애저

애저는 아마존보다 무조건 싸게 라는 캐치프레이를 걸고 사업을 하고 있다. 아마존 내리면 자기네도 내린다. 뭐 암튼 그래서 GB당 84원 되겠다. 2월1일 아마존이 가격인하를 하니까 자기네는 3월13일부터 한다고 했으며, 아직 정확한 가격은 책정 안된 상태이기 때문에 현재로서는 아직 아마존보다 비싸다.

KT ucloud biz

Standard가 60원 / GB, redundacy를 줄인 Lite 상품은 50원/ GB

SKT T cloud biz

우선 기본료가 월 5천원에 100 GB까지 무료다. 그리고 그 다음부터는 120원/ GB이며, redundacy를 줄인 2중복제 상품은 100원 / GB 이다. 기본료가 있기 때문에 100 GB이하로 저장하는 경우 손해를 볼 수 있다.

   표준 상품  redundacy를 줄인 상품  비고
 아마존 AWS  92원 / GB (2월부터, 아직은 103원)  73원 / GB (2월부터, 아직은 82원/ GB)  Glaicier 상품 10.8원 / GB
 
(2월 가격 하락 제외)
 MS 애저  84원 / GB (3월13일 가격하락 예정)  -  
 KT ucloud biz  60원 / GB   50원 / GB  
 SKT T cloud biz  120원 / GB  100원 / GB  기본료 5천원에 100 GB 무료 
*여기서 이야기 하는 클라우드 스토리지는 개인이 사용하는 (흔히 통신사에서 주는 사진 백업용 50 GB 무료!! 뭐 이런 상품이 아니라는 것을 알아두기 바란다.)
*위 가격은 저장용량이 많아질수록 가격이 하락하며, 기본 저장 요금외 API를 호출하거나 다운로드시에도 별도의 과금정책에 따라 요금이 부과된다.

가장 저렴한것이 KT이나, 아마존은 백업에 특화된(다시 데이터를 불러오려면 꽤 시간이 걸리는...) Glaicier가 있다. 흔히 테잎백업을 하는것 아니냐, 저장해 놓고 전원을 꺼놓는거 아니냐라는 말들이 있는데, 암튼 저걸 사용하기는 만만치 않다는 것은 확실하다. 한번 사용해 보신 분들은 소감좀...

그러나 누가 그런거 알아주나, 고갱님들은 그냥 아마존 10원이던데,, 너넨 5배나 비싸네.. 할말없다. 그럼 그거 쓰시덩가요. 또는 이거랑 그거랑은 방식이 어쩌구 저쩌구... 라고 말해봤자 소용없다. 그렇다고 가만히 손 놓고 있을 수는 없고 우리도 Glaicier 유사한 서비스를 만들어 가격을 다운시키면 되는 거다. 

유전체 데이터 저장을 위한 LTFS와 클라우드 스토리지 흔히 테잎이라고 불리는 저장 장치가 있는데, 이것도 나름 표준이 있다. 현재 LTO-5, 6가 많이 사용되는데 기술적으로 LTO-6의 경우 속도가 최대 400MB/s (1.4TB/hr)이며, 카트리지(테잎1개당)당 6TB 정도 저장이 가능하다. 바로 이러한 테이프에 들어있는 데이터를 일반 하드디스크처럼 사용할 수 있도록 해주는 기술이 바로 LTO 기반 파일 시스템(LTFS)이다. 이 기술을 이용하면 비싼 하드디스크 대신 저렴한 가격으로 클라우드 스토리지를 구축할 수 있게 된다. ㅇㅎㅎ

GenomeCloud g-Storage

그럼 마지막으로  g-Storage의 가격은 ucloud biz의 가격과 동일한 정책으로 움직인다. (적어도 현재까지는) 하지만, ucloud biz의 스토리지에 유전체 데이터에 특화된 서비스를 올려 놓았기에 좀 더 가격을 올려 받아야 하지만.... 과감히 포기....ㅜ ㅜ 꽤 많은 personal cloud storage 서비스들이 기반 인프라를 아마존을 사용하고 그위에 특화된 서비스(각종 기기와의 Sync, 뷰어 기능 등등)를 올린후 아마존의 스토리지보다 비싼 가격을 받고 있지만... 


그럼 좀 화제를 바꾸어 아마존의 스토리지 서비스인 S3는 과연 어떠한 데이터들을 저장하고 있을까?
2012년 아마존의 S3에는 1,000,000,000,000개의 object(걍 파일이라고 생각하면됨)가 저장되어 있으며, 약 1 Exabyte가 된다. 

아마존이 저장하고 있는 파일 크기

유전체 데이터의 특성상 대부분 1GB이상인 파일이 많은데 일반적으로 75%가 10MB 이하의 사이즈라고 한다. 1 GB 이상의 데이터는 0.1% 정도.

흔히 아마존 스토리지가 속도나 가용성, 에러 부분에서 좋을 것 같은데 꼭 그렇지 않다는 것

이건 클라우드 스토리지업체인 Nasuni가 제공한 'The state of cloud storage'라는 백서에서 발췌한 것으로 클라우드 제공 업체에 대한 벤치마크 결과이다. 결과로만 본다면 MS가 꽤 매력적으로 보인다. 아쉽게도 국내 업체들은 껴있지 못하지만 참고,,

읽기 속도 비교 (바가 긴게 좋은거임)

쓰기 속도 비교 (바가 긴게 좋은거임)

읽기도중 에러 비율 (바가 짧은게 좋은거임)
저작자 표시 비영리 동일 조건 변경 허락
신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Posted in : computer system at 2014.01.27 01:55
Currently 댓글이 없습니다. comments want to say something now?
Amazon AWS vs. KT ucloud biz (GenomeCloud)
2013.03.19 22:05 | computer system
클라우드는 만능도 아니며, 공짜도 아니다. 하지만 클라우드가 무엇이고 자신의 환경에 어떻게 적용해야 할지에 대해서 분명 고민해야 할 부분이다. 아래 그림은 Bioinformatics 영역에서 클라우드 컴퓨팅을 활용하기 위한 방법을 잘 보여주고 있다.

Prototyping 단계

대규모의 분석을 하기전에 우선 1대의 서버에 분석하고자하는 워크플로우를 작은 데이셋에 대해서 적용한다. 여기서는 NGS 데이터에 대해서 우선 2.2 MB의 read 파일을 가지고 진행하여 5시간에 끝냈다.

확장을 준비하는 Deveploing Sclable Application 단계
대규모 분석은 흔히 클러스터링을 통해 여러대의 서버를 동시에 사용한다. 이를 위해서 클러스터 관리 소프트웨어를 설치하고 1단계의  prototyping 단계에 비해 좀더 큰 데이터셋을 가지고 clustering이 잘 동작하는지 등을 확인한다.

마지막 Scaled Application 단계
이전 단계에서 차근차근 실제 대규모 데이터셋을 분석하기 위한 준비를 마쳤고, 이젠 실제 데이터셋을 가지고 확장 가능한 분석을 수행하는 단계입니다. 여기서는 Whole genome 데이터셋 (370 GB read files)에 대해서 총 38대의 서버를 이용하여 10시간 동안 분석을 수행하고 그 결과를 다운로드하는데까지 총 $320.10의 비용을 통해 분석을 완료할 수 있었다.

그런데 여기서 주의해서 보야야할 부분은 바로 이전 A, B의 실제 분석을 적용하기 전 단계에 대한 비용 부분이다. 각각 $3.85, $49.60 의 비용이 소요되었다. 무엇을 말하고 있는 것인가? 비단 클라우드뿐만 아니라 모든 분석에서는 이러한 일종의 테스트 단계를 거쳐 실제 분석시에 발생할 문제를 미연에 방지함으로써 시간과 비용을 절감할 수 있다는 것이고, 그것을 당연히 생각하고 있다는 것이다.

분석에 있어서 이러한 테스트에 대한 계획을 탄탄히 수립하고 만일 이단계에서 문제가 발생한다면 바로 실제 분석에 대한 시나리오를 수정해야 할 것이다.  헌데 대부분의 연구자들이 로컬컴퓨팅이 아닌 즉 익숙하지 않은 클라우드를 사용함에 있어서 이러한 계획도 없고 무조건 나 테스트 할테니 무료로 클라우드를 쓰겠소! 그러고는 테스트만 주구장창 해대고 있다. 물론 계속 돌린다면야 문제가 없겠지만, 무계획으로 시작했으니 그저 시간나거나 생각날때 가끔 접속하는 사람이 종종있으니... 이거 다 돈이란 말이지 땅파서 장사하는거 아니란 말이다.

아래 그림에서 굳이 A, B 단계를 설명하고 그 비용까지 기술하고 있는지는 외국에서는 클라우드를 사용함에 있어서 테스트도 당연히 지불해야하는 비용으로 생각하고 있다는 것을 말하고 있는 것이다. 이는 비단 클라우드를 사용함에 있어서의 문제라기 보다는 분석에 무턱대고 임하는 국내 연구자들은 곰곰히 자신을 돌아보아야 하지 않을까라는 생각을 해본다. 저 논문을 보고 아~~~ 아마존은 $320 에 분석할 수 있는데,,, 너네는??? 그런거 물어보기전 너님 저 논문이 이야기하게 그게 아니라는거 다시 한번 생각해 보기 바란다.

클라우드에서 whole genome 잘 돌아가는지 테스트해보겠소! 18 잘 돌아간다. 그리고 테스트할때에는 whole genome을 다돌리는게 아냐!!! 똥인지 된장인지 다 먹어보는 놈이 어디있냐!! 아래 보듯이 적어도 10시간이면 다끝나거덩 (얼마전 30억 정도 펀드를 얻은 미국의 어느 업체는 아마존 클라우드 이용해서 whole genome을 2~4시간에도 끝내거덩),,, 글고 아마존보다 KT 클라우드가 새로산 하드웨어라 성능도 더 잘나오거덩.. 물론 이런저런 부가 서비스는 약해 ,,, 약해도 너무~~~약해. 암튼 다음번 포스팅에서 실제 아마존 AWS와 KT의 클라우드의 성능과 비용을 아주 주관적으로 분석해 보는 시간을 혼자 갖도록 하겠다...ㅋ

Fusaro VA, Patil P, Gafni E, Wall DP, Tonellato PJ (2011) Biomedical Cloud Computing With Amazon Web Services. PLoS Comput Biol 7(8): e1002147. doi:10.1371/journal.pcbi.1002147 
저작자 표시 비영리 동일 조건 변경 허락
신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Posted in : computer system at 2013.03.19 22:05
Currently 2 comments want to say something now?
요즘 사용하는 컴퓨터는 코어가 여러개인 멀티-코어가 대세죠, 파일 업로드도 멀티-코어를 이용해서 패러럴하게 업로드하는 방법을 소개하겠습니다. 물론 업로드하는 곳은 아마존의 S3나 KT 클라우드 스토리지와 같은 서비스입니다.

병렬로 즉 멀티-코어를 활용하여 업로드 속도를 빠르게 업로드하는 방법은 크게 아래 그림과 같이 2가지 방식으로 생각해 볼 수 있습니다. 하나는 원본 파일1개에 대해서 클라이언트측에서 잘게 자른후 이 조각들(parts)을 코어/프로세스수에 맞추어 쓰레드로 동시에 업로드하는 것입니다. 실제 swift에는 조각나 저장되어 있지만, 사용자는 다운로드 할 경우에는 마치 1개의 파일인 마냥 사용할 수 있습니다. 물론 이러한 기능은 아마존의 S3도 지원하는 기능입니다.

다른 방법은 여러개의 파일을 업로드하는 경우 동시에 업로드하는 것입니다. 그리고 그림에는 없지만 이 두가지 방법은 섞어서 여러개의 파일을 조각내어 동시에 업로드하는 방법도 생각해 볼 수 있겠습니다.

특히나 genomics 데이터의 경우 하나의 파일이 워낙 large data이다 보니 첫번째 방법만을 사용하는 것이 효율적입니다. 분명 업로드 속도는 개선되지만, 문제는 클라이언트에서 원본 파일을 조각내어야 한다는 것입니다. 즉, 사용자가 직접 파일을 조각내어야 하는데 이때 사용할 수 있는 방법은 리눅스의 split 명령을 이용해서 파일을 조각내는 방법이 있는데, 이건 원본파일과 같은 용량의 저장공간이 별도로 필요하기 때문에 비효율적입니다.

따라서, 물리적으로 파일은 그대로 두고, 파일의 포인터만 옮겨서 하나의 파일에 대해서 다수의 스레드가 동시에 읽어가면서 업로드하는 방법이 있습니다. 물론 이때 클라이언트는 CPU를 좀 많이 잡아먹는다는 단점이 있습니다. 하지만, 별도의 저장공간이 필요하지 않고 물리적으로 파일을 자르는데에 따르는 시간(물론 엄청 빨리 자르긴 하지만,,,)을 절약할 수 있다는 장점이 있습니다. 

 
지금 GenomeCloud에 적용된 파일 업로드 방식은 serial하게 순차적으로 파일 하나를 업로드하고 끝나면 다시 다른 파일을 업로드하는 방식입니다. 전혀 paralle하지 않게 말이죠. 그러니 속도가 느릴 수 밖에 없구요. 하지만 클라이언트는 CPU나 저장공간의 소모없이 원활하게 업로드가 가능하다는 잇점이 있죠.

워낙 다양한 고객이 존재하기에 현재 위에서 소개한 방식으로 paralle 업로드를 적용할 예정으로 좀 더 빠르게 대용량의 genome 데이터를 업로드하실 수 있습니다. 언제? 곧!

이건 좀 다른 이야기이긴한데 시퀀싱 장비에서 생산되는 genome 데이터를 실시간으로 업로드하는 방법에 대한 내용입니다. 위의 내용을 적용해서 paralle하게 업로드하는건데... 이건 특허감이라 나중에 기회가 되면..ㅋ
 
저작자 표시 비영리 동일 조건 변경 허락
신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Posted in : computer system at 2013.01.03 22:10
Currently 댓글이 없습니다. comments want to say something now?
클라우드에는 스냅샷과 커스텀 이미지를 이용해서 관리자가 소프트웨어 인스톨이나 설정 및 시스템관리를 편리하게 할 수 있도록 도와준다. 하지만, 자주 변경되거나 시시각각으로 서로 다른 설정을 해줘야 하는 경우 (특히나 이쪽 분야는...)가 흔하디 흔하기 때문에 이러한 클라우드의 장점을 이용하기 보다는 걍 하나하나 설치/설정/관리를 해주는게 지금 나의 상황에서는 더 편리하다.

가령 10대의 서버에는 A라는 묶음의 소프트웨어를 설치/설정하고 20대의 서버에는 B라는 묶음의 소프트웨어를 설치/설정하고 3대에는 A라는 묶음+알파 또는 -알파의 설정이 필요한 경우가 비일비재하다는 것이다. 그렇다면 해결책은 바로 Fabric이라는 파이썬 라이브러리를 이용하면 된다.  잠시 나의  Fabric 설정을 살펴보면 다음과 같은 구조로 되어 있다.

Bioinformatics_common (모든 서버에 기본/필수적으로 설치되어야하는 프로그램 목록)
-build-essential
-gcc
-g++
-git-core
-mercurial
-subversion
-unzip
-python-pip

Bioinformatics_A (NGS 분석에 따른 프로그램 목록)
... 

Bioinformatics_B (GWAS분석에 따른 프로그램 목록)
....

그외 필요에 따라 프로젝트의 특성에 따라 deploy될 S/W의 목록을 설정 파일로 주욱 만들어 놓고, Fabric을 사용

fab -f fabric_install.py -i /root/.ssh/id_dsa -H 노드1 노드2 노드3 노드4 노드5 Bioinformatics_common Bioinformatics_A
fab -f <Fabric으로_만들어_놓은_프로그램.py> -i <private_key_file> -H <설치할_노드_목록> <설치할 패키지>


요렇게 하면 노드5개에 자동으로 미리 지정된 S/W들이 주루룩 설치되고 설정까지 마무리된다. 클라우드 환경에서 이러한 deploy를 위한 툴들이 많이 있지만, 걍 Fabric으로 쓱삭~~~ 자주 변경되고 세세한 설정까지 원한다면, 더불어 파이썬이 좋다면 Fabric을 써보는 것도 좋을...

위의 우분투 패키지외에도 별도의 리파지토리를 만들어 놓고 해당 리파지토리에서 S/W나 설정 파일을 받아서 추가적으로 설치/설정하도록 해놓고 쓰면 효과는 만점 즉, 1) 우분투 패키지 2) 나만의 S/W를 위한 리파지토리 구축 3) Fabric을 이용한 파이썬 프로그램 작성 4) 실행!! 5) Deploy 끝. 
저작자 표시 비영리 동일 조건 변경 허락
신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Posted in : computer system at 2012.11.23 23:23
Currently 2 comments want to say something now?
오늘 KT의 클라우드 컴퓨팅 서버인 ucloud CS Public 서비스를 신청했다. Amazon의 AWS Management Console의 역활을 담당하는 클라우드 콘솔을 통해서 다음과 같이 서비스를 신청했다. 운영체제는 CentOS 5.4 64-bit로 아직까지 베타서비스인 관계로 ubuntu와 같은 다른 리눅스 배포판이나 아마존과 같이 커스터마이즈된 OS 이미지를 설치할 수는 없다. 각각 4코어와 2코어 8/2GB의 서비스를 신청했으며, 신청과 동시에 계정에 SSH를 통해 접속 가능한 암호를 메일로 보내 주는데 첫번째 신청한 4코어짜리 서버는 메일이 오지 않아 접속을 할 수가 없었다. -.-;;


이것저것 해 볼 것도 없이 장점과 단점을 바로 기술해 보도록 하겠다. 우선 내가 원하는 용도의 클라우드 컴퓨터는 다음과 같으며, 이와 같은 용도에 있어서 KT의 클라우드 컴퓨팅에 대한 장/단점을 기술할 것이다.

내가 원하는 클라우드 컴퓨팅
일반적으로 클라우드 컴퓨팅을 사용하는 목적은 다음 중 하나 또는 하나 이상의 조합이 될것이다. 이 중에서 내가 원하는 용도는 바로  High Performance Computing과 Storage 부분이다.  

Application Hosting
Backup & Storage
Content Delivery
Databases
E-Commerce
Enterprise IT
High Performance Computing
On-Demand Workforce
Media Hosting
Search Engines
Web Hosting

High Performance
우선 아무리 성능이 좋은 단일 노드인 경우라도 KT에서 제공하는 것은 8코어의 16GB가 최고 성능이다. 그렇기 때문에 아니 그보다도 높은 성능의 단일노드라도 여러대를 클러스터링해서 사용해야 하기 때문에 클러스터링을 위한 기본적인 클러스터 솔루션이 있어야 한다. 이부분은 스케줄러/Message Passing Interface 혹은 Hadoop의 MapReduce와 같은 솔루션이 필요로 한다. Amazon의 경우 기본적으로 MapReduce를 제공하며 EC2에서 바로 적용이 가능하다. 또한 스케줄러나  MPI같은 경우도 해당 솔루션을 적용한 OS 이미지 (공개된 수 많은 AWS 인스턴스)를 사용하면 되지만, KT는 453개의 기본 패키지만 설치된 CentOS만 제공하기 때문에 별도의 설치 과정을 필요로 한다. 이부분은 앞으로 KT 자체적으로나 사용자가 만든 이미지를 적용할 수 있도록 해야만 할 것이다.

또한 기본적인 클러스터링 환경과 더불어 수많은 Genome또는 Bio관련 소프트웨어를 설치해야 하는데, 역시 Amazon에서는 이러한 소프트웨어를 적용한 이미지를 제공하기 때문에 사용자는 공개된 수많은 이미지 중에서 자신이 원하는 이미지를 사용하면 된다. 이는 기본적인 클러스터링환경+Bio 소프트웨어를 설치하고 설정하는 번거로움이 불필요한 Amazon서비스와 큰 차이다. 이런한 것이 빨리 적용되지 않는다면, 단순히 컴퓨팅 환경만 제공한다면 나와 같은 사용자는 KT의 클라우드 서비스는 별 볼일 없는 클라우드 서비스가 될 수 있다.

내가 Amazon의 서비를 사용하는 이유가 바로 이러한 풍부한 서비스를 제공하기 때문이다. 오죽했으면 일반 생물학 연구자들이 손쉽게 Genome관련 소프트웨어의 설치가 불필요한 별도의 리눅스 배포판을 만들었겠는가? 

Storage
단순히 자신이 원하는 만큼의 스토리지만을 제공한다. 어찌보면 당연한 것일 수 있겠지만, Bio 분야는 자신의 데이터외에도 자신의 데이터를 분석하기 위해 수많은 공개된 데이터를 함께 사용한다. 오죽하면 Galaxy에서는 UCSC의 공개된 데이터를 바로 가져와서 사용할 수 있는 import 모듈이 별도로 존재하겠느냐 말이다. Amazon은 public data라는 이름으로 수많은 Bio관련 데이터를 제공하며 있으며, 이는 바로 자신의 서비스에 붙여서 사용이 가능하다. 

얼마전 내가 일하는 센터에서 스토리지의 일부를 공개된 1000 Genome 데이터를 넣어두자는 의견이 나왔다. 하지만 가뜩이나 부족한 스토리지 용량에 1000 Genome 데이터까지 항시 넣어두고 또한 다운로드에 걸리는 시간 때문에 무리가 따른다는 의견이 있어 당분간 보류하기로 했다. 하지만 Amazon에서 7.3TB에 달하는1000 Genome 데이터를 제공하고 있어 별도의 다운로드 시간없이 바로 EC2나 MapReduce에서 바로 사용이 가능하다.

하지만, 아직까지 베타 서비스 중인 KT의 클라우드에서는 이러한 데이터를 제공하지 않기 때문에 이부분 또한 해결해 나야가야할 부분이다.

장/단점
결론을 말하자면 분명 아직 베타 서비스 기간이며, KT 또한 위에서 언급한 내용들에 대해서 어느정도 기술적이나 컨텐츠적인 측면에서 해결해 놓은 상태일 것이다. 이것이 언제 사용자들에게 어떻게 언제 전달될지는 앞으로 지켜봐야 할 부분이다.

단점의 경우 아직까지 KT의 클라우드 서비스는 걸음마 단계이기 때문에 위에서 언급한 내용들이 적용되지 않아 바로 실무에 사용하려면 여러가지 설정을 거쳐야만 한다. 하지만 이미 성숙한 Amazon의 경우 내가 원하는 만큼의 리소스와 함께 내가 원하는 분석을 손쉽게 할 수 있다.

이러한 단점에도 불구하고 콘솔 접속시 국내에서 서버가 존재하기 때문에 접속이 빠르다. 콘솔 작업시에는 매우 만족할 만한 속도를 보여주고 있으며, 이는 아무리 Amazon이 아시아 지역에 데이터센터를 통해서 서비스를 한다고 할지라도 국내의 그것도 최고의 네트워크를 자랑하는 KT에는 비할 바가 아니다. 국내의 연구자들에게는 바로 이부분이 가장 큰 매력이지 않을 수 없다. 단순히 국내 사용자들이 빠르게 접속이 가능하다는 것뿐만 아니라 빠른 네트워크를 기반으로 하는 뭔가를 국내 연구자들에게 제공한다면 더할 나위 없이 좋을 것이다.

만족할 만한 수준의 컴퓨팅 리소스와 네트워크 환경은 기본이다. 이와 더불어 Amazon과 같은 수 많은 컨텐츠로 무장을 해야만 KT의 클라우드가 진정한 클라우드  서비스가 되지 않을까 한다. 진정 돈을 지불해도 아깝지 않은...

저작자 표시 비영리 동일 조건 변경 허락
신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Posted in : computer system at 2010.12.15 23:35
Currently 댓글이 없습니다. comments want to say something now?
갑자기 버지니아 공대에 가고 싶어졌다.
2007.05.08 18:09 | computer system
system x
http://www.apple.com/science/profiles/vatech2/ 공부하러 가고 싶다는게 아니라 한번 구경가고 싶단 말이지 ^^;; 이제 마지막 남은건 Mac OSX 기반의 클러스터 뿐!!!
신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Posted in : computer system at 2007.05.08 18:09
Currently 댓글이 없습니다. comments want to say something now?
macbook에서의 외부모니터 해상도 설정
2007.04.23 20:58 | computer system
맥북을 가지고 외부모니터 및 빔프로젝터에 연결하기 위해  DVI to VGA 어댑터를  구입했것만 맘에 드는 모니터가 없던 터라 그저 가끔 빔에 붙여놓고는 keynote 프리젠테이션만 하고 지냈다. 그러던중 LG FLATRON L2012P 20.1인치 모니터가  2개씩이나 생기는 바람에 하나는 맥북에 물려 쓰기로 했다. 윈도우에서는 1280x800의 좀 기형적인 해상도가 나오긴 했지만, 맥에서는 1200x800밖에는 잡히질 않았다. 조금이나마  큰 해상도를 경험하고 픈 마음에 이리저리 관련 자료를 찾아보기 시작했다. 원래 모니터는 1200x800이 기본 지원인지라, 맥북은 고맙게도 그어떤 다른 해상도를 지원하지 않았다. 그러던중  반강제적으로 해상도를 지원해주는 프로그램을 찾았으니, 이름하여  SwitchResX ㅋㅋㅋ 그냥 1280x800의 기형적인 해상도를 보여주는데 성공...


신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Posted in : computer system at 2007.04.23 20:58
Currently 2 comments want to say something now?
InfiniBand vs. Myrinet
2006.11.20 17:27 | computer system
InfiniBand reborn for supercomputing의 가사나, "Gigabit 이상의 속도를 지원하는 2가지 network type인 Myrinet(15곳)과 Infiniband중 Infiniband(16곳)가 서서히 약진을 하는 것으로 보인다"기사를 보면 InfiniBand쪽으로 기우는것 같은데... 가격이...

HP Cluster Platform Systems
신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Tagged as : InfiniBand, Myrinet
Posted in : computer system at 2006.11.20 17:27
Currently 2 comments want to say something now?
오라클 데이터 딕셔너리
2006.10.23 20:03 | computer system
오라클 데이타딕셔너리

All_all_tables : user가 access할수있는 모든 Table
All_catalog : user가 access할수있는 모든 Table, Views, synonyms, sequence
All_clusters : user가 access할수있는 모든 clusters

more..

신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Tagged as : oracle
Posted in : computer system at 2006.10.23 20:03
Currently 댓글이 없습니다. comments want to say something now?
Out of Memory: 프로세스를 죽였다!!
2006.05.25 17:12 | computer system
snapshot6

8G 램을 지닌 시스템이 커널에서 out of memory 에러를 내면서 해당 프로세스를 죽여버렸다. 다음은 message의 내용이다.
May 25 15:51:37 login kernel: Out of Memory: Killed process 2134 (perl).

이건 top이 뿌리고 있던 메세지인데 스왑을 더 잡았어야 하는건가??
15:42:44 up 1:49, 4 users, load average: 2.71, 2.60, 2.07
49 processes: 48 sleeping, 1 running, 0 zombie, 0 stopped
CPU states: cpu user nice system irq softirq iowait idle
total 0.1% 0.0% 39.9% 0.0% 0.0% 27.7% 32.1%
cpu00 0.0% 0.0% 51.3% 0.0% 0.0% 0.5% 47.9%
cpu01 0.2% 0.0% 28.5% 0.0% 0.0% 54.8% 16.2%
Mem: 8242256k av, 8200736k used, 41520k free, 0k shrd, 8272k buff
7953424k actv, 114688k in_d, 10672k in_c
Swap: 2040208k av, 2040192k used, 16k free 67344k cached


암튼 한번의 시스템 다운과 두번째는 커널이 직접 프로세스를 죽이는 일이 있었다. 오늘 하루는 정말이지 ^^;;
개발 서버이다 보니 사용자에게 시스템 자원에 제한을 걸수가 없고, 그냥 시스템이 다운되는걸 구경만 하고 있을 수도 없고, 좀더 나은 알고리즘을 생각해보라고 하는 수 밖엔 별 도리가 없다.
신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Posted in : computer system at 2006.05.25 17:12
Currently 댓글이 없습니다. comments want to say something now?
2005 애플 부스
2006.05.24 23:48 | computer system
DSCF0928

지난해 2005년 부산 Bexco에서 열린 BioInfo에서의 Apple 부스 사진이다. 오래전 사진을 정리하다가 튀어나왔는데, 당시 Xserver에 대해서 홍콩인지 대만인지의 엔지니어가 왔었고 짧은 대화(?)를 나눈기억이 나는데 명함까지 줬건만 연락이 없다. 연락만 왔어도 어떻게 하나 구입해 볼 의사가 있었는데.. 연락없어서 안사!!!
신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Tagged as : Apple
Posted in : computer system at 2006.05.24 23:48
Currently 댓글이 없습니다. comments want to say something now?
thinkpad를 사용하다 보면 바이오스상에서 설정할 수 있는 암호가 여러개가 있다. power on password와 supervisor password는 바이오스상에서 지원하는 암호로 바이오스를 업데이트하는 등의 방법으로 암호를 잃어버렸어도 복구가 가능하다. 그러나 조금 귀찮은 암호가 하나 더 존재하는데 이것은 hdd password로 바이오스상에서 설정하지만 그내용은 하드디스크안에 존재하게 되기 때문에 암호를 잊어버리면 상당히 곤란을 겪게 된다.
thinkpad a31 모델을 하나 주워왔는데 이놈이 2002년도만 해도 상당한 가격 그당시 300만원을 호가하는 엄청난 물건이었다. 그러나 모든 암호가 걸려 있는 상태로 바이오스상의 암호는 풀었지만, 하드디스크상에 설정된 암호는 아무리 구글링을 해도 손쓸 방법이 없었다. (fdisk, low level format, 모든것이 먹혀들지 않는다. 기껏 찾은것이 암호를 설정해주고 풀어주는 툴들이 고작이었다.)
ATA password라고 불리는 hdd 암호는 하드디스크를 단순한 저장장치가 아닌 보안기능을 가지게 하는데 그목적이 있다. ATA 인터페이스에 이런 기능이 들어있다는것을 지금에서야 알게 되다니.. ^^;;

그럼 어떡게 이난관을 극복하느냐 하드복구업체나 a/s센터로 가는수밖에..ㅋㄷㅋㄷ
신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Posted in : computer system at 2006.05.09 13:16
Currently 댓글이 없습니다. comments want to say something now?
구글 gmail을 웹하드처럼 gspace
2006.05.03 12:33 | computer system
firefox의 플러그인으로 작동하는 gspace는 gmail의 계정을 웹하드처럼 사용하도록 해준다.
그림처럼 내하드디스크의 내용이 왼쪽에 오른쪽에는 지메일에 저장된 내용을 보여준다. 언젠가 리눅스에서 지메일을 계정을 마운트해서 사용하는것을 본적이 있었는데 그것보다 훨씬 나아보인다. 공짜 웹하드가 생겼다. ㅋㅋㅋ 물론 gspace로 저장을 하면 gmail로도 메일이 날라온다.

gspace
신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Tagged as : Firefox, Google, gspace
Posted in : computer system at 2006.05.03 12:33
Currently 댓글이 없습니다. comments want to say something now?
genebank file browser
2006.04.14 22:37 | computer system
뭔가 나올것 같단 말이지..


genkbank file browser
신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Posted in : computer system at 2006.04.14 22:37
Currently 댓글이 없습니다. comments want to say something now?
gentoo 다시도전하기
2006.04.06 17:43 | computer system
==============무선랜 ipw2200설정

우여곡절 끝에 젠투 설치중이다. ^^;;
우선 무선랜이 안되니깐 무선랜 설정부터 다시 시작하자!!!

==============패키지관리
emerge sync
emerge -u world

rc-status
rc-update show
rc-update add

emerge -av
emerge search
emerge -vp

epm -qa
epm -ql
epm -qf

==============gdm설정
emerge gdm
/etc/X11/gdm/gdm.conf
/etc/rc.conf -->gdm부분수정(DISPLAYMANGER="gdm")
rc-update add xdm default
rc-update add xdm default <-이것 때문에 자꾸 gdm이뜨는거지.

==============Xorg설정
Xorg -scanpci
Xorg -configure
Xorg -probeonly
라고 했을때 이상없이 뜨면
cp /root/xorg.conf.new /etc/X11/xorg.conf

이거실패!!

==============autoload 모듈 올리기
/usr/lib/modules
/etc/modules.autoload.d/
/etc/modules.d/modules-aliases
/etc/module.conf

==============패키지들
ncurses <-console displayy library(clear등의명령어)
coreutils<- standard GNU file utilities(chmod, dd, cp, dir, ls), textutilities(sort,head, wc..), shell utilities(whomai, who...)

==============vsftp를 이용한 ftp 서비스
요즘 ftp서비스에 해킹이나 보안상의 문제로 서비스가 많이 줄어들긴 했지만, 역시나 최고의 서비스죠!!

# emerge vsftpd

==============blast를 설치해보자
sci-biology에 ncbi-tools가 있다.

#emerge ncbi-tools

==============ethereal을 이용한 네트워크 문제 진단, 해결
A commercial-quality network protocol analyzer
갑자기 commercial이라고 나와서 깜작 놀랐다. -quality이라니... ^^;;

# emerge ethereal

==============ebuild 디렉토리
/usr/portage/하위디렉토리
/var/db/pkg <-설치된 전체목록

/usr/portage/distfiles <-임시파일들존재 지워도되요! emerge -f 해당파일을 미리 받아둠.

==============Network 설정
# more /etc/conf.d/net
config_eth0=("192.168.100.221 netmask 255.255.255.0 brd 192.168.100.255")
routes_eth0=("default gw 192.168.100.254")

cold-plug
hot-plug

udev
hald
dbus

modules-update
etc-update
env-update
신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Tagged as : gentoo
Posted in : computer system at 2006.04.06 17:43
Currently 댓글이 하나 달렸습니다 comments want to say something now?
scsi
2006.04.04 22:50 | computer system
Ultra320 (320MB/s) ->
Ultra160 (160MB/s) -> Ultra3
Ultra Wide SCSI (40MB/s)

SCSI - 1
SCSI - 2
SCSI - 3

시게이트 LW(68pin), LC(80pin)
신고
Software enginner of GenomeCloud. Covers bioinformatics, computational biology, and life science informatics.
Tagged as : SCSI
Posted in : computer system at 2006.04.04 22:50
Currently 댓글이 없습니다. comments want to say something now?

티스토리 툴바