Linux-cluster 14

리눅스 클러스터로는 무슨 일을 하시는가요??

앞선 Bio::Blog #19에 대한 비누인형님의 글에서와 같이 "(중략) 이러한 Emergent 한 특징은 그 자체로는 우아하기 그지없지만, Engineering 이라는 목적에 있어서는 어마어마한 장애물로 나타나게 된다. 분명 각 부속품들의 동작은 이해하고 있지만, 그것들을 모아두었을 때 어떻게 움직이게 될 것인지는 알 방법이 묘연하기 때문이다.(중략) 이러한 어마어마한 장애물을 풀어헤치는데 있어서 중요한 것이 바로 simple, abstraction...(

Linux-cluster 2008.03.10 (5)

아직은 쓸만한 클러스터시스템

한반도기후예측, 신약후보물질탐색, 유전체서열비교에 나오는 데이터는 평균값이 아니라 제일 높은 성능을 낸 날을 선택하였다. 국립보건연구원의 94노드 클러스터의 성능(362Gflops)은 대략적으로 신약후보물질탐색 프로젝트와 같은 성능을 내고 있다. 네티즌들 250명의 참여가 국립보건연구원 클러스터의 성능과 비슷하다고 보면 될듯(??) 유전체서열비교에서 보듯 참여가 많으면 많을수록 성능이 올라가지만,, 우리의 클러스터는(94노드의 362Gflops로) 한계가 딱 정해져 있다는것!!! 물론 요번에 튜닝작업을 거쳐서 실제성능의 향상이 이루어졌다. 이는 튜닝 작업 전의 데이터를 기준으로 작성됨 전반적으로 아직까지는 Korea@Home에 프로젝트를 건의하는것보다는 그냥 우리 시스템으로 돌리는것이 더 빠를 수 있다는..

Linux-cluster 2008.03.06 (4)

마우이 고성능 컴퓨팅 센터 인턴쉽

나름대로 메일의 Signature에 HPC System Administrator라고는 적었지만 아직은 많이 모자란다고 생각한다. Rocks 메일링을 보던중 우연히 하와이에 있는 Maui High Performance Computing Center에서 올 여름 인턴을 뽑는다는 글을 보았다. 한번 지원해 볼까하는 생각이 들었다. 하지만 여기서의 일을 그만두고 갈수도 없거니와 여러가지 상황에 그냥 바라보고만 있을 뿐이다. 좀더 젊고 먹고사는것에 대한 걱정이 없다면 좋으련만... ^^ 니가가라 하와이!!!

Linux-cluster 2007.03.02

고성능 컴퓨팅 환경에서의 병렬 프로그래밍의 성능 최적화

들어가는글 리눅스를 접한것이 95년도 대학입학때부터다 한창 인터넷이라는 단어가 회자되던 시절로 넷스케이프, 알짜리눅스, 윈도우즈95의 세단어는 그시절을 떠올리게 부족함이 없다. 엑스윈도우 화면을 한번 보겠다는 일념하나로 리눅스와의 인연은 시작되고 어느덧 시간은 흘러 까맣게 잊고 있던 리눅스와의 인연이 다시 시작된건 리눅스를 이용한 클러스터와 함께 다시 시작되었다. 이제 그때와는 너무 많은 것들이 변화되었고, 단순한 호기심(?)이 아닌 이제 밥줄이 되어 버렸다. 병렬프로그래밍 현재 내가 몸담고 있는곳은 리눅스 클러스터를 기반으로 생물정보학을 연구하는 곳으로 18노드 Itanium2 클러스터를 부터 96노드 IBM PowerPC970 클러스터까지 다양한 클러스터를 갖추고 있다. 이러한 클러스터 시스템은 순차..

Linux-cluster 2007.02.23 (4)

슈퍼컴퓨터 성능 측정 - Linpack Benchmark

슈퍼컴퓨터에서 사용하는 성능측정 방법은 Flops라는 단위를 사용한다. 흔히 Linpack이라는 패키지를 통해서 측정하게 되는데 이것의 자바버전으로 웹상에서 쉽게 자신의 컴퓨터의 성능을 측정할 수 있다. 전 Thinkpad T42에서 측정해봤는데 약 87Mflops 정도 나오네요. Top 500에 랭크된 최하위 슈퍼컴퓨터가 현재 1028개의 제온 CPU를 탑재하고 2026GFlops의 성능을 내고 있으니... ㅋㅋㅋ

Linux-cluster 2006.07.09 (1)

Linux Cluster Benchmark with mpich & BLAS & CBLAS, ATLAS, HPL

흔히 클러스터 시스템에서 벤치마크는 LINPACK을 사용하거나 HPL(High-Performance Linpack Benchmark)을 통해서 시스템의 실제 성능을 측정하게 된다. 1. 시스템의 성능이란 ? - FLOPS 그럼 성능?에서 성능은 무엇을 의미하는가?에 대한 해답이 선행되어야 할것이다. 슈퍼컴퓨터에서의 성능은 FLOPS(Floationg-point Operations Per Second : 초당 실수연산 회수) 1초에 덧셈, 뺄셈, 곱셉, 나눗셈 등의 실수 계산을 총 몇 번 할 수 있는지를 나타내는 값이다. 만약 1초에 실수끼리 곱셈을 2번씩 할 수 있다면 그때의 계산 속도는 2FLOPS가 되는 것이다. [quote]MFLOPS(MegaFLOPS, 106FLOPS) GFLOPS(GigaFLO..

Linux-cluster 2006.07.06

선형대수 - BLAS, ATLAS, HPL

어디서 가져오긴 가져왔는데 출처를 확실하게 모르겠네요. ^^; 문제되면 알려주세요. [quote]BLAS (Basic Linear Algebra Subprograms) 선형대수(Linear Algebra) 문제의 해를 효율적으로 구하기 위한 방법의 하나는 Basic Linear Algebra Subprograms(BLAS)를 이용하는 것이다. BLAS는 blocking 기법을 바탕으로 하여 기본적인 vector와 matrix 연산을 수행하는 역할을 한다. BLAS에는 연산의 종류에 따라 Level 1, 2, 3 BLAS로 나뉘어진다. Level 1 BLAS는 vector-vector 연산을 수행하고, Level 2 BLAS 는 matrix-vector 연산, Level 3 BLAS는 matrix-matr..

Linux-cluster 2006.07.05

클러스터 시스템 설치에 대한 단상 ^^;; (작성중...)

리눅스를 이용한 고성능의 클러스터 시스템을 구축하기 위해 제일 처음이자 중요한 것은 시스템을 어떻게 설치할까라는 문제일 것이다. 간단하게 10노드 미만의 클러스터를 구축한다면야 그냥 모든 리눅스 머신에 리눅스 배포판 시디를 넣고 일일이 시디롬 설치를 하는것이 오히려 간단할 수도 있겠지만 10노드 이상의 리눅스 클러스터를 구축한다면 이는 그리 만만한 작업이 아닐것이다. 또한 추후에 하드디스크등의 문제로 인해 다시 설치해야 하는 일등의 유지보수 문제를 생각한다면 다음의 방법들을 고려해 보아야 할것이다. 다음의 내용들은 이미 많은 인터넷상의 howto문서등에 나와 있는 내용이며 이를 내 입맛에 맞도록 고친것이다. 참고문헌에 참고한 인터넷사이트와 책들을 적어 놓으니 이 문서에서 부족한 점은 참고문헌을 꼭 참고하..

Linux-cluster 2006.03.07 (1)