티스토리

단맛만좋아요

검색하기

블로그 홈

단맛만좋아요

hongiiv.tistory.com/m

hongiiv 님의 블로그입니다.

구독자: 2

방명록 방문하기

주요 글 목록

결함을 허용하는 의존성 있는 태스크의 관리 그래프를 이용한 태스크 표현 흔히 바이오인포매틱스 분석이라고 하는 경우 스크립트나 모듈을 작성하여 일련의 분석을 수행하곤 한다. 그러나 단순한 형태의 일이 아니라 더욱 고난이도의 일을 처리하다가 보면 (물론 대부분이 그렇지만) 태스크의 의존성을 고려해야 하는 경우가 많다. 그래프를 이용하여 이를 표현해 보면서 어떻게 의존성과 결함을 고려한 스케줄러를 만들 수 있는지 생각해 보도록 하자. 총 4개의 노드 (Task1, Task2, Task3, Task4)와 엣지로 구성된 그래프로 각각의 엣지는 다음과 같은 의존성을 가진다. Task1=>[Task2, Task3] Task2=>[Task4] Task3=>[Task4] Task4=>[] 즉, Task1이 끝나야 Task2,3이 수행되고 Task4는 Task2,.. 공감수 0 댓글수 0 2015. 10. 13.
Docker를 이용한 Bioinformatics 플랫폼 한때? 학회세션이나 기타 개인적인 요청 등으로 유전체 데이터에 대해서 빅데이터의 관점에서 어떻게 클라우드를 활용하느냐?에 대한 이야기를 하고 돌아다니기도 했습니다. 뭐 여러 측면에서 클라우드라는 장점이 있을 수 있겠습니다만 여기서는 가상화 또는 컨테이너 기술을 기반으로 어떻게 활용될 수 있을지에 대해서 알아보겠습니다. 도커라는 컨테이너 기술을 이용한 유전체 데이터 분석에 관한 내용입니다. Flow-based programming (FBP) 구글의 Polymer나 React, KLay Layered, NeoFlow의 기술을 이용한 the-graph를 이용하면 어플리케이션에서 프로세스를 블랙박스화하여 아래처럼 일련의 과정을 정의할 수 있습니다. 이미 이분야에서는 이를 파이프라인이라는 이름으로 부르며 데이터 .. 공감수 0 댓글수 0 2015. 4. 29.
구글 지노믹스를 이용한 Picard와 GATK 이미 여러번 소개 했듯이 구글은 구글 지노믹스라는 서비스를 통해 유전체 데이터를 저장하고 분석할 수 있는 환경을 제공하고 있습니다.최근에는 우리가 흔히 사용하는 Picard나 GATK에서도 구글 지노믹스 서비스를 사용하는 방법을 내놓았습니다. 원리는 간단합니다. 구글 지노믹스 서비스에 저장된 SAM/BAM 파일을 Picard의 INPUT으로 지정할 수 있는 간단한 wrapper를 만든것입니다. 구글 지노믹스의 git 페이지에 gatk-tools-java라는 이름으로 "Tools for using Picard and GATK with Genomics API"라고 설명되어 있습니다. 아래와 같이 INPUT을 구글지노믹스 서비스의 SAM 파일을 지정해주면 wrapper는 Picard는 해당 INPUT을 STD.. 공감수 0 댓글수 0 2014. 12. 17.
구글 Genomics API를 이용한 De Novo Variant Call De novo mutation (DNM)De novo mutation은 부모에게서는 나타나지 않지만 자식에게서는 나타나는 rare genetic mutation이다. 이러한 mutataion은 Autism이나 Schizophrenia의 영향을 준다는 Whole-genome sequencing in autism identifies hot spots for de novo germline mutation. 논문이 있다. 지금까지 다훈증후군과 같이 21번 염색체가 3개인 삼염색체성(trisomy21)와 같은 유전질환은 어머니의 나이와 연관이 있다고 알려졌는데 Rate of de novo mutations and the importance of father’s age to disease risk 에 의하면 질병과.. 공감수 0 댓글수 0 2014. 10. 17.
구글 클라우드 플랫폼을 이용한 유전체 분석 경진대회 예전에 글 중에서 유전체 데이터를 이용하는 경진대회에 대한 이야기를 한적이 있다. 각설하고 여기 미국에서 어떻게 경진대회를 하는지 한번 보기 바란다. 누누히 했던 이야기이지만 NGS 시퀀싱 데이터를 이용한 임상으로의 적용은 유전변이를 검출을 최적화하고 표준화하는데에 있다. 바로 암 데이터를 이용한 이러한 최적화, 표준화를 위한 일환으로 암샘플에서 SNV와 SV를 검출할 수 있는 최적화 알고리즘에 대해 ICGC와 TCGA는 "DREAM Somatic Mutation Calling Challenge"를 수행하고 있다. 최근 Global Alliance for Genomics and Health에도 가입한 구글은 DREAM challenge의 참가자들에게 Google Cloud Platform을 제공한다. 참.. 공감수 0 댓글수 0 2014. 10. 17.
클라우드 유전체 분석 뜬구름 다 잡았다. 혹자는 유전체 연구에 있어서 클라우드 컴퓨팅을 뜬구름이라 했다. 혹자는 클라우드를 네어버 N 드라이브쯤으로 알고 있다. 뭐 어쨌듯 간에... 일찍이 미국이나 한국에서 클라우드 기반의 유전체 분석 사업자들이 3년전 세상에 나타났고 다행인지 불행인지 몇몇 업체들은 소리 소문없이 생겼다가 사라지는가를 반복했다. 그나마 지금까지 그 명맥을 유지하고 있는 몇몇 업체들의 그동안 막힌 숨통이 터지는 소식이 얼마전부터 속속 나오기 시작했다. NCI와 Genomics England를 시작으로... Cancer Genomics Cloud NIH의 NCI (National Cancer Insitute)에서 올해초 Cancer Genomics Cloud라는 사업에 대한 공모를 했고 그 결과가 이제 나온것이다. Cancer G.. 공감수 0 댓글수 0 2014. 10. 17.
클라우드로 만드는 슈퍼컴퓨터 대규모의 계산이 필요하다. 단돈 418 달러 즉 40만원대로 클라우드를 이용하여 슈퍼컴퓨터를 사용할 수 있다. 물론 당신은 손하나 까딱하지 않아도 된다. 물론 클러스터 슈퍼컴퓨터를 손수 설정한다고하면 이는 더 싸질 수도 있지만, 당신은 아마도 실패할 확률이 더 높다. 본 글의 내용은 Cycle Computing의 "Lessons learned building a 4096-core Cloud HPC Supercomputer for $418/hr"이라는 글을 참고하여 작성하였다. 4096 코어의 클러스터 컴퓨터 4096코어 8코어짜리 서버로 계산한다면 512대의 서버가 필요하다. 이를 클라우드를 통해 만들 수 있을까? 만들수 있다면 어떠한 것들이 고려되어야 할 것인가? 물론 이는 내가 직접 수행한 것은 아니.. 공감수 0 댓글수 1 2014. 10. 16.
Cloud Computing in Genomic Reserach - vagrant와 chef를 이용한 유전체학회 정기학술대회에 "Cloud Computing in Genomic Research"란 제목으로 발표를 했었는데 워낙 시간도 짧고 준비도 제대로 하지 못했던터라 이자리를 빌어 재탕 들어갑니다. 소프트웨어 전성시대 그러나 사실상 BGI의 경우 157대의 시퀀싱 장비가 가동중이며, 매일 6 TB의 유전체데이터를 생산하고 있습니다. 매일 전송되는 데이터는 1 TB에 이른다고 합니다. (출처: The Big Challenges of Big Data, 2013, Nature) 또한 시퀀싱 장비의 가격하락으로 그동안 시퀀싱센터라고 불리는 몇몇 대형 연구소에서나 생산되었던 데이터량보다는 이제는 작은 아카데믹 랩들이 생산하는 데이터가 늘어나고 있습니다. 하지만 컴퓨팅 파워와 소프트웨어/알고리즘의 부족은 유전체데.. 공감수 0 댓글수 0 2014. 9. 26.
고속 유전체 데이터 접근 - 1000 Genomes Project 사례 중심 유전정보를 담고 있는 유전체 데이터는 DNA 시퀀싱 기술이 발전함으로 유전체 연구 분야에 많은 변화가 일어나고 있다. 유전체 연구에 있어서 이를 분석할 수 있는 컴퓨팅 리소스에 대한 문제로 인해 자칫 유전체정보를 활용할 수 있는 다양한 기회를 놓쳐 버릴 수도 있는 상황이다. 유전체 연구에 있어서 가장 첫번째 걸림돌은 시퀀서에서 생산되는 데이터를 포함한 연구에 사용되는 데이터 볼륨이 크다는 것이다. 오늘은 바로 연구에 활용할 데이터에 어떻게 액세스 할것인가에 대한 내용이다. 인간의 유전변이에 대한 카다로그를 작성하기 위한 1000 Genomes Project는 현재까지 2편의 논문이 발표되었으며 cited된 논문만 하더라도 2,000여편에 이른다. initial phase(called pilot proje.. 공감수 0 댓글수 0 2014. 8. 26.
Colummar Storage in Genomics 요즘 화두는 Big Data 기술을 어떻게 genomics에 접목하는 것이냐에 대한 것이다. 구글의 Google Genomics, UC Berkeley의 ADAM 등이 Genomics에 Big Data 기술을 적용하고 있다. 다양한 Big Data 기술들이 genomics에 적용될 수 있겠지만, 오늘은 colummar storage 기술을 이용하여 BAM 파일등의 genomics 데이터를 다루는 방법에 대한 이야기를 하고자 한다. 왠 colummar storage? colummar storage 기술을 사용하면 대용량의 데이터에 대한 액세스를 빠르게 수행할 수 있기 때문이다. genomics 데이터를 다루기 힘든 이유와 왜 빠른 액세스가 필요한지 등등의 구구절절한 why에 대한 대답은 굳이 하지 않겠다... 공감수 0 댓글수 0 2014. 7. 22.
Google Genomic data BigQuery (3) - 1000 Genomes, PGP를 R과 함께 본 문서는 PDF 형태로 제공합니다. PDF 문서의 내용은 다음과 같습니다. 문서 다운로드 바로 하기 공감수 0 댓글수 2 2014. 5. 16.
Google Genomic data BigQuery (2) - 연구 재현, Literate Programming BigQuery를 이용하여 genome 데이터를 주무르기 전에 얼마전까지 뜨거운 감자였던 연구의 재현성에 관한 이야기를 하려고 한다. 여기서는 R을 중심으로 클라우드와 literate programing (문학프로그래밍) 을 이용하여 어떻게 연구의 재현성을 확보하는지에 대해서 알아보려고 한다. 클라우드를 이용한 R 분석 환경 구축 및 공유/활용 글제목은 거창하지만, 그냥 내가 어떻게 R을 사용하는지에 대한 것이니 너무 기대하지 않기 바란다. 아래의 일련의 과정을 통해 R환경이 구축된 클라우드 이미지를 확보한다. 클라우드 컴퓨터에서 2가지 이상 버전의 R을 설치 (하나는 2.x 대 다른 하나는 3.x대의 R을 각각 설치) 기본적인 패키지 설치 (이건 개인별로 차이가 있으니 알아서 설치하시오) R 통합 ID.. 공감수 0 댓글수 0 2014. 5. 8.
Google Genomic data BigQuery (1) 저번 포스팅에 구글의 Genomics API와 그들의 전략에 대해서 간단히 살펴보았다. 현재 진행중인 Google의 gonomics API는 하루가 멀다하고 새로운 기능들을 올라오고 있다. 오늘은 저번 포스팅에 있어서 추가할 내용들에 대해서 기술하도록 하겠다. 결론은 이제 genomics 연구자들은 google의 플랫폼에 대해서도 배워야 할 때가 다가왔다는 것이다. Dataset import 기능 - google storage로 부터 import는 아직 준비중,,, genomics 데이터를 사용하기 위해서는 Datasets를 만들어야 한다. 이 datasets은 크게 Google storage, NCBI 그리고 Local 에 저장된 file을 각각 사용할 수 있다. Google의 storage를 활용하는.. 공감수 0 댓글수 0 2014. 5. 8.
NGS 데이터 분석을 위한 미들웨어 시스템 설계 무슨 논문제목 같기는 하네. 간단히 말해서 NGS Big Data 분석을 위해서 컴퓨터 hardware (Cluster, Cloud)와 software(BWA, GATK 등) 사이에서 이들을 효율적으로 연결시켜주는 것이 필요하다는 것이다. 지금까지 써왔던 Resource Managent를 위한 Job Scheduler인 OpenPBS, SGE, OGE (SLURM, Torqueue는 써보지 못했음) 를 사용하는데에 실제 데이터 분석을 하는데에 있어 컴퓨터 자원을 효율적으로 사용하지 못한다는 단점이 존재한다. 일반적으로 컴퓨터의 레벨 (levels of computing)은 Core, Machine, Cluster로 나뉘어진다. 하나의 Machine은 메모리를 공유하는 여러 Core가 존재하며 각 Mach.. 공감수 0 댓글수 0 2014. 2. 21.
대규모 과학계산(유전체 연구)에 있어서 클라우드 사용하기 제목은 "과학계산"이라고 했으나 여기서는 "유전체 관련"이라고 한정지어 이야기를 하겠다. 왜냐고 그건 내 마음이니까. 요즘 국내에서도 많은 사람들이 자신의 연구에 클라우드를 사용하기 시작했다. 클라우드를 사용하기를 원하는 사람들 중 다음의 상황이 가장 많다. 빠른 시간내에 분석 결과를 내고 싶다. 대부분의 사람들은 샘플을 수집하고 이를 시퀀서와 같은 장비를 통해 데이터를 생산해 낸다. 즉, 분석할 데이터셋트가 만들어진다. 여기서 문제가 발생한다. 각종 연구에 있어서 논문으로의 출판까지 비교적 여유롭지 못하다는 것이다. 여기에는 많은 이유가 있을 수 있다. 가령 주어진 과제비에 대한 산출물(즉, 논문)을 내야하는 시기가 정해져 있다는 것이다. 어쩔 수 없는 이유들로 인해 데이터 생산까지의 시간을 일정내에 .. 공감수 0 댓글수 0 2014. 1. 25.
나누면 2배 이상 - 클라우드를 이용한 데이터 분석 기쁨은 나누면 배가 된다는 옛말이 있습니다. Bioinformatics 분야에도 이말이 적용되는데요. 바로 그 나눔의 핵심에는 클라우드 컴퓨팅이 있습니다. 무슨 말이냐구요. DNANexus와 Baylor의 클라우드 기반 분석 DNANexus라는 클라우드 기반의 NGS 분석 업체와 Baylor 의대 (BCM)의 이야기입니다. 바로 ASHG에서 DNANexus와 BCM의 Human Genome Seuqencing Center (HGSC)는 14,000명의 WGS와 WES를 통해 심장질환과 노화에 대한 유전적 영향을 연구를 위한 클라우드 기반의 협력 분석 시스템 프로젝트를 공유했습니다. 텍사즈주 휴스턴의 BCM Cohorts for Heart and Aging Research in Genomic Epidemi.. 공감수 0 댓글수 0 2013. 10. 29.
BigData 관점에서 Personalized Genomic Medicine 현시점에서의 Genomic Data 사용 시나리오 NGS를 통해 생산된 데이터를 가지고 현재 시점에서 Personalized Genomic Medicine에 사용할 경우 최선은 다음의 시나리오가 최선일 것이다. 최대한 에러 제거 (quality scores, pseudogene들을 제거) dbSNP 등을 이용, allele frequency를 확인 (common한 것들은 가지고 있어도 안죽으니 최대한 인종 특이적인 SNP들을 많이 확보하는 것은 필수) 부모에게 물려받은 것은지 확인, homo인지 heteo인지 또는 autosomal인지를 구분 Protein에 영향을 주는지를 Polyphen 등으로 확인 PhastCons, Phylop 등으로 conservation 정도를 확인 (오랫동안 묵혀져 있는 곳에.. 공감수 0 댓글수 4 2013. 3. 17.
Bioinformatics Stack, Bioinformatics PaaS 하나의 어플리케이션 (주로 웹)을 개발하는데에는 스택을 필요로 한다. 가장 잘 알고 있는 스택은 우리가 흔히 알고 있는 APM (Apache, PHP, MySQL)을 들 수 있겠다. 하지만 세상은 클라우드, 소셜, 빅데이터 등의 새로운 기술과 트렌드가 나오기 시작하면서 APM만으로는 해결이 불가능한 상황으로 다양한 어플리케이션 스택들이 나오고 이를 사용한다. Java기반의 웹 어플케이션 프레임워크로는 JBoss, Spring, Tomcat PHP의 경우 Zend Server, Codelnniter Ruby의 경우 Ruby on Rails Node.js Python의 경우 Django, Flask, Bottle Python을 사용하고 한다면 다음과 같은 스택이 현재 많이 사용되고 있다. Linux + ng.. 공감수 0 댓글수 1 2012. 11. 28.
Genomics와 빅데이터(하둡) Follow the Data라는 블로그의 "What can big data (read Hadoop) do for genomics?"라는 흥미로운 글이 있어서 소개해 보려고 한다. Hadoop이 빅데이터의 관점에서 genomics에 어떻게 응용되고 있고 앞으로 어떻게 응용될지에 대한 글로 최근 임상에서의 빅데이터에 대한 관심이 모아지는 가운데에 임상중에서도 genomics에 포커싱된 글로서 간단히 다음과 같이 요약할 수 있다. 1) 지금까지 read mapping 부분에 하둡 적용이 두드러짐 (Crossbow, MyRNA) 2) 하둡을 인프라로 사용하기 시작함 (SeqPig, Hadoop-BAM) 3) 하둡을 다양한 데이터간의 통계적인 연관성을 보기 위한 빅데이터 처리에 활용 (NextBio, Google.. 공감수 0 댓글수 0 2012. 8. 2.
Google의 게놈 데이터 분석 - Google Compute Engine Amazon이 AWS를 통해서 IaaS를 제공하고 있는 상황에서 그동안 IaaS가 빠진 클라우드 서비스만 제공하던 Google 역시 이번 Google I/O 2012를 통해서 Google Compute Engine이라는 이름으로 IaaS 서비스를 내놓았다. Google은 사용자가 원했기 때문이라고 했고, 간단한 웹서버 호스팅을 위한 IaaS가 아닌( (단순 웹 호스팅은 Google App Engine을 쓰면 되니까 ^^), batch processing, data processing, high performacne computing에 focusing된 IaaS 서비스이다. 그들이 Google I/O의 키노트를 통해 Compute Engine을 소개하면서 내놓은 demo가 바로 cancer genome 데.. 공감수 0 댓글수 7 2012. 6. 30.
생명 과학 그리드 컴퓨팅 트랜드 - computing 그리드에서 knowledge 그리드까지 생명 과학 분야에서 그리드를 이용한(e-Science라고 불러도 되겠죠 ^_^) 본격적인 응용이 개발되고 있습니다. 이전까지 기반 기술에 대한 연구가 어느 정도 된 상태이기 때문에 이젠 본격적으로 이러한 그리드 기반 기술을 이용한 다양한 응용이 이루어지는 원년이라고 봐도 될것같습니다. 이제 몇년 후에는 신기술이 아니라, 우리가 인터넷으로 메일을 보내는 것처럼 자신의 분야에 맞는 그리드를 이용한 연구가 자연스러워질 거라고 확신하고 있습니다. 지금까지 제가 알아 본 생명 과학 분야의 그리드 응용은 다음과 같습니다. KISTI의 e-Science 사업단(http://escience.or.kr/ , 단장 변옥환)의 응용연구팀에서 "BT/NT분야 응용연구"를 수행 중 대전 한국정보통신대학교의 ITRC Grid M.. 공감수 0 댓글수 7 2008. 3. 19.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.