본문 바로가기

클라우드 스크랩!

오픈 소스 15선 아파치 소프트웨어 재단(Apache Software Foundation)은 1999년 설립 이후 다수의 중요한 오픈소스 프로젝트를 주도해왔다. 대표적인 성공작으로는 현재 빅 데이터 분야에서 활용되고 있는 분산형 컴퓨팅 시스템인 하둡(Hadoop), 톰캣(Tomcat), 제로니모(Geronimo)를 들 수 있다. 아파치는 종합적인 통계를 작성해 제공하고 있지 않다. 그러나 아파치 HTTP 서버 같은 경우 약 5억 개 웹 사이트의 기반이 되고 있고, 최근 아파치가 수중에 넣은 오픈오피스(OpenOffice)의 다운로드 횟수는 수백 만에 달하고 있다. 다음은 오픈소스 운동뿐만 아니라 기술 전반에 중요한 영향을 미쳤던 15가지 아파치 프로젝트들이다. 카산드라(Cassandra) 카산드라 프로젝트의 조나단 엘리스.. 더보기
초보 안드로이드 개발자를 위한 유용한 10가지 안드로이드 개발의 세세한 면을 배우는 일은 결코 쉽지 않지만 온라인에는 초보자를 위한 가이드, 자습서 등의 자료가 풍부하다. 개발자 라이언 박은 유용한 온라인 자료 목록을 만들어 구글 문서 형식으로 모든 이들과 공유했다. 이 목록을 간추리고 신참 안드로이드 개발자를 위한 몇 가지 도움이 되는 내용을 추가했다. 자바 소개 안드로이드는 자바 기반이므로 초보 개발자라면 본격적으로 개발에 뛰어들기 전에 자바를 섭렵해야 한다. Tuts+ 사이트의 이 글은 여러 가지 유용한 배경 지식을 제공한다. 구글의 기본기 강좌 시리즈 잘 모르겠으면 발원지, 즉 구글을 찾아가 보라. 구글은 안드로이드 앱 개발의 기본적인 부분에 대한 폭넓은 자습서를 제공한다. SQLite 사용 라이언 박은 SQL 데이터베이스에 앱 데이터를 저장.. 더보기
빅데이터 관심 까닭은? 기업 생산성 향상ㆍ사회문제 해결 도움 ■ 빅데이터 IT산업 중심에 서다 (1) 프롤로그 2011년부터 서서히 나타나기 시작한 빅데이터에 대한 관심이 갈수록 커지고 있다. 빅데이터가 이처럼 주목받고 있는 것은 빅데이터 분석을 통해 그동안 얻을 수 없었던 것을 활용해 기업의 의사결정에 도움을 주는 물론, 사회문제를 해결할 수 있는 단초까지 제공할 수 있기 때문이다. 빅데이터는 한마디로 너무 커 기존 검색, 수집, 저장, 분석체계로는 감당할 수 없는 막대한 데이터를 의미한다. 빅데이터는 단순히 양만 큰 것이 아니라 소셜네트워크서비스(SNS)의 소통기록과 같이 양식이 제각기 다르고 정형화되지 않아 분석이 더욱 어려울 수 있다. 이 때문에 막대한 데이터가 기술적인 한계로 버려질 수밖에 없었다. 하지만, 이처럼 방.. 더보기
빅데이터 핵심 기술들 ! ■ 빅데이터 IT산업 중심에 서다 빅데이터를 효과적으로 분석, 활용하기 위해서는 이에 걸맞게 새로운 기술과 기법, 솔루션이 요구된다. 빅데이터 분석 기술은 오픈소스 소프트웨어 형태로 발전한 경우가 많은데, 이를 제대로 다루기 위해서는 상당한 노력이 필요하다. 최근 분산처리 기술인 하둡(Hadoop), NoSQL(Not only SQL), 빠른 분석을 위한 인메모리(In-Memory) 기술 등이 주요 빅데이터 관련 기술로 각광받고 있다. x86서버로 묶어 대형 스토리지 구성 ◇하둡=방대한 분석 대상 자료를 저렴하게 처리해야 할 필요성에 의해 개발됐다. 하둡은 대량의 자료를 저렴한 x86서버로 가상으로 묶어 대형 스토리지를 구성하고, 저장된 거대한 데이터 세트를 간편하게 분산처리하는 역할을 한다. 하둡은 구.. 더보기
유용한 자바스크립트 들! 다른 애플리케이션에서 사용하기 위해 데이터를 재구성해야 하는가? 지도에 넣을 생각인가? 상호작용형 웹 그래픽에? 이 오픈 소스(Open Source) 라이브러리들은 분석 또는 설득력 있는 온라인 표현(Presentation)을 위해 데이터를 적절한 형식으로 변경할 때 도움이 된다. CTS(Cascading Tree Sheets) 용도: CTS의 목적은 CSS(Cascacint Style Sheets)가 기본적인 HTML에 대하여 제공하는 기능처럼 복잡한 표현을 위해 구조화된 데이터의 스타일을 정의하는데 도움을 준다. 지도 또는 도표에 CTS 코드 위젯을 추가하여 사용자는 자바스크립트(JavaScript)에 대한 지식 없이도 기본적인 HTML로 시각화 객체를 생성할 수 있다. 장점: 구글 지도, 막대 그래.. 더보기
하둡 설정 파일 동기화 ! 하둡은 한곳의 설정 파일 및 관련 모든 파일들의 동기화를 할 수 있다. conf/hadoop-env.sh 내에는 아래와 같은 속성이 있다. # host:path where hadoop code should be rsync'd from. Unset by default. export HADOOP_MASTER=hadoop@master:/var/hadoop-1.0.3 모든 노드의 conf/hadoop-env.sh 파일에 master의 HADOOP_HOME 위치를 설정하게 되면 노드가 구동될 때 rsync 를 이용하여 master의 파일과 동기화가 이루어 진다. 위에서 설정한 값은 아래의 스크립트에서 동작하게 된다. 반드시 HADOOP_HOME 환경변수가 설정 되어 있어야 한다. $ vi /opt/hadoop/b.. 더보기
하둡 설치 스크랩 ! 누구나 쉽게 구축할 수 있는 하둡 기반 분산시스템 아파치 하둡을 활용한 로그 저장 및 처리 오픈소스 진영이 주도하고 있는 하둡은 올해 들어 여러 벤더의 제품에 편입되고 있다. 클라우데라의 배포판을 그대로 이용하거나 일부 코드를 수정하기도 한다. 몇몇 벤더를 제외하면 하둡의 코드를 수정하기보단 기본 인프라스트럭처를 그대로 이용하기도 하며, 일부는 하드웨어와 결합해 하둡을 판매하기도 한다. 이렇듯 하둡은 오픈소스 진영뿐 아니라 상용 벤더에게도 굉장히 중요한 솔루션으로서 각광받고 있다. 이 글에서는 아파치 하둡의 HDFS와 맵리듀스에 대해 좀더 심도 있게 살펴보고, 아파치 플룸을 이용해 수집된 데이터를 HDFS에 직접 저장하고 하이브에서 가공할 수 있는 시퀀스 파일로 변환하는 맵리듀스 프로그램을 개발한다. 여.. 더보기
클라우데라 한번에 설치 CentOS release 6.2 (Final)에 클라우데라를 깔았다. 깔면서 한번에 깔수 있는 쉘 파일일을 만들었다. 의사분산 모드로 깔린다. 3단계이다. 1.자바설치 2.저장소 추가 3.하둡 설치 다음 쉘 파일을 실행 권한을 주어서 설치 해보면 된다. 파일명 : cloudera.sh #!/bin/bash ##### JDK INSTALL ############ echo "1. JDK INSTLL " java_file=" /usr/java/jdk1.7.0_03/bin/java" if [ -e $java_file ]; then echo "$java_file File already exists!" else wget --no-cookies --header "Cookie: gpw_e24=http%3A%2F%2F.. 더보기
클라우데라! Apache Hadoop Hadoop Security 어떤 시스템이라도 보안 문제를 피해갈 순 없다. 많은 보안 위협에 대응하기 위해 하둡도 보안 기능이 계속해서 추가되고 있다. 클라이언트에서 사용자, 그룹 인증을 수행하지만 사용자나 그룹의 신분, 자격을 확인하지 않는다. HDFS는 0.16 버전 이후 파일과 디렉토리 접근 권한이 지원되지만 강한 인증 기능이 없기 때문에 실수로 인한 데이터 삭제를 방지하기 위한 정도일 뿐이다. 악의적인 사용자는 쉽게 다른 유저를 흉내내어 시스템에 접근할 수 있다. 심지어 HDFS 접근 후에는 맵태스크에도 접근할 수 있기 때문에 시스템에 치명적인 보안 위협이 된다. 현재 하둡은 커버로스를 통해 모든 RPC에 대해 사용자 인증을 거친다. 사용자가 속한 그룹이 해당 명령을 실.. 더보기
빅데이터 분석에 관련 스크랩. 빅데이터(Big Data)가 IT업계의 화두로 떠오르면서 하둡과 같은 오픈소스 기반 기술이 지속적으로 거론되고 있다. 아파치(Apache)에서 진행하고 있는 아파치 하둡 프로젝트는 안정적이이서 신뢰할 수 있고, 확장이 용이하며, 분산 컴퓨팅 환경을 지원하는 오픈소스 소프트웨어다. 국내에서도 빅데이터 열풍이 불어오면서 하둡에 대한 관심도 높아지고 있는데, 한국 시장에서도 2018년께는 하둡과 관련된 시장이 1000억원을 넘어설 것으로 예측되고 있다. 21일 서울 양재동 엘타워에서 주최로 열린 ‘오픈테크넷 서밋 2013’에서 심탁길 SK C&C 부장은 ‘성공적인 데이터 비즈니스를 위한 오픈소스 기술 활용 전략’에 대해 발제했다. 그 는 “빅데이터와 관련된 시장이 지속적으로 커지고 있는 가운데, 한국 시장도 .. 더보기

티스토리툴바