스파크 창시자 '마테이 자하리아'가 추천하는 스파크 입문서의 결정판!

《러닝 스파크: 번개같이 빠른 데이터 분석》의 제2판이 출간되었습니다. 데이터가 점점 더 커지고 점점 더 빨리 생성되며 다양한 형식으로 제공되면서, 분석이나 머신러닝을 위한 대규모 처리 또한 요구되고 있습니다. 이러한 대규모 워크로드를 효율적으로 처리할 수 있는 대안이 바로 아파치 스파크입니다.

스파크 3.x를 포함하여 업데이트된 이 개정판은 데이터 엔지니어와 데이터 과학자에게 스파크의 구조와 통합이 중요한 이유를 보여줍니다. 간단한 것에서부터 복잡한 것까지 데이터 분석을 수행하고, 머신러닝 알고리즘의 사용 방법을 체계적으로 설명합니다. 단계별 연습, 코드 예제와 노트북 등을 통해 다음을 수행할 수 있습니다.

파이썬, SQL, 스칼라, 자바를 이용한 고차원 정형 API 학습
스파크 작업과 SQL 엔진의 이해
스파크 설정 및 스파크 UI를 사용하여 스파크 작업을 검사, 튜닝, 디버깅
JSON, 파퀘이, CSV, 에이브로, ORC, 하이브, S3, 카프카와 같은 데이터 소스에 연결
정형 스트리밍을 사용하여 배치 및 스트리밍 데이터에 대한 분석 수행
오픈소스 델타 레이크 및 스파크로 안정적인 데이터 파이프라인 구축
MLlib을 사용하여 머신러닝 파이프라인을 개발하고 MLflow를 사용하여 모델 재생산 및 배포

책 속에서

2013년까지 스파크는 널리 쓰이면서 원 저작자들과 연구원(마테이 자하리아, 알리 고시, 레이놀드 신, 패트릭 웬델, 아이온 스토이카, 앤디 콘빈스키)들은 스파크 프로젝트를 아파치 소프트웨어 재단(ASF)에 이관하고, 데이터브릭스(Databricks)라는 회사를 만들었다. 데이터브릭스와 오픈소스 커뮤니티의 개발자들은 2014년 5월 ASF의 주도 아래 아파치 스파크 1.010을 릴리스하였다. 이 첫 메이저 릴리스는 데이터브릭스 및 100여 개의 상용 업체로부터 앞으로 이어질 빈번한 릴리스와 주목할 만한 기능을 이끌어낼 변화의 계기가 되었다.
--- p.4

여러분은 하나의 스파크 애플리케이션을 작성함으로써 모든 것이 실행 가능해지며 전혀 다른 작업을 위해 별도의 엔진을 돌릴 필요도, 별도의 API를 배울 필요도 없게 된다. 스파크를 쓴다면 자신의 워크로드를 처리하기 위한 하나의 통합된 처리 엔진을 갖게 되는 것이다.
--- p.5

개발자가 겪는 모든 기쁨 중 가장 매력적인 것 중의 하나는 생산성을 늘려 주고, 사용하기 쉽거나 이해하기 쉬운, 잘 구성된 API 집합이다. 아파치 스파크의 원칙 중 하나는 데이터의 규모에 상관없이 스칼라, 자바, 파이썬, SQL, R 등 여러 언어에 걸쳐 사용하기 쉬운 API를 개발자에게 어필하는 것이다.
--- p.15

이 책의 저자 중에는 M&M을 사용하여 쿠키를 굽는 것을 좋아하는 데이터 과학자가 있으며, 그녀는 머신러닝과 데이터 과학 과정을 수강하는 미국의 여러 주(state) 출신 학생들에게 상으로 이 쿠키들을 자주 주곤 한다. 하지만 그녀는 데이터 중심주의자이기 때문에 서로 다른 주에 사는 학생들에게 적절한 비율로 M&M의 색깔이 주어지는지 확인해 보고 싶어 한다. 10만 개 이상의 데이터를 갖고 있는 파일을 읽어 들여서(각 라인은 주, M&M 색깔, 개수를 갖고 있다) 색깔과 주별로 집계하는 스파크 프로그램을 작성해보자. 이 집계된 결과는 각 주별로 학생들이 어떤 색깔의 M&M을 좋아하는지 알려줄 것이다. 완전한 파이썬 프로그램은 예제 2-1에 있다.
--- p.35

데이터 캐싱과 영속화(persistence)의 차이는 무엇일까? 스파크에서는 두 단어가 서로 동의어라고 볼 수 있다. cache()와 persist()의 두 가지 API 호출이 이 기능들을 제공한다. 후자는 데이터가 저장되는 위치와 방식에 대해 좀 더 세밀한 설정 - 메모리인지 디스크인지, 직렬화를 하는지 안 하는지 - 을 제공할 수 있다.
--- p.191