インターネットを利用したビジネスが普及している昨今、ビジネスにおいて様々なデータを扱うようになりました。
そのような状況下で注目されているのが「データエンジニア」の存在です。データエンジニアは年々需要が高まっているため、興味を持つ方も多いのではないでしょうか？ 本記事ではデータエンジニアになるために必要なことをご紹介します！
データエンジニアとは？
社内外からデータを収集・蓄積し分析、ビジネスに役立てることを「データ活用」といいます。近年「データ活用」市場は伸びており、2024年には約2兆749億円に達し、前年と比較すると14.8％伸びています。
この「データ活用」を行うには、データ環境を整えておく必要があります。理由はいくつかありますが、そのうちの一つは「データはそのまま分析に利用できないケースが多いから」です。重複したデータが混ざっている、データが欠損している、数字や日付などのフォーマットがずれているなど、このような状態では正確な分析結果を出すことはできません。
また、データ環境が整っていると、分析を行いたいときに即座にデータを利用できるという利点もあります。例えば、毎月どの商品の売れ行きが良いかを分析する場合、いちいち売り上げデータの収集から始めていては、分析結果を出すまでに時間がかかってしまいます。一方で「売り上げデータを一か所に集めておき、商品ごとの売り上げを分析し、結果をグラフ化する」という一連の流れを自動的に行うことができる基盤があれば、迅速な分析が可能になるためビジネスにデータを活用しやすくなります。
データエンジニアは「データ活用」をスムーズに行うために欠かせない職種なのです。
仕事内容
前提として、データ活用は以下の流れで進められます。
- データ集積/蓄積
- データ加工/集計
- データ可視化/分析
- データ示唆
データエンジニアは1、2を担当します。
もう少し詳細に仕事内容を説明すると、以下のようなことを行います。
データの収集・蓄積システム(DL/DWH) の設計・構築
データを収集・蓄積するために必要なデータレイク（DL）やデータウェアハウス（DWH）の設計や構築を行います。
データレイクとは、何も手を加えていないそのままのデータ（生データ）を保管しておく場所です。表のような規則性をもつ構造化データから、テキストや画像、動画などの非構造化データまで、あらゆる形式のデータを格納することができます。
一方、データウェアハウスとは、分析などに活用しやすいように加工したデータを保存しておく場所のことです。こちらは構造化データとして格納されています。
データレイクに蓄積されたデータを整えた後にデータウェアハウスに格納し、分析に活用していくという流れです。
いずれも分析対象のデータを集めるのに不可欠なもので、データ分析の根幹となる部分を担当します。
データパイプライン (ETL/ELT) の設計・実装・運用
データパイプラインとは、データを収集して使いやすいように加工するまでの一連のフローを指します。
イメージしやすいように、スパゲッティを作る工程に例えてみます。
- 材料を集める（データの取得）
スーパーでトマト、にんにく、パスタを買う
＝ Webサイト、アプリ、センサーなどからデータを集める
- 下ごしらえする（データの前処理）
トマトを切って、にんにくを刻んで…
＝ データをきれいにしたり、形式を整えたりする
- 料理する（データの加工・変換）
具材を炒めて味付けし、パスタと混ぜる
＝ データを分析に使いやすい形に変える
- お皿に盛りつける（保存・可視化・共有）
料理をお皿に盛って出す
＝ データベースに保存したり、グラフにして可視化したりする
ETL/ELTはどちらもデータパイプラインの種類です。
ETLは「Extract(抽出)」, 「Transform(変換)」,「Load(格納)」の頭文字をとった用語で、データを外部システムなどから抽出し（Extract）、変換・加工（Transform）した上で、分析基盤に格納（Load）する手法です。
一方、ELTは「Extract(抽出)」、「Load(格納)」、「Transform(加工)」の頭文字をとった用語で、「Load」と「Transform」の順序が入れ替わります。まず生のデータをデータウェアハウスに格納して（Load）、その後に必要な加工を行う方法です。
またスパゲッティの例で例えると、ETLは完成したスパゲッティを冷蔵庫にしまっておくのに対し、ELTはとりあえず食材を全て冷蔵庫に入れておくというイメージです。
【ETLのイメージ】
- スーパーで食材を買う（Extract：データの抽出）
- 台所で下ごしらえして、切ったり炒めたりする（Transform：変換）
- 料理ができた状態で冷蔵庫にしまう（Load：格納）
→ 加工済みの「完成品」を保存する
【ELTのイメージ】
- スーパーで食材を買う（Extract：データの抽出）
- とりあえず全部冷蔵庫に入れておく（Load：格納）
- 食べるときに必要な分だけ取り出して、調理する（Transform：変換）
→ 食材は全部保存しておいて、あとで必要に応じて調理する
従来のシステムではETLが主流でしたが、最近はクラウドデータウェアハウスの性能が向上しているため、ビッグデータを丸ごと保存して、必要なときに高速に加工するELTが増えています。
データ品質の管理・運用保守
データはそのままでは分析に活用できません。例えば、全角カタカナと半角カタカナが混在している、数値も全角と半角が存在する、破損したデータが含まれているなどの場合、正確な分析は困難です。このようなデータを修正する「データクレンジング」と呼ばれる作業などを行い、データの品質を担保します。
また、データ分析基盤として構築したシステム上で問題が発生しては、データの活用に支障が出てしまいます。このような事態を防ぐために、データ基盤の運用保守にも携わることがあります。
似たような職種との違い
データエンジニア以外にも「システムエンジニア」などの職種があります。
どのような違いがあるのでしょうか？
データエンジニア
データ分析のためのインフラ設計や基盤開発・運用まで行うエンジニアです。
システムエンジニア
一方、システムエンジニアはシステム開発において顧客のニーズをヒアリングし、その内容をもとにシステムを設計することが主な業務です。
前提として「システム」とは何か説明しておくと、特定の目的を達成するために、いくつかの部品や要素が協力して動く仕組みのことです。例えば、ネットショッピングのシステムでは、
- ユーザーが見るWeb画面（フロントエンド）
- 商品データや在庫の情報（データベース）
- 購入処理やログインを管理する部分（バックエンド）
- お金を支払う仕組み（決済システム）
が連携して「顧客がネットで商品を購入する」という目的を達成できる仕組みになっています。
システム内にデータに関わる部分もありますが、システムエンジニアはデータに対する業務がメインではありません。
データを扱う他のエンジニア職
その他、データを扱う職種として「データサイエンティスト」「データベースエンジニア」挙げられます。
データサイエンティスト
「データエンジニア」がデータ分析を行う基盤を作るのに対し、「データサイエンティスト」はデータ分析全体に関わります。先ほど説明したデータ活用の流れでいうと、1. データ集積/蓄積～ 4. データ示唆までの全行程を理解しており、データ分析のプロフェッショナルともいえるでしょう。
データベースエンジニア
分析に特化している「データエンジニア」とは異なり、「データベースエンジニア」はデータベースそのものの設計、構築、運用保守を担当しています。データエンジニアは大量のデータを分析に使えるよう整える役割を持っています。それに対し、データベースエンジニアには、業務システムからWeb系サービスまであらゆるシステムにおいてデータが正しく保存・管理できるようにする役割があります。
未経験からデータエンジニアになるには？
新卒の場合
新卒からデータエンジニアになる方法には、データエンジニアとして採用されるパターンやシステムエンジニアとして採用された後にデータエンジニアへキャリアアップするパターンなどがあります。
文系でも経済学や心理学などでデータを扱う経験がアピールできれば採用されることがあります。
中途の場合
中途でデータエンジニアになる方法はいくつかあります。
最も多いのは、システムエンジニアから転職してデータエンジニアになる方法です。
エンジニア以外から転職する場合は、資格を取得する、スクールで勉強するなど、データエンジニアに必要な知識を身に着けていることをアピールする必要があります。
また、製造、金融、医療、教育など、特定の業界の知見があると有利になります。
データエンジニアに必要なスキル
データベースの知識
膨大なデータを扱うためのデータベースに関する知識も必要不可欠です。
例えば、RDB（リレーショナルデータベース）はよく利用されているデータベースの一つです。「テーブル」と呼ばれる表形式の構造でデータが格納されており、さらに複数の「テーブル」の関係性を定義することでデータの整合性が保たれています。多くのシステムで利用されているデータベースであるため、まずはRDBから学び始めるのがおすすめです。
SQL
SQLもデータエンジニアには必須のスキルです。SQLとは、データベースを操作するための言語のこと。条件を指定してデータを検索する、特定のデータのみを更新・追加・削除するなどの作業を行うことが可能になります。このスキルがなければ業務ができないと言っても過言ではないため、基本的な構文から学習しておくことをおすすめします。
プログラミング
プログラミングのスキルはデータエンジニアに欠かせません。
特に「Python」は多くのデータエンジニアが使用するプログラミング言語です。「Python」はデータ処理や科学計算、機械学習のライブラリ※が豊富であり、データ活用に必要なタスクに適しているため、取得しておきたい言語の一つです。
他にも、データ分析によく使用される「R言語」や、分散処理のシステム基盤で使用される「Java」なども習得しておくと、就職・転職活動の際に有利です。
※ライブラリ：プログラムを作成するための「部品」で、よく利用される機能を集めて再利用しやすいようにまとめたもの。
インフラ（サーバー・ネットワーク）
データエンジニアは、データ分析の基盤構築でシステムやアプリを開発することになります。このとき、サーバーやネットワークなどインフラの知識も必要になります。
ハードウェアやネットワークなど全体の設計、セキュリティなど、多岐にわたる知識が必要です。サーバーやネットワークを主に扱うインフラエンジニアと同等のレベルが問われることもあるため、書籍などから知識を得ることも重要です。
クラウド
近年はクラウド環境上にデータ分析の基盤を構築するケースが増えてきています。そのため、クラウドに関する知識もあると有利です。
クラウドとは、インターネットを通じて利用できるコンピュータを提供するサービスのことです。代表的なクラウドサービスとして、Microsoft AzureやAmazon Web Service (AWS)、Google Cloud Platform (GCP)などが挙げられます。
分散処理
分散処理とは、複数台のコンピュータを使用して大量のデータ処理を行うことです。大量のデータを扱うためには、分散処理の知見も必要になります。
分散処理の代表的なフレームワーク※であるHadoopやSparkなどを学んでおくと良いでしょう。
※フレームワーク：よく利用される機能が予め備えられている枠組みのこと。
機械学習
データエンジニアになるには機械学習の知見もあると有利です。
機械学習とは、コンピュータが大量のデータから規則性を学習し、様々な予測や判断を行う技術のことです。
データエンジニアは機械学習を担当するわけではありませんが、データサイエンティストなど他のメンバーが担当するため、知見があるだけでも重宝されます。
データエンジニアになるのに役立つ資格
Professional Data Engineer（Google Cloud認定資格）
Google社のクラウドサービス「Google Cloud」が運営している認定試験です。出題される内容は幅広く、データ処理システムの設計や構築・運用、機械学習モデルの運用、ソリューションの品質保証などがあります。
出題形式は50〜60問の選択式で、試験時間は2時間です。テスト会場とオンラインのいずれかで受験できます。
受験資格はありませんが、業界での実務経験が3年以上、特にGoogle Cloudの設計・管理経験が1年以上あることが望ましいとされています。
AWS認定データアナリティクス－専門知識
Amazon社が提供するクラウドサービス「AWS（Amazon Web Services）」のデータ分析に関する知識が問われる資格です。AWSを扱うのに必要なスキルが問われます。例えば、データの収集やストレージとデータ管理、処理、分析と可視化、セキュリティなどが出題されます。
データベーススペシャリスト試験
情報処理推進機構（IPA）が運営している、データベースの理解度やスキルを測る試験です。データベースの企画から要件定義、開発、運用、保守に至るまでに必要な知識やスキルが問われます。データ分析に携わる職種の方が多く受験しています。 難易度の高い試験ですが、膨大なデータを活用できることを証明できるので、取得するとアピールポイントになります。
統計検定
一般社団法人日本統計学会が認定する試験です。統計に関する基礎知識に加え、応用スキルが問われます。 試験のレベルは1級、準1級、2級、3級、4級に分かれています。データエンジニアであれば大学基礎統計学のレベルにあたる2級の取得から始めるのがおすすめです。
CCPデータエンジニア認定試験
企業向けのデータクラウドプラットフォーム「Apache Hadoop」を開発しているClouderaが運営する試験です。データの変換や格納、アプリケーションでの利用など、データエンジニアには必須の知識が問われます。また、全て英語で出題されるため、英語力も求められます。
国際的に通用する資格であるため、外資系企業や海外での活動を目指す人には打ってつけです。
まとめ
データエンジニアは、データの分析や活用に必要なデータ環境を整える専門職です。
一見、ITエンジニア経験者や理系学部卒しかなれないと感じてしまうかもしれませんが、未経験の方でも十分見込みはあります。
特にITの知識ゼロの状態から転職・就職を目指す場合、データエンジニアに必要なスキルを理解し、資格の取得や自己学習などを適切に行うことで、データエンジニアとして採用してもらえる可能性があります。
データエンジニアを志す全ての方に、この記事が参考になると幸いです。
分析屋ではデータエンジニアを目指す方を募集！
分析屋の社員はバックグラウンドも様々です。中途入社を例に挙げると、前職がIT系の職種だった社員と、そうでない社員の割合はほぼ半々です。IT系の職種では、データエンジニアの他、SE、開発エンジニア、インフラエンジニアなどの経験者が在籍しています。一方、異業種からの転職者は、営業職やマーケター、教員、スポーツや音楽関係の職種など、様々な職歴をもつ社員がいます。
また、IT業界経験者もそうでない人も業務に適応できるよう、学習環境を整えています。入社後には、Excelを用いたデータ集計を始め、データベースを扱うためのSQL、データの可視化を行うためのBIツール(Tablau)、さらにデータ分析でよく使用されるPythonなどの研修が用意されています。
IT系職種の経験者も未経験者も、将来的に活躍できる場がここにはあります。少しでもデータエンジニアに興味をお持ちの方は、ぜひ分析屋へ！
