はじめに

GLB事業部Lakehouse部の松崎です。今回は、FivetranをDatabricksに連携させる方法を解説していきます。 ※前回の記事はこちら。

Fivetranでは、コネクタを使って多様なデータソースに対応できます。本記事では、Google Sheetsからの連携設定の作成を進めていきます。

1. 設定の流れ

詳細な手順の説明に入る前に、まずは設定の流れを簡単におさらいしておきましょう。個別の具体的な設定方法から読みたいという方は、「2.実際の連携手順」を参照ください。

Databricks Workpaceにて、Parnet Connect 機能を使いFivetranを有効化
- (Fivetran側で自動実行) Personal Access Tokenを使った、Fivetran ⇒ Databricks(SQL Endpoint)への接続に必要な情報の収集

ポップアップした、Fivetranの14-day trialアカウントの作成画面にて
- EmailアドレスとPasswordを登録し、Fivetranのアカウント作成
- アカウント作成が完了すると、Fivetranの管理画面に遷移

Fivetranの14-day trialアカウントを未作成であることが前提となります。作成済み、または、Fivetranの有償アカウントをお持ちの場合は、一部手順が異なります。

まずは、DatabricksのPartner Connect機能を使って、Fivetranとの紐づけを進めていきます。

Databricks Workspaceにサインインし、画面左下のPartner Connectボタンをクリックします。

次のコネクトの選択画面にて、Fivetranを選択します。

遷移後の画面にて、Nextをクリックします。
※これによりバックグラウンドで、Personal Access TokenやSQL Warehouseインスタンスが生成されます。

3-1の手順を全て終えるとFivetranのwebページに遷移します。パスワードを初期登録し、14 day trialアカウントを作成します。

アカウント作成が完了しますと、Fivetranの管理画面に遷移します。

画面左のサイドバー中の Destinations をクリックし、Databricksワークスペースへの接続状態が CONNECTED となっていることを確認してください。

Fivetranにインポートさせる、Google Sheetsファイルを作っていきます。 Google Sheet形式のファイルを作成し、任意のデータをサンプルレコードとして入力してください。

※私が検証の際は、以下のページで提供のiris-datasetを利用させて頂きましたが、ここでは特にデータの内容は問いません。

Fivetranの管理画面より、 Connectors に進み、画面右上の Add connector をクリックします。

コネクタの選択画面に変わるので、 Google Sheets コネクタを選択します。

ELT設定の入力画面に遷移しますので、右側に表示の Setup Guideを参考にしつつ設定を進めていきます。

以下に設定値の意味合いをまとめています。

Destination schema : Databricks上でデータを格納するスキーマ名(任意)を入力するフィールドです。ここでは、 google_sheets を指定します。
Destination table : Databricks上でデータを格納するテーブル名(任意)を入力するフィールドです。ここでは、 google_sheets を指定します。
Authentication Method : Fivetranに開放するアクセス権限の範囲を指定するフィールドです。検証対象のGoogle SheetsのみをFivetranからアクセス可能にしたいので、ここでは Authorize Service Account を選択します。
Sheet URL : 操作対象のGoogle Sheetsの場所を指定するフィールドです。先ほど作成のGoogle SheetsのURLを入力します。