皆さん、こんにちは！データ分析とAI活用が必須となった今、Databricksが提供する「データ インテリジェンス プラットフォーム」は、多くの企業にとって次世代のデータ基盤として注目を集めています。データウェアハウスの堅牢性とデータレイクの柔軟性を融…

はじめに Databricks編：予測用データの準備 1. データの構造と項目 2. Databricksでデータの前処理を行う Tableau編：予測ダッシュボードの作成 1. Databricksとの接続 2. Tableauで売上予測を作成 3. Tableauで購入トレンドを分析する ※Tableauの予測アル…

はじめに Databricksでの開発手法について 事前準備 VsCode のセットアップ Databricks CLI のインストール Lakeflow宣言型パイプラインの開発 ステップ 1. 認証設定 トラブルシューティング ステップ 2: バンドル作成 ステップ 3: バンドルの探索 .databric…

目次 目次 1. はじめに 2. Terraform と Databricks 環境管理の課題 2.1 手動操作の問題点 2.2 環境構築の再現性と安定性の重要性 2.3 Infrastructure as Code (IaC) のメリット 3. 事前準備（前提条件） ４. Terraform プロジェクト構成 4.1 プロジェクトフ…

はじめに こんにちは、Global Data + AI事業部Lakehouse部の陳（チェン）です。 「Databricks Asset Bundlesを活用して、CI/CDをやってみよう」シリーズの第二弾です。第一編にて話をした「カタログ間のアーティファクトの移動」の実演に「変数参照」を交え…

目次 目次 はじめに 背景と課題感 全体アーキテクチャ 前提条件 手順 1. Docker イメージの作成 2. Terraform でクラスタを定義 3. 検証の進め方 CI/CD への統合 まとめ おわりに はじめに GLB事業部Lakehouse部のティダです。 前回の記事では、Terraform を…

はじめに こんにちは、GDAI事業部Lakehouse部の陳（チェン）です。 久しぶりにブログを執筆します。今回のテーマはDatabricks上、推奨されるCI/CDのプロセス・アセットバンドル（Asset Bundles）についてです。 アセットバンドル（Asset Bundles）の使い方な…

1．はじめに 属性ベースのアクセス制御（ABAC）とは？ 従来のモデルとの違い Databricks ABACの実装前提条件 2．Databricks ABACの作成プロセス 1. データ環境の準備 2. 列へのタグ設定 3. 行フィルターポリシーで使用するUDFの作成 4. カタログエクスプロー…