Databricks
こんにちは。クラウド事業部の遠見です。 本記事は、Datadogの「Data Observability」を実際に検証したエンジニアが、内容をできる限り客観的に共有することを目的に作成しました。 近年、インフラの可観測性（Observability）と同じように、データの健全性…
皆さん、こんにちは！データ分析とAI活用が必須となった今、Databricksが提供する「データ インテリジェンス プラットフォーム」は、多くの企業にとって次世代のデータ基盤として注目を集めています。データウェアハウスの堅牢性とデータレイクの柔軟性を融…
はじめに Databricks編：予測用データの準備 1. データの構造と項目 2. Databricksでデータの前処理を行う Tableau編：予測ダッシュボードの作成 1. Databricksとの接続 2. Tableauで売上予測を作成 3. Tableauで購入トレンドを分析する ※Tableauの予測アル…
はじめに Databricksでの開発手法について 事前準備 VsCode のセットアップ Databricks CLI のインストール Lakeflow宣言型パイプラインの開発 ステップ 1. 認証設定 トラブルシューティング ステップ 2: バンドル作成 ステップ 3: バンドルの探索 .databric…
目次 目次 1. はじめに 2. Terraform と Databricks 環境管理の課題 2.1 手動操作の問題点 2.2 環境構築の再現性と安定性の重要性 2.3 Infrastructure as Code (IaC) のメリット 3. 事前準備（前提条件） ４. Terraform プロジェクト構成 4.1 プロジェクトフ…
はじめに エーピーコミュニケーションズGDAI事業部Lakehouse部の鄭(ジョン)です。 この記事では、DatabricksのUnity Catalogを活用したMLOpsの実践方法をご紹介します。 シリーズ第2回となる今回は、Databricks の Unity Catalog（UC）を活用してシンプルな …
はじめに こんにちは、Global Data + AI事業部Lakehouse部の陳（チェン）です。 「Databricks Asset Bundlesを活用して、CI/CDをやってみよう」シリーズの第二弾です。第一編にて話をした「カタログ間のアーティファクトの移動」の実演に「変数参照」を交え…
目次 目次 はじめに 背景と課題感 全体アーキテクチャ 前提条件 手順 1. Docker イメージの作成 2. Terraform でクラスタを定義 3. 検証の進め方 CI/CD への統合 まとめ おわりに はじめに GLB事業部Lakehouse部のティダです。 前回の記事では、Terraform を…
はじめに エーピーコミュニケーションズGDAI事業部Lakehouse部の鄭(ジョン)です。 この記事では、DatabricksのFree Editionを利用してRAGチャットボットを作成する方法をご紹介します。 今回のチャットボットは、Unity Catalogに保存されているテーブルを利…
はじめに エーピーコミュニケーションズGDAI事業部Lakehouse部の鄭(ジョン)です。 この記事では、DatabricksのUnity Catalogを活用したMLOpsについてご紹介いたします。 シリーズ投稿の第1回として、基本的な概念と実際の運用事例を取り上げます。 本記事は…
はじめに GDAI事業部 Lakehouse部の阿部です。 今年のDAISで発表されたLakebaseをあまり触れていなかったのですが、こちらのブログを読んでDatabricks Apps(以下、Appsと表記します)との連携が非常に容易であることを知りました。 https://www.databricks.co…
はじめに GDAI事業部 Lakehouse部の阿部です。 近年、LLM（大規模言語モデル）の活用が急速に広がり、企業のAI活用現場でも本番運用が進んでいます。しかし、LLMの回答品質を安定的に維持・向上させるためには、プロンプトのバージョン管理や継続的なチュー…
はじめに こんにちは、GDAI事業部Lakehouse部の陳（チェン）です。 久しぶりにブログを執筆します。今回のテーマはDatabricks上、推奨されるCI/CDのプロセス・アセットバンドル（Asset Bundles）についてです。 アセットバンドル（Asset Bundles）の使い方な…
1．はじめに 属性ベースのアクセス制御（ABAC）とは？ 従来のモデルとの違い Databricks ABACの実装前提条件 2．Databricks ABACの作成プロセス 1. データ環境の準備 2. 列へのタグ設定 3. 行フィルターポリシーで使用するUDFの作成 4. カタログエクスプロー…
はじめに エーピーコミュニケーションズでは現地参加メンバーと日本から視聴するメンバーで連携しDATA+AI SUMMIT2025に関するポータルサイトを展開し、イベントに関する情報をお届けしています。是非ともこちらの特設サイトのチェックもよろしくお願いいたし…
はじめに エーピーコミュニケーションズでは現地参加メンバーと日本から視聴するメンバーで連携しDATA+AI SUMMIT2025に関するポータルサイトを展開し、イベントに関する情報をお届けしています。是非ともこちらの特設サイトのチェックもよろしくお願いいたし…
はじめに エーピーコミュニケーションズでは現地参加メンバーと日本から視聴するメンバーで連携しDATA+AI SUMMIT2025に関するポータルサイトを展開し、イベントに関する情報をお届けしています。是非ともこちらの特設サイトのチェックもよろしくお願いいたし…
はじめに GDAI事業部Lakehouse部の鄭(ジョン)です。今年もDatabricksの最新技術情報をいち早くキャッチするため、アメリカ・サンフランシスコで開催された Data + AI Summit 2025（以下DAIS） に参加してきました。 弊社ではDAISのセッションをレポートして…
AIは「自動化」から「戦略的パートナー」へ：AgenticAIが変えるマーケティングの未来 Data+AI Summit 2024で発表されたセッション「Agentic Systems for Bayesian MMM and Consumer Testing」は、マーケティングにおけるAIの役割が新たなステージへと向かっ…
※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 データレイクハウスの世界で今、最も注目されて…
※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 Databricksが提供するデータとAIの統合プラット…
※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 金融市場の最前線では、1秒にも満たない時間が勝…
※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 多くの企業にとって、SAPデータはビジネスの根幹…
※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 Data + AI Summitで発表されたセッション「Datab…
※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 DatabricksはデータとAIのための統合プラットフ…
※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 金融市場の最前線では、1秒、いやミリ秒の遅れが…
※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 Data + AI Summitで発表されたセッション「Route…
Scribdが実践したデータ取り込みコスト99%削減術：クラウドネイティブアーキテクチャへの移行 データエンジニアリングの世界では、大規模データの取り込み（インジェスト）は常にコストと運用負荷の大きな要因です。特に、リアルタイム性を求めれば求めるほ…
※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 生成AI、特に大規模言語モデル（LLM）の活用が急…
※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 企業のデータ資産の大部分が、実は活用しきれて…
