DatabricksのEmanuel Zgraggen氏とJason Messer氏が登壇したLakeflow Designer: No-code ETL— Authored With AI, Built for Productionのセッションでは、ビジネスユーザーがコードを書かずにデータ整備・結合・集計・可視化を行えるノーコードETLツールが紹介された。Lakeflow Designerはドラッグ＆ドロップのUIとGenie CodeによるAI支援を組み合わせ、背後で本番…

DatabricksのDB Tsai氏とXiao Li氏によるセッションThe Upcoming Apache Spark™ 4.2: The Next Chapter in Unified Analyticsで紹介された内容をもとに、Apache Spark 4.2が統合アナリティクスに与える影響を整理する。データ量と複雑性が増す中で、Spark 4.2は処理効率、開発者体験、分析機能の強化を通じてデータ活用の幅を広げることを目指している。 ※本記事は、Data + AI …

…chahboun氏がDatabricks上でのアプリ設計に共通する原則と実践を解説した。エージェント型、解析型、トランザクション型など用途は多様だが、共通の基盤を正しく設計することで堅牢で高性能なアプリを実現できる。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。※サイトの更新により、リンクが無効になる可能性があります。 ― エーピーコミュニケーションズ…

Databricksの検索基盤であるDatabricks AI Searchが、AI時代に増える複雑な検索要件にどう応えるかが紹介された。従来の検索設計で陥りがちな運用負荷やスケーラビリティ、品質評価の難しさを解消することが目的だ。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。※サイトの更新により、リンクが無効になる可能性があります。 ― エーピーコミ…

DatabricksのCan Efeoglu氏とJasmeet Jaggi氏が登壇したセッションでは、Unity Catalogのセマンティクスを、エージェントやSQL、BIツールなどで利用できる「統一されたセマンティック基盤」として提示しました。AIエージェント主導のクエリが増える中、概念の曖昧さや定義の陳腐化、データソースへのマッピングや効率的なクエリ生成といった課題が顕在化しており、これらを補うセマンティック層の重要性が高まっています。 ※本記事は、Data + AI …

…いる。 コスト配賦はDatabricksのネイティブ機能だけでは難しいため、BigQueryのジョブラベル、AzureのVMコスト、DatabricksのDBUコストを組み合わせたカスタムダッシュボードで可視化している。 導入効果とロードマップ 講演では、Databridgeにより承認プロセスの短縮やデータ重複の削減などが得られていると報告され、複数のデータカタログがオンボーディングされていると述べられた。今後はデータブラウザ拡充、準リアルタイムフェデレーション、非構造化デー…

…Kasliwal氏（DatabricksのSolutions Architect）が、パナソニックがレガシーなデータ基盤からDatabricks Data Intelligence Platformへ移行し、データとAI戦略を統合した取り組みを紹介した。セッションは、データサイロや高コストなコネクタ、SAPからの抽出遅延などの課題を解決し、パフォーマンス改善とコスト削減、将来のAI活用基盤を構築した実例に焦点を当てている。 ※本記事は、Data + AI Summit のセッ…

…Kasliwal氏（DatabricksのSolutions Architect）が、パナソニックがレガシーなデータ基盤からDatabricks Data Intelligence Platformへ移行し、データとAI戦略を統合した取り組みを紹介した。セッションは、データサイロや高コストなコネクタ、SAPからの抽出遅延などの課題を解決し、パフォーマンス改善とコスト削減、将来のAI活用基盤を構築した実例に焦点を当てている。 ※本記事は、Data + AI Summit のセッ…

Databricks Trusted LakehouseでLakewatchを保護・管理する方法のセッションで、Databricks の Arun Pamulapati と Alysson Souza がセキュリティレイクハウスの実装と運用について実務的な観点から解説した。本稿では、セッションの内容に基づき、Lakewatch の技術的基盤とガバナンス手法を整理する。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観…

Databricks の Anoop Johnson氏 と Ryan Blue氏による Delta + Iceberg, Better Together のセッションは、Delta Lake と Apache Iceberg のコンテンツメタデータをより近づけるための設計意図と技術的な要点を示した。現代のデータレイクハウスでは異なるテーブルフォーマット間の連携と性能最適化が重要課題であり、今回の議論はその一助になりうるアプローチを提示している。 データレイクハウスにおける既存…

DatabricksのBadr Slimani氏とPradeep Ravi氏が行ったセッションでは、Badrが中心に「コンテキスト管理」が信頼性あるAI実装で重要だと説明しました。モデル性能だけで解決できない運用上の課題があり、コンテキスト設計が実用性に大きく影響するという観点が示されました。 なぜコンテキストがAIエージェントのボトルネックになるのか コンテキスト管理型AIエージェント 単純な検索タスク、いわゆる「needle in a haystack」はモデルの改善で解…

…中心の検出体制から Databricks ベースのセキュリティデータプラットフォームへの移行が紹介された。移行の目的はスケーラビリティ、可観測性、ガバナンスの向上で、従来の SIEM が抱える性能ボトルネックやプロプライエタリな検出ロジックの限界に対応する設計が示された。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。※サイトの更新により、リンクが無効に…

…番環境への無制限アクセスを与えず、サンドボックス運用を基本とすることが重要だと指摘された。 まとめと今後の展望 Martins は、Databricks が業界モデルをパブリックなリポジトリで共有していることを紹介した。今後は Genie とのさらなる統合やフィードバック自動集約、既存データ環境からの逆生成などの拡張が期待される。ルールベースとAIの組み合わせにより、人間の専門知識とエージェントのスケールを両立させ、データガバナンスと分析精度を高める現実的な道筋が提示された。

…h Reddy氏は、Databricks Genieを活用したセルフサービスAI分析の導入事例と実務上の教訓を共有した。本稿では、発表内容を踏まえ、大規模組織がデータガバナンスとセルフサービスAIを両立させるための実践的なロードマップをまとめる。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。※サイトの更新により、リンクが無効になる可能性があります。 ―…

…と紹介されている。 Databricksは、低レイテンシのトランザクション処理と大規模分析では最適なエンジンが異なると述べ、LakebaseをOLTP用途、Lakehouseを分析用途として使い分けることを推奨している。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。※サイトの更新により、リンクが無効になる可能性があります。 ― エーピーコミュニケーショ…

…Keynoteでは、Databricks CEO の Ali Ghodsi 氏と OpenAI の Greg Brockman 氏が登壇し、データとAIを企業で安全かつ実務的に活用するためのビジョンを示した。データ取り込みの簡素化、Lakehouse による統合基盤、そして企業向け AI エージェントの実装まで、複数の方向性が示された。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成A…

…接続に関する課題と、Databricksが提供するアプローチを説明した。ここでは、セッション内容をもとに技術的ポイントを整理する。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。※サイトの更新により、リンクが無効になる可能性があります。 ― エーピーコミュニケーションズ GDAI部 Lakehouse 従来アーキテクチャが抱える速度と拡張性の限界 現場で…

7-ElevenのGenAIメンテナンスアシスタントのセッションでは、7-Elevenが現場技術者向けに構築したAIエージェント駆動チャットボットの実装が紹介された。世界85,000店舗を展開する同社にとって、コーヒーマシンやスラーピーマシンなど主要機器の停止は売上と顧客体験に直結するため、現場で素早く正確に対処できる情報提供が重要な課題となっていた。本記事では、現場課題の整理からマルチエージェント設計、ハイブリッド検索、運用監視までの技術的要点をまとめる。 ※本記事は、Da…

…オンプレミスデータへDatabricksを拡張する Unity Catalogのコネクション・シークレット・関数による安全な外部データアクセス Unity AI Gateway：企業全体のマルチAIアクセスをガバナンスする方法 ガバナンスされたデータから運用上の意思決定へ：DatabricksとPalantirの顧客プレイブック 信頼できるAIのスケーリング：Databricks上のTakedaのセルフサービスAI基盤 長期間AIエージェントによるドキュメント作業の自動化 D…

…e上での本番グレードSQL ETLの構築 Lakebridgeによる包括的なデータウェアハウス移行 DatabricksでのエージェンティックAIのセキュリティ：実験からエンタープライズグレードシステムへ BIとAIにおけるセマンティックモデリングベストプラクティス エージェントの評価方法：ベンチマークからCI/CDまで エージェント対応データガバナンス：Databricks on Databricks Databricksによるコーディングエージェント利用のガバナンスと監査

…akebase体験 Databricks Trusted LakehouseでLakewatchを保護・管理する方法 データモデルをバイブコーディングしてGenieを強化 SIEMからデータプラットフォームへ：AdobeのLakewatch、Unity Catalog、AIによる脅威検出のスケーリング Databridgeプラットフォーム：Databricksでデータサイロをシームレスに接続する コンテキストギャップの解決：信頼性の高いAIエージェントの設計 2時間から2分へ…

…c + Azure Databricks + Azure AI Foundry セキュリティについて感じたこと — 開発者の主戦場はどこか おわりに ACS 事業部のご紹介 会場：グランハイアット東京 グランハイアット東京での技術イベントというのは、なかなか新鮮な体験でした。 普段のカンファレンスとは一味違う、洗練された空間にまず驚かされます。 セッションの合間にはコーヒーや甘いものが提供され、お昼にはケータリングの昼食までありました。 「こんな環境で最新技術の話を聞けるのか…

…今回は、Azure Databricksを使って、Datadogの「Data Observability」を試してみました。 セットアップからカタログ同期、そして意図的にデータを汚染させる「破壊検証」の結果までをレポートします。 はじめに：Datadog×APC共催ランチセミナー開催 Data Observability（データ可観測性）とは なぜ今、Datadogの「Data Observability」なのか データ基盤のネイティブ監視機能との違い Azure Datab…

… 1.はじめに 2.Databricks と Microsoft Fabric の強みと連携時の担当領域 Databricks の担当領域（データ加工・高度な分析） Microsoft Fabric の担当領域（データの可視化・共有） 3.【メリット】あえて連携させる３つのメリット Direct Lake モードによるレスポンス性能の向上 コストの最適化による計算リソースの分離による予測可能性の向上 分業とガバナンスの共存 4.【デメリット】権限管理の二重持ち問題 5.コスト…

…ス（Synapse/Databricks）、オーケストレーター（Data Factory）を個別にプロビジョニングし、それらを複雑に「配線」する作業に多大な工数がかかっていました。 Microsoft Fabric は、これら全ての機能を一つのSaaSプラットフォームに統合しました。データエンジニアにとっての最大の恩恵は、インフラのセットアップから解放され、「データの加工と活用」という本来の業務に即座に集中できるようになったことです。その核となるのが、全データが単一の論理湖に…

…タ処理 Azure Databricks 関連リソースの管理 DevOps Azure DevOps 関連リソースの管理 CLI 連携 Azure Developer CLI Extension az コマンドの直接実行、プロビジョニング、デプロイ 構成管理 Azure App Configuration ストアのリストアップ、キーと値のペアの管理 機密情報 Azure Key Vault シークレット、証明書など機密情報へのアクセスと管理 (承認が必要) ログ Azure …

…用が必須となった今、Databricksが提供する「データ インテリジェンス プラットフォーム」は、多くの企業にとって次世代のデータ基盤として注目を集めています。データウェアハウスの堅牢性とデータレイクの柔軟性を融合した「レイクハウス」の最前線に立つDatabricksですが、その多岐にわたる機能を前にして、「どこから手を付ければいいのか…」と悩む方も少なくないはずです。 今回ご紹介する『はじめてのデータブリックス』は、まさにその悩みを解消してくれる一冊でした。この本のコンセ…

はじめに Databricks編：予測用データの準備 1. データの構造と項目 2. Databricksでデータの前処理を行う Tableau編：予測ダッシュボードの作成 1. Databricksとの接続 2. Tableauで売上予測を作成 3. Tableauで購入トレンドを分析する ※Tableauの予測アルゴリズムについて まとめ お知らせ はじめに こんにちは。GDAI事業部Lakehouse部の坂下です。 ビジネスの現場では、常に「次に何が起こるか？」という問…

はじめに Databricksでの開発手法について 事前準備 VsCode のセットアップ Databricks CLI のインストール Lakeflow宣言型パイプラインの開発 ステップ 1. 認証設定 トラブルシューティング ステップ 2: バンドル作成 ステップ 3: バンドルの探索 .databricks resources src databricks.yml ステップ 4: バンドル設定ファイルの検証 ステップ 5: リモートワークスペースへのデプロイ ステップ …

…rraform と Databricks 環境管理の課題 2.1 手動操作の問題点 2.2 環境構築の再現性と安定性の重要性 2.3 Infrastructure as Code (IaC) のメリット 3. 事前準備（前提条件） ４. Terraform プロジェクト構成 4.1 プロジェクトフォルダの作成とファイル構成 4.2 main.tf, variables.tf, terraform.tfvars,backend.tfの役割 ５. Databricks Terra…