Databricks の検索結果:
…gent With Databricks Genie Lakewatch — オープンセキュリティレイクハウス セッション以外の楽しみも充実 DAIS終了後のオフ おわりに はじめに iTOC事業部GDAI部の山下です。2026年6月15日〜18日にアメリカ・カリフォルニア州サンフランシスコで開催された Data + AI Summit 2026（DAIS2026） に参加してきました。今回は、現地の様子と特に印象に残った技術トピックを中心にレポートします。 また、弊社ではD…
…r Dooner氏（Databricks）が登壇した Closing the Agent Quality Loop Through Observability in Production のセッションでは 、GenAIエージェントを本番で運用する際の品質管理を自動化する実践的なアーキテクチャが示された。多くのプロジェクトでエージェントは実運用まで到達しにくいが、その典型的な要因として評価コストの増大、ラベル付け負担、既製のジャッジと現場評価のズレ、修正フローの欠如などが挙げら…
…ConfluentとDatabricksの連携は、データの収集、処理、再利用を組織的に行うための実践例だと述べている。ConfluentはKafkaベースのストリーミングを提供し、ストリーム処理技術やテーブルフォーマットを用いて分析に適した形にデータを変換できる点が強調された。 このエコシステムでは、Confluentがリアルタイムデータを集約・処理し、DatabricksのプラットフォームやIBMのWatsonXが分析と生成AI処理を担う。IBMはガバナンスとセキュリティ、…
…ータ資産を活かしつつDatabricksの分析機能を利用するアプローチを紹介した。多くの組織でデータ主権やコンプライアンス、機密情報の扱いがクラウド移行を制約しており、データを丸ごとクラウドへ移す従来の手法ではコストや運用負荷、データ忠実度の観点で課題が残る。ここでは、DatabricksとMinIOの連携で提案された「データを移動せずに分析を拡張する」アーキテクチャを技術面から整理する。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが…
Databricksによる「Databricksにおけるデータプライバシー」のセッションでは、AIエージェントが機械速度でデータにアクセスする現実を踏まえ、どのようにデータプライバシーを管理すべきかが議論された。AIの進化はデータ利用の可能性を広げる一方で、新たなガバナンス上の課題を生んでおり、以下ではDatabricksが示した考え方と実装の方向性を整理する。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共…
Databricksのプロダクトマネジメント担当ディレクターSamrat Ray氏とAIプラットフォーム開発者Sunil Seth氏が登壇したセッションでは、AIエージェントがもたらす新たなリスクとそれに対する防御策が示された。エージェントは予測困難で高スループットにデータや資格情報を扱うため、従来以上にデータ漏洩や破壊的操作のリスクが高まる。本セッションでは、多層防御による実践的な対策が提示された。 ※本記事は、Data + AI Summit のセッションを現地で視聴した…
DatabricksのWeston Hutchins氏によるセッション「Genie Codeの最新イノベーション：エージェンティックデータワークの未来」で紹介された内容を整理する。データエンジニアリング現場では、既存パイプラインの保守が工数を圧迫し、新規開発に割ける時間が限られるという課題が続いている。汎用的なコード生成エージェントはコード生成自体は得意だが、組織固有のデータカタログやメトリクス定義に基づく文脈化には限界があることが指摘され、その点を補う設計が求められている。…
…chen Fan氏（Databricks）が登壇したWhat's New in Apache Spark™ 4.1?のセッションで紹介されたSpark 4.1は、運用性、SQLの表現力、半構造化データ処理、低遅延ストリーミング、クライアント接続とPySparkのプロダクション品質強化に重点を置いたリリースだ。以下に主要点を整理する。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを…
…n Parikh氏（Databricks）が登壇したBuilding an Explainable AI Research Agent With Databricks Genieのセッションは、多くの小売現場で繰り返される「なぜ売上が下がったのか」「なぜ予測が外れたのか」といった問いに対し、従来の対応が抱える摩擦をどう解消したかを共有した。対話型のセルフサービスで現場リーダーが短時間で根拠付きの回答を得られる仕組みを作り、分析時間を大幅に短縮した点が中心だ。 従来ワークフロー…
Databricksの同名セッション資料をもとに、Jakob Mund氏とVladislav Mantic-Lugo氏が説明したUnity Catalogを使った外部データや外部サービスへのアクセス制御の要点をまとめる。生成AIの活用が進む中で、多様な外部データへの安全なアクセスとガバナンスは多くの組織の重要課題となっている。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用し…
…築し、精度・信頼性指標を測定する。次に標準化インターフェース（MCP やスキル）を活用して自動化を段階的に拡大し、ガバナンスと人間イン・ザ・ループの設計を固める。最後にバージョン管理や編集履歴を備えた UI を整備し、長期実行タスクのオーケストレーションを確立する。運用での検証を繰り返すことが、リスク最小化と価値最大化の鍵となる。 参考として、RAG の導入手順は Databricks の RAG 解説 や、フロンティアモデル活用に関する考察をまとめた記事 を参照するとよい。
…dation on Databricksのセッションでは、武田薬品のDileep Shankar氏（データ＆AIエンジニアリング責任者）とHardeepsingh Saluja氏が、武田薬品内で進めているセルフサービスAI基盤の設計と運用について説明した。規制の厳しい製薬分野では、AIの信頼性・拡張性・コスト管理が経営課題になっており、武田薬品はこれらを解決するための実装を進めている。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内…
…メタデータを参照してDatabricksのコンピュートで処理する方法と、外部システムのコンピュートを利用してクエリ結果を返す方法があるため、要件に合わせた選択が必要だ。 ガバナンス統合：シークレット管理の簡素化 レイクハウス統合ガバナンス Abood氏は、プラットフォーム間の認証にWorkload Identity Federationを利用しており、FoundryのワークロードがDatabricks APIを呼び出す際にDatabricks用のシークレットを不要にできると述…
…ティリスクを高める。DatabricksのAhmed Bilal氏とKevin Stumpf氏はUnity AI Gatewayセッションで、Unity Catalogを中心に据えたアプローチを紹介し、主に4つのポイントについて説明した。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。※サイトの更新により、リンクが無効になる可能性があります。 ― エーピ…
…t Veazey氏とDatabricksのSurya Sai Turaga氏は、「800TB、Zero Pipelines」セッションで、同社がヘルスケア収益サイクル管理に向けたデータ基盤をどう再設計したかを紹介した。Veazeyは、30以上のシステム、35の病院システム、60以上のEMR、数百の支払者、10以上のクリアリングハウスなど多様なソースから集まる約800TBのデータを統一スキーマにまとめた経験を語った。これにより、従来の断片化したワークフローを減らし、よりリアルタ…
Databricksによるコーディングエージェント利用のガバナンスと監査のセッションでは、DatabricksのAarushi Shah氏とAnkit Mathur氏がデモを行い、コーディングエージェントの普及に伴う課題と運用上の対策を示した。コーディングエージェントはコード作成やデバッグ、運用手順書の自動化などに急速に利用が拡大しており、その結果、エージェントの断片化、ガバナンス不在、コスト増、セキュリティリスクといった問題が顕在化している。 ※本記事は、Data + AI…
Databricks社内で従業員から多数のAIエージェントへの利用が拡大する中、従来のデータガバナンスモデルが急速に限界に達している。Amit Pahwa氏とPrashant Gupta氏が登壇したセッションでは、エージェントがSaaSツールやデータを直接操作することによるトークン消費の増大、データ複製、監査の欠落、コンプライアンス違反、意図しないデータ結合といった課題と、その対処法が示された。セッションは、AIエージェントの速度とスケールに対応するためのデータガバナンス再設…
…本番トレースであり、Databricksの観測に関するブログはその実践例を示す（本番トラフィックがない場合はドメイン専門家や敵対的例、合成データを補助的に使う）。単一の総合スコアに頼らず、検索、ツール呼び出し、生成、実行など各レイヤーを個別に測るべきだ。 Agent Evaluationで評価を運用化する エージェント評価自動化 評価結果のレビュー スコア定義後は運用実行基盤が必要だ。DatabricksではAgent Evaluationが評価サイクルの中心となり、データセ…
Databricks の Chris Eubank 氏と Dillon Morrison 氏によるセッションBIとAIにおけるセマンティックモデリングベストプラクティスでは、AI時代に適応するためのセマンティックレイヤー再設計が議論された。ダッシュボード中心の分析から、AIエージェント主導の問い合わせが増える環境へ移行する中で、ビジネスコンテキストをAIに適切に提供し信頼性の高い応答を得る手法が求められている。 ※本記事は、Data + AI Summit のセッションを現地…
…tic AI on Databricks: From Experimentation to Enterprise Grade Systemsのセッションで、DatabricksのArun Pamulapati氏とSamrat Ray氏は、エージェントAIを実運用する際に生じるリスクと、それに対する体系的な対策について解説した。エージェントAIは外部ツールやAPIと連携し自律的に動作するため、従来のML運用では想定していなかった攻撃面が生じる点を強調した。 ※本記事は、Data…
…ータウェアハウスからDatabricks Lakehouseへ移行する際の現実的な課題と対策を実務視点で示し、機能や事例も紹介した。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。※サイトの更新により、リンクが無効になる可能性があります。 ― エーピーコミュニケーションズ GDAI部 Lakehouse 移行プロジェクトが直面する主要課題 移行でよく見ら…
DatabricksのShanelle Roman（プロダクトマネージャー）とMengfei Ren（エンジニアリングマネージャー）が登壇したBuilding Production-Grade SQL ETL on the Lakehouseのセッションでは、レガシーなデータウェアハウスからLakehouseへSQL ETLをモダナイズし、より迅速に顧客インサイトを得る手法が示された。今日のビジネスではデータからの即時的な洞察が重要であり、従来のETLでは運用負荷やパフォーマ…
…AutoCDC定義 Databricks が紹介する AutoCDC は、手動で複雑な MERGE ロジックを書かずに変更データの処理を宣言的に記述できる仕組みを提供する。実装に必要なのはソース定義・ターゲット定義・AutoCDC 定義の3要素で、SCD の挙動（最新のみを保持するか履歴を保持するか）は設定で切り替えられる。 技術的注意点 ストリーミングの順序付けと削除の扱い AutoCDC はシーケンス列を利用してレコードをソートし、順序外到着への対処を行う設定があり、運用…
AstraZeneca's Multi-Agent System: Lessons Scaling Agents by 10x With Agent Bricksのセッションでは、製薬大手AstraZenecaによるAgent Bricksを活用したマルチエージェントシステムの構築事例が紹介された。同システムは商業チームのデータ活用に新たな選択肢をもたらしている。プラットフォームエンジニアリング担当のBrian Burke氏とHomayoon Moradi氏は、エージェントを…
Databricks の Nicolas Pelaez氏 と Robert Mosley氏 が登壇したセッションは、ローカルでのプロトタイプ作成とチーム／本番環境への展開に伴う課題を整理し、アーキテクチャ概念や基本プリミティブを示すものでした。セッションでは、ローカルでうまく動くエージェントをチームで使えるようにするための要点と、実演を交えたデモが紹介されました。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に…
…が難しくなっている。Databricks Data + AI Summit 2026のYour guide to fine-grained access control: Permissions, ABAC, and RBAC in Unity Catalogセッションでは、Adriana Ispas氏・Arush Mehrotra氏・Sebastian Hillig氏（Databricks）によるUnity Catalogの考え方と推奨パターンが示された。以下では、セッショ…
Databricksのエージェントのフルライフサイクルの構築と管理方法セッションで、Amber Roberts氏とCraig Wiley氏はエージェントをプロトタイプから本番へ移行する実践的な視点を示しました。多くの企業でエージェントが無計画に増え、数や精度が把握できない問題が顕在化しています。本稿ではセッションの要点を整理します。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを…
DatabricksのGal Oshri氏とLennart Kats氏によるエージェンティックデータエンジニアリングのセッションでは、データエンジニアリング向けエージェント「Genie Code」と運用自動化を目指す「Zero Ops」が紹介された。Genie CodeはUnity Catalogを参照してデータの意味やガバナンスを考慮したメダリオンパイプラインやREADMEを生成・編集し、Auto-Approveや外部コネクタ、Gitへのエクスポートを組み合わせて手作業を減…
水曜日キーノートで、DatabricksのAli Ghodsi氏や共同創設者Matei Zaharia氏らが、データとAIの民主化に向けた最新の取り組みを披露した。Databricksはオープンなデータ基盤と統一ガバナンスを中心に、実運用に適したエージェントとアプリケーションのエコシステム構築を加速している。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです…
Databricksは2026年にLakewatchを発表し、現在はプライベートプレビュー（Private Preview）中である。Lakewatchは、AIを活用した高度化する攻撃に対応するために設計された、オープンでスケーラブルなセキュリティプラットフォームで、セキュリティ、IT、ビジネスのテレメトリをUnity Catalogで一元管理し、オープンフォーマットとオープンエコシステムを前提とする。 ※本記事は、Data + AI Summit のセッションを現地で視聴し…
