…した。 本記事では、Databricksが開催したセッション「Intelligent Document Processing: Building AI, BI, and Analytics Systems on Unstructured Data」の内容を基に、この課題を解決する最新のアプローチを解説します。講演を担当したのは、DatabricksのAdam氏とJason氏。彼らが示したのは、データエンジニアリングからAIアプリケーションの構築までを単一のプラットフォームで完…

…両社に共通するのは、Databricksのデータレイクとデータウェアハウスを統合的に管理するアプローチを採用している点です。この仕組みを活用することで、データの一元管理、品質保証、ガバナンスを両立させ、AI活用やリアルタイム分析を支える基盤を整えています。 成果と今後の展望 リアルタイムインサイトの獲得により迅速な意思決定が可能となり、予防保守やリスク予測の精度向上はインフラ安全性を高めます。また、AIによる業務支援は人手不足の解消や運用コスト削減にも寄与しています。Wadl…

…、乱立するツール群をDatabricksに統合し、MLOpsの生産性を劇的に向上させた事例が、Data + AI Summitで発表されました。本セッション「Databricks as the Backbone of MLOps: From Orchestration to Inference」では、同社のMLOpsシニアエキスパートであるCyd Kristoff Redelosa氏と、MLOps担当アシスタントディレクターのReinier Veral氏が登壇。技術的な挑戦か…

…当にそうでしょうか。DatabricksのSr GenAI Product SpecialistであるDan Pechi氏は、講演「RecSys, Topic Modeling and Agents: Bridging the GenAI-Traditional ML Divide」において、この問いに明確な答えを提示しました。本記事では、同氏の講演内容を基に、従来MLと生成AIが対立するものではなく、むしろ連続した技術であり、両者を統合することでビジネス価値を最大化できると…

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 Data + AI Summitで発表されたByteDanceのソフトウェアエンジニア、Zilong Zhou氏によるセッション「A Unified Solution for Data Management and Model Training Wit…

…ています。 今後は、Databricksが提供するMosaic AI Platformの活用検討を進めています。Mosaic AIの導入により、蓄積された対話データを用いたモデルのファインチューニングや、人間のフィードバックを用いた学習強化の可能性を探る予定です。 今後の拡張とロードマップ Empathy AIの進化はまだ始まったばかりです。講演では、以下のような魅力的なロードマップが示されました。 感情状態の追加: 「不安」や「悲しみ」といった、より複雑な感情を導入し、ペル…

…edes-BenzとDatabricksの担当者によって発表されたセッション「Cross-Cloud Data Mesh with Delta Sharing and UniForm in Mercedes-Benz」です。本セッションでは、Mercedes-BenzがAWSとAzureという2大クラウドプラットフォーム間で、いかにして効率的かつコストを抑えたデータ共有を実現したかが具体的に語られました。本記事では、その先進的なアーキテクチャと実践的なノウハウを紹介していきま…

…akehouse部 DatabricksのUnity Catalog（UC）への移行は、多くの企業にとってデータガバナンスを近代化するための重要なステップです。しかし、長年運用されてきた複雑なデータ基盤、いわゆる「Brownfield」環境からの移行は、決して平坦な道のりではありません。 先日開催されたData + AI Summitのセッション「Story of a Unity Catalog (UC) Migration: Using UCX at 7-Eleven to…

…flicts in Databricks—Fundamentals and Applications at Asana」をもとに、DatabricksとDelta Lakeにおけるトランザクション競合の基本から、それを解決するための具体的な手法、そしてAsana社における実用例までを深く掘り下げます。データレイクの同時実行性に課題を感じている方にとって、実践的なヒントが得られる内容です。 Delta LakeにおけるACIDトランザクションの基礎 Delta Lakeはデータ…

… MDM With Databricks, Delta Sharing and Dun & Bradstreet」の内容をもとに、現代の企業が直面するデータ品質問題と、それを解決する新しいアプローチについて深く掘り下げます。 多くの企業が直面する、従来型MDMの壁 マスターデータ管理（MDM）とは、企業内の顧客、製品、サプライヤーといった重要データを統合し、「唯一無二の信頼できる情報源（Golden Record）」を構築・維持するための戦略です。しかし、従来のアプローチには…

…な課題です。今回は、DatabricksのスタッフデータサイエンティストであるAimee Shi Zhang氏による講演「Entity Resolution for the Best Outcomes on Your Data」を基に、この「エンティティ解決（Entity Resolution）」と呼ばれる技術の基礎から、ベクトル検索やLLMを活用した最新のアプローチまでを掘り下げていきます。本記事を読めば、データの名寄せが直面する課題と、それを乗り越えるための具体的なシステ…

…ョン化の壁を越える：Databricksが提唱するDatabricks AI Security Framework (DASF)の解説 AI、特に生成AIの活用がビジネスの核心に迫る中、多くの企業がその本番導入（プロダクション化）の壁に直面しています。Databricksの講演「# Best Practices to Mitigate AI Security Risks」では、同社のプラットフォームセキュリティを率いるSamrat Ray氏と、プリンシパルセキュリティエンジニ…

…Lakeflowへ？Databricksが示すデータワークフロー近代化の選択肢 データエンジニアリングの世界では、ワークフローのオーケストレーションが常に中心的な課題です。長年にわたり、多くの組織がApache Airflowをその強力なエコシステムと柔軟性のために採用してきました。しかし、プラットフォームが進化するにつれて、運用負荷や近代的なデータスタックとの統合が新たな課題として浮上しています。 本記事では、DatabricksのプロダクトマネージャーであるJames氏と…

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 データストリーミングの世界では、一方的にデータを追加し続ける「アペンドオンリー」処理は比較的扱いやすいものです。しかし、データソースに更新（UPDATE）や削除（DELETE）が含まれると、従来のストリーミングフレームワークはエラーを返したり、イベント…

…akehouse部 Databricksが開催したセッション「What’s New in Unity Catalog With Live Demos」では、同社のプロダクトチームに所属するPaul Roome氏とMert Neemuchwala氏が登壇し、Unity Catalogの最新機能と今後のロードマップについて、数多くのライブデモを交えながら解説しました。本記事では、このセッションの内容を基に、現代のデータプラットフォームが直面する課題から、Unity Catalog…

…akehouse部 DatabricksのAmit Kumar Jha氏とMarcela Granados氏による講演「Beyond Chatbots: Building Autonomous Insurance Applications With Agentic AI Framework」では、保険業界が直面する大きな課題と、それを解決するAgentic AIフレームワークの可能性が示されました。本記事では、この講演内容を基に、従来の保険引受プロセスがどのように変革され、ビ…

Databricks Unity Catalogで実現する、次世代のApache Iceberg活用術 先日開催されたDatabricksのセッション「Databricks + Apache Iceberg™: Managed and Foreign Tables in Unity Catalog」では、現代のレイクハウスアーキテクチャにおける重要な課題、すなわち「どのApache Icebergカタログを選択すべきか」という問いに対する一つの明確な答えが示されました。本記事…

DatabricksとSnowflakeの壁を壊す：T-Mobileが実現したIcebergとUnity Catalogによるデータ相互運用性 現代のデータドリブンな企業において、DatabricksとSnowflakeはそれぞれが強力なデータプラットフォームとして確固たる地位を築いています。しかし、多くの組織では両プラットフォームが併存し、結果としてデータのサイロ化という新たな課題が生まれています。データのコピーはコスト、鮮度、ガバナンスの観点から決して理想的ではありません…

…う。 先日開催されたDatabricksのセッション「Building and Scaling Production AI Systems With Mosaic AI」では、この問いに対する具体的なソリューションが示されました。本セッションでは、Databricksの担当者が、同社のData Intelligence Platform上で提供される統合AI開発フレームワーク「Mosaic AI」の強力な機能群を解説しました。 本記事では、このセッションの内容を基に、Mosa…

…ッションで発表されたDatabricks AI/BIダッシュボードの進化、特にエンタープライズ規模でのレポーティングを劇的に効率化する新機能について、テックブロガーの視点から客観的に解説します。日々のレポーティング業務に課題を感じている方、データ活用の幅を組織全体に広げたいと考えている方にとって、具体的なヒントが見つかるはずです。 エンタープライズレポーティングの課題とDatabricksの答え 多くの企業では、BIツールを導入しているものの、「データガバナンスの壁」「パフォ…

…です。 本記事では、DatabricksのソフトウェアエンジニアであるNikhil Thorat氏とSamraj Moorjani氏による講演「Creating LLM judges to Measure Domain-Specific Agent Quality」の内容を基に、ドメイン特化型AIエージェントの品質を体系的に評価し、改善していくための実践的なワークフローを解説します。講演では、MLflowの次期メジャーバージョンである「MLflow 3」の新機能が多数紹介され…

…Lflow and Databricks」では、ブラジルのエネルギー企業PetrobrasのコンサルタントであるBruno Guberfain do Amaral氏が登壇しました。本記事では、同社が手動で非効率だったMLOpsプロセスを刷新し、デプロイ時間を大幅に短縮したそのアーキテクチャと具体的な事例を解説します。 大規模組織が直面するMLOpsの壁 機械学習モデルの価値は、本番環境で継続的に利用されて初めて発揮されます。しかし、Petrobrasもまた、モデルを本番環境へ…

…h Arize & Databricks MLflow」を題材に、AIエージェントが本番環境での経験を通じて継続的に品質を向上させる「自己改善」の仕組みについて掘り下げていきます。両社のツールを組み合わせた評価手法とワークフローを解き明かし、皆さんのAIエージェント開発に役立つ知見を提供することを目指します。 Arize & Databricks MLflowによる自己改善ループの全貌 なぜ「継続的な」エージェント評価が必要なのか 従来のソフトウェア開発では、リリース前のテス…

Databricksで実現するセキュアなデータコラボレーション：セキュリティ、フレームワーク、ユースケースを徹底解説 現代のビジネスにおいて、組織の垣根を越えたデータ共有と協業、すなわち「データコラボレーション」は、新たな価値を創出するための鍵となっています。しかし、その実践には、クロスクラウドやクロスリージョンといった環境の複雑さ、そして厳格なセキュリティとガバナンスの要件という大きな壁が立ちはだかります。 本記事では、Databricksが提供するセッション「Securi…

…した。この講演では、DatabricksのISVビジネスリーダーであるSarah氏、グローバルコンサルティング＆SIパートナーシップを率いるSabina Shaikh氏、SAPのフィールドエンジニアリングリーダーCatherine Fan氏、そして業界ユースケースのスペシャリストSamir氏が登壇し、SAPとDatabricksの戦略的パートナーシップがもたらす巨大なビジネスチャンスについて語りました。 本記事では、このセッションの内容を基に、なぜ今この連携が重要なのか、どの…

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 先日開催されたData+AI Summitにて、Fight Health Insuranceの共同創設者であるHolden Karau氏が「Building AI Models In Health Care Using Semi-Synthetic D…

…か。 先日開催されたDatabricksのセッション「Building Responsible and Resilient AI: The Databricks AI Governance Framework」では、同社のJavi氏とDavid氏がこの課題に対する具体的な解決策として「Databricks AI Governance Framework（DAGF）」を紹介しました。本記事では、その内容を基に、なぜ今AIガバナンスが必要なのか、そしてDAGFが企業のAI活用を支…

…あります。 例えば、Databricksから実行される複数のETLジョブが同じテーブルにアクセスしている場合、特定のジョブだけが予期せぬ大量のI/Oを発生させているかもしれません。ワークロード別に帯域幅やリクエスト数を可視化できれば、このような問題を迅速に特定し、SQLクエリの最適化など具体的な対策を講じることが可能になります。 講演で示されたスライドは製品のスクリーンショットではないとのことでしたが、今後のADLSでは、こうしたワークロード別やユーザー別の詳細な監視機能を強…

AcxiomがDatabricksで挑む「汚れたデータ」問題：AI駆動マーケティングデータ管理の最前線 データ主導のマーケティングが当たり前になった現代、多くの企業が直面する根深い課題があります。それは「汚れたデータ（Dirty Data）」の問題です。不完全、不正確、不整合なデータは、マーケティング施策の効果を著しく低下させ、AIモデルの精度を損ない、最終的にはビジネスの意思決定を誤らせる原因となります。 この深刻な課題に対し、データマーケティングの巨人Acxiom社がDa…

…LelyはいかにしてDatabricksで「内部データマーケットプレイス」を構築したか オランダの酪農ロボット大手Lely社。同社はData + AI Summitの講演「Unlocking the Future of Dairy Farming: Leveraging Data Marketplaces at Lely」で、データ活用戦略の核心を明かしました。本記事では、講演内容を基に、LelyがDatabricks Private Exchangeを活用し、社内のデータ流…