…す。 この記事では、DatabricksのUnity Catalogを活用したMLOpsの実践方法をご紹介します。 シリーズ第2回となる今回は、Databricks の Unity Catalog（UC）を活用してシンプルな ALS （Alternating Least Squares）推薦モデルを構築し、そのプロセスを MLOps によって自動化したデモを紹介します。さらに、実際に MLOps ワークフローを設計・実行する手順を、コードとあわせて解説します。 シリーズ第1回…

…（チェン）です。 「Databricks Asset Bundlesを活用して、CI/CDをやってみよう」シリーズの第二弾です。第一編にて話をした「カタログ間のアーティファクトの移動」の実演に「変数参照」を交えながら、Databricks Asset Bundlesの活用方法を紹介いたします。 シリーズになっているため、アーティファクトの準備やDatabricks Asset Bundlesの準備について、第一編を参照してください。 まえおき Databricks上で、CI/…

…orm を使用した Databricks リソースのデプロイの自動化について紹介しました。 前編の記事はこちらです。 https://techblog.ap-com.co.jp/draft/entry/PIuJdBvdBPoiP8oI7p6Ql5FXjxg 今回はその第2弾として、Terraform × Docker Image × Databricks をテーマに、より実践的な環境構築から検証手順、 さらに CI/CD パイプラインまでを解説します。 特に本記事では以下をカ…

…す。 この記事では、DatabricksのFree Editionを利用してRAGチャットボットを作成する方法をご紹介します。 今回のチャットボットは、Unity Catalogに保存されているテーブルを利用してRAGを構築し、Databricks Apps上でデプロイしました。 Free Editionでは、Databricksに内蔵されているモデルを利用して、無料でチャットボットを作成することができます。 ただし、機密性の高いデータを扱う場合には注意が必要であり、バックア…

…す。 この記事では、DatabricksのUnity Catalogを活用したMLOpsについてご紹介いたします。 シリーズ投稿の第1回として、基本的な概念と実際の運用事例を取り上げます。 本記事は「MLOpsとは何か」といった入門的な解説ではなく、すでにMLOpsの概念を理解しており、実際にどのように導入すべきかを検討している方を対象としています。 そのため、詳細な理論説明は省略し、一般的なMLOpsとDatabricksにおけるMLOpsの違いを比較し、さらに実際のDat…

…ちらのブログを読んでDatabricks Apps(以下、Appsと表記します)との連携が非常に容易であることを知りました。 https://www.databricks.com/blog/how-use-lakebase-transactional-data-layer-databricks-apps 最近AppsがAWSの東京リージョン、先月にはAzureの東日本リージョンでも使えるようになったのと、Appsとの連携例も見当たらなかったためブログを書きました。 Lakeb…

…se部の坂下です。 Databricksのダッシュボード機能を使えば、SQLだけでデータの可視化からダッシュボード作成までを完結できます。 本記事では、カーセールスデータを使って、誰もがDatabricksで簡単にデータ分析を始めるためのステップとベストプラクティスをご紹介します。 データセットの概要 今回の分析で使用するcar_salesテーブルは、クリーンなゴールドテーブルです。データがこの時点で既に整理されています。スキーマとデータ例は以下の通りです。 Car_id: …

…る新機能が追加され、Databricksとの統合も進んでいます。 本記事では、Databricks環境でMLflowのPrompt Registry機能を活用し、プロンプトの登録・管理・評価・最適化までの一連の流れを、Azure OpenAIモデルを用いた実装例とともに解説します。LLM運用の現場で役立つ実践的なノウハウをまとめましたので、ぜひ参考にしてください。 ＊2025年8月時点では本日扱うPrompt RegistryとOptimizeはベータ版となっております。 前…

…ます。今回のテーマはDatabricks上、推奨されるCI/CDのプロセス・アセットバンドル（Asset Bundles）についてです。 アセットバンドル（Asset Bundles）の使い方などの紹介は一編のブログのみで紹介しきれないため、不定期に更新するシリーズにしたいと思います。第一編の本ブログでは、環境分けの考え方を交えながら、アセットバンドルの基本の使い方を紹介します。 もくじ はじめに もくじ まえおき アセットバンドルについて 開発のための環境分け カタログによ…

…来のモデルとの違い Databricks ABACの実装前提条件 2．Databricks ABACの作成プロセス 1. データ環境の準備 2. 列へのタグ設定 3. 行フィルターポリシーで使用するUDFの作成 4. カタログエクスプローラーでのポリシー設定 5. 動作確認 3．まとめ お知らせ 1．はじめに GDAI事業部Lakehouse部の坂下です。 本記事では、DatabricksのUnity Catalogを用いたABACの実装方法について、具体的なSQLコードとU…

…Lakeflowへ？Databricksが示すデータワークフロー近代化の選択肢 - APC 技術ブログ Databricks Unity Catalogで実現する、次世代のApache Iceberg活用術 - APC 技術ブログ チャットボットの先へ：Agentic AIが保険引受プロセスを数週間から数分に短縮する未来 - APC 技術ブログ Databricks Unity Catalog 最新アップデート解説：ライブデモから紐解く次世代データ＆AIガバナンスの全貌 - …

…mmit 投稿一覧 Databricks Lakeflow本格運用ガイド：CI/CD、テスト、監視をスケールさせる新手法 - APC 技術ブログ DSPy 3.0登場：プロンプトエンジニアリングを「職人技」から「ソフトウェア工学」へ - APC 技術ブログ 金融機関におけるAzure Databricks運用術：Erste Groupが語るセキュリティとコスト最適化のリアルな道のり - APC 技術ブログ ストリーミングデータフローにおけるCDF活用術：84.51°「Bett…

…mmit 投稿一覧 Databricks AI/BI GenieとTeamsの連携：チャットで実現する次世代のセルフサービスBI - APC 技術ブログ Globe TelecomのMLOps刷新：Databricks統合で処理時間28倍・コスト97%削減を実現した全貌 - APC 技術ブログ OptiverはいかにしてDatabricksでリアルタイム取引ダッシュボードの「秒単位」レイテンシを実現したか - APC 技術ブログ Databricks AI/BIダッシュボード…

…ジョン)です。今年もDatabricksの最新技術情報をいち早くキャッチするため、アメリカ・サンフランシスコで開催された Data + AI Summit 2025（以下DAIS） に参加してきました。 弊社ではDAISのセッションをレポートしており、以下の特設サイトからセッションごとの解説ブログを参照できます。 ブログの記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成した…

…るというわけです。 Databricksプラットフォームが支えるエージェントシステムの基盤 講演で紹介されたソリューションは、単なるコンセプトではありません。これらはすべて、Databricksのデータインテリジェンスプラットフォーム上で構築されています。堅牢な基盤があるからこそ、高度なエージェントシステムが現実のものとなります。 具体的には、Unity Catalogによる一元的なデータガバナンス、スケーラブルなGPUクラスタによる大規模な並列計算、そしてMLflowによる…

…きの中心にいるのが、Databricks社の技術スタッフであるBrian Blue氏とDan Weeks氏。彼らは先日開催されたカンファレンスセッション「The Future of Open Table Formats: Delta Lake, Iceberg, and More」にて、現在データレイク市場を二分する二大巨頭、Delta LakeとApache Icebergの統合に向けた壮大な計画を明らかにしました。本記事では、このセッションの内容を基に、なぜフォーマットの…

…akehouse部 Databricksが提供するデータとAIの統合プラットフォームは、多くの企業でデータ活用の中心的な役割を担っています。しかし、蓄積されたデータや開発されたAIモデルを、いかにして現場の業務担当者が使いやすい形で届け、ビジネス価値に繋げるかという課題は依然として存在します。 この課題に対するDatabricksの新しい答えが「Databricks Apps」です。先日開催されたセッション「Databricks Apps: Turning Data and …

…Optiver社が、Databricksのカンファレンスで発表した講演「Building Real-Time Trading Dashboards With DLT and Databricks Apps」の内容を深掘りします。彼らがどのようにして、数分かかっていたデータ反映を数秒レベルにまで短縮し、トレーダーの意思決定を加速させたのか、その技術的な挑戦と解決策に迫ります。 データエンジニアやBI開発者、そしてリアルタイムデータ処理に関心のあるすべての方にとって、示唆に富んだ…

…ませんでした。今回、DatabricksのプロダクトマネージャーであるBenjamin Mathew氏とDarshana Sivakumar氏、そして顧客事例として登壇したNatura & Coのシニアデータサービスマネージャー、Bernard Leitz氏によるセッション「Breaking Silos Using SAP Business Data Cloud and Delta Sharing for Seamless Access to SAP Data in Data…

…表されたセッション「Databricks in Action: Azure’s Blueprint for Secure and Cost-Effective Operations」は、大規模なクラウドデータ基盤を運用する多くのエンジニアにとって示唆に富む内容でした。このセッションでは、欧州の大手金融機関Erste GroupのIT部門からOliver Schluga氏とVukola Milenkovic氏が登壇。彼らがAzure Databricksを導入し、セキュリティ要…

…akehouse部 DatabricksはデータとAIのための統合プラットフォームですが、その自由度の高さゆえに、気づかぬうちにコストが膨らんでしまうリスクもはらんでいます。特に導入初期の設計が、将来のROI（投資対効果）を大きく左右することがあります。 本記事では、DatabricksのプロダクトマネージャーであるSabina Bala氏とHugh Singh氏による講演「Cost Management Foundations: The First 100 Days Che…

…ます。 本記事では、Databricksが開催したイベントでの講演「Real-Time Market Insights — Powering Optiver’s Live Trading Dashboard with Databricks Apps and Dash」の内容を基に、世界有数のHFT企業であるOptiverが、いかにしてデータ基盤を刷新し、リアルタイム取引ダッシュボードのパフォーマンスを劇的に向上させたか、その技術的な挑戦と解決策を深掘りします。講演者はOpti…

…ents With Databricks and DSPy」では、Luis Moros氏が複雑化するAIシステムを統合するための実践的なアプローチを解説しました。本記事では、この講演内容を基に、分散したAIシステムを束ね、保守性と拡張性に優れた「ルーティングエージェント」を構築するための技術的な要点と具体的な実装パターンを深掘りします。 AIシステム統合の壁：なぜ今ルーティングエージェントが必要なのか 近年、多くの企業がテキスト生成、要約、Q&Aなど、異なる目的のAIソリュー…

Scribdが実践したデータ取り込みコスト99%削減術：クラウドネイティブアーキテクチャへの移行 データエンジニアリングの世界では、大規模データの取り込み（インジェスト）は常にコストと運用負荷の大きな要因です。特に、リアルタイム性を求めれば求めるほど、常時稼働するSparkクラスターなどのリソースがコストを圧迫します。 この課題に対し、Scribd社のTyler Croy氏がData + AI Summitで発表した講演「Let's Save Tons of Money Wi…

…と言えるでしょう。 Databricksで構築するLLMOps基盤の全体像 Intermountain HealthのLLMOps基盤は、DatabricksのMLOpsレイクハウス上で構築されており、Databricks Workflowsを用いて開発からデプロイまでのプロセスを自動化しています。Nielsen氏は、この基盤が「インフラだけでなく、正しいプロセスを組織に根付かせること」に重点を置いていると語ります。これにより、開発者はインフラの管理に煩わされることなく、価値…

…した。 本記事では、Databricksが開催したセッション「Intelligent Document Processing: Building AI, BI, and Analytics Systems on Unstructured Data」の内容を基に、この課題を解決する最新のアプローチを解説します。講演を担当したのは、DatabricksのAdam氏とJason氏。彼らが示したのは、データエンジニアリングからAIアプリケーションの構築までを単一のプラットフォームで完…

…両社に共通するのは、Databricksのデータレイクとデータウェアハウスを統合的に管理するアプローチを採用している点です。この仕組みを活用することで、データの一元管理、品質保証、ガバナンスを両立させ、AI活用やリアルタイム分析を支える基盤を整えています。 成果と今後の展望 リアルタイムインサイトの獲得により迅速な意思決定が可能となり、予防保守やリスク予測の精度向上はインフラ安全性を高めます。また、AIによる業務支援は人手不足の解消や運用コスト削減にも寄与しています。Wadl…

…、乱立するツール群をDatabricksに統合し、MLOpsの生産性を劇的に向上させた事例が、Data + AI Summitで発表されました。本セッション「Databricks as the Backbone of MLOps: From Orchestration to Inference」では、同社のMLOpsシニアエキスパートであるCyd Kristoff Redelosa氏と、MLOps担当アシスタントディレクターのReinier Veral氏が登壇。技術的な挑戦か…

…当にそうでしょうか。DatabricksのSr GenAI Product SpecialistであるDan Pechi氏は、講演「RecSys, Topic Modeling and Agents: Bridging the GenAI-Traditional ML Divide」において、この問いに明確な答えを提示しました。本記事では、同氏の講演内容を基に、従来MLと生成AIが対立するものではなく、むしろ連続した技術であり、両者を統合することでビジネス価値を最大化できると…

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 Data + AI Summitで発表されたByteDanceのソフトウェアエンジニア、Zilong Zhou氏によるセッション「A Unified Solution for Data Management and Model Training Wit…