Databricks AI/BI GenieとTeamsの連携：チャットで実現する次世代のセルフサービスBI DatabricksのソリューションアーキテクトであるRyan Bates氏と、米国の家具販売チェーンRooms To Goでデータエンジニアリングを担当するNathan Sundararajan氏による講演「Empowering Business Users With Databricks — Integrating AI/BI Genie With Microso…

…うか。 本記事では、DatabricksのSr. Resident Solutions ArchitectであるMarcin Wojtyczka氏とNeha Milak氏による講演「Elevating Data Quality Standards With Databricks DQX」の内容を基に、データ品質管理の新たな選択肢となるオープンソースフレームワーク「Databricks DQX」を徹底解説します。 この記事は、Databricks環境でより堅牢なデータパイプライ…

…ネクテッドカー戦略：Databricksで実現するデータ価値最大化とプライバシー保護の両立 自動車がインターネットと常時接続される「コネクテッドカー」。その膨大なデータは、私たちの移動をより安全で快適なものに変える可能性を秘めています。一方で、GDPR（EU一般データ保護規則）に代表されるように、世界中で個人データ保護の規制は年々強化されており、企業はデータ活用とプライバシー保護という二つの大きな課題に直面しています。 この難題に、自動車業界の巨人はどう立ち向かっているのでし…

実世界に即したAIペルソナデータセット AIのトレーニングデータは、その性能と公平性を左右する生命線です。しかし、インターネットから収集されたデータは、特定の層に偏りがちで、現実世界の多様性を反映しているとは言えません。この根深い課題に、NVIDIAの研究者であるYev Meyer氏とDane Corneil氏が「Improve AI Training With the First Synthetic Personas Dataset Aligned to Real-Worl…

DatabricksとDSPyで加速するマルチエージェント開発：単一LLMの限界を超える実践的アプローチ 生成AIの世界では、単一の巨大な言語モデル（LLM）にすべてを任せる時代が終わりを告げようとしています。代わって注目を集めているのが、複数の専門エージェントが協調してタスクをこなす「マルチエージェントシステム」です。本記事では、DatabricksのDelivery Solutions ArchitectであるAustin Choi氏による講演「Accelerate En…

DatabricksとMCPで作る、次世代AIエージェント開発の最前線 Databricksが開催したセッション「Building Tool-Calling Agents With Databricks Agent Framework and MCP」では、同社のElise氏とSid氏が登壇し、AIエージェント開発における新たな標準となりうる「Model Context Protocol（MCP）」を活用した実践的なアプローチを解説しました。本記事では、このセッションの内容を…

…d DSPy at Databricks」で、DatabricksのリサーチサイエンティストでありDSPyの創設者でもあるOmar Khattab氏が、この根深い課題に対する強力なソリューションとして「DSPy 3.0」を発表しました。本記事では、同氏の講演内容と関連リサーチをもとに、DSPyがどのようにLLM開発のパラダイムを変えようとしているのかを詳しく解説します。 ※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客…

…akehouse部 Databricksが主催するData + AI Summitでは、毎年データとAIの未来を形作る新技術が発表されます。本記事では、その中からDatabricksのSr. Staff Product ManagerであるAdriana Ispas氏とPrincipal EngineerのLennart Kats氏による講演「Lakeflow in Production: CI/CD, Testing and Monitoring at Scale」を基に、…

Databricks Data + AI Summit 2025 Keynote 2日目 Databricks Data + AI Summit 2025のKeynote 2日目では、データとAIの活用をさらに加速させる、エンジニアにとってもビジネスユーザーにとっても非常に興味深い発表が目白押しでしたね。今回は、「Data Intelligence for All（すべての人のためのデータインテリジェンス）」というテーマのもと、データエンジニアリングからAI/BIまで、プラッ…

Databricks Data + AI Summit 2025 Keynote 1日目 Databricks Data + AI Summit 2025のKeynote 1日目では、データとAIの民主化をさらに推進し、企業におけるAI活用を加速させるための画期的な発表がいくつもありました。データとAIの複雑な環境をシンプルにし、より多くの人がAIを活用できるようにするというDatabricksのビジョンが色濃く反映されていたように感じられます。 ※本記事は、Data + A…

…す。 本ブログでは、Databricksのリリースノートにて発表されている最新情報から、実際に試用して効果を確認した過程と結果についてご紹介いたします。 AI/BI リリースノート 2025 | Databricks Documentation DatabricksのリリースノートでDatabricksのアップデート情報を定期的にチェックし、技術トレンドをキャッチアップするとともに、最新技術の活用の参考にしたい・してもらいたいという狙いです。 2025年5月末時点で、最新リリ…

…ころ。 そんな中で、Databricksからベータ版として登場した「ナレッジアシスタント」は、まさにそのギャップを埋めてくれそうな機能だと感じました。 ナレッジアシスタントは、Databricksが提供するAI機能の一つであり、組織内に蓄積された膨大なドキュメントの情報をもとに、ユーザの問いかけに対して 自然な対話形式で回答を返すAIアシスタントです。 単なるFAQツールとは異なり、生成AIの特性を活かして柔軟な質問にも対応できる点が、大きな特徴です。 今回は、このナレッジア…

…の管理が不可欠です。Databricksでは、UDF（User-Defined Function）を活用することでデータマスキングを適用できます。 データ管理者は、元のデータに対して何らかの操作を行う必要がある場合があります。一方で、データアナリストは機密性の低いデータのみを閲覧することが求められるため、マスキングは通常アクセス制御と併用されます。 文章の構成は4つのパートに分かれています。 Part 1：マスキング関数を使用する際の前提条件と制限 Part 2：マスキング関…

…ログ（と前編）では、Databricks社の Training machine learning models on tabular data: an end-to-end example (Unity Catalog) を参照して（2025年1月16日時点）、MLflow & Hyperoptを活用したDatabricks上で機械学習を効率化させるための実装方法について紹介します。 ひとつのパターンとして本ブログでの一連の実行の流れを覚えておけると他のケースでも応用できるの…

…ログ（と後編）では、Databricks社の Training machine learning models on tabular data: an end-to-end example (Unity Catalog) を参照して（2025年1月16日時点）、MLflow & Hyperoptを活用したDatabricks上で機械学習を効率化させるための実装・管理方法について紹介します。 ひとつのパターンとして本ブログでの一連の実行の流れを覚えておけると他のケースでも応用で…

目次 目次 はじめに 受験前の知識レベル 学習期間 学習の流れ 受験 カバー範囲 勉強になったことまたは苦労したこと 参考 さいごに はじめに GDAI事業部Lakehouse部のメイです。 本記事では Professional Scrum Master I (PSM I) 試験の学習内容を紹介したいと思います。 受験前の知識レベル 大学でWaterfall, Agile, DSDM（Dynamic systems development method）について勉強した So…

…藤です。 このたび、Databricks Certified Generative AI Engineer Associateに日本語で合格しました。 この資格は今年から始まったもので、日本語の情報がまだ少ない状況です。 受験を考えている方の参考になればと思い、私が行った対策をまとめました。 試験概要 試験概要は以下の公式サイトで確認できます。 www.databricks.com また、公式ガイドも公開されており、例題が5問掲載されていますので、ぜひ目を通しておくことをおす…

…ブログシリーズでは、Databricks上でのdbt活用に役立つ実践的なTipsをお届けします。 初めてdbtに触れる方から、既に使い慣れている方まで、幅広い層に向けた内容となっています。 また、11月には本シリーズに関連したウェビナーも予定していますので、ぜひご期待ください。 これからの投稿をお見逃しなく！ ウェビナーへのお申し込みはこちらからお願い致します。 本ブログは、dbt × Databricksによるデータ処理と品質管理の最適化①の続編です。 前回同様に本ブログも…

…ブログシリーズでは、Databricks上でのdbt活用に役立つ実践的なTipsをお届けします。 初めてdbtに触れる方から、既に使い慣れている方まで、幅広い層に向けた内容となっています。 また、11月には本シリーズに関連したウェビナーも予定していますので、ぜひご期待ください。 これからの投稿をお見逃しなく！ ウェビナーへのお申し込みはこちらからお願い致します。 本ブログは、Databricks社の「Best Practices for Super Powering Your…

…ブログシリーズでは、Databricks上でのdbt活用に役立つ実践的なTipsをお届けします。初めてdbtに触れる方から、既に使い慣れている方まで、幅広い層に向けた内容となっています。また、11月には本シリーズに関連したウェビナーも予定していますので、ぜひご期待ください。 ウェビナーへのお申し込みはこちらからお願い致します。 このブログでは「Databricksでdbtセマンティックレイヤーを可視化する」をテーマに検証した結果をご報告させていただきます。 はじめに セマンテ…

…ップ 文と埋め込みをDatabricksテーブルに保存する テーブルから文と埋め込みを読み込む Databricksドライバーサイズを増やす ベクトルインデックスの構築 ベクトルサーチを実行 最適化手法 ベンチマーク 次元削減 主成分分析 (Principal component analysis a.k.a. PCA) インクリメンタルPCA 寄与率 (Explained Variance Ratio) 直積量子化 (Product Quantization) パーティショ…

…の阿部です。 先日、Databricks Certified Machine Learning Associateに合格しました! credentials.databricks.com 本記事では、試験の概要と試験対策について解説します。 Machine Learningに入門したい方、DatabricksのMachine Learningのコンポーネントを理解したい方にはオススメの試験となっております。 Data Engineer AssociateとProfessiona…

…グ投稿になる本日は、Databricksにおけるデータを取り込む際、スキーマ変更対応の機能の紹介です。 はじめに 前提条件 想定状況 テストデータ それぞれの悩みに対応する解決法 パタン：(a) 取り込むスキーマ不変 パタン：(b)-1 事前コード変更による対応 パタン：(b)-2 新規カラムとして追加 パタン：(b)-3 新しいカラムをまとめて保存しておく おわりに 最後に これまでの実務上、データパイプラインを作成する際、最初に悩むところはデータの取り込みです。 おおよそ…

…use部の阿部です。Databricksが主催するDATA + AI SUMMIT 2024(DAIS)に参加しました。DAISが終わってから1週間経ちましたが、興奮が収まっていません。本記事では、DAISを含むおよそ1週間の出張をダイジェストでお伝えしたいと思います。DAISやサンフランシスコ市街の雰囲気が伝わればと考えております。 弊社ではDAISのセッションを現地からレポートしており、以下の特設サイトからセッションごとの解説ブログを参照できます。 www.ap-com.…

…ことを可能にします。Databricksとのパートナーシップにより、プロビデンス・ヘルスケアのサーバーレス環境での予測モデルの開発は、努力の必要なく、絶えず改善し、スケーリングを促進します。 プロビデンス・ヘルスケアのモデルリスク管理とサーバーレステクノロジーをMLOpsに組み込む努力は、AI/MLモデルの開発と運用の大幅な改善を証明しました。この効率的な統合は、広大な医療領域内のこれらの進歩的な技術概念がAI／MLモデルのデプロイメントにおける革新的なブレイクスルーを約束す…

…へとつながります。 Databricks Data + AI Summit（DAIS）2024の会場からセッション内容や様子をお伝えする特設サイトをご用意しました！DAIS2024期間中は毎日更新予定ですので、ぜひご覧ください。 www.ap-com.co.jp 私たちはDatabricksを用いたデータ分析基盤の導入から内製化支援まで幅広く支援をしております。 もしご興味がある方は、お問い合わせ頂ければ幸いです。 www.ap-com.co.jp また、一緒に働いていただけ…

…ーカルにホストされたDatabricks GPUインフラストラクチャを利用してベクトル化を行うことで、プロセスが合理化され、コストが削減されます。 この方法では、ドキュメントからコンテンツを抽出し、データを外部サービスに送信する代わりに、ローカルGPUで直接ベクトル化します。 並行ベクトル化プロセスの構築 例えば2,500万ドキュメントのような大規模なデータセットのベクトル化を効果的に管理するためには、複数のGPUを使用して並行処理を実装することが不可欠です。 このセットアッ…

…を期待しています。 Databricks Data + AI Summit（DAIS）2024の会場からセッション内容や様子をお伝えする特設サイトをご用意しました！DAIS2024期間中は毎日更新予定ですので、ぜひご覧ください。 www.ap-com.co.jp 私たちはDatabricksを用いたデータ分析基盤の導入から内製化支援まで幅広く支援をしております。 もしご興味がある方は、お問い合わせ頂ければ幸いです。 www.ap-com.co.jp また、一緒に働いていただけ…

…期待されています。 Databricks Data + AI Summit（DAIS）2024の会場からセッション内容や様子をお伝えする特設サイトをご用意しました！DAIS2024期間中は毎日更新予定ですので、ぜひご覧ください。 www.ap-com.co.jp 私たちはDatabricksを用いたデータ分析基盤の導入から内製化支援まで幅広く支援をしております。 もしご興味がある方は、お問い合わせ頂ければ幸いです。 www.ap-com.co.jp また、一緒に働いていただけ…

…ることができます。 Databricks Data + AI Summit（DAIS）2024の会場からセッション内容や様子をお伝えする特設サイトをご用意しました！DAIS2024期間中は毎日更新予定ですので、ぜひご覧ください。 www.ap-com.co.jp 私たちはDatabricksを用いたデータ分析基盤の導入から内製化支援まで幅広く支援をしております。 もしご興味がある方は、お問い合わせ頂ければ幸いです。 www.ap-com.co.jp また、一緒に働いていただけ…