APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

Databricks

DatabricksのUnity Catalogを活用したMLOps(2編、検証)

はじめに エーピーコミュニケーションズGDAI事業部Lakehouse部の鄭(ジョン)です。 この記事では、DatabricksのUnity Catalogを活用したMLOpsの実践方法をご紹介します。 シリーズ第2回となる今回は、Databricks の Unity Catalog(UC)を活用してシンプルな …

Databricks Asset Bundlesを活用して、CI/CDをやってみよう:変数設定を活用したカタログ間の移動

はじめに こんにちは、Global Data + AI事業部Lakehouse部の陳(チェン)です。 「Databricks Asset Bundlesを活用して、CI/CDをやってみよう」シリーズの第二弾です。第一編にて話をした「カタログ間のアーティファクトの移動」の実演に「変数参照」を交え…

Databricksで自分の無料RAGチャットボットを作ってみましょう-!

はじめに エーピーコミュニケーションズGDAI事業部Lakehouse部の鄭(ジョン)です。 この記事では、DatabricksのFree Editionを利用してRAGチャットボットを作成する方法をご紹介します。 今回のチャットボットは、Unity Catalogに保存されているテーブルを利…

DatabricksのUnity Catalogを活用したMLOps(1編、概念・事例紹介)

はじめに エーピーコミュニケーションズGDAI事業部Lakehouse部の鄭(ジョン)です。 この記事では、DatabricksのUnity Catalogを活用したMLOpsについてご紹介いたします。 シリーズ投稿の第1回として、基本的な概念と実際の運用事例を取り上げます。 本記事は…

Databricks AppsとLakebaseを連携し、アプリケーションのトランザクションデータを管理する

はじめに GDAI事業部 Lakehouse部の阿部です。 今年のDAISで発表されたLakebaseをあまり触れていなかったのですが、こちらのブログを読んでDatabricks Apps(以下、Appsと表記します)との連携が非常に容易であることを知りました。 https://www.databricks.co…

「MLflow×Databricksで実践するLLMプロンプト管理・最適化入門 〜Prompt Registryと評価・改善のワークフロー解説〜」

はじめに GDAI事業部 Lakehouse部の阿部です。 近年、LLM(大規模言語モデル)の活用が急速に広がり、企業のAI活用現場でも本番運用が進んでいます。しかし、LLMの回答品質を安定的に維持・向上させるためには、プロンプトのバージョン管理や継続的なチュー…

Databricks Asset Bundlesを使い、CI/CDをやってみよう:前準備編

はじめに こんにちは、GDAI事業部Lakehouse部の陳(チェン)です。 久しぶりにブログを執筆します。今回のテーマはDatabricks上、推奨されるCI/CDのプロセス・アセットバンドル(Asset Bundles)についてです。 アセットバンドル(Asset Bundles)の使い方な…

DATA+AI Summit2025(DAIS2025)に関する投稿まとめ(現地時間2025年6月12日分)

はじめに エーピーコミュニケーションズでは現地参加メンバーと日本から視聴するメンバーで連携しDATA+AI SUMMIT2025に関するポータルサイトを展開し、イベントに関する情報をお届けしています。是非ともこちらの特設サイトのチェックもよろしくお願いいたし…

DATA+AI Summit2025(DAIS2025)に関する投稿まとめ(現地時間2025年6月11日分)

はじめに エーピーコミュニケーションズでは現地参加メンバーと日本から視聴するメンバーで連携しDATA+AI SUMMIT2025に関するポータルサイトを展開し、イベントに関する情報をお届けしています。是非ともこちらの特設サイトのチェックもよろしくお願いいたし…

DATA+AI Summit2025(DAIS2025)に関する投稿まとめ(現地時間2025年6月10日分)

はじめに エーピーコミュニケーションズでは現地参加メンバーと日本から視聴するメンバーで連携しDATA+AI SUMMIT2025に関するポータルサイトを展開し、イベントに関する情報をお届けしています。是非ともこちらの特設サイトのチェックもよろしくお願いいたし…

DAIS2025参加レポート:サンフランシスコ出張

はじめに GDAI事業部Lakehouse部の鄭(ジョン)です。今年もDatabricksの最新技術情報をいち早くキャッチするため、アメリカ・サンフランシスコで開催された Data + AI Summit 2025(以下DAIS) に参加してきました。 弊社ではDAISのセッションをレポートして…

AIは「自動化」から「戦略的パートナー」へ:Agentic AIが変えるマーケティングの未来

AIは「自動化」から「戦略的パートナー」へ:AgenticAIが変えるマーケティングの未来 Data+AI Summit 2024で発表されたセッション「Agentic Systems for Bayesian MMM and Consumer Testing」は、マーケティングにおけるAIの役割が新たなステージへと向かっ…

Delta LakeとIcebergは統一されるのか?オープンテーブルフォーマットの未来を紐解く

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 データレイクハウスの世界で今、最も注目されて…

Databricks AppsでデータとAIの価値を最大化する:実践的アプリ開発の最前線

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 Databricksが提供するデータとAIの統合プラット…

Databricksで実現する秒速の世界:Optiver社が明かすリアルタイム取引ダッシュボードの裏側

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 金融市場の最前線では、1秒にも満たない時間が勝…

SAPデータのサイロを破壊せよ:DatabricksとSAP Business Data Cloudが実現する「ノーコピー・リアルタイム」連携の全貌

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 多くの企業にとって、SAPデータはビジネスの根幹…

金融機関におけるAzure Databricks運用術:Erste Groupが語るセキュリティとコスト最適化のリアルな道のり

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 Data + AI Summitで発表されたセッション「Datab…

Databricks導入初期のコスト管理術:最初の100日で実践すべきベストプラクティス

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 DatabricksはデータとAIのための統合プラットフ…

OptiverはいかにしてDatabricksでリアルタイム取引ダッシュボードの「秒単位」レイテンシを実現したか

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 金融市場の最前線では、1秒、いやミリ秒の遅れが…

DatabricksとDSPyで作る、スケーラブルなAIルーティングエージェントの実践ガイド

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 Data + AI Summitで発表されたセッション「Route…

Scribdが実践したデータ取り込みコスト99%削減術:クラウドネイティブアーキテクチャへの移行

Scribdが実践したデータ取り込みコスト99%削減術:クラウドネイティブアーキテクチャへの移行 データエンジニアリングの世界では、大規模データの取り込み(インジェスト)は常にコストと運用負荷の大きな要因です。特に、リアルタイム性を求めれば求めるほ…

ヘルスケア大手Intermountain Healthに学ぶ、責任あるLLM運用の実践的アプローチ

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 生成AI、特に大規模言語モデル(LLM)の活用が急…

PDFの山から宝を掘り出す:Databricks Lakeflowが実現するインテリジェントな非構造化データ処理

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 企業のデータ資産の大部分が、実は活用しきれて…

AIはクリティカルインフラをどう変えるか?原子力・電力業界のDX最前線

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 先日開催されたセッション「Modernizing Critica…

Globe TelecomのMLOps刷新:Databricks統合で処理時間28倍・コスト97%削減を実現した全貌

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 フィリピンの大手通信会社Globe Telecomが、乱立…

従来MLと生成AIの分断を乗り越える:RecSys, Topic Modeling and Agents: Bridging the GenAI-Traditional ML Divide

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 生成AI(GenAI)の波が押し寄せ、多くの開発現場…

ByteDanceはIcebergとMosaic Streamingをどう拡張したか?大規模ML基盤「Magnus Lake」と「ByteD Streaming」の全貌

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 Data + AI Summitで発表されたByteDanceのソフト…

Mercedes-Benzが実践するクロスクラウドData Mesh:Delta SharingとUniFormで実現するコスト効率とデータ連携

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 現代のエンタープライズ環境において、複数のク…

7-Elevenが実践したDatabricks Unity Catalog移行の現実解:UCXツールで複雑な大規模移行を成功に導く

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 DatabricksのUnity Catalog(UC)への移行は、多…

データレイクハウスにおけるトランザクション競合とその解決策

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 データレイクハウスの運用が広がる中で、多くの…