APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

DATA+AI Summit2025(DAIS2025)に関する投稿まとめ(現地時間2025年6月12日分)

はじめに エーピーコミュニケーションズでは現地参加メンバーと日本から視聴するメンバーで連携しDATA+AI SUMMIT2025に関するポータルサイトを展開し、イベントに関する情報をお届けしています。是非ともこちらの特設サイトのチェックもよろしくお願いいたし…

DATA+AI Summit2025(DAIS2025)に関する投稿まとめ(現地時間2025年6月11日分)

はじめに エーピーコミュニケーションズでは現地参加メンバーと日本から視聴するメンバーで連携しDATA+AI SUMMIT2025に関するポータルサイトを展開し、イベントに関する情報をお届けしています。是非ともこちらの特設サイトのチェックもよろしくお願いいたし…

DATA+AI Summit2025(DAIS2025)に関する投稿まとめ(現地時間2025年6月10日分)

はじめに エーピーコミュニケーションズでは現地参加メンバーと日本から視聴するメンバーで連携しDATA+AI SUMMIT2025に関するポータルサイトを展開し、イベントに関する情報をお届けしています。是非ともこちらの特設サイトのチェックもよろしくお願いいたし…

Databricks AppsでデータとAIの価値を最大化する:実践的アプリ開発の最前線

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 Databricksが提供するデータとAIの統合プラット…

Databricksで実現する秒速の世界:Optiver社が明かすリアルタイム取引ダッシュボードの裏側

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 金融市場の最前線では、1秒にも満たない時間が勝…

ByteDanceはIcebergとMosaic Streamingをどう拡張したか?大規模ML基盤「Magnus Lake」と「ByteD Streaming」の全貌

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 Data + AI Summitで発表されたByteDanceのソフト…

生成AIは「共感」を教えられるか?マルチエージェントが拓く医療コミュニケーションの新たな地平

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 医療現場における患者と医療従事者のコミュニケ…

Mercedes-Benzが実践するクロスクラウドData Mesh:Delta SharingとUniFormで実現するコスト効率とデータ連携

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 現代のエンタープライズ環境において、複数のク…

7-Elevenが実践したDatabricks Unity Catalog移行の現実解:UCXツールで複雑な大規模移行を成功に導く

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 DatabricksのUnity Catalog(UC)への移行は、多…

データレイクハウスにおけるトランザクション競合とその解決策

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 データレイクハウスの運用が広がる中で、多くの…

DatabricksとD&Bが拓く、次世代マスターデータ管理(MDM)の現実解

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 企業活動の根幹をなすデータ。しかし、そのデー…

データの名寄せは新たなステージへ:ベクトル検索とLLMが拓くエンティティ解決の最前線

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 データが爆発的に増え続ける現代において、異な…

チャットボットの先へ:Agentic AIが保険引受プロセスを数週間から数分に短縮する未来

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 DatabricksのAmit Kumar Jha氏とMarcela Granado…

DatabricksのMosaic AIが拓く、本番AIシステムの構築とスケーリングの未来

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 エンタープライズ環境で生成AIを本格的に導入し…

ドメイン特化型AIエージェントの品質をどう測るか? MLflow 3とLLMジャッジによる実践的アプローチ

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 ドメイン特化型AIエージェントの品質をどう測る…

ArizeとDatabricks ML Flowによるエージェントの自己改善とエージェント評価

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 生成AIエージェントは自ら賢くなるのか? 生成AI…

Databricks Lakeflow本格運用ガイド:CI/CD、テスト、監視をスケールさせる新手法

※本記事は、Data + AI Summit のセッションを現地で視聴したエンジニアが、内容をできる限り客観的に共有することを目的に、生成AIを活用して作成したものです。 ― エーピーコミュニケーションズ Lakehouse部 Databricksが主催するData + AI Summitでは、毎…

Databricks Certified Machine Learning Associate合格

はじめに GLB事業部Lakehouse部の阿部です。 先日、Databricks Certified Machine Learning Associateに合格しました! credentials.databricks.com 本記事では、試験の概要と試験対策について解説します。 Machine Learningに入門したい方、DatabricksのMach…

DAIS参加レポート:サンフランシスコ出張

はじめに GLB事業部Lakehouse部の阿部です。Databricksが主催するDATA + AI SUMMIT 2024(DAIS)に参加しました。DAISが終わってから1週間経ちましたが、興奮が収まっていません。本記事では、DAISを含むおよそ1週間の出張をダイジェストでお伝えしたいと思い…

Part4:Data + AI Summit 2024のご紹介(Data Intelligence Platformが生まれるまで)

はじめに GLB事業部Lakehouse部の阿部です。 Databricks社が主催するDATA + AI SUMMIT(DAIS)が今年も開催されます! Databricksは去年の秋ごろに、レイクハウスプラットフォームというシステムからData Intelligence Platformという新世代のシステムを発表…

Part2: Data + AI Summit 2024のご紹介( Generative AI (GenAI) )

はじめに GLB事業部Lakehouse部の阿部です。 Databricks社が主催するDATA + AI SUMMIT(DAIS)が今年も開催されます! www.databricks.com 6/10〜13日にサンフランシスコで開催され、開催まで約1か月となりました。 今年も特設サイトにて現地レポートやセッ…

【Databricks活用方法LT】VSCodeでのDatabricks開発もお勧めしたい

はじめに GLB事業部 Lakehouse部の阿部です。 先日、こちらのイベントでDatabricksの活用方法をテーマに発表しました。 findy.connpass.com 本記事では、イベントで発表したVisual Studio Code(VSCode)におけるDatabricksの開発方法をご紹介します。 はじ…

私がDatabricks Data Engineer Professionalに合格した方法

はじめに GLB事業部Lakehouse部の阿部です。 先日、Databricksの認定資格であるData Engineer Professionalに合格しました。 credentials.databricks.com 本記事では、試験の概要と試験対策についてAssociateとの比較も含めて述べております。 Data Engineer…

【IaC】TerraformでAzure Databricksワークスペースのリソースを管理する

はじめに GLB事業部Lakehouse部の阿部です。 Databricks Advent Calendar 2023の15日目の記事です。 TerraformでDatabricksワークスペースのデプロイ、管理にフォーカスして記事を書きました。 前編・後編に分かれており、本記事は後編でリソース管理につい…

【IaC】TerraformでAzure Databricksのワークスペースをデプロイ

はじめに GLB事業部Lakehouse部の阿部です。 エーピーコミュニケーションズAdvent Calendar 2023の15日目の投稿です。 前編・後編に分けて、TerraformでDatabricksワークスペースをデプロイ・管理する方法について解説します。 前編では、ワークスペースをデ…

レイクハウスフェデレーションによるpostgreSQLとの連携

はじめに GLB事業部Lakehouse部の阿部です。 今年のData + AI SUMMITで発表されたLakehouse Federation(レイクハウスフェデレーション)をさわってみました。 https://learn.microsoft.com/ja-jp/azure/databricks/query-federation/postgresql 注意 記事執…

RDSとFivetranをPrivateLink接続し、Databricksにincremental syncする

はじめに GLB事業部Lakehouse部の阿部です。 今回は、FivetranとRDSをAWS PrivateLinkを使って接続し、DestinationのDatabricksワークスペースにincremental sync(差分更新)する方法を解説します。 Fivetranとは、クラウドベースのELT(Extract, Load, Tra…

入門KDB.AI (6) - サンプルコード(Image Search)

はじめに GLB事業部Lakehouse部の阿部です。 本記事では、KDB.AIによる頭部MRI画像との類似画像を検索する方法を紹介します。 KDB.AIは、KX systemsが提供するナレッジベースのベクトルデータベースと検索エンジンです。ベクトルデータベースは膨大な量のテ…

Copilotを活用したDatabricksの開発がはかどりそう。

はじめに 本記事の結論 GitHub Copilotとは VscodeでDatabricksを使うための準備 GitHub Copilotでdatabricksを動かしてみる SQL クエリーを使う準備 SQL クエリーを実行する おわりに はじめに GLB事業部Lakehouse部の阿部です。 コメントからコードをサジ…

How to Build a Metadata Driven Data Pipelines with Delta Live Tables(Delta Live Tablesでメタデータ主導のデータパイプラインを構築する方法)

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023(DAIS)に参加した市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、Delta Live Tablesを使用したメタデータ駆動のデータパイプラインの構築方法について…