APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

Databricks

Planning and Executing a Snowflake Data Warehouse Migration to Databricks Part 2/2 (Snowflake Data Warehouse の Databricks への移行の計画と実行 Part 2/2)

SnowflakeからDatabricksへのデータウェアハウス移行計画とその実行 ​​GLB事業部Global Engineering部 ヨハンです。 ​ 今日は、データウェアハウスのマイグレーションについてお話しします。特に、SnowflakeからDatabricksへの移行について詳しく解説します…

Planning and Executing a Snowflake Data Warehouse Migration to Databricks Part 1/2 (Snowflake Data Warehouse の Databricks への移行の計画と実行 Part 1/2)

SnowflakeからDatabricksへのデータウェアハウス移行計画と実行:その全貌とは? ​​GLB事業部Global Engineering部 ヨハンです。 ​ 今回は、データウェアハウスのマイグレーション、つまりSnowflakeからDatabricksへの移行について語りたいと思います。この…

Project Aqueduct: Simplify Making Delta Lake Tributaries (Project Aqueduct: デルタレイクの支流の作成を簡素化)

はじめに ​​GLB事業部Global Engineering部 ヨハンです。 ​ 今回は、Project Aqueductに関する講演の情報をお届けします。この講演では、DeltaカーネルとDeltaプロトコルを使用したコネクタの構築の簡素化について説明されました。講演のテーマと目的は、複…

Best Practices for Setting Up Databricks SQL at Enterprise Scale (エンタープライズ規模で Databricks SQL をセットアップするためのベスト プラクティス)

はじめに ​​GLB事業部Global Engineering部 ヨハンです。 ​ 今回は、エンタープライズスケールでDatabricks SQLを活用するためのベストプラクティスについて紹介した講演を視聴しました。この講演では、データウェアハウスの設定において、Databricks SQLを…

Develop Like a Pro in Databricks Notebooks Part 2 of 2 ( Databricks ノートブックでプロのように開発するパート 2/2)

Databricksノートブックでプロのように開発するための新機能とその使い方 ​​GLB事業部Global Engineering部 ヨハンです。 ​ 今回は、データ&AIの世界で話題のDatabricksノートブックについて、その新機能と使い方をご紹介します。この記事は全2部構成の第2部…

Develop Like a Pro in Databricks Notebooks Part 1 of 2 ( Databricks ノートブックでプロのように開発するパート 1/2)

はじめに ​​GLB事業部Global Engineering部 ヨハンです。 今回は、"Develop Like a Pro in Databricks Notebooks"という講演を取材しました。この講演は、Databricksノートブックを使用してプロのように開発する方法を紹介するもので、発表者はノートブック…

Delta Sharing: The Key Data Mesh Enabler Part 2 (デルタ共有: 主要なデータ メッシュ実現要因 Part 2)

はじめに ​​GLB事業部Global Engineering部 ヨハンです。 ​ 今回は、データメッシュとDelta Sharingについての講演「Delta Sharing: The Key Data Mesh Enabler」を取り上げます。講演者は、AvanadeのデータエンジニアリングディレクターであるFrancesco Piz…

Delta Sharing: The Key Data Mesh Enabler Part 1 (デルタ共有: 主要なデータ メッシュ実現要因 Part 1)

はじめに ​​GLB事業部Global Engineering部 ヨハンです。 ​ 今回は、データメッシュのエンエーブラーについて解説する講演「Delta Sharing: The Key Data Mesh Enabler」を取り上げます。この講演では、データメッシュの主要なエンエーブラーであるDelta Sha…

Microsoft | Next-Level Analytics with Power BI and Databricks (マイクロソフト | Power BI と Databricks による次のレベルの分析)

Power BIとDatabricksがもたらすデータイノベーション ​​GLB事業部Global Engineering部 ヨハンです。 ​ 今回は、Microsoftの講演「Next-Level Analytics with Power BI and Databricks」について、わかりやすく解説していきたいと思います。この講演では、P…

Data + AI Summit 2023 Keynote Day 2 最新発表情報 Part 3

AIの実用的な限界と潜在的な利点 - Data + AI Summit Keynote Day 2 ​ GLB事業部Global Engineering部 ヨハンです。 Data + AI Summit Keynote Day 2のレポートをお届けします。今回は、AIの実用的な限界と潜在的な利点についての話題が盛りだくさんです。前…

Data + AI Summit 2023 Keynote Day 2 最新発表情報 Part 2

データとAIの民主化に向けた取り組みと技術革新 - Data + AI Summit Keynote Day 2 ​​GLB事業部Global Engineering部 ヨハンです。 ​ 今回は、Data + AI Summit Keynote Day 2の講演についてお話ししたいと思います。この講演では、データとAIの民主化に向け…

Data + AI Summit 2023 Keynote Day 2 最新発表情報 Part 1

AIの将来と進化について議論されたData + AI Summit Keynote Day 2 ​​GLB事業部Global Engineering部 ヨハンです。 今回は、Data + AI Summit Keynote Day 2の講演についてお話ししたいと思います。この講演では、AIの将来と進化について話し合い、AIの価値…

The Hitchhiker's Guide to Delta Lake Streaming(Delta Lakeストリーミングについてのヒッチハイカーズガイド)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、データ収集プロセスの改善ついての「The Hitchhiker's Guide to Delta Lake Streaming」を共有します。このセッションでは、シニア…

The Future of Data Management and Governance(データ管理とガバナンスの未来)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、 データ管理とガバナンスの未来についての「The Future of Data Management and Governance」を共有します。 このセッションでは、L…

Embracing the Future of Data Engineering: The Serverless, Real-Time Lakehouse in Action(サーバーレスとストリーミングデータを活用したデータエンジニアリングの未来)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、データエンジニアリングの未来を切り開くサーバーレス技術とストリーミングデータについての「Embracing the Future of Data Engine…

Fine Tuning and Scaling Hugging Face with Ray AIR(Ray AIR を用いたHugging Faceの微調整とスケーリング)

はじめに GLB事業部Global Engineering部 佐々木です。 現地でのData + AI SUMMIT2023(DAIS)に参加している儀保の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 htt…

Unlock the Next Evolution of the Modern Data Stack With the Lakehouse Revolution(レイクハウス革命で最新のデータスタックの次の進化のロックを解除する)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、 「Unlock the Next Evolution of the Modern Data Stack With the Lakehouse Revolution」を共有します。 このセッションは、Datab…

Factory of the Future: Case Study of Building Digital Twins Using Knowledge Graphs and Generative AI(未来の工場: ナレッジ グラフと生成 AI を使用したデジタル ツイン構築のケース スタディ)

はじめに GLB事業部Global Engineering部 佐々木です。 現地でのData + AI SUMMIT2023(DAIS)に参加している金丸の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 htt…

How to Build a Metadata Driven Data Pipelines with Delta Live Tables(Delta Live Tablesでメタデータ主導のデータパイプラインを構築する方法)

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023(DAIS)に参加した市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、Delta Live Tablesを使用したメタデータ駆動のデータパイプラインの構築方法について…

Data Biases and Generative AI: A Practitioner Discussion(データバイアスと生成AIについて学ぶ)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、データバイアスと生成AIに関する「Data Biases and Generative AI: A Practitioner Discussion」を共有します。このセッションでは…

The Best Data Warehouse is a Lakehouse: How Databricks Achieves Operational Efficiency With the Lakehouse Architecture(最適なデータ ウェアハウスはレイクハウス:Databricks が Lakehouse アーキテクチャで運用効率を達成する方法)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、データウェアハウスとデータレイクを組み合わせた新しいアーキテクチャ、「レイクハウス」についての「The Best Data Warehouse is …

Databricks Marketplace: Going Beyond Data and Applications(Databricks Marketplace: データとアプリケーションを超えて)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、Databricks Marketplaceについての 「Databricks Marketplace: Going Beyond Data and Applications」を共有します。このセッション…

Delta Live Tables A to Z: Best Practices for Modern Data Pipelines part2(デルタ ライブ テーブル A to Z: 最新のデータ パイプラインのベスト プラクティス part2)

はじめに GLB事業部Global Engineering部 佐々木です。 現地でのData + AI SUMMIT2023(DAIS)に参加し、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 https://www.ap-com.co.jp/da…

De-Risking Language Models for Faster Adoption (言語モデルのリスクを軽減してより迅速な導入を実現)

AI監査とリスク管理の重要性を学ぶ講演をレポート ​GLB事業部Global Engineering部 ヨハンです。 現地でのData + AI SUMMIT2023(DAIS)に参加している市村の報告をもとに、セッションの内容をまとめた記事を書きました。​ ​ 今回は、AI技術に関心がある方や…

Delta Live Tables A to Z: Best Practices for Modern Data Pipelines part1(Delta Live Tables A to Z: 最新のデータ パイプラインのベスト プラクティス part1)

はじめに GLB事業部Global Engineering部 佐々木です。 現地でのData + AI SUMMIT2023(DAIS)に参加し、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 https://www.ap-com.co.jp/da…

Databricks SQL Serverless Under the Hood: How We Use ML to Get the Best Price/Performance(Databricks SQLサーバーレスの裏側:最高の価格/パフォーマンスを得るためのML活用法)

はじめに GLB事業部Lakehouse部の阿部です。バーチャルで参加したData + AI SUMMIT2023(DAIS)のセッションの内容をまとめた記事を書きました。 Databricks SQL Serverlessの講演「Databricks SQL Serverless Under the Hood: How We Use ML to Get the Bes…

Databricks Cost Management: Tips and Tools to Stay Under Budget(Databricksコスト管理:予算内にとどまるためのヒントとツール)

はじめに ​GLB事業部Lakehouse部 陳(チェン)です。 現地でのData + AI SUMMIT2023(DAIS)に参加した金丸の報告をもとに、「Databricks Cost Management: Tips and Tools to Stay Under Budget(Databricksコスト管理:予算内にとどまるためのヒントとツー…

Learn How to Reliably Monitor Your Data and Model Quality in the Lakehouse(Lakehouse でデータとモデルの品質を確実に監視する方法を学ぶ)

はじめに GLB事業部Lakehouse部 陳(チェン)です。Data + AI SUMMIT2023(DAIS)のウェブ配信セッション「Learn How to Reliably Monitor Your Data and Model Quality in the Lakehouse(Lakehouse でデータとモデルの品質を確実に監視する方法を学ぶ)」…

A Fireside Chat: Building Your Startup on Databricks (囲炉裏チャット: Databricks でスタートアップを構築する)

Databricksとのパートナーシップでデータ分析能力を向上させるスタートアップ企業 GLB事業部Global Engineering部 ヨハンです。 現地でのData + AI SUMMIT2023(DAIS)に参加している永里の報告をもとに、セッションの内容をまとめた記事を書きました。​ ​ …

Experience the New Era of Data & AI: Taking Bold Steps(データAIの新時代を体験する:大胆な一歩を踏み出す)-02

はじめに GLB事業部Lakehouse部の阿部です。現地でのData + AI SUMMIT2023(DAIS)に参加した市村の報告をもとに、セッションの内容をまとめた記事を書きました。 今回は、エネルギー企業Petronas社がデータAIソリューションを活用してビジネスのパフォーマ…