はじめに こんにちは、GLB事業部Lakehouse部の陳（チェン）です。 この記事は エーピーコミュニケーションズAdvent Calendar 2023の13日目の投稿です。 ちょうど折り返しの本日はDatabricks関連資格の取得体験についてです。 目次 はじめに 目次 自己紹介 使…

はじめに こんにちは、GLB事業部Lakehouse部の陳（チェン）です。 本日はDatabricksプラットフォーム上でのLinear RegressionをベースとしたMeachine Learningモデル（MLモデル）の構築についてご紹介いたします。 PySparkのコーディングで、Pipelineを利用…

はじめに こんにちは、GLB事業部Lakehouse部の陳（チェン）です。 Lakehouse部では、Databricksプラットフォーム上でKDB.AIを利用した検証を行っています。 弊社の鄭（ジョン）の記事で、KDB.AIの紹介や利用開始の登録法が紹介されています。 ご興味のある方…

はじめに GLB事業部Lakehouse部の陳（チェン）です。 本日はDatabricks社より公開されたEnglish SDK for Apache Spark（以下English SDK）を利用し、気象情報を可視化することを試してみました。 本記事では、DatabricksのMarketplaceからのデータ取得から、…

はじめに ​GLB事業部Lakehouse部 陳（チェン）です。 現地でのData + AI SUMMIT2023（DAIS）に参加した金丸の報告をもとに、「Databricks Cost Management: Tips and Tools to Stay Under Budget（Databricksコスト管理：予算内にとどまるためのヒントとツー…

はじめに GLB事業部Lakehouse部 陳（チェン）です。Data + AI SUMMIT2023（DAIS）のウェブ配信セッション「Learn How to Reliably Monitor Your Data and Model Quality in the Lakehouse（Lakehouse でデータとモデルの品質を確実に監視する方法を学ぶ）」…

はじめに ​ GLB事業部Lakehouse部 陳（チェン）です。 現地でのData + AI SUMMIT2023（DAIS）に参加した永里の報告をもとに「Generative AI Fundamentals（生成AIの基礎）」というセッションについてご紹介します。 このセッションはDatabricks社のSpecialis…

GLB事業部Lakehouse部の陳（チェン）です。サンフランシスコで開催されているData + AI SUMMIT2023（DAIS2023）に参加している永里の報告をもとに、「How to Build LLMs on Your Company’s Data While on a Budget（予算内で会社のデータにLLMSを構築する方…

はじめに​ GLB事業部Lakehouse部の陳（チェン）です。サンフランシスコで開催されているData + AI SUMMIT2023（DAIS2023）に参加している儀保の報告をもとに、「Best Practices for Running Efficient Apache Spark™ Workloads on Databricks（Databricksで…

はじめに GLB事業部Lakehouse部の陳（チェン）です。サンフランシスコで開催されているData + AI SUMMIT2023（DAIS2023）に参加している永里の報告をもとに、「What's New in Databricks SQL -- With Live Demos（Databricks SQLの新機能 - ライブデモ付き）…

GLB事業部Lakehouse部の陳（チェン）です。サンフランシスコで開催されているData + AI SUMMIT2023（DAIS2023）に参加している永里の報告をもとに、「Accelerating the Development of Viewership Personas with a Unified Feature Store（統一された特徴量…

GLB事業部Lakehouse部の陳（チェン）です。サンフランシスコで開催されているData + AI SUMMIT2023（DAIS2023）に参加している市村の報告をもとに、「What’s New with Data Sharing and Collaboration on the Lakehouse: From Delta Sharing to Clean Rooms…

はじめに GLB事業部Lakehouse部の陳（チェン）です。サンフランシスコで開催されているData + AI SUMMIT2023（DAIS2023）に参加している永江の報告をもとに、「Testing Generative AI Models: What You Need to Know（生成AIモデルのテスト：知る必要がある…

はじめに GLB事業部Lakehouse部の陳（チェン）です。サンフランシスコで開催されているData + AI SUMMIT2023（DAIS）に参加している永里の報告をもとに、「dbt Labs | Leveling Up SQL Transformations in the Lakehouse with dbt（dbtラボ| dbtを使用してLa…

はじめに GLB事業部Lakehouse部の陳（チェン）です。サンフランシスコで開催されているData + AI SUMMIT2023（DAIS）に参加している市村の報告をもとに、「Getting Insight From Anything: Gathering Data With IoT Devices and Delta Live（インサイトを得…

はじめに GLB事業部Lakehouse部 陳（チェン）です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永里の報告をもとに講演「Data Democratization at Michelin（ミシュランでのデータ民主化）」というセッションについてご紹介します。この講演はタイ…

はじめに GLB事業部Lakehouse部 陳（チェン）です。 現地でのData + AI SUMMIT2023（DAIS）に参加している儀保の報告をもとに講演「Optimizing Batch and Streaming Aggregations（バッチとストリーミング集約の最適化）」というセッションについてご紹介し…

はじめに GLB事業部Lakehouse部 陳（チェン）です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永里の報告をもとにデータとAIのガバナンスに関する講演「Introduction to Governance on the Lakehouse for Data, Analytics and AI（データ、分析、…

はじめに GLB事業部Lakehouse部 陳（チェン）です。 現地でのData + AI SUMMIT2023（DAIS）に参加している儀保の報告をもとに「Multicloud Data Governance on the Databricks Lakehouse（Databricks LakehouseでのMulticloudデータガバナンス）」というセッ…

はじめに GLB事業部Lakehouse部 陳（チェン）です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永里の報告をもとに「Apache Spark™を活用したデータ暗号化とストレージの最新動向」というセッションの内容をまとめて、記事としてご紹介します。こ…

はじめに GLB事業部Lakehouse部の陳(チェン)です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永江の報告をもとに、セッションの内容をまとめた記事を書きました。 本記事では、"The Future is Open: Data Streaming in an Omni-Cloud Reality"と…

はじめに GLB事業部Lakehouse部の陳(チェン)です。 先日、弊社の市村が「Data + AI Summit 2023特設サイト」について紹介いたしました。 本記事では「Data + AI Summit 2023」の見どころをご紹介いたします。 本日は、技術の部分ではなく、データの応用例の…

はじめに GLB事業部Lakehouse部の陳です。先日に弊社の松崎がDatabricksからFivetranへの接続について説明しました（記事はこちら）。今回は、FivetranからDatabricksへの接続方法を説明します。少し手間がかかりますので、松崎の方法がうまくできない場合の…