APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

Databricks の検索結果:

DATA+AI Summit 2023 EXPO!! (Contributed by Databricks)

…sident of Databricks, contributed an article about the "DATA+AI Summit 2023 EXPO" being held at the local venue. Articles about the session at DAIS are summarized on the special site below. I would appreciate it if you could see this too. w…

Increasing Trust in Your Data: Enabling a Data Governance Program on Databricks Using Unity Catalog and ML-Driven MDM Part 2/2

…rogram on Databricks Using Unity Catalog and ML-Driven MDM." This presentation emphasizes the importance of data governance and introduces practical examples of its implementation. ​ This blog is divided into two parts, and this time we wil…

DATA+AI Summit 2023 EXPO!!(Databricks社様寄稿)

…じています。 今回はDatabricks社長谷川様より現地会場で開催されている「DATA+AI Summit 2023 EXPO」について寄稿いただきましたので掲載させていただきます。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 こちらも見ていただけると幸いです。 https://www.ap-com.co.jp/data_ai_summit-2023/ DATA+AI Summit 2023 EXPO 本レポートは、EXPOに関してです。 今年…

Scaling Deep Learning Using Delta Lake Storage Format on Databricks(Databricks で Delta Lake ストレージ フォーマットを使用したディープ ラーニングのスケーリング)

はじめに GLB事業部Global Engineering部 佐々木です。 現地でのData + AI SUMMIT2023(DAIS)に参加している永江の報告をもとに、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 https://www.ap-com.co.jp/data_ai_summit-2023/ ビッグデータ時代におけるデータ分析と人工知能のワークロードに対応するキャッシュ戦略の必要性 ​ 今…

Increasing Trust in Your Data: Enabling a Data Governance Program on Databricks Using Unity Catalog and ML-Driven MDM Part 2/2 (データの信頼性の向上: Unity Catalog と ML ドリブン MDM を使用した Databricks でのデータ ガバナンス プログラムの有効化 Part 2/2)

…rogram on Databricks Using Unity Catalog and ML-Driven MDM」を取り上げます。この講演では、データガバナンスの重要性を強調し、具体的な事例を通してその実現方法を紹介しています。 ​ 本ブログは全2部構成で、今回は第2部をお届けします。第1部では、Comcastがデータガバナンスプログラムを実現するために取り組んでいる具体的な取り組みや、Databricks LakehouseアーキテクチャとUnity Catalogを使…

Increasing Trust in Your Data: Enabling a Data Governance Program on Databricks Using Unity Catalog and ML-Driven MDM Part 1/2

…rogram on Databricks Using Unity Catalog and ML-Driven MDM." The theme of the presentation is "Improving Data Trustworthiness through the Implementation of a Data Governance Program," with the aim of emphasizing the importance of data gover…

Increasing Trust in Your Data: Enabling a Data Governance Program on Databricks Using Unity Catalog and ML-Driven MDM Part 1/2 (データの信頼性の向上: Unity Catalog と ML ドリブン MDM を使用した Databricks でのデータ ガバナンス プログラムの有効化 Part 1/2)

…rogram on Databricks Using Unity Catalog and ML-Driven MDM」という講演を取り上げます。講演のテーマは「データガバナンスプログラムの実現によるデータの信頼性向上」であり、データガバナンスの重要性を強調することが目的です。想定するターゲット視聴者は、データガバナンスに興味があるデータエンジニアやデータアナリスト、データの信頼性を高めたい企業の経営者やマネージャー、データガバナンスの導入を検討している企業の担当者です。 ​ …

Maximizing Value From Your Data with Lakehouse AI

…his talk, Databricks' Craig Wiley and Comcast's Jan Neumann will discuss Lakehouse AI, which brings together AI platforms and data layers to enable more intelligent actions based on data. Now let's take a look at Lakehouse AI! Issues with t…

AI Regulation is Coming: The EU AI Act and How Databricks Can Help with Compliance

…I Act and Databricks' Support for Compliance This is Johann from the Global Engineering Department of the GLB Division. I wrote an article summarizing the content of the session based on reports from Mr. Nagae participating in Data + AI SUM…

AI Regulation is Coming: The EU AI Act and How Databricks Can Help with Compliance (AI 規制の到来: EU AI 法と Databricks がコンプライアンスにどのように役立つか)

…EU AI ActとDatabricksによるコンプライアンス支援 ​GLB事業部Global Engineering部 ヨハンです。 現地でのData + AI SUMMIT2023(DAIS)に参加している永江の報告をもとに、セッションの内容をまとめた記事を書きました。​ ​ 今回は、AI規制に関する講演「AI Regulation is Coming: The EU AI Act and How Databricks Can Help with Compliance」を…

Maximizing Value From Your Data with Lakehouse AI(Lakehouse AIでデータから価値を最大化する)

…ます。この講演では、DatabricksのCraig Wiley氏とComcastのJan Neumann氏が登壇し、AIプラットフォームとデータレイヤーを統合することで、データに基づいたよりインテリジェントなアクションを可能にするLakehouse AIについて説明しています。 それでは、早速Lakehouse AIについて見ていきましょう! 現状のAIプラットフォームの課題 現在のAIプラットフォームは、分離された状態で壊れており、データは通常、システムからBlobsto…

Event Driven Real-Time Supply Chain Ecosystem Powered by Lakehouse

…ation and Databricks Utilization ​ ARTC was looking for ways to leverage data and AI to improve operational efficiency, safety, and customer understanding. This required a platform capable of batch and stream data processing, real-time data…

Extending Lakehouse Architecture with Collaborative Identity

Introduction This is May from the GLB Division Lakehouse Department. Based on reports from members participating in the local Data + AI SUMMIT 2023 (DAIS), Share Extending Lakehouse Architecture with Collaborative Identity. The session was …

What it Takes to Democratize AI and ML in a Large Company: The Importance of User Enablement and Technical Training

…nies like Databricks and Microsoft to develop cloud-based platforms Enhancing AI and machine learning education and training for in-house engineers Promote popularization and understanding of AI and machine learning through internal and ext…

JetBlue’s Real-Time AI & ML Digital Twin Journey Using Databricks

…rm called Databricks to leverage real-time AI and ML. Databricks is a cloud-based service that enables efficient large-scale data processing and machine learning. JetBlue uses the platform to build digital twins to reduce latency and improv…

Databricks As Code: How to Effectively Automate a Secure Lakehouse Using Terraform for Resource Provisioning

…uction of Databricks Lakehouse This time, I'm featuring a talk on how to effectively automate a secure Lakehouse using Databricks. Rivian engineer Vadivel Selvaraj and manager Jason Shiverick spoke. Aimed at data engineers, data architects,…

Labelbox | Unlocking Enterprise AI with Your Proprietary Data and Foundation Models (Labelbox | 独自データと基盤モデルでエンタープライズ AI を活用する)

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023(DAIS)に参加しているメンバーの報告をもとに、AIとコンピューティングの指数関数的な進歩と基礎モデルの登場について「Labelbox | Unlocking Enterprise AI with Your Proprietary Data and Foundation Models」を共有します。 このセッションでは、AIシステムの構築方法やデータへの適用方法について、…

Real-Time Streaming Solution for a Call Center Analytics: Business Challenges and Technical Enablement(コールセンター分析のためのリアルタイムストリーミングソリューション: ビジネス課題と技術的イネーブルメント)

…ータの取得と可視化にDatabricks jobを使用していることがわかる。 エージェントのパフォーマンス管理とレポート開発 コールセンターエージェントが作業時間中にパフォーマンスを管理するために使用する、2つの操作レポートが開発されました。これらのレポートは、エージェントが自分のパフォーマンスを把握し、改善するための重要なツールです。 リアルタイムのコール状況レポート: これは、エージェントが現在のコール状況をリアルタイムで確認できるレポートです。コールの状況や待機時間、処…

DATA+AI Summit2023に関する投稿まとめ(2023年6月30日分)

…etting Up Databricks SQL at Enterprise Scale (エンタープライズ規模で Databricks SQL をセットアップするためのベスト プラクティス) Databricks SQL Serverless Under the Hood: How We Use ML to Get the Best Price/Performance(Databricks SQLサーバーレスの裏側:最高の価格/パフォーマンスを得るためのML活用法) Unl…

Introduction to Governance on the Lakehouse for Data, Analytics and AI

Introduction This GLB Business Department Lakehouse Department Chen. Based on the report by Mr. Nagasato, who participated in the local Data + AI SUMMIT 2023 (DAIS), he gave a lecture on data and AI governance, titled "Introduction to Gover…

Building a Real-Time Model Monitoring Pipeline on Databricks

…peline on Databricks: An Overview ​This is Johann from the Global Engineering Department of the GLB Division. I wrote an article summarizing the content of the session based on reports from Mr. Kanemaru participating in Data + AI SUMMIT2023…

Building a Real-Time Model Monitoring Pipeline on Databricks (Databricks でのリアルタイム モデル監視パイプラインの構築)

…peline on Databricks"という講演の内容をお伝えします。この講演では、AploidのCEO兼共同創設者であるAlan Dufkin氏とMMLエンジニアのAnindya Thakkar氏が、モデル監視の重要性を強調し、より良いAI製品や機械学習モデルを構築するための方法を提供しています。ターゲット視聴者は、データサイエンティスト、機械学習エンジニア、データエンジニアの皆さんです。 ​ AploidのMLプラットフォームとデルタデータベースモデルのデモ まずはじ…

Multicloud Data Governance on the Databricks Lakehouse

…ce on the Databricks Lakehouse" based on a report by Mr. Gibo, who is participating in the local Data + AI SUMMIT 2023 (DAIS). Speakers Ioannis Papadopoulos and Volker Tjaden will focus on data governance, explaining aspects such as privacy…

Data Democratization at Michelin

Introduction This is GLB Business Department Lakehouse Department Chen. I would like to introduce the session "Data Democratization at Michelin" based on the report by Mr. Nagasato, who is participating in the local Data + AI SUMMIT2023 (DA…

Managing Data Encryption in Apache Spark™

Introduction This is GLB Business Department Lakehouse Department Chen. Based on a report by Mr. Nagasato, who is participating in the local Data + AI SUMMIT 2023 (DAIS), this lecture entitled "Latest Trends in Data Encryption and Storage U…

Databricks Connect Powered by Spark Connect: Develop and Debug Spark From Any Developer Tool

… lecture "Databricks Connect Powered by Spark Connect: Develop and Debug Spark From Any Developer Tool." In this lecture, Stefania, a product manager at Databricks, and co-presenter Martin Grund aim to introduce how developers can build, de…

Databricks Connect Powered by Spark Connect: Develop and Debug Spark From Any Developer Tool (Spark Connect を利用した Databricks Connect: あらゆる開発者ツールから Spark を開発およびデバッグ)

…先日開催された講演「Databricks Connect Powered by Spark Connect: Develop and Debug Spark From Any Developer Tool」についてお伝えします。この講演では、DatabricksのプロダクトマネージャーであるStefaniaと共同発表者のMonica Roachが、開発者がどのようにSparkを構築、デバッグ、統合できるかを紹介することを目的としています。ターゲット視聴者は、データエンジニア、…

Taking Your Cloud Vendor to the Next Level: Solving Complex Challenges with Azure Databricks

…ith Azure Databricks ​This is Johann from the Global Engineering Department of the GLB Division. I wrote an article summarizing the content of the session based on reports from Mr. Kanemaru participating in Data + AI SUMMIT2023 (DAIS).​ ​ T…

Taking Your Cloud Vendor to the Next Level: Solving Complex Challenges with Azure Databricks ( クラウド ベンダーを次のレベルに引き上げる: Azure Databricks で複雑な課題を解決する)

Azure Databricksを活用したクラウドデータ課題の解決 ​GLB事業部Global Engineering部 ヨハンです。 現地でのData + AI SUMMIT2023(DAIS)に参加している永里の報告をもとに、セッションの内容をまとめた記事を書きました。​ ​ 今回は、先日視聴した講演「Taking Your Cloud Vendor to the Next Level: Solving Complex Challenges with Azure Data…

Optimizing Batch and Streaming Aggregations

…Spark and Databricks expert Jacek Laskowski introduces an overview of Spark SQL and Spark SQL Stream in the latest version of Apache Spark, version 3.4.1. Business people interested in processing and AI, and those interested in Spark and De…