… Day with Databricks and RudderStack" was held, introducing how Rec Room utilizes Rudder Stack and Databricks to process 10 billion events per day and improve user gaming experiences. The speakers were Albert, a Senior AI Engineer at Rec Ro…

…dderStackとDatabricksを活用して、1日に10億件のイベントを処理し、ユーザーのゲーム体験を向上させる方法を紹介する講演「How Rec Room Processes Billions of Events Per Day with Databricks and RudderStack」が開催されました。講演者は、Rec RoomのシニアAIエンジニアであるAlbertさんと、RudderStackのカスタマーエンジニアリングチームのリーダーであるLouis B…

…worked at Databricks for over five years, discusses the importance of real-time data processing and the need to implement well-timed architectures. The intended target audience is technologists interested in data & AI, business leaders inte…

…etting Up Databricks SQL at Enterprise Scale Databricks SQL Serverless Under the Hood: How We Use ML to Get the Best Price/Performance Unlock the Next Evolution of the Modern Data Stack With the Lakehouse Revolution Data Engineering The Hit…

はじめに GLB事業部Lakehouse部 陳（チェン）です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永里の報告をもとに講演「Data Democratization at Michelin（ミシュランでのデータ民主化）」というセッションについてご紹介します。この講演はタイヤ業界のリーダーであるミシュランによる行ったものでした。ミシュランがタイヤ技術において取り組んでいる最新技術やデータ活用について紹介され、データ民主化の重要性が強調されま…

…che SparkとDatabricksに精通しているJacek Laskowski氏による、Apache Sparkの最新バージョン3.4.1におけるSpark SQLとSpark SQL Streamに関する概要が紹介されました。対象者は、Apache SparkやDatabricksに興味がある技術者や、データ処理やAIに関心があるビジネスパーソン、そしてSparkとDelta Lakeに興味がある方です。 Spark SQL Spark SQLは、Apache Spa…

はじめに GLB事業部Lakehouse部 陳（チェン）です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永里の報告をもとにデータとAIのガバナンスに関する講演「Introduction to Governance on the Lakehouse for Data, Analytics and AI（データ、分析、AIのためのレイクハウスのガバナンス）」というセッションの内容をまとめて、記事としてご紹介します。 この講演では、データとAIのガ…

…ce on the Databricks Lakehouse（Databricks LakehouseでのMulticloudデータガバナンス）」というセッションについてご紹介します。 登壇者のIoannis Papadopoulos氏とVolker Tjaden氏が、データガバナンスに焦点を当て、プライバシーやセキュリティなどの側面を説明しています。データガバナンスに興味がある技術者や、マルチクラウド環境でデータ管理を行う企業の担当者、データ駆動型の組織を目指す企業の担当者…

はじめに GLB事業部Lakehouse部 陳（チェン）です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永里の報告をもとに「Apache Spark™を活用したデータ暗号化とストレージの最新動向」というセッションの内容をまとめて、記事としてご紹介します。この講演では、データの機密性と一時性を保持して機密データを保護する方法が紹介されました。ターゲット視聴者はデータエンジニア、データアナリスト、データサイエンティストです。 Apache Spa…

…ます。この講演では、Databricksで5年以上働いているDylan氏が、リアルタイムデータ処理の重要性と、適切なタイミングのアーキテクチャを実装する必要性について説明しています。想定するターゲット視聴者は、データ&AIに興味を持つ技術者や、データ処理の改善に関心のあるビジネスリーダー、リアルタイムデータ処理の専門家です。 ​ それでは、リアルタイムデータ処理の重要性について見ていきましょう。 ​ リアルタイムデータ処理の重要性 ​ 近年、リアルタイム技術が現代のデータウェ…

…RTCのデータ統合とDatabricks活用の背景 ​ ARTCは、運用効率、安全性、および顧客理解を向上させるために、データとAIを活用する方法を模索していました。そのために、バッチおよびストリームデータの処理、リアルタイムでのデータ集計、コスト最適化されたストレージ、および既存のエンタープライズ統合システムとアプリケーションサービングレイヤーとの統合が可能なプラットフォームが必要でした。 ​ そんな中、ARTCはDatabricksというプラットフォームに出会いました。D…

…みを行っています。 DatabricksやMicrosoftといった企業と提携し、クラウドベースのプラットフォームを開発 社内の技術者に対するAI・機械学習の教育・研修の充実 社内外のコミュニケーションを通じて、AI・機械学習の普及・理解を促進 クラウドベースのプラットフォーム開発 TD Bankは、DatabricksやMicrosoftと提携して、クラウドベースのAI・機械学習プラットフォームを開発しています。このプラットフォームは、以下のような特徴を持っています。 クラ…

はじめに GLB事業部Lakehouse部のメイです。 現地でのData + AI SUMMIT2023（DAIS）に参加しているメンバーの報告をもとに、 協調的なアイデンティティによるレイクハウス アーキテクチャの拡張「Extending Lakehouse Architecture with Collaborative Identity」を共有します。このセッションでは、 LiveRampのErin Wilkins氏とSean Giller氏がプレゼンテーションを行いまし…

…ianのデータ活用とDatabricks Lakehouseの導入 今回は、Databricksを使用してセキュアなLakehouseを効果的に自動化する方法についての講演を取り上げます。Been RivianのエンジニアであるVadivel SelvarajとマネージャーのJason Shiverickが講演しました。 データエンジニア、データアーキテクト、データサイエンティスト、ビジネスリーダーを対象としています。 車両データの収集と活用 Rivianは、32,000台の…

… JetBlueは、Databricksというプラットフォームを利用して、リアルタイムのAIとMLを活用しています。Databricksは、大規模なデータ処理と機械学習を効率的できるクラウドベースのサービスです。JetBlueは、このプラットフォームを使って遅延を減らし、顧客体験を向上させるためのデジタルツインを構築しています。 デジタルツインとは デジタルツインとは、現実世界の物理的なシステムやプロセスをデジタル上で再現し、シミュレーションや分析を行う技術です。JetBlu…

Bradesco Bank Utilizes Delta Sharing Technology to Achieve Data Democratization and Open Banking ​​This is Johann from the Global Engineering Department of the GLB Division. I wrote an article summarizing the content of the session based on…

Bradesco銀行がデータ民主化とオープンバンキングを実現するためにDelta sharingテクノロジーを活用 ​​GLB事業部Global Engineering部 ヨハンです。 現地でのData + AI SUMMIT2023（DAIS）に参加している市村の報告をもとに、セッションの内容をまとめた記事を書きました。​ ​ 今回は、データ民主化とオープンバンキングに関する興味深い講演を取り上げたいと思います。その講演のタイトルは、「Data Democratizatio…

… Stack on Databricks”. The talk featured Databricks Provost and Head of Evangelism, Ari Kaplan, and Demo Lead, Pearl Luber. They described the modern data stack for building a data lake house, leveraging Databricks and Lake House technology…

…update of Databricks' Lakehouse AI platform. The platform has been updated to support generative AI, and new components have been introduced. ​ Generative AI-Compatible Lakehouse AI Platform Configuration ​ Databricks' Lakehouse AI platform…

…AIに対応へ 続いてDatabricksのLakehouse AIプラットフォームのアップデートについての発表です。生成AIに対応するようにアップデートされたプラットフォームと、新しく提供されるコンポーネントについての発表がありました。 生成AI対応のLakehouse AIプラットフォームの構成 DatabricksのLakehouse AIプラットフォームは、以下の3つのコアコンポーネントで構成されています。 Datasets - 機械学習用のデータの準備 Models …

… Stack on Databricks」についてお話しします。この講演では、DatabricksのProvost兼Head of EvangelismであるAri Kaplan氏と、デモをリードするPearl Luber氏が登壇しました。彼らは、DatabricksとLake Houseテクノロジーを活用して、データレイクハウスを構築するためのモダンデータスタックについて解説しました。 データ&AIに関心のある技術者やデータレイクハウスの構築に興味のある企業のデータアーキテ…

…'s New in Databricks SQL -- With Live Demos Making Travel More Accessible for Customers Bringing Mobility Devices AI Regulation is Coming: The EU AI Act and How Databricks Can Help with Compliance Data Democratization with Lakehouse: An Ope…

…'s New in Databricks SQL -- With Live Demos（Databricks SQLの新機能 - ライブデモ付き） （モビリティデバイスをお持ちのお客様にも旅をより身近に） AI Regulation is Coming: The EU AI Act and How Databricks Can Help with Compliance (AI 規制の到来: EU AI 法と Databricks がコンプライアンスにどのように役立つか) La…

…orp chose Databricks. Databricks is a data platform based on Apache Spark, supporting large-scale data processing and machine learning. ​ Achieving Go-Live in 6 Months ​ By adopting Databricks, LabCorp was able to achieve the following resu…

…に、LabCorpはDatabricksを選択しました。Databricksは、Apache Sparkをベースにしたデータプラットフォームで、大規模なデータ処理や機械学習に対応しています。 ​ 6ヶ月でのGo-Liveを実現 ​ LabCorpは、Databricksを導入することで、以下のような成果を上げることができました。 ​ 高速なデータ処理: Databricksを利用することで、従来のHadoopに比べてデータ処理速度が大幅に向上しました。 シームレスなデータ連携…

…n Raid on Databricks and application examples of Ray on Apache Spark™. ​ How to run Raid on Databricks ​ Raid on Databricks simplifies scaling AI and Python applications and makes them accessible to anyone without distributed systems expert…

…は、Raid on Databricksの実行方法や、Ray on Apache Spark™の応用例について解説します。 ​ Raid on Databricksの実行方法 ​ Raid on Databricksを利用することで、AIやPythonアプリケーションのスケーリングを簡素化し、分散システムの専門知識がなくても誰でもアクセスできるようになります。以下では、Raid on Databricksの実行方法について詳しく解説します。 ​ 1. Raidの初期化と起動が…

はじめに GLB事業部Lakehouse部の陳(チェン)です。 現地でのData + AI SUMMIT2023（DAIS）に参加している永江の報告をもとに、セッションの内容をまとめた記事を書きました。 本記事では、"The Future is Open: Data Streaming in an Omni-Cloud Reality"というセッションについてご紹介します。 この講演は、Catalyst SoftwareのシニアスタッフエンジニアであるChristina Ta…

…leverages Databricks and Monte Carlo to improve data observability, as well as a data catalog feature focused on data privacy. In Part 2 of this issue, we will explain how to improve the efficiency of incident response using Microsoft Teams…

…lity with Databricks and Monte Carlo". This talk, delivered by Robinson Creighton and Scott Lerner, is about how Comcast Effectv leverages Databricks and Monte Carlo to improve data observability. Data observability is about monitoring and …