APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

Databricks の検索結果:

Data Caching Strategies for Data Analytics and AI

Introduction I'm Sasaki from the Global Engineering Department of the GLB Division. I wrote an article summarizing the contents of the session based on the report by Mr. Nagae, who is participating in Data + AI SUMMIT2023 (DAIS) on site. Ar…

What's New in Databricks SQL -- With Live Demos

…'s New in Databricks SQL -- With Live Demos" I will introduce the outline of the lecture. This talk introduces a platform for data ingestion, governance, transformation and exploration using Databricks SQL. The presenter is Mr. Can Efeoglu,…

Accelerating the Development of Viewership Personas with a Unified Feature Store

I'm Chen from the Lakehouse Department of the GLB Division. Based on a report by Mr. Nagasato, who is participating in Data + AI SUMMIT 2023 (DAIS2023) held in San Francisco, he will discuss the theme of "Accelerating the Development of Vie…

What’s New with Data Sharing and Collaboration on the Lakehouse: From Delta Sharing to Clean Rooms

…sented by Databricks' Erika Ehrli, Xiaotong Sun, and Kelly Albano. The theme aims to simplify the lives of its customers by simplifying the process of data sharing and collaboration. The target audience is business people interested in data…

Unlocking the Value of Data Sharing in Financial Services with Lakehouse

…hitect at Databricks, discusses how to maximize the value of data sharing. The target audience is technologists interested in data & AI, professionals in the financial services industry, and business leaders interested in sharing data. The …

Testing Generative AI Models: What You Need to Know

Introduction I'm Chen from the Lakehouse Department of the GLB Division. Based on a report by Nagae, who is attending Data + AI SUMMIT2023 (DAIS2023) in San Francisco, I wrote a paper titled "Testing Generative AI Models: What You Need to K…

dbt Labs | Leveling Up SQL Transformations in the Lakehouse with dbt

…ion using Databricks and dbt and explained how to improve productivity and collaboration between teams. If you are interested in data analysis and transformation, use Databricks or dbt, or are involved in data analysis and transformation in…

Delta Live Tables A to Z: Best Practices for Modern Data Pipelines Part 2

…trol with Databricks Automation for Infrastructure (DAB) ​ DAB allows you to version your code, jobs, notebooks, clusters and pipelines. This makes the development process more efficient and secure. ​ Creation of test data for speeding up t…

Generative AI Fundamentals

…hitect at Databricks. In the lecture, basic concepts and application examples of generative AI were explained. Data security and potential risks were also touched upon, and knowledge about the safe use of generative AI was introduced. Gener…

How to Build a Metadata Driven Data Pipelines with Delta Live Tables

… Gawai of Databricks. Let's take a quick look at what Delta Live Tables is and some of the features that users often use. An overview of Delta Live Tables and how it functions as a tool for ETL development Delta Live Tables (DLT) is a new t…

Databricks Cost Management: Tips and Tools to Stay Under Budget

…artment. "Databricks Cost Management: Tips and Tools to Stay Under Budget" based on a report by Mr. Kanamaru who participated in the local Data + AI SUMMIT 2023 (DAIS) Here is an overview of the session. This session was led by Thorsten Jac…

Databricks SQL Serverless Under the Hood: How We Use ML to Get the Best Price/Performance

…about the Databricks SQL Serverless talk "Databricks SQL Serverless Under the Hood: How We Use ML to Get the Best Price/Performance". Speakers are Jeremy Lewallen, Mostafa Mokhtar, and Gaurav Saraf from Databricks. This talk demonstrated ho…

Unlock the Next Evolution of the Modern Data Stack With the Lakehouse Revolution(レイクハウス革命で最新のデータスタックの次の進化のロックを解除する)

… このセッションは、DatabricksのAllison Baker、Roberto Salcido、Kyle Hale、Franco Pitanoが登壇し、Lakehouse revolutionを通じて、モダンデータスタックの次の進化を紹介し、データアナリストやデータサイエンティストがデータの価値を引き出すための情報を提供することを目的としています。ターゲット視聴者は、データアナリスト、データサイエンティスト、データエンジニア、データアーキテクトの方々です。 本ブログは全…

Databricks Marketplace: Going Beyond Data and Applications

…AIS), the Databricks Marketplace Share "Databricks Marketplace: Going Beyond Data and Applications". This session provided an introduction to the Databricks Marketplace and why data marketplaces are important in the modern data age. The tar…

Factory of the Future: Case Study of Building Digital Twins Using Knowledge Graphs and Generative AI

Introduction I'm Sasaki from the Global Engineering Department of the GLB Division. I wrote an article summarizing the content of the session based on the report by Mr. Kanamaru, who is participating in Data + AI SUMMIT 2023 (DAIS) on site.…

Experience the New Era of Data & AI: Taking Bold Steps - 02

Introduction This is Abe from the Lakehouse Department of the GLB Division. I wrote an article summarizing the content of the session based on the report by Ichimura who participated in Data + AI SUMMIT2023 (DAIS) on site. This time, we're …

How to Build a Metadata Driven Data Pipelines with Delta Live Tables(Delta Live Tablesでメタデータ主導のデータパイプラインを構築する方法)

…げます。この講演は、DatabricksのMojgan Mazouchi氏とRavi Gawai氏によって行われました。 早速Delta Live Tablesの概要や、ユーザーがよく使用する機能について見ていきましょう。 Delta Live Tablesの概要と、ETL開発のためのツールとしての機能 Delta Live Tables(DLT)は、データパイプラインを効率的に構築するための新しい技術です。この講演では、DLTを使用したメタデータ駆動のデータパイプラインの構…

Data Biases and Generative AI: A Practitioner Discussion(データバイアスと生成AIについて学ぶ)

…を述べました。また、Databricksが多様性を重視していることを強調し、同社の取り組みについて紹介しました。 データバイアスの最小化と評価指標の評価 データバイアスとは、データセットに偏りが生じることで、AIが正確な予測や判断を行えなくなる現象です。この講演では、データバイアスの最小化やデータのコントロール、評価指標の評価に関する課題について議論が行われました。 データバイアスを最小化するためには、以下のようなポイントが挙げられます。 データ収集時に多様性を意識する デー…

Experience the New Era of Data & AI: Taking Bold Steps - 01

Introduction This is Abe from the Lakehouse Department of the GLB Division. I wrote an article summarizing the content of the session based on the report by Ichimura who participated in Data + AI SUMMIT2023 (DAIS) on site. Hello! This time,…

The Best Data Warehouse is a Lakehouse: How Databricks Achieves Operational Efficiency With the Lakehouse Architecture(最適なデータ ウェアハウスはレイクハウス:Databricks が Lakehouse アーキテクチャで運用効率を達成する方法)

…ouse: How Databricks Achieves Operational Efficiency With the Lakehouse Architecture」を共有します。このセッションは、DatabricksのCIOであるNaveen Zutshi氏と、データアナリティクスおよびインテグレーションエンジニアリングのシニアディレクターであるRomit Jadhwani氏によって行われました。 講演のテーマは、データレイクとデータウェアハウスを組み合わせた「レイクハ…

How the Texas Rangers Revolutionized Baseball Analytics with a Modern Data Lakehouse

Introduction This is May from the GLB Division Lakehouse Department. We share "How the Texas Rangers Revolutionized Baseball Analytics with a Modern Data Lakehouse" based on reports from members attending the local Data + AI SUMMIT2023 (DAI…

Anomalo | Data Archaeology: How to Quickly Understand an (Unfamiliar) Dataset Using Machine Learning

Introduction This is Abe from the Lakehouse Department of the GLB Division. Based on the report by Mr. Nagasato who participated in Data + AI SUMMIT 2023 (DAIS) on site, I wrote an article summarizing the content of the session. This time, …

Advancements in Open Source LLM Tooling, Including MLflow

Introduction I'm Sasaki from the Global Engineering Department of the GLB Division. I wrote an article summarizing the contents of the session based on the report by Mr. Nagasato, who is participating in Data + AI SUMMIT 2023 (DAIS) on site…

Databricks Marketplace: Going Beyond Data and Applications(Databricks Marketplace: データとアプリケーションを超えて)

…バーの報告をもとに、Databricks Marketplaceについての 「Databricks Marketplace: Going Beyond Data and Applications」を共有します。このセッションでは、Databricks Marketplaceの紹介と、データマーケットプレイスが現代のデータ時代においてなぜ重要なのかについて説明されました。ターゲット視聴者は、データ&AIに興味がある技術者、データマーケットプレイスに興味があるビジネスパーソン、デ…

Jet Streaming Data and Predictive Analytics

Introduction This is May from the Lake House Department of the GLB Division. "Jet Streaming Data and Predictive Analytics: How the Lakehouse and Apache Spark "™ Enable Collins Aerospace to Keep Aircraft Flying" Lakehouse and Apache Spark™ s…

Delta Live Tables A to Z: Best Practices for Modern Data Pipelines part2(デルタ ライブ テーブル A to Z: 最新のデータ パイプラインのベスト プラクティス part2)

…要になります。 ​ Databricks Automation for Infrastructure (DAB)によるバージョン管理 ​ DABを使用することで、コード、ジョブ、ノートブック、クラスタ、パイプラインをバージョン管理することができます。これにより、開発プロセスがより効率的かつ安全に行えるようになります。 ​ 開発プロセスの高速化のためのテストデータの作成 ​ DLTパイプラインの適切な構造化や、開発とテストを高速化するためのテストデータの作成が、効果的な開発プロ…

De-Risking Language Models for Faster Adoption

Learning the Importance of AI Auditing and Risk Management: A Report on a Fascinating Lecture ​This is Johann from the Global Engineering Department of the GLB Division. I wrote an article summarizing the content of the session based on rep…

De-Risking Language Models for Faster Adoption (言語モデルのリスクを軽減してより迅速な導入を実現)

AI監査とリスク管理の重要性を学ぶ講演をレポート ​GLB事業部Global Engineering部 ヨハンです。 現地でのData + AI SUMMIT2023(DAIS)に参加している市村の報告をもとに、セッションの内容をまとめた記事を書きました。​ ​ 今回は、AI技術に関心がある方やAIシステムの開発者、監査人にとって非常に興味深い講演を取り上げたいと思います。その講演のタイトルは「De-Risking Language Models for Faster Ado…

Delta Live Tables A to Z: Best Practices for Modern Data Pipelines part1(Delta Live Tables A to Z: 最新のデータ パイプラインのベスト プラクティス part1)

はじめに GLB事業部Global Engineering部 佐々木です。 現地でのData + AI SUMMIT2023(DAIS)に参加し、セッションの内容をまとめた記事を書きました。 DAISでのセッションに関する記事は、以下の特設サイトにまとめています。 https://www.ap-com.co.jp/data_ai_summit-2023/ Delta Live Tablesを活用した最新のデータパイプライン構築方法 ​ 今回は、最近視聴した講演「Delta L…

Databricks SQL Serverless Under the Hood: How We Use ML to Get the Best Price/Performance(Databricks SQLサーバーレスの裏側:最高の価格/パフォーマンスを得るためのML活用法)

…記事を書きました。 Databricks SQL Serverlessの講演「Databricks SQL Serverless Under the Hood: How We Use ML to Get the Best Price/Performance」についてお話ししたいと思います。講演者はDatabricksのJeremy Lewallen氏、Mostafa Mokhtar氏、Gaurav Saraf氏です。 この講演では、Databricks SQLを使用して、AI…