APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

Creating a Data and GenAI Ecosystem: Migrating to Databricks(データとGenAIエコシステムの構築、Databricksへの移行)

導入とアジェンダの概要

本日は「データとGenAIエコシステムの構築、Databricksへの移行」というタイトルのセッションにご参加いただき、ありがとうございます。このプレゼンテーションでは、今日の変革的な技術環境で成功するために不可欠な堅牢なデータとAIフレームワークを構築するために、Gerdauが採用している戦略について詳しく掘り下げます。

このセッションでは、Gerdauのデータ&AIチーフオフィサーであるRodrigo Silveira氏と、データとアーキテクチャエンジニアリングの責任者であるFelipe Montalini氏が、データアナリストとしての個人的な旅路と、Gerdauが最新の革新であるData Lake 3.0を達成するために踏み出した進歩的なステップについて貴重な洞察を共有します。彼らは、データイニシアティブの過去の取り組みと将来の展望の両方を概説します。

今日のアジェンダは、まずGerdauのデータ分析の進化を振り返り、次に最新の取り組みであるData Lake 3.0プロジェクトと、データとAIの分野で進む戦略的計画の詳細な探求に続きます。

私たちは、Gerdauの経験から導き出された教訓のロードマップを提供することで、ビジネスがデータと人工知能を効果的に活用する能力を高めることを目指しています。

さあ、この情報満載の旅に一緒に出発し、データと一般的なAIの効果的なエコシステムを構築するための重要な洞察を得ましょう。

GerdauのデータとAIイノベーションの旅

Gerdauのデータイニシアティブと旅

初めから、GerdauはデータとAI技術の進化する風景に続々と適応してきました。2018年には、Data Lake 3.0とデジタルツインのビジネスケースの導入を開始しました。しかし、その年にとどまることはありませんでした。彼らはまた、"Smart Decision"と名付けられたサプライチェーン最適化に焦点を当てた最初のデータ製品をリリースしました。

2020年までに、さらなる変革の必要性が明らかになりました。プラットフォームは追加のガバナンス強化を受け、"Data Service"の概念が導入され、セルフサービスデータプラットフォームの土台が築かれました。2022年、Gerdauは再び変化の必要性を感じ、「Data Lake 2.0」プロジェクトを発足させ、堅牢でありながらユーザーフレンドリーなプラットフォームを実現しました。Felipe Montaniniが続きのスライドで詳細を提供します。

データ分析の実際の流れを見ると、Gerdauの運用モジュールと「マンダラ」と呼ばれるプロセスが存在します。これにより、彼らが旅を通じてデータ取り扱いをどのように管理してきたかの概観が提供されます。

移行の課題とガバナンス

GerdauのDatabricksへの移行は、データレイク2.0の既存のアーキテクチャを評価する際に、いくつかの課題を提起しました。主な問題は、データ統合の難しさと、カスタマイズされた内製ソリューションの維持に関連する高コストでした。これらのソリューションは広範な管理リソースを必要とし、所有総コスト(TCO)を大幅に増加させました。

さらに、既存のソリューションが運用されているにもかかわらず、その非効率性は明らかでした。それらは、実験室の機器でコーヒーを作るのと同じくらい管理が複雑でした!また、新しいパートナーや従業員の学習曲線は急であり、データレイク2.0の基本を理解するために約3〜4ヶ月のオンボーディングプロセスが必要でした。

これらの障壁に直面し、戦略的な再評価が必要であることが明らかになり、GerdauはDatabricksの採用に向けて導かれました。このプラットフォームは、効率とスケーラビリティの向上だけでなく、データ処理の統合も改善することを約束しました。その結果、データの可視性とアクセシビリティが大幅に向上し、組織全体でデータ主導の意思決定が促進されました。

この移行は、新しいテクノロジーのオンボーディングも容易にし、新しい従業員やパートナーが生産的になるまでの時間を短縮するプロセスを合理化しました。

このセクションでは、Gerdauが直面した移行の課題と、それらに対処するために実施されたガバナンス戦略について強調しました。Databricksへのシフトは、熟考された計画と実行が技術的な障壁を克服し、運用効率を向上させることができることを示しています。

コスト効率とパフォーマンスの改善

「Creating a Data and GenAI Ecosystem Migrating to Databricks」セッションでのGerdauのプレゼンテーションの主要なハイライトの一つは、データ処理コストの大幅な削減と、複数のプロバイダーにわたる成功したスケーラビリティ戦略が注目されました。この成果の中心には、データエコシステムの重要な構成要素として確立しているDatabricksの使用があります。このコラボレーションには、AWSやAzureのようなトップクラウドプロバイダーが含まれています。

具体的なコスト削減のデータは公開されていませんでしたが、データ処理の節約は「非常に重要」と表現されました。Databricksが提供するツール—カタログ、オーバーウォッチ、オートサーブ、デルタレイクテーブル、ウェアハウス—は、Gerdauによって完全に活用されています。これらのツールは、Gerdauのデータアーキテクチャを大幅に最適化し、運用効率を高めました。

同社の哲学は「継続的改善」に焦点を当てており、「十分良い」という考え方に甘んじることなく、常により良いものを目指すことの重要性を強調しています。この原則は、競争の激しい鉄鋼製造業界でGerdauが先頭を保っている理由の一つです。

このセッションで示されたように、戦略的な技術選択とクラウドプロバイダーとの強固なパートナーシップは、ビジネス効率とスケーラビリティを向上させる上で重要です。これらの洞察は、データとAIエコシステムを最適化しようとする他の企業にとって非常に貴重です。

Gerdauにおけるデジタルツインの実装とその影響

デジタルツインとは何か?

「デジタルツイン」とは、実際のデバイス、システム、またはプロセスを複製するデジタルモデルです。この革新的な技術により、リアルタイムでのデータ分析とシミュレーションが可能となり、運用の最適化と予防保全戦略を導き出すことができ、結果として全体のビジネス効率が向上します。

実装例:Delake 3.0プロジェクト

Gerdau内では、Delake 3.0プロジェクトが産業界におけるデジタルツイン技術の適用の優れた例として機能しています。全鋼製造プロセスのデジタルレプリカを作成することにより、Gerdauは様々な運用シナリオと保守手順をシミュレートする能力を持っています。この能力は、運用効率を向上させるだけでなく、ダウンタイムを削減し、生産サイクルをスムーズにします。

社会への影響とデータの役割

さらに、Gerdauは「データ・フォー・オール」イニシアチブの重要な支持者です。このプログラムは、技術教育プラットフォームを成功裏に確立し、日本において約9,000人の個人に無料の技術教育を提供しています。これは、デジタルツインのような先進技術を社会全体に広めるよう設計されており、より多くの個人がこのような革新を活用するためのスキルと知識を身につけることを可能にします。

環境保全とのバランス

鉄鋼業界が重度の汚染源であるという一般的な認識にもかかわらず、Gerdauのデジタルツイン技術の実装は、環境保全への取り組みを示しています。リアルタイムデータを活用することで、同社はエネルギー消費を大幅に削減し、資源効率を向上させることが期待されます。この積極的なアプローチは、鋼の製造における環境への影響を最小限に抑え、世界的な持続可能性の目標に沿うものです。

このセクションは、Gerdauがビジネスの最適化だけでなく、より広い社会的および環境的利益のために先進的なデジタルツイン技術を統合していることを強調しており、現代の製造課題への包括的なアプローチを反映しています。

データとGenAIエコシステムの構築とDatabricksへの移行

概要

数えきれないほどの先進的な分析とGenAIアプリケーションによって豊かになった世界で、顧客やパートナーのニーズに合った適切なエコシステムを構築することが、生き残りをかけた重要な要素です。鉄鋼製造業界の最前線に立つGerdauでは、これらの革新を取り入れることが戦略の中心となっています。

AIエコシステムとイノベーションの拡大

Gerdauでの変革の物語は、124年の歴史の中で、最近のDatabricksへの移行という革命的な出来事によって、革命的なものになりました。この移行は新しい技術を採用するだけでなく、文化的な変化についてもでした。初めは文化的な慣性が大きな障害のように見えましたが、従業員が直接恩恵を認識し始めると、物語は熱意と積極的な参加へと変わりました。

特筆すべきは、Databricksの導入が生産効率を向上させ、コストを大幅に削減したことです。セッションで強調された移行は、デジタル技術がサポートするだけでなく、会社全体の変革を積極的に推進する事例でした。

Gerdauの旅から、私たちは伝統的な産業でさえも、現代のデジタルツールの力を利用して運営を活性化し、効率化することができることを学びます。この変革から得られる主要な教訓は、技術的なアップグレードと同じくらい重要な文化的な賛同の重要性を強調しています。この話は、真の再発明には、フレームワークやプラットフォームだけでなく、そこにいる人々を根本的に変える必要があるという切実な思いを提供します。

結論

GerdauのDatabricksへの移行は、現在のビジネス環境において普及している広範な物語を裏付けています。それは、基本的なビジネス変革を促進するために最先端の技術の不可欠な統合です。このケースは、技術と企業文化がイノベーションと効率を推進するために融合する二重のアプローチを提唱しています。Gerdauでの魅力的な変革は、デジタルの未来に飛び込もうとする伝統的な企業にとって堅実な青写真として機能し、変容がシリコンと心の両方を含むことを強調しています。


Databricks Data + AI Summit(DAIS)2024の会場からセッション内容や様子をお伝えする特設サイトをご用意しました!DAIS2024期間中は毎日更新予定ですので、ぜひご覧ください。

www.ap-com.co.jp

私たちはDatabricksを用いたデータ分析基盤の導入から内製化支援まで幅広く支援をしております。
もしご興味がある方は、お問い合わせ頂ければ幸いです。

www.ap-com.co.jp

また、一緒に働いていただける仲間も募集中です!
APCにご興味がある方の連絡をお待ちしております。

www.ap-com.co.jp