Databricks
はじめに GLB事業部Lakehouse部の阿部です。 先日、Databricks Certified Machine Learning Associateに合格しました! credentials.databricks.com 本記事では、試験の概要と試験対策について解説します。 Machine Learningに入門したい方、DatabricksのMach…
はじめに こんにちは、GLB事業部Lakehouse部の陳（チェン）です。 久しぶりのブログ投稿になる本日は、Databricksにおけるデータを取り込む際、スキーマ変更対応の機能の紹介です。 はじめに 前提条件 想定状況 テストデータ それぞれの悩みに対応する解決法…
はじめに GLB事業部Lakehouse部の阿部です。Databricksが主催するDATA + AI SUMMIT 2024(DAIS)に参加しました。DAISが終わってから1週間経ちましたが、興奮が収まっていません。本記事では、DAISを含むおよそ1週間の出張をダイジェストでお伝えしたいと思い…
はじめに このセッションでは、過去1年間にアメリカの企業であるProvidence Healthcare（プロビデンス・ヘルスケア）がどのように進歩を遂げてきたか、特にAI/MLモデルマーケットプレイスの開発と、セキュアなAzureクラウド環境内でのその機能にどのように焦…
生成型AIアプリケーション、特にRAG（Retrieval-Augmented Generation）モデルをプロトタイプから完全な生産システムへと移行する過程では、いくつかの重要な考慮事項が存在します。 このセクションでは、非構造化データ上でのRAGアプリケーションの品質と堅…
セッションでは、Mosaic AIに関わるアーキテクチャと戦略に深く掘り下げ、ジェネレーティブAIでの進歩と、プロンプトエンジニアリングおよびRAG（Retrieval Augmented Generation）に関連する実用的なアプリケーションや方法論に焦点が当てられました。 これ…
プライバシーセーフなRAGモデルを用いたコンテンツ作成のスケール化：新たな可能性 プライバシーとセキュリティの強化：カスタムソリューションによるアプローチ 世界のプライバシー規制を渡り歩く カスタムソリューションの必要性 VerbiGPTのセキュアなコン…
セッションの要約 本セッションは、UCバークレーのZhuohanとAnyscaleのCadeが主催し、両者はvLLMの開発において中心的な役割を担っています。vLLMは、Variable Large Language Modelの略で、UCバークレーが作成したオープンソースエンジンで、大規模言語モデ…
大規模言語モデル（LLM）の分野で、生成されたコンテンツの正確性と信頼性を保証することが最も重要です。 これらのモデルを評価するプロセスには、特に人間の評価者に依存している場合に、複雑な課題が伴います。 このセクションでは、人間の評価者が直面す…
イントロダクションとフレームワークの概要 このセッションでは、AIとデータセキュリティのギャップを埋めるために設計された重要なイノベーションであるDatabricks AIセキュリティフレームワーク（DASF）を紹介しました。その目的は、セキュリティの風景で…
セッションの要約 ノルウェー最大の保険会社Gjensidigeは、OpenAI、Databricks、Streamlitを活用し、リスク予測や資産管理のためのインタラクティブなデータビジュアライゼーションとシミュレーションを実装済みです。国家移民局との戦略的パートナーシップ…
本セッションでは、生成AIアプリケーションの開発を合理化する戦略が披露されました。 このセッションには、Mosaic AIのエンジニアであるAtritiと、AI InfluenceのプロダクトマネージャーであるBilalが講演しました。彼らはAIエージェントの基本概念について…
セッションの要約 データモデリングは、ビジネスデータを視覚的に表現し、企業がデータ活用を理解するための技術です。HubSpotのJason Zippro氏のセッションでは、データモデリングの基本概念と実装方法が紹介されました。データモデルには、概念的、論理的…
Preface In the beginning part of this session, we introduced what real-time data processing is, and how this phenomenon is related to today's business environment. Real-time data processing is characterized by the provision of ongoing data…
セッションの要約 このセッションでは、Aaron（Mosaic）とBruce Philp（マッキンゼー・アンド・カンパニー）が、GenAIアプリケーションのプロトタイプから完全なデプロイメントへの移行時に直面する課題について議論しました。具体的な課題として、スケーラ…
はじめに このセッションでは「意味検索と文脈ウェブ検索の紹介」に焦点を当てました。講演者は、コンピュータサイエンスのバックグラウンドに基づいた包括的な知識を共有しました。 目次 はじめに 目次 意味検索とは何か？ 文脈ウェブ検索の重要性 インジェ…
セッションの要約 本セッションは、企業が大規模言語モデル（LLM）をファインチューニングし、ビジネスアプリケーションに最適化する方法に焦点を当てました。具体的には、ビジネス課題の理解、データセットの生成、ハイパーパラメータの調整、モデル評価の…
イントロダクションと概要 スピーカーとCondéについて 'Graphite'の開発の概要 データプラットフォームの構築 私たちは誰？ コンデとは？ Graphiteの紹介 グラファイトの目的と課題 データ製品の定義 データ製品のユーザー中心の設計 データから行動可能な洞…
Preface Welcome to our discussion on the pioneering project ‘Graphite’ at Condé Nast. Today, we delve deep into the creation of this innovative and comprehensive data product, designed to drive performance and revenue. Our session begins w…
AIシステムの統合と生産の課題の克服 スケーラビリティ、モニタリング、パフォーマンス評価 スケーラビリティの問題 大幅な改善を伴う新バージョンの導入 パフォーマンスの最適化 チームの成果に対する誇り 結論 このセクションでは、Generative AIにおける…
セッションの要約 このセッションは、DatabricksがデータインテリジェンスプラットフォームとGenAIを活用してビジネス変革を推進する取り組みを紹介しています。特に社内変革とデータリテラシー向上を重視し、信頼性の高いデータ管理基盤を構築しました。小…
Preface Hello, I'm Jonathan Brideau, a Senior Product Manager at Databricks, leading initiatives centered around Delta Lake, particularly the Universal Format, or UniForm. Today's session addresses the increasingly common scenario of trans…
Preface Data warehousing in enterprise and mission-critical environments demands special attention to cost-efficiency and security. In our session, we delved into how Databricks SQL meets these stringent requirements. With the increase in …
Preface In the initial segment of the session, participants were welcomed by Dennis Dymanski and Kulkichada, who introduced themselves and elaborated on their professional backgrounds and areas of expertise. Dennis Dymanski, the chief soft…
導入とケーススタディ概要 Delta Lake UniForm 課題とアーキテクチャの進化 Wayne Enterprise：シナリオと直面した課題 移行シナリオ 現行アーキテクチャ 現行アーキテクチャの問題点 解決策の探求 複数のオープンデータフォーマットに対応 Unity Catalog に…
はじめに 企業やミッションクリティカルな環境でのデータウェアハウジングは、コストパフォーマンスとセキュリティに特別な注意が必要です。このセッションでは、Databricks SQLがこれらの厳しい要件をどのように満たしているかを詳しく解説しました。 目次 …
Preface This session aimed to reveal how the adoption of AI technologies like natural language processing and generative AI is redefining and streamlining approaches to handling product information. This not only enhances the effectiveness…
Preface Databricks' security team has developed the Databricks AI Security Framework (DASF) in collaboration with top cyber security researchers from OWASP, Gartner, NIST, McKinsey, and several Fortune 100 companies. This framework is desi…
Preface Hello everyone, this is Daniel. Today, we're focusing on the release of Apache Spark 3.5. Although this session concentrates specifically on version 3.5, it's worth noting that this release is remarkably stable, setting the stage f…
Preface Today's session was hosted by Johan from UC Berkeley and Kade from AnyScale, who both played pivotal roles in the development of vLLM. A short survey was conducted to identify participants who have contributed to, deployed, or are …
