APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

Accelerating LLM Inference with vLLM (vLLMを用いたLLM推論の加速)

セッションの要約 本セッションは、UCバークレーのZhuohanとAnyscaleのCadeが主催し、両者はvLLMの開発において中心的な役割を担っています。vLLMは、Variable Large Language Modelの略で、UCバークレーが作成したオープンソースエンジンで、大規模言語モデ…

Rapid LLM Prototyping with OpenAI, Databricks, and Streamlit (OpenAI、Databricks、およびStreamlitを使用した迅速なLLMプロトタイピング(試作づくり))

セッションの要約 ノルウェー最大の保険会社Gjensidigeは、OpenAI、Databricks、Streamlitを活用し、リスク予測や資産管理のためのインタラクティブなデータビジュアライゼーションとシミュレーションを実装済みです。国家移民局との戦略的パートナーシップ…

Data Modeling Made Simple: A Non-Technical Beginner’s Guide (データモデリング入門:初学者向けガイド)

セッションの要約 データモデリングは、ビジネスデータを視覚的に表現し、企業がデータ活用を理解するための技術です。HubSpotのJason Zippro氏のセッションでは、データモデリングの基本概念と実装方法が紹介されました。データモデルには、概念的、論理的…

Building Your First GenAI App using Databricks, MosiacML and MLRun (Databricks、MosaicML、MLRunを使用して初めての生成AIアプリを構築する)

セッションの要約 このセッションでは、Aaron(Mosaic)とBruce Philp(マッキンゼー・アンド・カンパニー)が、GenAIアプリケーションのプロトタイプから完全なデプロイメントへの移行時に直面する課題について議論しました。具体的な課題として、スケーラ…

LLMs in Production Fine-Tuning, Scaling, and Evaluation (LLMの実用化:ファインチューニング、スケーリング、および評価)

セッションの要約 本セッションは、企業が大規模言語モデル(LLM)をファインチューニングし、ビジネスアプリケーションに最適化する方法に焦点を当てました。具体的には、ビジネス課題の理解、データセットの生成、ハイパーパラメータの調整、モデル評価の…

Databricks’ Journey Driving Business Transformation with Data & GenAI (データと生成AIでビジネス変革を推進するDatabricksの道のり)

セッションの要約 このセッションは、DatabricksがデータインテリジェンスプラットフォームとGenAIを活用してビジネス変革を推進する取り組みを紹介しています。特に社内変革とデータリテラシー向上を重視し、信頼性の高いデータ管理基盤を構築しました。小…

Building High-Quality and Trusted Data Products with Databricks (Databricksを活用した高品質で信頼性の高いデータ製品の構築)

セッションの要約 本セッションでは、Databricksを活用したデータ製品の構築とその主要概念について説明されました。エキスパートのKarthikとPomeritがデータアーキテクチャ、セキュリティ、ガバナンスに関する洞察を共有し、信頼性の高いデータ製品の重要性…

Data + AI Summit Keynote, Thursday (Data + AIサミット基調講演、木曜日)

セッションの要約 本セッションは、小型言語モデル(SLN)のエコフレンドリーなアプローチについて説明し、Databricksのデータプラットフォームの最新進展を探ります。イェジン教授は、GPT-2モデルの再評価とSLNの価値を強調しました。また、Delta LakeとUni…

Data Platform Modernization with a Data Mesh Architecture (データメッシュアーキテクチャを用いたデータプラットフォームの近代化)

セッションの要約 ラテンアメリカ最大の民間銀行Bradescoは、データメッシュアーキテクチャを採用してデータプラットフォームの近代化を進めています。セッションでは、プロダクション準備段階での技術的な課題とコミュニティ協力の重要性が強調されました。…

Path to Production: Databricks Project CICD for Seamless Inner to Outer Dev Loops (本番環境への道:CICDによるシームレスな内部から外部の開発ループのためのDatabricksプロジェクト)

セッションの要約 本セッションは、Databricksアセットバンドルを使用したプロジェクト構築に焦点を当て、プロダクション準備段階での課題とコミュニティ協力の重要性を強調します。特にグローバルデータ統合(GDI)システムの実装が最大8ヶ月かかる複雑さを…

Automating Unity Catalog Migration with UCX: Building Robust Python Applications on Databricks (UCXを使用してUnity Catalogの移行を自動化する Databricks上で堅牢なPythonアプリケーションを構築する)

セッションの要約 ※ 本セッションに関する以下の記事は、本セッションの一部分のみの内容です。 本セッションは、Databricksでの安全かつ自動化されたテスト導入に焦点を当て、特にGitHubとAzureの統合を用いた設定方法を解説します。自動化テストは、コード…

A Practitioner's Perspective on LLMOps (LLMOpsに関する実践者の視点)

セッションの要約 生成AIと大規模言語モデル(LLM)の運用は、データ管理、セキュリティ対策、スケーラブルなソリューションの実現など多くの課題を伴います。企業はこれらを克服し、効率的な運用フレームワークを確立することが必要です。適切な運用により…

The AI Regulatory Landscape: What’s Here What’s Coming? How to Prepare? (AIの規制状況: 現在の状況と今後の動向は? どのように準備すべき?)

セッションの要約 セッションは二部構成で、まず現行のAI規制について簡単に説明します。これにはプライバシー、差別、消費者保護法、EUのAI法、米国の州レベルの法規制が含まれます。後半では、アーロンとのQ&AディスカッションでAI規制の将来について議論…

Latest Advancements in MLflow (MLflowにおける最近の進化)

セッションの要約 MLflowは、MLライフサイクル全体でモデル管理を標準化・簡素化するツールです。開発者David BriggsとBenの貢献で「Drain-A-Anim」機能が強調され、MLflowの将来の改善が期待されています。最新のバージョン2.11と2.12では、ダッシュボード…

Scaling AI in Australia and New Zealand with ML Foundations and Databricks (ML FoundationsとDatabricksを用いたオーストラリアとニュージーランドにおけるAIのスケーリング)

セッションの要約 今日、私たちはオーストラリアとニュージーランド全域でAIを再現可能でスケーラブルな方法で実装するという重要なトピックについて深く掘り下げました。Mantel GroupとDatabricksからの広範な洞察を提供するこのセッションは、地域内でのAI…

What’s Next for the Upcoming Apache Spark 4.0? (今後のApache Spark 4.0には何が期待されるのか?)

セッションの要約 Apache Spark 4.0のリリースが近づいており、新機能やバグ修正によりユーザーエクスペリエンスが向上します。注目点はANSIモードとデータハンドリングの改善で、Sparknet GAの導入により多言語サポートが強化され、軽量なクライアントライ…

Building Production RAG Over Complex Documents (複雑なドキュメントに対するRAGの構築)

セッションの概要 LlamaIndexの共同創業者であるJerryが本セミナーを開催しました。この90分間のセミナーでは、参加者はJupyterノートブックを使用してRetrieval-Augmented Generation(RAG)システムの構築プロセスを学びました。RAG(検索拡張ジェネレーシ…

The MLOps Platform at WGU: Solutions to Production ML with Databricks (Western Governors UniversityにおけるMLOps:Databricksを用いた運用MLへの解決策)

セッションの概要 WGU (Western Governors University)のMLOpsチームがDatabricksを用いたMLOpsプラットフォームの初期設計と課題について発表しました。設計段階では標準化プロセスの確立、ソースコントロールメカニズム、堅牢なモニタリングシステムの実装…

Benchmarking Data and AI Platforms: How to Choose and use Good Benchmarks (データとAIプラットフォームのベンチマーキング: 良いベンチマークの選択と利用)

セッションの概要 このセッションでは、データ分析ツールの成長する世界について掘り下げ、これらの技術のパフォーマンスとTCO(総所有コスト)を評価するためのベンチマークの重要性を強調しています。 ベンチマークに関する詳細な説明 レイクハウスベンチ…

From Uncertainty to Certainty Strategies for Deterministic LLMOps (不確実性から確実性へ: 決定論的LLMOpsの戦略)

セクション概要 このセッションでは、大規模言語モデル(LLM)の予測不可能な性質を利用するシステムで信頼性を確保する方法について探求しました。LLMの応用が拡大するにつれて、ミッションクリティカルなビジネスオペレーションでの予測可能性と一貫性を達…

Databricks on Databricks: Path to Unified Governance (Databricks on Databricks 統一されたガバナンスへの道)

このセクションの紹介: クラウドプラットフォームの複雑な環境では、データの不一致は、組織が直面する一般的な問題です。このセクションでは、これらの問題を防ぎ、データ・インテグリティー(完全性/正確性)を保証するために、初期段階で堅固なガバナンス…