…atabricks significantly improved data processing speed compared to the traditional Hadoop. Seamless data integration: It became easier to integrate data between Databricks and other data sources, allowing for smoother data integration. Flex…

… Ray is designed to be accessible to anyone without expertise in distributed systems. This has the following advantages: ​ Even if you are not a distributed system expert, you can easily implement distributed processing. System performance …

…product designed to prevent data downtime and provide data observability. Data downtime is when data is unavailable or unreliable. This can have a negative impact on your business. Monte Carlo offers features such as: Monitor data quality a…

…viously designed and implemented DataLeak for Veterans Affairs and CMS. The theme of this talk is the importance of real-world data and evidence in cancer care. The purpose of the session is to introduce the implementation of real-world dat…

…usiness insights. Specifically, the process is as follows. Data collection from IoT devices: Honeywell collects data from various IoT devices and stores it in DLT Conclusion This content based on reports from members on site participating i…

…Getting Insight From Anything: Gathering Data With IoT Devices and Delta Live Optimizing Batch and Streaming Aggregations The Future is Open: Data Streaming in an Omni-Cloud Reality Using Lakehouse to Fight Cancer: Ontada’s Journey to Estab…

…Getting Insight From Anything: Gathering Data With IoT Devices and Delta Live（インサイトを得る：IoTデバイスとデルタライブでデータを収集する） Optimizing Batch and Streaming Aggregations（バッチとストリーミング集約の最適化） The Future is Open: Data Streaming in an Omni-Cloud Reality Using…

…wledge, insight discovery, and intelligence. The purpose is not only to collect external data, but also to develop more valuable products by embedding data into existing processes and systems. (Jobs-To-Be-Done Theory) 6.3. Self-Serve Data P…

… system design and prompt engineering using LLM. Dolly and its reasoning were explained in the previous article. techblog.ap-com.co.jp The notebook in the demo below is used as a reference and explained. Build your Chat Bot with Dolly table…

…nequality sign in the where clause. Preview and browse the table before test results. As you can see from the image, the number of records extracted is 0. Now run the test command to make sure the test succeeds. Test successful. Here is a s…

…ry 2023 Assigned to the Lakehouse department in late January Started learning about Databrick using the materials of Databricks Academy, but struggled to acquire infrastructure-related knowledge without SQL queries and knowledge that differ…

…tabricks. Sign in to Databricks Workspace and click the Partner Connect button on the bottom left of the screen. On the next Connect selection screen, select Fivetran. Click Next on the screen after transition. ※This will generate a Persona…

… use when signing up for dbt Cloud is displayed, but pre-filled with the email address associated with your workspace. Click the Connect to dbt Cloud button to initiate the connection. Once connected, a new tab of dbt cloud will open. This …

…Bricks 2. SIGN UP AND CHOOSE YOUR SUBSCRIPTION PLAN 3.Create a workspace 3-1. Credential configuration Create an IAM Role 3-2 Storage configuration Create S3 bucket Workspace provisioning Conclusion Introduction I joined the company in Janu…

…g OpenPGP signature verification Archive: /tmp/tfenv_download.wIik8e/terraform_1.5.0-rc2_linux_amd64.zip inflating: /home/hoge/.tfenv/versions/1.5.0-rc2/terraform Installation of terraform v1.5.0-rc2 successful. To make this your default ve…

…ame> to assign annotations to primitive array items /** @items.visibility frontend */ myItems: string[]; }; } ポイントは各要素に @visibilityを指定することです。visibilityには次の3つがあります。 backend : 無指定の場合のデフォルト backend pluginでのみ読み取ることができます。 secret : backendで読み取ること…

…ractice insights from Wise on how to measure platform engineering impact 続いても同じようにPlatform engineeringのインパクトを測定する内容です。 platformcon.com 正しい領域に投資しているか、何を優先すべきか、Platform / Product(実際に外部顧客に提供しているサービス）のいずれに投資すべきかなど様々な判断をするためにも、それぞれのインパクトを把握することが…

… of the design それぞれのPlatform productとして、機能・非機能要件を定義しそれにあわせてエンジニアを配置してるとのことです。 FeedbackをQuickに得るように どんなプロダクトも完璧なプロダクトというものはありません。完璧を求めすぎると無駄な投資を生むことにも繋がります。不完全なものでも素早くリリースし、フィードバックを得ていくことが重要です。（このあたりは一般的なプロダクト開発でもまったく同じことが言われていると思います。Platfor…

…latform design with reference architectures」 というセッションを取り上げたいと思います。 platformcon.com セッション概要 このセッションは、現代の複雑になりすぎた環境とそれに伴う認知負荷の向上に対する解決策を、具体的なリファレンスアーキテクチャを示しつつ解説するという内容です。 アプリケーションの実行基盤としてはAWS上のEKSを使うというシナリオでしたが、特徴的なポイントとしては Humanitec社 の Plat…

…latform designs with refernce architectures. 最初はこちら。Platform Engineeringで標準化をする意義とそれをセルフサービスで提供するイメージです。 ここではシステム全体を標準化しそれをリファレンスアーキテクチャとしているようです。 platformcon.com 【概要】 低い開発者体験は組織の技術スタックとそこにいる人々に以下のようなマイナスのインパクトを与えます。 低いプロダクティビティとイノベーションレベル …

…ntainer Insights 構成の内容によって設定手順が異なる FargateはECSクラスタの設定ONで使える 内部的に自動生成されるカスタムメトリクスはお金かかるので注意（一つあたり0.30USD） 図が非常にきれいで、平日夜の脳にもスッと入ってくる内容でした。 知らなかった。。の連続。 今回のセッションは「虎の巻」として、初学者のみならず万人に役立つ内容だったと思います。 LT1 ：Amazon CloudWatch Syntheticsで始める外形監視（仮） C…

…じめましてQuickSight お菓子とドリンクをいただき、PCを開きいざハンズオン。 クラウド女子会に参戦してきました😎サメがピンク！お菓子スポンサーさんよりお菓子とドリンクもあって嬉しいー pic.twitter.com/9F60gE2sRT— ますや (@masuchoku) 2023年5月21日 今回は、AWSが公開しているこちらのハンズオンを実施しました。 catalog.us-east-1.prod.workshops.aws 「AWS のクラウドBI機能（Ama…

…o install sigs.k8s.io/controller-tools/cmd/controller-gen@v0.11.3 /home/junya/k8soperator-loves-githubcopilot/bin/controller-gen rbac:roleName=manager-role crd webhook paths="./..." output:crd:artifacts:config=config/crd/bases /home/junya/k…

…uster-api.sigs.k8s.io なお、チュートリアルは若干古く、記載通りにやっても動かないので、書き換えたりツールやパッケージのバージョンアップなどもしています。 私の実装したコードは以下のリポジトリに置いています。 github.com Providerって? Infrastracture Bootstrap Control plane 実装してみよう 実装Provider概要 前提条件 Cluster APIリソースデプロイ Projectテンプレート作成 A…

…terraform-signup また、今後はPulumiやAnsibleなどのサポートも予定されているようです。 おわりに いかがだったでしょうか？ Platform Engineeringに興味のある方、Azureでインフラストラクチャーの構成管理や運用に悩まれている方、是非一度Azure Deployment Environmentsを試してもらえればと思います。 また、Azureだけでなく、このようなセルフサービス型でIaCを提供するサービスが色々出てきています。例え…

…ntainer Insights にクラスター最適化ワークブックが追加 Container Insightsにワークブックが追加され、リソース使用量の高い/低いコンテナの特定や問題のあるコンテナの特定が容易になるようです。 AKSの自動デプロイにおけるDraftのサポート Draftの機能がAzure Portalに統合され、アプリのソースコードがあるGitHubリポジトリを参照しDockerfile/Manifestsを自動生成できるようになりました。 Draftは去年のB…

…可能なツールとして、SIG Cluster LifecycleのsubprojectであるCluster APIをご紹介します。なお、Cluster APIの詳細な説明については、前回の記事のCluster APIとはやCluster APIコンセプトの章をご確認ください。 前回は、あらかじめ作成済のAzure Kubernetes Sevice(以降AKS)に、バニラなK8sを立ててみましたが、今回はAKS上にさらにAKSを立ててみます。 AKS払い出し 前提 環境変数設定…

…法論のひとつに「Design by Contract」というものがありますが、 Team APIはチーム間コミュニケーションにおける「Design by Contract」 と考えてもよいのではないでしょうか。チーム間コミュニケーションはソフトウェアのように画一的なものではないため、ソフトウェアのそれとはまったく同じというわけにはいきません。しかしTeam APIを定義しそれを共有することで、チーム間の「義務と利益」がクリアになり、両者が比較的心地よくコミュニケーションできる…

…ubernetesのSIG Cluster Lifecycleのsubprojectであり、ホストKubernetesにKubernetesクラスタAPIのリソースを作成し、そのリソースに沿ったクラスタを自動でプロビジョニング可能とするツールです。宣言的にKubernetesクラスタを管理できることからKubernetes as a Service(以降KaaS)などのKubernetesクラスタ払い出し自動化分野で使われることが期待されます。 また、弊社はMicrosoft…

…: SystemAssigned EOT managedclustersリソースがREADY = trueとなれば作成成功です。 $ k -n aso-aks get managedclusters NAME READY SEVERITY REASON MESSAGE samplemanagedcluster202221preview True Succeeded 以下コマンドでAKSが作成されていることが確認できます。 $ az aks list -o table | he…