APC 技術ブログ

株式会社エーピーコミュニケーションズの技術ブログです。

株式会社 エーピーコミュニケーションズの技術ブログです。

GCP

GAE/Go1.9から1.11にマイグレーションしようとして躓いたところ

はじめに 先進サービス開発事業部の山岡です。 GAE/Goは1.6, 1,8, 1.9, 1.11, 1.12(beta)と随時新しいGolangバージョンに対応してきていますが、1.11からはGAEのバックエンドがgVisorベースの2nd Generationとなり大きな変更点が複数ありました。1.11ではま…

GAE/GoのテストでDatastoreの状態を確認できるようにする

始めに 先進サービス開発事業部の山岡です。 GAE/Goでは goapp test を使うことでローカル環境に仮のGAEを再現しDatastoreのアクセスや非同期処理の挙動を確認することができますが、テスト終了後にその環境は自動で破棄されてしまいDatastoreがどのような状…

GCP DatastoreのKindを一括削除する

はじめに 先進サービス開発事業部の山岡です。 GCP DatastoreはSQLコマンドを直接叩いてデータを操作する、というようなことができません。一応GUIから内容を確認して削除したりすることはできますが、簡易的なものであり特に大量のデータに対しては全くの無…

Datastore Import/Exportの結果をレポートする

先進サービス開発事業部の山岡です。 GCP DatastoreのバックアップにはImport/Exportというサービスを使いますが、これには結果をレポートする機能が無く運用する上で不便です。今回APIをポーリングしSlackにレポートする仕組みを作りましたのでその知見を共…

Datastore Import/Exportの紹介(2/2)

始めに 先進サービス開発事業部の山岡です。 前回の記事の続きで、Datastore Import/Exportによる定時バックアップについて書きたいと思います。 旧世代の仕様ではGAEのcronを使い特定のURLを叩くことで起動することができました。新しい方式でも大筋は同じ…

Datastore Import/Exportの紹介(1/2)

始めに 先進サービス開発事業部の山岡です。 私がバックエンドを開発しているNEIGHBORSはAppEngine(Go)の上に構築されており、データベースはCloud Datastoreを使用しています。 Datastoreはスケーラビリティに優れたNoSQLデータベースで、容量が無制限、Ent…

「Apache BeamとGCP Dataflowの紹介」 APC勉強会 8a1 #31 を開催しました

今回は「Apache BeamとGCP Dataflowの紹介」というテーマで、Apache Beam with Pythonでの実装をGCP(Google Cloud Platform)上で試してみた結果を、弊社エンジニア山岡がデモも交えてご紹介しました。 Apache beamとdataflow紹介 from Ryo Yamaoka ■参加者…