はじめに 先進サービス開発事業部の山岡です。 GAE/Goは1.6, 1,8, 1.9, 1.11, 1.12(beta)と随時新しいGolangバージョンに対応してきていますが、1.11からはGAEのバックエンドがgVisorベースの2nd Generationとなり大きな変更点が複数ありました。 *1 1.11で…

始めに 先進サービス開発事業部の山岡です。 GAE/Goでは goapp test を使うことでローカル環境に仮のGAEを再現しDatastoreのアクセスや非同期処理の挙動を確認することができますが、テスト終了後にその環境は自動で破棄されてしまいDatastoreがどのような状…

はじめに 先進サービス開発事業部の山岡です。 GCP DatastoreはSQLコマンドを直接叩いてデータを操作する、というようなことができません。一応GUIから内容を確認して削除したりすることはできますが、簡易的なものであり特に大量のデータに対しては全くの無…

先進サービス開発事業部の山岡です。 GCP DatastoreのバックアップにはImport/Exportというサービスを使いますが、これには結果をレポートする機能が無く運用する上で不便です。今回APIをポーリングしSlackにレポートする仕組みを作りましたのでその知見を共…

始めに 先進サービス開発事業部の山岡です。 前回の記事の続きで、Datastore Import/Exportによる定時バックアップについて書きたいと思います。 旧世代の仕様ではGAEのcronを使い特定のURLを叩くことで起動することができました。新しい方式でも大筋は同じ…

始めに 先進サービス開発事業部の山岡です。 私がバックエンドを開発しているNEIGHBORSはAppEngine(Go)の上に構築されており、データベースはCloud Datastoreを使用しています。 Datastoreはスケーラビリティに優れたNoSQLデータベースで、容量が無制限、Ent…

今回は「Apache BeamとGCP Dataflowの紹介」というテーマで、Apache Beam with Pythonでの実装をGCP（Google Cloud Platform）上で試してみた結果を、弊社エンジニア山岡がデモも交えてご紹介しました。 Apache beamとdataflow紹介 from Ryo Yamaoka ■参加者…