AWS LambdaでiTunes Connectからレポートデータをダウンロードする

WEBサービス開発グループの堀です。こんにちわ。

桜満開のニュースよりスギ花粉のシーズンが終盤に入ったというニュースのほうが個人的にはうれしい今日この頃ですが、いかがお過ごしでしょうか。今回はiTunes Connectからレポートデータを取得するツールReporterを実行するLambda関数をAWSサービスの勉強も兼ねて作りました、という話です。

概要

ReporterはAppleが提供しているツールで、iTunes Connectから売上やDL数などのレポート(テキスト/tsv形式)をダウンロードすることができます。ただ、Javaのプログラムな上に色々と融通が利かないところがあり、Google PlayのREST APIなどと比べると扱いづらいツールです。
今回はPython3経由でこのツールを実行して取得したレポートファイルをAmazon S3にアップロードするLambda関数を作成してみました。

作業の段取りとしては、以下の流れになります。

  • ダウンロードしたレポートファイルを格納するためのAmazon S3バケットを用意する
  • Cloud9の環境を作る
  • Reporter一式(Reporter.jar、Reporter.propertes)をダウンロードしてLambda関数内ディレクトリに展開する
  • Lambda関数を実装 / deployする
  • AWSコンソール画面から各種設定を行う(Lambda、IAM(KMS))

Python3での開発環境があって、手動でzip圧縮とdeploy作業を行うのであればCloud9を使用しなくても大丈夫です。

Amazon S3バケットを用意する

バケットの作成手順は特に難しいところもありませんので割愛しますが、Cloud9を使う関係でリージョンは米国東部(バージニア北部)にしました。

Cloud9の環境を作る

2018/4/2現在、米国東部(バージニア北部/オハイオ)、米国西部(オレゴン)、アジアパシフィック(シンガポール)、EU(アイルランド)で利用可となっていますが、S3のバケットと同じリージョンであればどこでもよいと思います。Cloud9の設定項目は後からでも変更できますので、とりあえずはデフォルト値で問題ないと思います。

環境が作成されて統合開発環境っぽい画面が表示されたら、右上端にある歯車アイコンを押して設定画面を開き、PYTHONPATHを確認しておきましょう。2018/4/3現在、python3.6がなぜかpathに入っておらず、python3.6を使用したときに一部ライブラリが正常にimportできなくなっていますので、3.6のpathを追加しておきます。あと、Python Versionも「Python3」に変更しておきます。

  • PYTHONPATH : /usr/local/lib/python3.6/dist-packages
  • Python Version: Python3

Lambda関数の作成は右側のAWS Resourcesタブにある「λ+」アイコンを押して始めます。

Cloud9では2018/4/2現在、node.jsとpythonが利用でき、S3にアクセスするといった雛形(Blueprint)が選べるようになっています。今回は「s3-get-object-python3」を使用していますが、python3.6のempty-pythonでも問題ありません。設定項目は後で変更できますので、その他の設定はひとまずデフォルト値にしておきます。

関数の雛形が作成されたら、画面下のコンソール画面からReporter一式(Reporter.jar、Reporter.propertes)をwgetなどでダウンロードして関数のディレクトリ配下に展開しておきます。

Reporter.propertiesの先頭1行目にアクセストークンを記述するところがありますが、アクセストークンはLambdaの環境変数から取得して埋め込むようにしますので先頭1行目は消しておきます。iTunes Connectのアクセストークンの取得の仕方はReporterに記載されていますので、そちらを参照してください。

Lambda関数の実装とdeploy

処理の流れとしては、

  1. Reporter一式(Reporter.jar、Reporter.propert)を/tmpに移動
  2. アクセストークンをLambdaの環境変数から取得してReporter.propertiesに追記
  3. Reporter.jarを/tmpで実行してレポートを取得
  4. 取得したレポートファイルをunzipしてAmazon S3にアップロード

のようになります。

1.のようにReporter.*を/tmpに移す理由として、

  1. AWS Lambdaの仕様で書き込みができるのは/tmpに限定されている
  2. Reporterではレポートのダウンロード先ディレクトリを指定できない(実行したディレクトリに置かれる)
  3. Reporterは引数でReporter.propertiesの位置をディレクトリパス込みで指定できない

といった事情があります。
アクセストークンは環境変数IC_TOKENに暗号化して保存しているため復号してから使用します。
実装が終わったら、画面右側のメニューからAWS Lambdaにdeployします。

Lambda関数の各種設定

お試しでテスト実行だけすることにしますので、特にトリガーは設定しません。実行ロールにはLambdaの実行権限とS3へのアクセス権限が必要になります。デフォルトの実行時間は短すぎるので60秒程度がよいと思います。

環境変数にアクセストークンを設定しますが、暗号化するためには事前にIAMの暗号化キーメニューでキーを作成しておく必要があります。

環境変数に値を入力後に暗号化の設定でKMSキーを指定、「暗号化」を押すと暗号化されて保存されます。

動作テスト

今回はイベント引数は使用していないので、テストイベントの登録は適当で大丈夫です。登録が終わったら「テスト」を押して実行してみて、結果がS3にアップロードされれば成功です。

おわりに

レポートファイルを少し加工してS3にアップロードしておけば、Amazon Athenaを使ってredashなどでアプリのダウンロード数をグラフ化するといったことも簡単にできそうです。Reporterの仕様でアクセストークンの有効期限が6ヶ月となっているため、環境変数に入れておくより処理毎に生成して使用したほうがよさそうですが、トークンの生成時にID/PWの入力を求められるため、pexpectライブラリなどを使う必要がありそうです。このあたりもうまくいったら記事にしょうかと思っています。