AmazonS3 RESTパケット解析

はじめに

ちょっと、組み込み装置でamazon S3へのRESTアクセスの調査が必要となった。
RaspberryPiなどの組み込みLinuxでやるのであれば、割と簡単かもしれないが、ガチな組み込み機器であるため、Ethernetドライバ、TCP/IP、HTTP、TLS、RESTみたい感じできっちり理屈で組み上げる必要がある。
どうやらawscli もREST でS3 と通信しているらしく、どんな感じかパケットキャプチャしてみていったという話。

注意点

• リクエストはキャプチャのしやすさからHTTPSからHTTPに変更。
• アクセスキーやら日時やらKeyやらtagやらは個人情報保護の観点からいろいろと加工している。

リスト取得

AmazonS3 RESTパケット解析(リスト取得)

AmazonS3のBucket内のリスト取得をキャプチャ。 以下のコマンドで発行 aws s3 ls s3://XXXXXXXXXXXXXXX/folder AWS署名処理にはアルファベット順にソートされている必要がある。 このルールを知らないと「SignatureDoesNotMatch」とだけ言われて、何が間違っているのかよくわからない事態に。

www.simulationroom999.com

2020.03.15

リスト取得(max-key付き)

AmazonS3 RESTパケット解析(リスト取得 max-key付き)

前回、AmazonS3に対してリスト取得のパケットキャプチャを実施した。 しかし、GET Bucket のレスポンス長はディレクトリのファイル数に依存し、必要メモリサイズが予測できないことが多い。 特にIoT 関連デバイス含めた組込み系システムに於いて、必要メモリサイズ不明は死活問題になる。

www.simulationroom999.com

2020.03.17

Download

AmazonS3 RESTパケット解析(Downlaod)

今回は、AmazonS3からのDownload。 FTP のGET相当となる。 S3 仕様としてはGET object に相当。 aws s3 cp s3://XXXXXXXXXXXXXXX/folder/text2.txt ./ HTTPの仕様としてpartial contentsという仕様がある。

www.simulationroom999.com

2020.03.19

Upoad

AmazonS3 RESTパケット解析(Upload)

今回は、AmazonS3へのUpload。 FTP のPUT相当 AWSのPUT object仕様になる。 aws s3 cp ./command.txt s3://XXXXXXXXXXXXXXX/folder/command.txt POSTメソッド かと思いきやPUTメソッド らしい。

www.simulationroom999.com

2020.03.19

まとめ

ストレージとしてはの機能は上記で凡そ網羅しているが、これ以外にUAC的なことも仕様上は存在する。
基本的にはFTPっぽいが、リスト取得の検索性の高さがFTPよりも高速な理由な可能性が高い。

ちなみに、
AWSアクセス用のSDKは各種メジャー言語用は揃っているので、PCでやる場合はRESTを意識する必要はない。

基本、RESTを意識するのは汎用OS未搭載なガチ組込み系のみ。
IoTデバイスのように非ガチ組込みの場合はエージェントライブラリが揃っててこれも苦労はしない。
というわけで、かなりニッチな領域の話となった。