フロムスクラッチ開発者ブログ

from scratch Engineers' Blog

CTFのパケット解析から学ぶセキュリティとハッキング vol.2

 こんにちは!フロムスクラッチ新人エンジニアのおんじです!
 今回のブログでは、前回の記事「CTFのパケット解析から学ぶセキュリティとハッキング」の実践編として、Wiresharkを使ったHTTPプロトコルのパケット解析による画像オブジェクトの抽出やFTPプロトコルのパケットによるファイル抽出に取り組んでいこうと思います。
 尚、今回の記事のきっかけとなっている社内勉強会は『セキュリティコンテストチャレンジブック CTFで学ぼう情報を守るための戦い方』の内容を参考にしています。より深く気になられた方は、そちらも御覧頂ければと思います!

1.HTTPプロトコルのパケット解析によるオブジェクトの抽出

 Wiresharkは、前回の記事でも紹介したGUIのネットワークパケット・プロトコル解析ツールです。これを活用すると、HTTPプロトコルの通信をキャプチャして、そこに流れているHTMLファイルや画像、CSS、 JSON や XML などのオブジェクトを抽出することができます。そこで今回は、Wiresharkを使ってフロムスクラッチの子会社であるTechJINのホームページから、会社ロゴの画像オブジェクトを抽出してみたいと思います。
 f:id:kota-onji:20180512140605p:plain
 まずは、抽出したいオブジェクトが流れる通信をキャプチャしてきます。前回も確認した通りパケットキャプチャを開始すると、大量のパケットが記録されていきます。このままだと表示件数が多すぎるので、キャプチャしたパケットの中からHTTPプロトコルのものだけを表示できるようにしたいと思います。
 Wiresharkには、条件にあったパケットのみを表示するDisplay Filterと呼ばれるフィルタリング機能があります。この機能を使い、必要なパケットのみを表示します。今回の場合は、HTTPプロトコルが使われているパケットのみを表示したいので、下記画像のように入力欄に"HTTP"と入力します。
f:id:kota-onji:20180511160430p:plain
すると、、、
f:id:kota-onji:20180512140838p:plain
 このように、HTTPプロトコルを使用したパケットのみが抽出して表示されるようになりました。
 今回は検索ページに直接プロトコル名を打ち込みましたが、他にも直接条件式を打ち込むことでプロトコルのフィールド名まで指定したより詳細なフィルタリングも、このDisplay Filterで実現することが出来ます。

 さて本題に戻りますが、問題のオブジェクトを抽出するために、WiresharkのExport Objects機能を利用していきたいと思います。以下の画像のように、File > Export Objects > HTTP Objects を開きます。
f:id:kota-onji:20180509133956p:plain
 すると、以下の画像のようにHTTPオブジェクトが一覧として表示されます。
f:id:kota-onji:20180512142853p:plain
 先程のページをデベロッパツールで確認すると、該当する画像はmark_i.pngというファイル名であることがわかります。
f:id:kota-onji:20180512143953p:plain
よってExport Objectsの画面で該当するファイルをダウンロードしてくると、、、
f:id:kota-onji:20180512144117p:plain
 上記の通り、画像オブジェクトの抽出とダウンロードに成功しました!
今回は画像のケースを取り上げましたが、他のオブジェクトであってもいとも簡単に、抽出してくることができてしまうのです。

2.FTPプロトコルのパケット解析による転送ファイルの抽出

 さて、ここまではHTTPプロトコルについて見てきました。今度は、FTPプロトコルについて見ていきます。FTPサーバをローカルに構築し、そのサーバにb→dashアイコンのpng画像を転送して、転送した画像データをパケット解析によって抽出してみたいと思います(尚、今回はパケット解析にフォーカスするために、サーバの構築~データの転送の部分については省略致します)。

 その前に、前提となるFTPプロトコルの通信の流れについて確認していきます。
f:id:kota-onji:20180511155144p:plain
 上の図のように、FTPプロトコルは「データコネクション」と「コントロールコネクション」とを組み合わせて転送を行います。データコネクションは、実際にデータを転送するためのコネクションになります。それに対して、コントロールコネクションは、FTPサーバにログインする際の利用者認証やFTPコマンドの送受信など、データコネクションを制御するためのコネクションとなっています。
 
 では、実際にデータを転送した際のパケット情報を見てみます。
f:id:kota-onji:20180511154211p:plain
まず、Aの部分はコントロールコネクションに該当します。ユーザーログインのリクエストとレスポンス、データ転送のリクエストとレスポンスが行われています。次に、Bの部分、ここがデータコネクションに該当します。先程のデータ転送のレスポンスを受けて、クライアントからサーバにデータ転送が行われています。そして最後のCで、またコントロールコネクションに帰ってきて、データ転送成功のレスポンスと、通信の終了が行われています。
 
 さて、抽出するデータがやり取りされているパケットがわかった所で、実際にファイルの抽出に入っていきたいと思います。そこで、今回はTCPストリームという機能で、直接データコネクションの通信内容を参照して、そこからファイル抽出を行います。
 まずは、Wireshark上で先程のデータコネクションに該当するパケットを指定して右クリックを押下し、Fllow > TCP Streamを開きます。
すると、以下のようなデータコネクションのFTPの送信データに遷移します。
f:id:kota-onji:20180510163027p:plain
 この中で、png画像のデータを抽出して保存するため、表示形式をRowに変更した上で下部のテキストボックスでpngと入力して()、絞り込みを行います。そして保存すると、f:id:kota-onji:20180510170607p:plain
このように、画像のダウンロードに成功しました!

3.おわりに

 2週間に渡って、普段の業務とは一味違ったパケット解析というものを行い、非常に楽しかったと同時に、
今週はGUI上で全てが完結したように、本当にあっさりと通信の中身を取ってこれることに怖さも感じました。
 お客様のデータを扱う会社として、今後もこのような社内勉強会を積極的に実施し、記事を掲載していきます。
 この度は、お読み頂きありがとうございました!

CTFのパケット解析から学ぶセキュリティとハッキング vol.1

 こんにちは!この春フロムスクラッチに入社した新人エンジニアのおんじです!

 今回のフロムスクラッチ開発ブログでは「CTFのバイナリ解析から学ぶセキュリティとハッキング」に続いて、パケット解析編の勉強会について書きたいと思います。
また、勉強会の内容自体が書籍の『セキュリティコンテストチャレンジブック CTFで学ぼう情報を守るための戦い方』を参考にしているので、より深く気になる方は手にとってみてはいかがでしょうか。
 ※CTFバイナリ解析編のバックナンバーは、こちらからどうぞ!

1.CTFとは?

 CTFとは情報技術に関する問題に対して適切な形で対処することで、「フラグ(Flag)」と呼ばれる得点対象の文字列を取得することによって、得られた得点で勝敗を決める大会です。”Capture The Flag”の頭文字をとってCTFといいます。国内ではSECCON CTFが有名です。(CTFについては、こちらの記事で詳しく触れています。)

2.ネットワークプロトコルとパケット

 パケット解析では、ネットワークを流れる通信を分析して、どのようなプロトコルでどのような要素を扱った通信を行っているのかを解明します。そのため、まずは前提のネットワークプロトコルの知識を確認していきます。

 ネットワークプロトコルとは、ネットワーク上での通信に関する規約を定めたものです。TCP/IPのモデルによると、これは以下のような階層構造になっています。

  f:id:kota-onji:20180507212545p:plain

これは、階層間の依存を無くし、プロトコルの開発やメンテナンスを容易に行えるようにすることを目的とした構造になっています。
 何らかのデータを送信する際には、上記のそれぞれの階層で、そのプロトコルに必要な情報を渡されたデータの先頭に付与し、次の階層に渡します。この付与した情報をヘッダと呼び、このヘッダを付与する動作をカプセル化と呼びます。
 逆に、データを受信した際には、それぞれの階層でこのヘッダを解釈し、削除した後に次の階層に渡していきます。
                                            
 今回扱うパケットは、一般的には、インターネット層のデータのことを指します。しかし、パケット解析を行う際には、ネットワークインターフェース層のヘッダとデータも解析します。この部分は一般的にはフレームと呼ばれますが、便宜上この記事では上図の太枠で囲われた部分をパケットとして扱っていきます。

3.pcapファイル

 ではパケットに関する前提を確認した所で、実際にパケットの解析に進んでいきたいと思います。ここではWiresharkと呼ばれるGUIのネットワークパケット・プロトコル解析ツールを使用していきます。
 ※OSはUbuntu 16.04.4 、Wiresharkのバージョンは2.2.6で実行しています。
 『セキュリティコンテストチャレンジブック CTFで学ぼう情報を守るための戦い方』によると、Wiresharkには、主に以下の3つの機能が実装されています。

 (1)ネットワークを流れるパケットをキャプチャ する
 (2)キャプチャしたパケットを表示する
 (3)表示したパケットを解析する

 まず、パケット解析をするために、パケット情報をキャプチャしていきます。Wiresharkを起動すると、以下のような画面が表示されます。
f:id:kota-onji:20180505205250p:plain

ここで、パケット情報を取得したい接続を選択します。すると、以下のようにパケット情報が記録されていきます。

f:id:kota-onji:20180505205257p:plain

あとは左上2番目の停止ボタンを押下し、ファイルを保存したらパケットのキャプチャは完了です(※sample1.pcapというファイル名で保存)。

 ここで保存されたパケットのキャプチャは、WinPcap(Linuxであればlibpcap)ファイルフォーマットというフォーマットで保存されます。このフォーマットはパケットを記録する基本的なフォーマットで、ネットワーク通信を記録するファイルとして、広く使用されています。以下に、そのサンプルを示します。

 f:id:kota-onji:20180508104119p:plain

 pcapファイルは、基本的に次の3段構造になっています。
 f:id:kota-onji:20180507212554p:plain
 Pcap file header(以下pcapheader)は、pcapファイルそのものの情報を格納する部分です。その最大の特徴は、ファイルの先頭の"D4 C3 B2 A1"という先頭の4バイトです。pcapファイルであれば必ずこのような4バイトから始まっており、pcapファイルを判別する部分になっています。また、pcapheadaerには他にも次のような情報が格納されています。
  ●pcapファイルフォーマットのバージョン情報
    - major version:2バイト "02 00"
    - minor version:2バイト "04 00"

  ●タイムゾーン情報
    - timezone:4バイト "00 00 00 00"

  ●タイムスタンプの精度
    - sigfigs:4バイト "00 00 00 00"

  ●キャプチャできるパケット長の最大長
    - snaplen:4バイト "ff ff 00 00"

  ●データリンク層のヘッダタイプ
    - linktype:4バイト "01 00 00 00
pcap headerをまとめると、以下のような構造になっています。
f:id:kota-onji:20180507212751p:plain

 Pcap packet header(以下packet header)は、各パケットに付与されるヘッダで、それぞれのパケットに関する情報が格納されています。具体的には以下の情報が格納されています。
  ●パケットキャプチャしたときのタイムスタンプ
    - 日付を表すUNIXタイムスタンプ:4バイト "72 bb ec 5a"
    - マイクロ秒を表すタイムスタンプ:4バイト "82 6a 04 00"

  ●パケットの長さ
    - caplen:4バイト "54 00 00 00"
    - len:4バイト "8c 16 45 04"

 基本的に、caplenとlenは同じ値ですが、pcap headerのsnaplenよりも大きいパケッ トがパケットキャプチャ中に流れてきた場合、ファイルに記録されるパケット長と実際 のパケット長は異なるので、caplenとlenは異なる値になる可能性があります。
 そしてこのpacket headerの後に、各パケットのpacket dataが格納されているという形式になっています。

4.Rubyを使ったパケット解析

 pcapファイルの構成がわかった所で、実際の解析に移っていきたいと思います。今回はRubyの拡張ライブラリであるruby-pcapを使用して、解析を行いました。
 ※Ruby 2.3.1 、ruby-pcap 0.7.9で実行

 まず、Rubyの環境下にruby-pcapをインストールします。

$ sudo apt-get install libpcap-dev
$ sudo gem install ruby-pcap

 次に、例としてIP パケットのsource addressを抽出してくるコードを作成します(先程キャプチャしたsample1.pcapを使用)。

require 'pcap'

packets = Pcap::Capture.open_offline('sample1.pcap')

packets.each do |packet|
  puts packet.ip_src if packet.ip? == true
end

 これを実行すると、以下のように接続していたIPアドレスが羅列されていきます。

172.217.25.232
10.0.2.15
183.79.250.123
104.244.43.112
10.0.2.15
10.0.2.15
104.244.43.112
104.244.43.112
10.0.2.15
104.244.43.112
...
※以下略

このままだと、無秩序に並んでいるだけなので、タイムスタンプも一緒に出力してIPアドレスごとにソートをかけて出力してみます。

require 'pcap'

array = Array.new

packets = Pcap::Capture.open_offline('sample1.pcap')

packets.each do |packet|
  ip = packet.ip_src if packetl.ip? == true
  time = packet.time

  array.push([ip.to_s,time.to_s,''])

end

sorted = array.sort 
puts sorted

すると、以下のように出力されるようになりました。

54.250.162.79
2018-05-04 05:00:20 +0900

54.250.162.79
2018-05-04 05:00:20 +0900

54.250.162.79
2018-05-04 05:00:20 +0900

54.250.162.79
2018-05-04 05:00:20 +0900

54.250.162.79
2018-05-04 05:00:20 +0900

54.250.162.79
2018-05-04 05:00:20 +0900

54.250.162.79
2018-05-04 05:00:20 +0900

54.250.162.79
2018-05-04 05:00:20 +0900
...
※以下略

実際の解析ではこのように問題となっている接続を特定していきます。
この続きの解析については、次週記事にしたいと思います。

5.おわりに

 今回は、パケット解析の前提知識と、基本部分についてお話しました。次回は、実際のCTFの問題などを解いていき、より深い部分に踏み込んで行きたいと思います。次回も興味深い内容になる予定ですので、是非読んでみてください。

Apache ZooKeeperを内部解析してみる vol.4 〜znodeステータス編〜

こんにちはfukuです。

前回は実際にソースコードから内部的なデータノードの管理について解説を行いました。 今回は、前回少し紹介を行なったznodeのステータスについて詳細に説明を行なって行きます。

zxid

znodeのステータスの説明に入る前に、zxidについての説明を行います。ZooKeeperはもともと、複数のサーバにて分散して動作するように設計がされています。 そのため、各サーバが協調して動作するように、さらにはデータノードを定期的に永続化をする際に、データの整合性を保つためにzxid(ZooKeeperトランザクションID)というものがあります。 zxidはスタンドアローンとクラスタとの実行で少し役割の範囲が異なりますが、ここではスタンドアローンでの場合を考えます。 スタンドアローンでは主にデータの整合性を保つためにzxidを利用します。 そのためノードの追加や変更などのデータ更新を行うたびに、シーケンシャルに増加する値としてzxidがあるという認識で大丈夫です。

znodeのステータス

ではここで、znodeを操作することでどのようにステータスが変化するのかを見て行きましょう。

まず/testノードを作成し、ステータスを参照します。

[zk: localhost:2181(CONNECTED) 0] create /test "hoge"
Created /test
[zk: localhost:2181(CONNECTED) 1] get -s  /test
hoge
cZxid = 0x9
ctime = Sat Mar 31 22:27:40 JST 2018
mZxid = 0x9
mtime = Sat Mar 31 22:27:40 JST 2018
pZxid = 0x9
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 0

cZxidでは対象のznodeを作成した時のzxid、ctimeはznodeを作成したシステム時間がそれぞれ記録されます。 上記から/testノードを作成した時のzxidは0x16であることがわかります。

次にmZxidmtimeは、それぞれznodeが最終更新された時のzxid、システム時間となるので、以下のように実際に更新してみます。

[zk: localhost:2181(CONNECTED) 2] set /test "hogehoge"
[zk: localhost:2181(CONNECTED) 3] get -s  /test
hogehoge
cZxid = 0x9
ctime = Sat Mar 31 22:27:40 JST 2018
mZxid = 0xa
mtime = Sat Mar 31 22:28:01 JST 2018
pZxid = 0x9
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 8
numChildren = 0

znodeを更新することでmZxidmtimeが変更されていることがわかります。またzxidの値もインクリメントされてセットされていることが確認できます。

続いてpZxidですが、こちらは子ノードを最終更新したzxidとなります。またcversionは子ノードのバージョン番号となっていて、子ノードが変更されるたびにバージョン番号が変更されます。

[zk: localhost:2181(CONNECTED) 4] create  /test/child1 "child1"
Created /test/child1
[zk: localhost:2181(CONNECTED) 5] get -s  /test
hogehoge
cZxid = 0x9
ctime = Sat Mar 31 22:27:40 JST 2018
mZxid = 0xa
mtime = Sat Mar 31 22:28:01 JST 2018
pZxid = 0xb
cversion = 1
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 8
numChildren = 1

注意しなければならないのは、pZxidcversionはあくまで直属の子ノードに対するものであるので、孫にあたるznodeに対してはステータスの変更は起こりません。

[zk: localhost:2181(CONNECTED) 6] create  /test/child1/grandchild1 "grandchild1"
Created /test/child1/grandchild1
[zk: localhost:2181(CONNECTED) 7] get -s  /test
hogehoge
cZxid = 0x9
ctime = Sat Mar 31 22:27:40 JST 2018
mZxid = 0xa
mtime = Sat Mar 31 22:28:01 JST 2018
pZxid = 0xb
cversion = 1
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 8
numChildren = 1

続いてdataVersionですがこちらはznodeに格納するデータのバージョンになります。このdataVersionを比較することによって、他のクライアントが対象データを書き換えを行ったかをチェックすることができます。

znodeに対してデータの書き込みを行う際に、バージョンを指定するオプションがあり、指定したバージョンが現在のdataVersionと一致する時のみ、書き込みを行うことができます。これによって他のクライアントが書き込みを行った場合には、書き込みを避けると行ったことが可能になります。

[zk: localhost:2181(CONNECTED) 8] set -v 10 /test hogehogehoge
version No is not valid : /test

[zk: localhost:2181(CONNECTED) 9] set -v 1 /test hogehogehoge

[zk: localhost:2181(CONNECTED) 10] get -s  /test
hogehogehoge
cZxid = 0x9
ctime = Sat Mar 31 22:27:40 JST 2018
mZxid = 0x20
mtime = Sat Mar 31 22:56:32 JST 2018
pZxid = 0xb
cversion = 1
dataVersion = 2
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 12
numChildren = 1

aclVersionはデータノードに設定されているアクセス権のバージョンを示す値となります。以下のようにデータノードのACLを変更することでaclVersionの値が更新されます

[zk: localhost:2181(CONNECTED) 11] setAcl /test world:anyone:crdwa
[zk: localhost:2181(CONNECTED) 12] get -s /test
hogehogehoge
cZxid = 0x9
ctime = Sat Mar 31 22:27:40 JST 2018
mZxid = 0x20
mtime = Sat Mar 31 22:56:32 JST 2018
pZxid = 0xb
cversion = 1
dataVersion = 2
aclVersion = 1
ephemeralOwner = 0x0
dataLength = 12
numChildren = 1

ephemeralOwnerはEPHEMERALモードのデータノードに対してセッションIDを格納ために利用されます。これによってZookeeperは特定のクライアントのセッションが切断された時に、対象のセッションIDとEPHEMERALモードのデータノードに格納されているephemeralOwnerを比較して一致すれば、そのデータノードを削除します。

# zkCliの起動ログ。セッションIDが0x1000363a57c0007に設定されている
2018-03-31 22:52:47,599 [myid:localhost:2181] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1381] - Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x1000363a57c0007, negotiated timeout = 30000

[zk: localhost:2181(CONNECTED) 0] create -e /ephemeral
Created /ephemeral

[zk: localhost:2181(CONNECTED) 1] get -s  /ephemeral
null
cZxid = 0x25
ctime = Sat Mar 31 23:14:16 JST 2018
mZxid = 0x25
mtime = Sat Mar 31 23:14:16 JST 2018
pZxid = 0x25
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x1000363a57c0007
dataLength = 0
numChildren = 0

最後にdataLengthnumChildrenの値ですが、こちらは文字の通りで、データノードに格納されているデータのバイト数と、子ノードの個数をそれぞれ表しています。

おしまいに

今回はデータノードのステータス管理について記述していきました。特にzxidやバージョン管理を行うことで、複数のクライアントがデータノードに関しての操作を行っても協調しながら状態管理が行えるようになります。