インターネット上にはWebサービスを停止させる様々なリスク要因が存在しています。インターネットリスク可視化サービスMejiro（以下「Mejiro」）では、インターネット上のリスク要因に関するデータを収集し、国・地域別の指標を計算して可視化しています。 Mejiroではユーザが国や地域、期間を選択し、さまざまな角度から分析を行ない、より正確に状況を把握することができます。データ取得の具体的な方法や指標を計算する具体的な方法について各説明をご参照ください。
なお、現在のMejiroは検証用のため、多くの改良の余地を残しています。 Mejiro についてのご意見・ご感想・ご質問等をお寄せください。

DNS

NTP

RPC

SIP

SNMP

SSDP

Synthetic

Asia

Europe

Africa

Oceania

Americas

Other

Mejiroの説明

詳しく知りたい方のために

はじめに

インターネット上にはWebサービスを停止させる様々なリスク要因が存在しています。 Mejiroでは、インターネット上のリスク要因に関するデータをデータプロバイダから収集し、これらのデータを元に国・地域別の指標を計算して可視化しています。 Mejiroでは客観的で比較可能なリスクの指標を作成し、さまざまな角度から分析を行うことで、より正確に状況把握を行うことができます。データ取得の具体的な方法や指標を計算する具体的な方法については以下説明をご参照ください。 Mejiroの解析では、「Mejiro指標」を用いています。 Mejiro指標は、国・地域別のリスク要因の数と当該国・地域に割り当てられたIPアドレスの数（以下「IP アドレス数」。）を両対数グラフによる回帰直線からの乖離を偏差値として計算し、指標としています。（IP アドレス数は国・地域によって数百から十数億まで大きく異なります。リスク要因の数は IP アドレス数に比例して増えることが推測できますので、リスク要因の数も同様に何桁も異なるような範囲にまたがるものと思われます。そこで、サイズの大小によらず同じ土俵での議論を行うために両方の数について対数を取って「桁数」での比較検討を行っています。）この指標によって、当該国・地域における各種リスク要因が世界全体の水準に比べてどの程度存在するか、リスク要因間でどちらがどの程度世界水準と異なるのかを知ることができます。また、国・地域を跨いだリスク要因の深刻度合いを比較して対策実施の優先順位を決める際の参考にしたり、相互に対策の手法や経験を共有したりすることにつなげられると期待しています。

JPCERT/CC では2014年度から「サイバーグリーンプロジェクト」を実施しています。 Mejiroはサイバーグリーンプロジェクトの基本理念を踏襲していますが、JPCERT/CC独自のアプローチによりインターネットリスクを可視化しています。

TOPへ

対象とするリスク要因

Mejiroでは、インターネットのさまざまなリスク要因の中から、「Open UDP Server」を対象としました。（ここでは、UDP プロトコルを用いて要求メッセージを送ると何らかの応答を返し、かつ、その応答のサイズが要求に比べて大きいものを「Open UDP Server」としています。）

Open UDP Server はリフレクションDDoS攻撃に悪用されており、JPCERT/CC を含めた情報セキュリティ対策コミュニティを挙げてその減少に取り組んでいます。 Mejiro では、Open UDP Server から数の多いものを基本に次の６種類を計測・解析の対象としました。

* DNS (Open Resolver)
* NTP
* RPC
* SIP
* SNMP
* SSDP

また、Mejiro では DDoS攻撃に悪用され得るリスク要因だけではなく、WannaCryといった他の攻撃で悪用され得るリスク要因として、今回はmicrosoft-ds (445/tcp)も対象としました。

Mejiro では、今後も計測・解析の対象とするリスク要因を増やしていく予定です。

TOPへ

データ・ソース

Mejiro では、データプロバイダからデータを取得しています。

リスク要因のデータ

SHODAN

[1]

$ shodan stats --facets country:500 "recursion: enabled before:DD/MM/YYYY"

プロトコル	リスク	SHODANに対する検索キー
DNS	Open Resolver	recursion: enabled
NTP	Open NTP Server	NTP stratum:
RPC	Open RPC Server	port:111 portmap
SIP	Open SIP Server	SIP/ /UDP
SNMP	Open SNMP Server	port:161
SSDP	Open SSDP Server	upnp location:
microsoft-ds	Open microsoft-ds Server	port:445

TSUBAME(インターネット定点観測システム)

censys

[4]

SELECT
 count(1),
 location.country_code
FROM
 ｀censys-io.ipv4_public.YYYYMMDD｀
WHERE
 p53.dns.LOOKUP.open_resolver
Group By
 location.country_code

[4]

censys

国・地域に割り当てられたIP アドレス数

MaxMind

MaxMind

TOPへ

リスクの可視化

①時系列グラフ（期間でのノード数の増減)

時系列グラフは、データから得られた国・地域別の各リスク要因の数を時系列に示したものです。このグラフによって、それぞれの国・地域におけるリスク要因の数の時間軸上の変化を俯瞰的に概観することができます。ただし、ここに示したリスク要因の数は、IP アドレス数の大きな国・地域ではそれに比例してより多く発見され、小さな国・地域では相対的に少ないものと推測されますので、単純に絶対数を比較することは妥当ではありません。これについては②散布図で相対比較を図ります。 Mejiro でも時間経過とともに国・地域別のリスク要因の数が比較的大きく変動する場合が散見されますが、このような観測では、観測する時刻、地点、手法により計数が大きく変動する傾向があるようです。なぜ変動するのかについては次のような違いに起因するものではないかと推測しています。

スキャンするノードの IP アドレスの違い
スキャンの際の要求内容の違い
スキャンのタイミング・頻度の違い
応答の取捨選択の閾値や解釈の違い
スキャンされるノードの側の ACL の違い
パケット到達性の経時的変化による違い

そのため、Mejiro では、データの精査を行うとともに、取得するデータを増やしてクロスチェックを行う等、より正確な描像を得ることができる手法の開発を計画ししています。

TOPへ

②散布図（リスク要因の数と IP アドレスの数)

Mejiro では、IP アドレス数により相対比較しています。しかし、国・地域によって数百個から十数億個の範囲で IP アドレス数が異なりますので、リスク要因の数も相応に数桁程度は異なるものと考えられます。一般に、何桁にも渡って異なる数を同じ土俵で扱う場合には、両者の常用対数を取って解析します。 Mejiro においても IP アドレス数とリスク要因数のそれぞれの常用対数により解析しており、実際にこれらふたつのパラメータを両対数の散布図に描くと比較的残差の少ない回帰直線を引くことができることを発見しました。この散布図では、横軸はIP アドレス数の常用対数で、縦軸は当該国・地域に発見されたリスク要因の数の常用対数です。常用対数を取っていますので、大まかにいえばそれぞれの計数の「桁数」を見ていることになります。散布図中ではある程度のばらつきはあるものの、左下の「IP アドレス数が小、リスク要因数も小」の領域から右上の「IP アドレス数が大、リスク要因数も大」の領域にかけて各国・地域を示すデータポイントが分布していて、左上や右下の領域にはほとんどないしはまったくデータポイントがないことが読み取れるものと思います。このような分布に対して直交距離回帰手法 (Orthogonal Distance Regression, ODR) を適用すると、比較的小さな残差で回帰直線を引くことができることがわかりました。（散布図の中にも回帰直線の式を示してあります。）この回帰直線は、いわば「あるサイズの国・地域において平均的に期待されるリスク要因の数」を示すものですので、回帰直線からの乖離（直交距離）が「サイズに応じてその国・地域に存在すると期待されるリスク要因の計数から、どの程度多いか少ないか」を示しているものと解釈できます。すなわち、もし、回帰直線からリスク要因の少ない方向に乖離しているなら、その国・地域では謂わば「世界平均よりもリスク要因が少ない」状態であると考えられ（逆の方向への乖離は「多い」状態）、その乖離の度合によって「どれほど多い（少ない）のか」を知ることができます。 Mejiro では、この回帰直線からの乖離を偏差値として計算して指標としています。

TOPへ

指標の計算

指標導出の計算方法：

回帰直線が

\(\begin{split}y &= ax + b \end{split}\)

である時、ある国・地域のデータポイントが

\(P(cc2) = (x_{cc2}, y_{cc2})\)

ならば、回帰直線とデータポイントの乖離 \(d \)は

\(d = \frac{(ax_{cc2} + b) - y_{cc2}}{\sqrt{(-a)^2 + 1^2}}\)

で与えられる。

ただし、ここでは、サイズに対応して平均的に期待されるリスク要因の数よりも少ないリスク要因の側（回帰直線の右下の側）への距離が負の数となり、逆側への距離が正の数になるように d 導出式の右辺分子部分で絶対値を取っていない点に注意されたい。あるリスク要因についてすべての国・地域について乖離 d(cc2) を計算し、その偏差値を取るには

平均 \(\mu = \frac{1}{n}\sum d(cc2)\) (nは国・地域の数)

標準偏差 \(\sigma = \sqrt{\frac{1}{n}\sum (d(cc2) - \mu)^2}\)

偏差値 \(\kappa(cc2) = \frac{d(cc2) - \mu}{\sigma} * 10 + 50\)

とすれば良い。

この計算方法によって、それぞれのリスクについて国・地域別の偏差値を算出することができましたが、この偏差値がまさに Mejiro で指標として用いているものです。この指標は偏差値ですので、あるリスク要因についてある国・地域で発見されたリスク要因の計数が、当該国・地域に割り当てられた IP アドレスの数に照らして期待される平均的な数であれば指標が 50 前後となり、期待値よりも多く発見された場合には指標が 50 よりも大きくなり、少なく発見された場合には指標が 50 よりも小さくなります。

TOPへ

③ヒストグラム（指標の分布を見る)

ヒストグラムからはある国・地域が、全体の中でどの程度の位置にあるのかを読み取ることが出来ます。正規分布の山形の分布の中央の山に位置するならば、リスク要因を抱えている度合いが平均的であることがわかり、右側によれば寄るほど割り当てられた IP アドレスの数を勘案した場合に世界平均よりも多くのリスク要因を抱えていることになります。

Mejiroの指標の計算では直交回帰が適用できていますので、そこからの乖離の偏差値である Mejiro 指標は、正規分布に近い分布をするのではないかと思われます[5]。実際に分布の形は正規分布であること[6]がヒストグラムから読み取れますが、多少の形の崩れが読み取れる場合もあります。今後の Mejiro では、このようなズレが何を意味するのかについても検討を進めていく予定です。

[5]:回帰直線が IP アドレス数とリスク要因数の間の平均的な関係を示すので、そこからの乖離は謂わば「平均」からの乖離であると解釈することが可能で、平均からの乖離であるならば、偏向要素がなければ標準偏差と同様の分布を示すのが一般的です。

[6]:KS検定により正規分布に従うという結果を得ました。

TOPへ

④レーダーチャート（指標を比較する)

レーダーチャートでは、国・地域に存在するリスク要因の中でどのリスク要因が（割り当てられた IP アドレスの数で相対比較した上で）どの程度の水準にあるのかを比較することができます。これを用いることで、ある国・地域にとっての対策の優先順位を決めるための参考情報にできるのではないかと期待しています。例えば Open Resolver の指標値が最も大きいのであれば、その底上げを図るべきではないか、といった議論を念頭に置いています。また、ある国・地域の Mejiro 指標と、別の国・地域のものを比較することで、国・地域をまたがる比較が可能です。例えば A 国よりも B 国の Open NTP Server の指標値が大きいならば、A 国は B 国の Open NTP Server 対策をベストプラクティスとして取り入れるなど、所謂ベンチマーキングを行うことができるかもしれません。 JPCERT/CCでは、Mejiro の指標を用いて問題・課題を発見した場合には、適切な CSIRT へ通報を行うとともに、ベストプラクティスを提供するなどの方法で緩和に努めおり、 Open SIP Server に関する指標がかなり大きく出ているNational CSIRT に通報と助言を行いました。

TOPへ

⑤ワールドマップバブル（世界地図上での指標値)

ワールドマップバブルは、Mejiro 指標値をバブルの直径として表示しあるリスク要因がどの国・地域に多いのか少ないのかを俯瞰的に知ることができます。ただし、既に割り当てられた IP の数で相対比較したあとの数値ですので、「絶対数」を表示しているわけではありません。

TOPへ

おわりに

Mejiro は検証用のため、多くの改良の余地を残しています。より良い観測データ・より多くの観測データからより良い描像を得られるシステムとなるように、指標計算においてもより良い計算方式となるように引き続き開発を進めていく予定です。また、Mejiro から引き出される新たな課題にも取り組んで参ります。 Mejiro についてご意見・ご感想・ご質問等をお寄せください。

国際部サイバーメトリクスライン
メールアドレス:mejiro-info@jpcert.or.jp

TOPへ

更新履歴

2018年8月6日	英語版Mejiroを公開しました。
2018年3月13日	時系列グラフ、レーダーチャートに凡例を追加しました。散布図で選択した国を色分けして表示するようにしました。
2018年1月29日	公開

TOPへ

時系列グラフの使い方

リスクとなる可能性があるノード数の増減を期間で表してみました。ノード数を把握する際にお使いください。

メイン画面

1.時系列のグラフ表示	16.OpenNTP(*1)の時系列データを表示
2.散布図のグラフ表示	17.OpenRPC(*3)の時系列データを表示
3.ヒストグラムのグラフ表示	18.OpenSIP(*3)の時系列データを表示
4.レーダーチャートの表示	19.OpenSNMP(*3)の時系列データを表示
5.マップバブルの表示	20.OpenSSDP(*3)の時系列データを表示
6.時系列グラフについての詳細説明を表示	21.ポート番号445(*3)がオープンな端末の時系列データを表示
7.集計日の変更(*1)	22.OpenDNS(Censysデータから)の時系列データを表示
8.アジア地域の国・地域の選択(*2)	23.15～22のリスクがあるノード数(*3)合計の時系列データを表示
9.ヨーロッパ地域の国・地域の選択(*2)	24.縦軸リスクがあるノードの数
10.アフリカ地域の国・地域の選択(*2)	25.横軸日付(日.月)
11.オセアニア地域の国・地域の選択(*2)	26.グラフカーソルを重ねるとccTLD、日付、ノード数の表示
12.アメリカ地域の国・地域の選択(*2)	27.リスク毎に変わるグラフのタイトル
13.その他地域の選択(*2)	28.印刷、画像ダウンロード選択ボックスの表示
14.すべての選択を未選択にする	29.凡例
15.OpenDNS(*3)の時系列データを表示

*1:2年間分のグラフを表示しています。データの取得開始は2017年10月5日です。2019年10月6日以降で過去のデータを見る場合に使用します。

*2:一度に5か所の国・地域まで選択ができます。

*3:SHODANからのデータを利用します。

国・地域の選択

地域をまたがって5か所の国・地域を選択できます。選択後、メイン画面にには左上の×印もしくはポップアップ画面外の灰色の部分をクリックしてください。

グラフの拡大

グラフ上を左クリックしながら左右になぞると横軸に対しグラフが拡大します。

Reset zoomボタンを押下することにより元の倍率に戻ります。

印刷、画像ダウンロード選択ボックス

印刷画面の表示、PNGファイル、JPEGファイル、PDFファイル、SVGファイルをダウンロードできます。

散布図の使い方

ccTLD、リスク毎の密度とバラつきを表してみました。ccTLD毎で割り当てられているIPアドレスの数とリスクの要因となりうるノードの数が平均からどれくらい離れているか確認する際にお使いください。

メイン画面

1.時系列のグラフ表示	16.OpenNTP(*2)の散布図を表示
2.散布図のグラフ表示	17.OpenRPC(*2)の散布図を表示
3.ヒストグラムのグラフ表示	18.OpenSIP(*2)の散布図を表示
4.レーダーチャートの表示	19.OpenSNMP(*2)の散布図を表示
5.マップバブルの表示	20.OpenSSDP(*2)の散布図を表示
6.散布図についての詳細説明を表示	21.ポート番号445(*2)がオープンな端末の散布図を表示
7.集計日の変更	22.OpenDNS(Censysデータから)の散布図を表示
8.アジア地域の国・地域の選択(*1)	23.15～22のリスクがあるノード数(*3)合計の散布図を表示
9.ヨーロッパ地域の国・地域の選択(*1)	24.縦軸リスクがあるノード数の常用対数
10.アフリカ地域の国・地域の選択(*1)	25.横軸IPアドレスサイズの常用対数
11.オセアニア地域の国・地域の選択(*1)	26.リスク毎に変わるグラフのタイトル
12.アメリカ地域の国・地域の選択(*1)	27.各リスク毎の回帰直線式
13.その他地域の選択(*1)	28.ccTLDリスト
14.すべての選択を未選択にする	29.印刷、画像ダウンロード選択ボックスの表示
15.OpenDNS(*2)の散布図を表示	30.マウスカーソルをポインタに乗せるとccTLD、横軸の値、縦軸の値の表示

*1:一度に5か所の国・地域まで選択ができます。

*2:SHODANからのデータを利用します。

国・地域の選択

地域をまたがって5か所の国・地域を選択できます。選択後、メイン画面にには左上の×印もしくはポップアップ画面外の灰色の部分をクリックしてください。選択された国は色付けされて表示され、選択されていない国は黒いドットで表示されます。

グラフの拡大

グラフ上を左クリックしながら左右になぞると横軸に対しグラフが拡大します。

Reset zoomボタンを押下することにより元の倍率に戻ります。

印刷、画像ダウンロード選択ボックス

印刷画面の表示、PNGファイル、JPEGファイル、PDFファイル、SVGファイルをダウンロードできます。

ヒストグラムの使い方

指標化によって取得できたスコアをヒストグラム上で可視化しました。各ccTLD、各リスク毎でどのクラスに入っているか把握する際にお使いください。

メイン画面

1.時系列のグラフ表示	12.OpenSIP(*1)のヒストグラムを表示
2.散布図のグラフ表示	13.OpenSNMP(*1)のヒストグラムを表示
3.ヒストグラムのグラフ表示	14.OpenSSDP(*1)のヒストグラムを表示
4.レーダーチャートの表示	15.ポート番号445がオープンな端末(*1)のヒストグラムの表示
5.マップバブルの表示	16.OpenDNS(Censysデータから)のヒストグラムを表示
6.ヒストグラムについての詳細説明を表示	17.9～16のリスクがあるノード数(*1)合計のヒストグラムを表示
7.集計日の変更	18.縦軸同じ指標の値を持ったccTLDの数
8.地域の設定はできません。	19.横軸指標の値
9.OpenDNS(*1)のヒストグラムを表示	20.リスク毎に変わるグラフのタイトル
10.OpenNTP(*1)のヒストグラムを表示	21.印刷、画像ダウンロード選択ボックスの表示
11.OpenRPC(*1)のヒストグラムを表示	22.マウスカーソルをグラフに乗せるとccTLD、縦軸の値を表示

*1:SHODANからのデータを利用します。

印刷、画像ダウンロード選択ボックス

印刷画面の表示、PNGファイル、JPEGファイル、PDFファイル、SVGファイルをダウンロードできます。

レーダーチャートの使い方

指標化によって取得できたスコアをレーダーチャート上で可視化しました。複数のccTLDとの間でリスクを比較する際にお使いください。

メイン画面

1.時系列のグラフ表示	10.アフリカの国・地域の選択(*1)
2.散布図のグラフ表示	11.オセアニアの国・地域の選択(*1)
3.ヒストグラムのグラフ表示	12.アメリカの国・地域の選択(*1)
4.レーダーチャートの表示	13.その他の国・地域の選択(*1)
5.マップバブルの表示	14.すべての選択を未選択にする
6.レーダーチャートについての詳細説明を表示	15.リスクの選択はできません。
7.集計日の変更	16.グラフカーソルを重ねるとccTLD、指標の値を表示
8.アジアの国・地域の選択(*1)	17.印刷、画像ダウンロード選択ボックスの表示
9.ヨーロッパの国・地域の選択(*1)	18.凡例

*1:一度に5か所の国・地域を選択できます。

国・地域の選択

5か所の国・地域を選択できます。選択後、メイン画面には左上の×印もしくはポップアップ画面外の灰色の部分をクリックしてください。

印刷、画像ダウンロード選択ボックス

印刷画面の表示、PNGファイル、JPEGファイル、PDFファイル、SVGファイルをダウンロードできます。

ワールドマップバブルの使い方

指標化によって取得できたスコアをワールドマップバブル上で可視化しました。各リスクの大きさをccTLD別で比較する際にお使いください。

メイン画面

1.時系列のグラフ表示	12.OpenSIP(*1)のワールドマップバブルを表示
2.散布図のグラフ表示	13.OpenSNMP(*1)のワールドマップバブルを表示
3.ヒストグラムのグラフ表示	14.OpenSSDP(*1)のワールドマップバブルを表示
4.レーダーチャートの表示	15.ポート番号445(*1)がオープンな端末のワールドマップバブルを表示
5.マップバブルの表示	16.OpenDNS(Censysデータから)のワールドマップバブルを表示
6.マップバブルについての詳細説明を表示	17.9～16のリスクがあるノード数合計(*1)のワールドマップバブルを表示
7.集計日の変更	18.地図の倍率
8.地域の設定はできません。	19.マウスカーソルをポインタに乗せると指標の値を表示
9.OpenDNS(*1)のワールドマップバブルを表示	20.各リスク毎のタイトル名
10.OpenNTP(*1)のワールドマップバブルを表示	21.印刷、画像ダウンロード選択ボックスの表示
11.OpenRPC(*1)のワールドマップバブルを表示

*1:SHODANからのデータを利用します。

印刷、画像ダウンロード選択ボックス

印刷画面の表示、PNGファイル、JPEGファイル、PDFファイル、SVGファイルをダウンロードできます。

実証実験:インターネットリスク可視化サービス―Mejiro―

Asia

Europe

Africa

Oceania

Americas

Other

Mejiroの説明

はじめに

対象とするリスク要因

データ・ソース

リスクの可視化

①時系列グラフ（期間でのノード数の増減)

②散布図（リスク要因の数と IP アドレスの数)

指標の計算

③ヒストグラム（指標の分布を見る)

④レーダーチャート（指標を比較する)

⑤ワールドマップバブル（世界地図上での指標値)

おわりに

更新履歴

時系列グラフの使い方

散布図の使い方

ヒストグラムの使い方

レーダーチャートの使い方

ワールドマップバブルの使い方