Changes between Initial Version and Version 1 of css/memorytunig


Ignore:
Timestamp:
07/01/14 17:41:17 (10 years ago)
Author:
nogami
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • css/memorytunig

    v1 v1  
     1= CSSのDataBrowserのパフォーマンスチューニング = 
     2 
     3CSSのDataBrowserで長期間のグラフあるいは多数のグラフを描かせようとしたときに 
     4グラフを描き終わるまで非常に長時間掛かったりエラーになったりしてしまうことが良く起こる。 
     5 
     6これはグラフを描くためのデータを格納するメモリが不足することが原因で起こるが、 
     7メモリに関するパラメータをチューニングすることでどのようにパフォーマンスが改善されるか 
     8ベンチマークテストにより確認する。 
     9 
     10== はじめに == 
     11 
     12CSSではJavaが使用されている。 
     13Javaで使用するメモリにはヒープ(Javaヒープ)と非ヒープがあり、 
     14CSSのDataBrowserでグラフを描くためのデータはヒープに格納される。 
     15 
     16CSSの設定ファイルcss.ini内の{{{-vmargs}}}行以降でJavaで使用するメモリに関するパラメータが設定されている。 
     17 
     18{{{ 
     19-Xmx1024m 
     20-XX:MaxPermSize=128M 
     21}}} 
     22 
     23このうち非ヒープであるPermanent領域の最大サイズを指定しているパラメータ{{{-XX:MaxPermSize=128M}}} 
     24については今回は変更しない。 
     25 
     26ベンチマークの条件 
     27 * 使用したPCは、64bit版Windows7 Pro、Core i5(4core)、実装メモリ8GB、利用可能メモリ7.9GB、ネットワーク100Mbps 
     28 * 使用したCSSはkek版3.1.2 64bit。使用したJavaはJava SE 7 Update 55(1.7.0_55)。 
     29 * 使用するデータは1つ。(PFROP:BEAM:FAST_CURR 0.1秒毎の更新) 
     30 * データの開始日時を固定。(2014/05/10 00:00:00) 
     31 * 何日分のグラフを描くプロットファイルを多数用意しておく。(1日分、2日分、、、) 
     32 * プロットファイルを開いた時からグラフを描き終わるまでの時間を測定する。 
     33 * 時間の測定にはストップウォッチを使い、1秒未満はすべて切り捨てる。 
     34 * 時間測定は最大10分とし10分を超えた場合は中断して、結果なしとする。 
     35 * 1つの測定毎にCSSを再起動する。 
     36このような条件でメモリに関するパラメータを変化させてベンチマークを行った。 
     37 
     38 
     39== ヒープサイズを増やす == 
     40 
     41Xmxパラメータはヒープの最大サイズを指定するパラメータである。[[BR]] 
     42あくまでも最大サイズを指定するものであり、実際のヒープサイズはデータ量により変わり、 
     43データ量に応じてヒープサイズは最大サイズまで自動的に拡張される。 
     44初期設定ではヒープの最大サイズが1GB(1024MB)に指定されている。 
     45 
     46まずXmxパラメータでヒープの最大サイズを初期設定の1GB、4GB、6GB、8GBと増やした。(図1)[[BR]] 
     47ヒープサイズを増やせば処理可能な日数が増え、処理時間もデータ量(日数)に比例する(Xmx近似の点線)。[[BR]] 
     48ヒープサイズはデータの読み込みが進むにつれ次第に最大サイズ近くまで拡張されていった。 
     49 
     50次にXmsパラメータをXmxと同じ値にして測定した。(図2)[[BR]] 
     51Xmsはヒープの初期サイズ指定で、Xmxと同じ値を指定すればヒープサイズは固定される。[[BR]] 
     52ただしヒープサイズを大きなサイズに固定したからといって実際にデータ量が増えなければ 
     53OSがメモリを割り当てることはないので、PCのメモリを無駄に占有するわけではない。 
     54 
     55ヒープサイズを固定した場合にXmx近似より処理時間が短く完了する比例関係部分がある(Xms近似の点線)。[[BR]] 
     56データ量がヒープのOld領域の不足が起こらないで済む場合はXms近似で処理が完了するが、 
     57!Old領域が不足してFull GCが起こり始めるとXmx近似になっていく。 
     58 
     59ヒープサイズを固定しない場合はヒープサイズの拡張とともにFull GCが行われていると思われる。 
     60 
     61[[Image(memorytuning_fig1.png)]] 
     62[[Image(memorytuning_fig2.png)]] 
     63 
     64処理時間については、ヒープサイズを固定した場合のほうが処理時間が短縮されることが多く、 
     658GBの20日分の処理時間を比較すると215秒から156秒へと59秒短縮されている。(図3,4,5) 
     66 
     67処理可能な日数については、ヒープサイズを固定した場合に改善したというよりも、 
     68ヒープサイズが可変の場合、ヒープサイズを拡張する際にメモリの断片化が起き、 
     69GCを行っても断片化が完全には解消できずにメモリの利用効率が悪化しているのではないだろうか。 
     70 
     71[[Image(memorytuning_fig3.png)]] 
     72[[Image(memorytuning_fig4.png)]] 
     73[[Image(memorytuning_fig5.png)]] 
     74 
     75== ヒープのOld領域を大きくする == 
     76 
     77次にNewRatioパラメータを変更してみる。[[BR]] 
     78NewRatioパラメータはヒープのNew領域の大きさに対するOld領域の大きさの比率を指定する。[[BR]] 
     79!NewRatio=2とした場合New1:Old2になり、New領域の大きさはヒープサイズの1/3、Old領域の大きさは2/3になる。 
     80(似たパラメータとしてNew領域の大きさを指定する、!NewSize、MaxNewSizeというパラメータもある。) 
     81 
     82Java !HotSpot VMにはクライアントVMとサーバVMのチューニングの異なる2種類のVMがあり、 
     83NewRatioパラメータの初期値はクライアントVMが8、サーバVMが2となっている。[[BR]] 
     84PCの構成によってどちらを使用するか決定される。自分のPCでどちらのVMが使用されるかは 
     85{{{java -version}}}コマンドの出力で確認できる。[[BR]] 
     86Windowsの場合、32bit JavaではクライアントVM、64bit JavaではサーバVMが使用される。 
     87 
     88Xms4Gとしてヒープサイズを4GBに固定して、NewRatio指定なし、!NewRatio=2、8、10、12、14、16、20と変化させた。(図6)[[BR]] 
     89!NewRatio指定なしとNewRatio=2の結果は同じであることが確認できた(64bit Javaを使用)。[[BR]] 
     90NewRatioを増やすにつれてXms近似の範囲で処理完了する日数が増えていくが、 
     91次第に改善幅が小さくなっていき、16と20では同じ結果になった。[[BR]] 
     92これは、NewRatioが16の場合はOld領域の大きさがヒープの94.1%(16/17)、20の場合は95.2%(20/21)と、 
     93Old領域の大きさが1%(45MB)しか変わらないからだろう。 
     94 
     95Xms6G、Xms8Gの場合も似たような結果になった。(図7,8)[[BR]] 
     96NewRatioが16と20の場合の1%の違いは、6GBでは69MB、8GBでは91MBにすぎないが多少の改善が見られた。[[BR]] 
     974GBの場合でも1日分のデータ量の違いでは結果に差がなかったが、半日や1/4日分のデータ量の違いだとしたら 
     98多少なりとも結果に差がでたことだろう。 
     99 
     100[[Image(memorytuning_fig6.png)]] 
     101[[Image(memorytuning_fig7.png)]] 
     102[[Image(memorytuning_fig8.png)]] 
     103 
     104以上の結果から同じヒープサイズで、最大ヒープサイズを指定しただけの場合(Xmx)と、 
     105ヒープサイズを固定かつOld領域を大きくした場合(Xms NR16)とを比較すると、 
     106処理完了までの時間と日数(データ量)がかなり改善され、 
     107Xmx8GとXms8G NR16の場合では同等の処理時間で10日分多いデータが表示できるようになった。(図9,10,11) 
     108 
     109さらに、少しズルい比較になるが、Xmx4GとXms8G NR16を比較すると 
     11022日分多いデータが表示できるようになり、2.5倍に改善された。(図12)[[BR]] 
     111処理時間についてはデータ量が多いためそれなりにかかるがXms近似から外れてはいない。 
     112 
     113[[Image(memorytuning_fig9.png)]] 
     114[[Image(memorytuning_fig10.png)]] 
     115 
     116== まとめ == 
     117 
     118CSSのDataBrowserで長期間のグラフあるいは多数のグラフを描かせるためには 
     119CSSに多くのヒープ(メモリ)を割り当てる必要がある。[[BR]] 
     120データ量が増えるため必要なヒープも多くなるのは当然である。 
     121 
     122しかし単にヒープの最大サイズを多くするだけでは不十分で、 
     123ヒープサイズを固定しOld領域の割合を大きくし、 
     124Full GCをなるべく起こさないようにチューニングすることで 
     125パフォーマンス(グラフの日数や数、処理完了時間)はかなり改善される。 
     126 
     127また、PCの利用可能メモリの制限からCSSに割り当てられるヒープサイズが制限される場合でも、 
     128Old領域の割合を大きくすることで同じヒープサイズでもパフォーマンスを改善することができる。 
     129