Changes between Version 1 and Version 2 of epics/channelarchiver

Timestamp:

08/18/16 15:44:38 (9 years ago)

Author:

Masaya Hirose

Comment:

--

epics/channelarchiver

@@ -1 @@
-Channel Archiver のビルドについて
+== 概要 ==
+
+Channel ArchiverはSpallation Neutron Source（SNS）でC++を用いて開発された、EPICSのデータを記録するためのツールセットである。[[BR]]
+その中心となるArchive Engine はChannel Access（CA）を介して複数のCA Server（IOC）からデータを収集する。[[BR]]
+収集したデータは定期的に独自のバイナリ形式でローカルディスクファイル（データファイル）に書き出され、インデックスファイルによって関連付けられる（インデックスはR木で実装されている）。[[BR]]
+これらの履歴データはXML-RPCを実装したData Serverを起動することで、ネットワーク上の他計算機からも読出すことができる。[[BR]]
+
+== ビルド方法 ==
+
+今回は以下の環境でビルドを行った。
+||= OS =|| CentOS 7 64bit ||
+||= GCC =|| 4.8.5 ||
+||= EPICS Base =|| 3.14.12.5 ||
+
+1. '''EPICS Base及びExtensions セットアップ'''[[BR]]
+ まずは EPICS Base 及び Extensions をセットアップする。[[BR]]
+ これについては、[wiki:epics/install EPICSをゼロからインストール]に手順が記載されているため、ここでは説明を割愛する。
+2. '''ソース ダウンロード'''[[BR]]
+ githubからクローンし、masterブランチでチェックアウトする。これよりも前？のバージョンはタグで管理されているようだ。
+{{{
+$ cd $EPICS_EXTENSIONS/src
+$ git clone https://github.com/EPICSTools/ChannelArchiver
+$ cd ChannelArchiver
+$ git checkout --track origin/master
+}}}
+3. '''必要なライブラリの整備'''[[BR]]
+ !ChannelArchiver/ThirdPartyディレクトリに、ビルド時に利用されるライブラリパッケージが置かれている。[[BR]]
+ 今回インストールしたライブラリは下記の通り。[[BR]]
+ なお、__xerces-c-devel及びperl-Frontier-RPCはソースからインストール__し、その他はyumでインストールした。[[BR]]
+    ||=  Library  =||=  Version  =||
+    ||= xerces-c-devel =|| 2.8.0 ||
+    ||= xmlrpc-c-devel =|| 1.32.5-1905 ||
+    ||= perl-libwww-perl =|| 6.05-2 ||
+    ||= expat =|| 2.1.0-8 ||
+    ||= perl-XML-Simple =|| 2.20-5 ||
+    ||= perl-Frontier-RPC =|| 0.07b4 ||
+4. '''ビルド'''[[BR]]
+ GCCコンパイラのバージョンの影響かは分からないが、ビルド時にエラーが発生してしまう。[[BR]]
+ そこで、予め !ChannelArchiver/Tools/AVLTreeTest.cpp の修正を行っておく（この修正による影響はないとみている）。[[BR]]
+
+ そのままビルドすると、sort_compare や toString の関数定義がないといわれる。[[BR]]
+ これはAVLTree.h がインクルードされた後に、上記の関数定義がされていたためである。[[BR]]
+ これを、__関数定義がされた後にインクルードするように修正__しておく。[[BR]]
+
+ 修正後、makeする。[[BR]]
+{{{
+$ cd $EPICS_EXTENSIONS/src/ChannelArchiver
+$ make
+$ ls $EPICS_EXTENSIONS/bin/linux-x86_64
+ ArchiveDataClient.pl         ArchiveExport           make_compress_script.pl
+ ArchiveDataServerStandalone  ArchiveIndexTool        make_indexconfig.pl
+ ArchiveDataTool              ArchiveManager
+ ArchiveEngine                ConvertEngineConfig.pl
+}}}
+
+== Archive Engine 起動 ==
+
+1. '''Configuration (XML) 作成'''[[BR]]
+  !ChannelArchiver/Engine ディレクトリ下に DTDファイル と サンプルのXMLファイルが置かれているので、これを参考に作成する。
+{{{
+$ ls $EPICS_EXTENSIONS/src/ChannelArchiver/Engine | grep engineconfig*
+ engineconfig.dtd      engineconfig.xml
+}}}
+2. '''起動'''[[BR]]
+ インデックスファイルとデータファイルを格納するディレクトリを用意し、各オプションを指定して起動する。
+{{{
+$ mkdir $HOME/ChannelArchiver/data
+$ $EPICS_EXTENSIONS/bin/linux-x86_64/ArchiveEngine -port 4812 -description "Example IOC" -log log/engine.log engineconfig.xml $HOME/ChannelArchiver/data/index 
+}}}
+
+== Archive Engine管理ツール（!ArchiveDaemon） セットアップ ==
+
+インデックスファイルは破損してしまうことがしばしばあり、サイズが大きいと復旧にかなりの時間を要する。[[BR]]
+この影響を低減させる目的で、!ArchiveDaemonをセットアップする。[[BR]]
+!ArchiveDaemonは複数のArchive Engineを一括管理でき、自動再起動なども設定できる。[[BR]]
+
+1. '''!ArchiveDaemon 定義ファイル（XML）作成'''[[BR]]
+ 定義ファイルのサンプルは $EPICS_EXTENSIONS/src/ChannelArchiver/ExampleSetup ディレクトリに置かれている。[[BR]]
+ 例えば、日毎にインデックスファイルを作成する（Archive Engineを再起動する）場合は、以下のように記述する。
+{{{
+<?xml version="1.0" encoding="UTF-8" standalone="no"?>
+<!DOCTYPE daemon SYSTEM "ArchiveDaemon.dtd">
+<daemon>
+  <port>4900</port>
+  <engine directory='/mnt/edata1/archiver/ChannelArchiver/data/BM'>
+    <desc>BM</desc>
+    <port>51130</port>
+    <config>/mnt/edata1/archiver/cssArchiver/xml_files/BM.xml</config>
+    <restart type='daily'>00:10</restart>
+  </engine>
+  <engine directory='/mnt/edata1/archiver/ChannelArchiver/data/BT'>
+    <desc>BT</desc>
+    <port>51131</port>
+    <config>/mnt/edata1/archiver/cssArchiver/xml_files/BT.xml</config>
+    <restart type='daily'>00:20</restart>
+  </engine>
+  <engine directory='/mnt/edata1/archiver/ChannelArchiver/data/CO'>
+    <desc>CO</desc>
+    <port>51132</port>
+    <config>/mnt/edata1/archiver/cssArchiver/xml_files/CO.xml</config>
+    <restart type='daily'>00:30</restart>
+  </engine>
+<daemon>
+}}}
+2. '''!ArchiveDaemon 起動'''[[BR]]
+ i. 環境変数 設定[[BR]]
+{{{
+$ export PATH="$EPICS_EXTENSIONS/bin/linux-x86_64:$PATH"
+$ export LD_LIBRARY_PATH="/usr/local/lib:$EPICS_BASE/lib/linux-x86_64"
+}}}
+ ii. 起動[[BR]]
+{{{
+$ cd /mnt/edata1/archiver/ChannelArchiver/daemon
+$ /usr/bin/perl $EPICS_EXTENSIONS/src/ChannelArchiver/ExampleSetup/ArchiveDaemon.pl -f ArchiveDaemon.xml
+Read ArchiveDaemon.xml. Check status via
+          http://localhost:4900
+You can also monitor the log file:
+          ArchiveDaemon.log
+Disassociating from terminal.
+}}}
+  デフォルトは4900番ポートでWeb管理画面が動作しており、http://localhost:4900 でアクセスできる。[[BR]]
+
+3. '''master_index 作成'''[[BR]]
+ 最新の index は current_index で参照することが出来る。[[BR]]
+ しかし、このままでは日毎のデータしか参照できない状態であり、不便である。[[BR]]
+ そこで、index をひとまとめにした master_index を作成する。[[BR]]
+ i. indexconfig.xml を作成する[[BR]]
+   make_indexconfig.pl を実行して、indexconfigを作成する。[[BR]]
+{{{
+$ make_indexconfig.pl -d indexconfig.dtd /path/to/index > indexconfig.xml
+$ less indexconfig.xml
+<?xml version="1.0" encoding="UTF-8" standalone="no"?>
+<!DOCTYPE indexconfig SYSTEM "/proj/epics/R314/R31412/extensions/R314123-CSA_centos7/src/ChannelArchiver/IndexTool/indexconfig.dtd">
+<indexconfig>
+        <archive>
+                <index>/mnt/edata1/archiver/ChannelArchiver/data/BM/2016/01_18/index</index>
+        </archive>
+        <archive>
+                <index>/mnt/edata1/archiver/ChannelArchiver/data/BM/2016/01_19/index</index>
+        </archive>
+</indexconfig>
+}}}
+   なお、/path/to/*/index と指定すれば、/path/to 以下全ての index を探してくれる。[[BR]]
+ ii. master_index を作成する
+{{{
+$ ArchiveIndexTool -v 1 indexconfig.xml master_index
+}}}
+
+ なお、今回のバージョンよりも前のものでは、!ArchiveDaemon が自動的に master_index を作成している。[[BR]]
+ 少し調べてみると、どうやら !ArchiveDaemon.pl の仕様が変更されている模様。[[BR]]
+ PF-ARのは 2.3.0 、こちらは 3.0.0 とメジャーバージョンが異なっている。[[BR]]
+ 2.3.0 では、master_index を作成していると思われるファンクションや変数があるが、3.0.0 には無くなっている。[[BR]]
+ 指定できるオプション（引数）も違っていた。
+
+ master_indexは定期的に更新するのが望ましいため、crontabで更新処理を行うようにした。[[BR]]
+ 各グループの master_index を作成するスクリプト（create_master_index.sh）を用意し、kbdaemonユーザで30分おきに実行するように設定した。[[BR]]
+{{{
+*/30 * * * * /mnt/edata1/archiver/ChannelArchiver/data/indices/create_master_index.sh
+}}}
+
+== CSSで閲覧する ==
+
+CSSなどのクライアントアプリケーションからデータを閲覧するために!ArchiveDataServerを立ち上げる。[[BR]]
+具体的には、HTTP Serverを立ち上げ、予め用意されているCGIを実行する。[[BR]]
+
+1. '''サーバディレクトリ 作成'''（apache ユーザがアクセス出来るようにしておくこと）
+{{{
+# mkdir /var/www/html/archive/cgi
+}}}
+ ここにCGIプログラム、設定ファイルを配置する。
+{{{
+# cd /var/www/html/archive/cgi
+# cp $EPICS_EXTENSIONS/src/ChannelArchiver/XMLRPCServer/O.linux-x86_64/ArchiveDataServer .
+# cp $EPICS_EXTENSIONS/src/ChannelArchiver/XMLRPCServer/serverconfig.dtd .
+# cp $EPICS_EXTENSIONS/src/ChannelArchiver/XMLRPCServer/serverconfig.xml .
+# mv ArchiveDataServer ArchiveDataServer.cgi
+}}}
+ 各グループのデータが見られるように、serverconfig.xml を下記のように編集する。
+{{{
+<?xml version="1.0" encoding="UTF-8"?>
+<!DOCTYPE serverconfig SYSTEM "serverconfig.dtd">
+<serverconfig>
+  <archive>
+    <key>1</key>
+    <name>BM</name>
+    <path>/mnt/edata1/archiver/ChannelArchiver/data/2016/BM/index</path>
+  </archive>
+  <archive>
+    <key>2</key>
+    <name>BT</name>
+    <path>/mnt/edata1/archiver/ChannelArchiver/data/2016/BT/index</path>
+  </archive>
+  <archive>
+    <key>3</key>
+    <name>CO</name>
+    <path>/mnt/edata1/archiver/ChannelArchiver/data/2016/CO/index</path>
+  </archive>
+</serverconfig>
+}}}
+
+2. '''/etc/httpd/conf/httpd.conf 編集'''[[BR]]
+ サーバディレクトリの設定（下記）を最終行に追加する。
+{{{
+# Check that environment variables are available,
+# assert that this directive is not commented-out.
+# Your web server might use a different module name
+# or location, in my case it happened to be this :
+LoadModule env_module libexec/httpd/mod_env.so
+
+# Check that CGI is enabled, i.e. assert that
+# these are not commented-out:
+LoadModule cgi_module libexec/httpd/mod_sgi.so
+
+# This tells Apache that ArchiveDataServer.cgi
+# is a CGI program because of the .cgi extension:
+AddHandler cgi-script .cgi
+
+<Directory "/var/www/html/archive">
+  Order Allow,Deny
+  Allow from All
+</Directory>
+
+# Allow cgi-scripts in the ..../cgi directory :
+<Directory "/var/www/html/archive/cgi">
+  SetEnv EPICS_TS_MIN_WEST -540
+  SetEnv LD_LIBRARY_PATH /usr/local/lib:/proj/epics/R314/R31412/base-3.14.12.3-CSA_centos7/lib/linux-x86_64
+  SetEnv SERVERCONFIG /var/www/html/archive/cgi/serverconfig.xml
+
+  # This directive enables CGI for this dir.:
+  Options +ExecCGI
+</Directory>
+}}}
+
+3. ''' httpdサービス 再起動'''
+{{{
+# systemctl restart httpd.service
+}}}
+
+4. '''CSS !DataBrowser 閲覧'''[[BR]]
+ Archive SearchのURLで下記のように指定する。
+{{{
+xnds://localhost:80/archive/cgi/ArchiveDataServer.cgi
+}}}
+
+{{{#!comment
+== トラブルシューティング ==
+* '''!ArchiveEngine 起動エラー'''[[BR]]
+ どうやら write_period タグの値が読み込めていないようだが、なぜそうなっているのか原因は不明...[[BR]]
+ get_threshold や file_size など他タグでも、同様のエラーが発生している。
+{{{
+12/25/2015 15:52:04 Starting Engine with configuration file engineconfig.xml, index data/index
+12/25/2015 15:52:04 Creating ChannelAccess Context.
+12/25/2015 15:52:04 Removing memory for channels and groups.
+12/25/2015 15:52:04 Stopping ChannelAccess.
+12/25/2015 15:52:04 Engine main routine:
+../EngineConfig.cpp (68): 'engineconfig.xml': Error in write_period
+
+12/25/2015 15:52:04 Done.
+}}}
+ Apache Xercesのバージョンが3.1.1でこの問題が発生してしまった。[[BR]]
+ バージョンを2.8.0に変更したら解決したため、バージョンによる問題と思われる。[[BR]]
+ 2.8.0のインストールは下記のように行った。[[BR]]
+{{{
+$ cd $EXTENSIONS_TOP/src/ChannelArchiver/ThirdParty
+$ wget http://archive.apache.org/dist/xerces/c/xerces-c-src-current.tar.gz
+$ tar xzvf xerces-c-src-current.tar.gz
+$ ls
+ xerces-c-src_2_8_0
+$ cd xerces-c-src_2_8_0/src/xercesc
+$ export XERCESCROOT=$EXTENSIONS_TOP/src/ChannelArchiver/ThirdParty/xerces-c-src_2_8_0
+$ ./runConfigure -plinux -cgcc -xg++ -minmen -nsocket -tnative -rpthread
+$ make
+$ su root
+# make install
+}}}
+
+* '''!ArchiveDataServer 起動'''[[BR]]
+ [[Image(DataServerModel.png, 400)]][[BR]]
+ クライアントアプリケーションとして '''!ArchiveViewer''' が配布されているようなので、早速試してみる。[[BR]]
+ * [https://ics-web.sns.ornl.gov/archive/viewer/]
+
+ !ArchiveViewer は !ArchiveDataServer に対して問い合わせを行う。手順はマニュアルを参考に行った。[[BR]]
+
+ 1. httpd(v2.4.6-40) サービスを起動する。
+{{{
+# yum install httpd
+# systemctl enable httpd
+# systemctl start httpd
+}}}
+ 2. !ArchiveDataServer 起動ディレクトリを作成する。[[BR]]
+  このディレクトリに配置するものは、''$EPICS_EXTENSIONS/src/ChannelArchiver/DemoData'' にサンプルが用意されているので、今回はそれらを流用する。[[BR]]
+  コピーしてくるものは、以下の2つ。
+  * abyss.conf
+  * abyss/mime.types
+
+{{{
+$ mkdir $HOME/ChannelArchiver/DataServer
+$ mkdir $HOME/ChannelArchiver/DataServer/abyss
+$ cd $HOME/ChannelArchiver/DataServer
+$ cp $EPICS_EXTENSIONS/src/ChannelArchiver/DemoData/abyss.conf .
+$ cp $EPICS_EXTENSIONS/src/ChannelArchiver/DemoData/abyss/mime.types abyss/
+$ vim abyss.conf
+----
+ # The Server Root (UNIX systems style)
+ ServerRoot $HOME/ChannelArchiver/DataServer
+----
+
+$ $EPICS_EXTENSIONS/bin/linux-x86_64/ArchiveDataServerStandalone abyss.conf $HOME/ChannelArchiver/data/index
+   ArchiveDataServerStandalone Running
+   Unless your 'abyss.conf' selects a different port number,
+   the data should now be available via the XML-RPC URL
+       http://localhost:8080/RPC2
+}}}
+
+ 3. !ArchiveViewer を起動する。[[BR]]
+{{{
+$ java -jar archiveviewer.jar -u http://localhost:8080/RPC2
+}}}
+
+}}}
+
+== 参考リンク ==
+
+* [http://www.aps.anl.gov/bcda/epicsgettingstarted/starttools/channelarchiver.htm EPICS Channel Archiver(ANL)]
+* [https://ics-web.sns.ornl.gov/kasemir/archiver/ Kay氏のページ]
+* [https://github.com/EPICSTools/ChannelArchiver github]
+