epics/channelarchiver – Epics Users JP

Context Navigation

Version 2 (modified by hirose, 8 years ago) (diff)
--

概要

Channel ArchiverはSpallation Neutron Source（SNS）でC++を用いて開発された、EPICSのデータを記録するためのツールセットである。
その中心となるArchive Engine はChannel Access（CA）を介して複数のCA Server（IOC）からデータを収集する。
収集したデータは定期的に独自のバイナリ形式でローカルディスクファイル（データファイル）に書き出され、インデックスファイルによって関連付けられる（インデックスはR木で実装されている）。
これらの履歴データはXML-RPCを実装したData Serverを起動することで、ネットワーク上の他計算機からも読出すことができる。

ビルド方法

今回は以下の環境でビルドを行った。

OS	CentOS 7 64bit
GCC	4.8.5
EPICS Base	3.14.12.5

EPICS Base及びExtensions セットアップ
まずは EPICS Base 及び Extensions をセットアップする。
これについては、EPICSをゼロからインストールに手順が記載されているため、ここでは説明を割愛する。
ソースダウンロード
githubからクローンし、masterブランチでチェックアウトする。これよりも前？のバージョンはタグで管理されているようだ。
```
$ cd $EPICS_EXTENSIONS/src
$ git clone https://github.com/EPICSTools/ChannelArchiver
$ cd ChannelArchiver
$ git checkout --track origin/master
```
必要なライブラリの整備
ChannelArchiver/ThirdPartyディレクトリに、ビルド時に利用されるライブラリパッケージが置かれている。
今回インストールしたライブラリは下記の通り。
なお、xerces-c-devel及びperl-Frontier-RPCはソースからインストールし、その他はyumでインストールした。

Library Version
xerces-c-devel 2.8.0
xmlrpc-c-devel 1.32.5-1905
perl-libwww-perl 6.05-2
expat 2.1.0-8
perl-XML-Simple 2.20-5
perl-Frontier-RPC 0.07b4

ビルド
GCCコンパイラのバージョンの影響かは分からないが、ビルド時にエラーが発生してしまう。
そこで、予め ChannelArchiver/Tools/AVLTreeTest.cpp の修正を行っておく（この修正による影響はないとみている）。

そのままビルドすると、sort_compare や toString の関数定義がないといわれる。
これはAVLTree.h がインクルードされた後に、上記の関数定義がされていたためである。
これを、関数定義がされた後にインクルードするように修正しておく。

修正後、makeする。

$ cd $EPICS_EXTENSIONS/src/ChannelArchiver
$ make
$ ls $EPICS_EXTENSIONS/bin/linux-x86_64
 ArchiveDataClient.pl         ArchiveExport           make_compress_script.pl
 ArchiveDataServerStandalone  ArchiveIndexTool        make_indexconfig.pl
 ArchiveDataTool              ArchiveManager
 ArchiveEngine                ConvertEngineConfig.pl

Archive Engine 起動

Configuration (XML) 作成
ChannelArchiver/Engine ディレクトリ下に DTDファイルとサンプルのXMLファイルが置かれているので、これを参考に作成する。
```
$ ls $EPICS_EXTENSIONS/src/ChannelArchiver/Engine | grep engineconfig*
 engineconfig.dtd      engineconfig.xml
```

起動
インデックスファイルとデータファイルを格納するディレクトリを用意し、各オプションを指定して起動する。

$ mkdir $HOME/ChannelArchiver/data
$ $EPICS_EXTENSIONS/bin/linux-x86_64/ArchiveEngine -port 4812 -description "Example IOC" -log log/engine.log engineconfig.xml $HOME/ChannelArchiver/data/index

Archive Engine管理ツール（ArchiveDaemon）セットアップ

インデックスファイルは破損してしまうことがしばしばあり、サイズが大きいと復旧にかなりの時間を要する。
この影響を低減させる目的で、!ArchiveDaemonをセットアップする。
!ArchiveDaemonは複数のArchive Engineを一括管理でき、自動再起動なども設定できる。

ArchiveDaemon 定義ファイル（XML）作成
定義ファイルのサンプルは $EPICS_EXTENSIONS/src/ChannelArchiver/ExampleSetup ディレクトリに置かれている。
例えば、日毎にインデックスファイルを作成する（Archive Engineを再起動する）場合は、以下のように記述する。

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<!DOCTYPE daemon SYSTEM "ArchiveDaemon.dtd">
<daemon>
  <port>4900</port>
  <engine directory='/mnt/edata1/archiver/ChannelArchiver/data/BM'>
    <desc>BM</desc>
    <port>51130</port>
    <config>/mnt/edata1/archiver/cssArchiver/xml_files/BM.xml</config>
    <restart type='daily'>00:10</restart>
  </engine>
  <engine directory='/mnt/edata1/archiver/ChannelArchiver/data/BT'>
    <desc>BT</desc>
    <port>51131</port>
    <config>/mnt/edata1/archiver/cssArchiver/xml_files/BT.xml</config>
    <restart type='daily'>00:20</restart>
  </engine>
  <engine directory='/mnt/edata1/archiver/ChannelArchiver/data/CO'>
    <desc>CO</desc>
    <port>51132</port>
    <config>/mnt/edata1/archiver/cssArchiver/xml_files/CO.xml</config>
    <restart type='daily'>00:30</restart>
  </engine>
<daemon>

ArchiveDaemon 起動

環境変数設定

$ export PATH="$EPICS_EXTENSIONS/bin/linux-x86_64:$PATH"
$ export LD_LIBRARY_PATH="/usr/local/lib:$EPICS_BASE/lib/linux-x86_64"

起動

$ cd /mnt/edata1/archiver/ChannelArchiver/daemon
$ /usr/bin/perl $EPICS_EXTENSIONS/src/ChannelArchiver/ExampleSetup/ArchiveDaemon.pl -f ArchiveDaemon.xml
Read ArchiveDaemon.xml. Check status via
          http://localhost:4900
You can also monitor the log file:
          ArchiveDaemon.log
Disassociating from terminal.

デフォルトは4900番ポートでWeb管理画面が動作しており、http://localhost:4900 でアクセスできる。

master_index 作成
最新の index は current_index で参照することが出来る。
しかし、このままでは日毎のデータしか参照できない状態であり、不便である。
そこで、index をひとまとめにした master_index を作成する。

indexconfig.xml を作成する
make_indexconfig.pl を実行して、indexconfigを作成する。

$ make_indexconfig.pl -d indexconfig.dtd /path/to/index > indexconfig.xml
$ less indexconfig.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<!DOCTYPE indexconfig SYSTEM "/proj/epics/R314/R31412/extensions/R314123-CSA_centos7/src/ChannelArchiver/IndexTool/indexconfig.dtd">
<indexconfig>
        <archive>
                <index>/mnt/edata1/archiver/ChannelArchiver/data/BM/2016/01_18/index</index>
        </archive>
        <archive>
                <index>/mnt/edata1/archiver/ChannelArchiver/data/BM/2016/01_19/index</index>
        </archive>
</indexconfig>

なお、/path/to/*/index と指定すれば、/path/to 以下全ての index を探してくれる。

master_index を作成する

$ ArchiveIndexTool -v 1 indexconfig.xml master_index

なお、今回のバージョンよりも前のものでは、ArchiveDaemon が自動的に master_index を作成している。
少し調べてみると、どうやら ArchiveDaemon.pl の仕様が変更されている模様。
PF-ARのは 2.3.0 、こちらは 3.0.0 とメジャーバージョンが異なっている。
2.3.0 では、master_index を作成していると思われるファンクションや変数があるが、3.0.0 には無くなっている。
指定できるオプション（引数）も違っていた。

master_indexは定期的に更新するのが望ましいため、crontabで更新処理を行うようにした。
各グループの master_index を作成するスクリプト（create_master_index.sh）を用意し、kbdaemonユーザで30分おきに実行するように設定した。
*/30 * * * * /mnt/edata1/archiver/ChannelArchiver/data/indices/create_master_index.sh

CSSで閲覧する

CSSなどのクライアントアプリケーションからデータを閲覧するために!ArchiveDataServerを立ち上げる。
具体的には、HTTP Serverを立ち上げ、予め用意されているCGIを実行する。

サーバディレクトリ作成（apache ユーザがアクセス出来るようにしておくこと）

# mkdir /var/www/html/archive/cgi

ここにCGIプログラム、設定ファイルを配置する。

# cd /var/www/html/archive/cgi
# cp $EPICS_EXTENSIONS/src/ChannelArchiver/XMLRPCServer/O.linux-x86_64/ArchiveDataServer .
# cp $EPICS_EXTENSIONS/src/ChannelArchiver/XMLRPCServer/serverconfig.dtd .
# cp $EPICS_EXTENSIONS/src/ChannelArchiver/XMLRPCServer/serverconfig.xml .
# mv ArchiveDataServer ArchiveDataServer.cgi

各グループのデータが見られるように、serverconfig.xml を下記のように編集する。

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE serverconfig SYSTEM "serverconfig.dtd">
<serverconfig>
  <archive>
    <key>1</key>
    <name>BM</name>
    <path>/mnt/edata1/archiver/ChannelArchiver/data/2016/BM/index</path>
  </archive>
  <archive>
    <key>2</key>
    <name>BT</name>
    <path>/mnt/edata1/archiver/ChannelArchiver/data/2016/BT/index</path>
  </archive>
  <archive>
    <key>3</key>
    <name>CO</name>
    <path>/mnt/edata1/archiver/ChannelArchiver/data/2016/CO/index</path>
  </archive>
</serverconfig>

/etc/httpd/conf/httpd.conf 編集
サーバディレクトリの設定（下記）を最終行に追加する。

# Check that environment variables are available,
# assert that this directive is not commented-out.
# Your web server might use a different module name
# or location, in my case it happened to be this :
LoadModule env_module libexec/httpd/mod_env.so

# Check that CGI is enabled, i.e. assert that
# these are not commented-out:
LoadModule cgi_module libexec/httpd/mod_sgi.so

# This tells Apache that ArchiveDataServer.cgi
# is a CGI program because of the .cgi extension:
AddHandler cgi-script .cgi

<Directory "/var/www/html/archive">
  Order Allow,Deny
  Allow from All
</Directory>

# Allow cgi-scripts in the ..../cgi directory :
<Directory "/var/www/html/archive/cgi">
  SetEnv EPICS_TS_MIN_WEST -540
  SetEnv LD_LIBRARY_PATH /usr/local/lib:/proj/epics/R314/R31412/base-3.14.12.3-CSA_centos7/lib/linux-x86_64
  SetEnv SERVERCONFIG /var/www/html/archive/cgi/serverconfig.xml

  # This directive enables CGI for this dir.:
  Options +ExecCGI
</Directory>

httpdサービス再起動
```
# systemctl restart httpd.service
```

CSS DataBrowser 閲覧
Archive SearchのURLで下記のように指定する。
```
xnds://localhost:80/archive/cgi/ArchiveDataServer.cgi
```

参考リンク

Download in other formats:

Plain Text

Library	Version
xerces-c-devel	2.8.0
xmlrpc-c-devel	1.32.5-1905
perl-libwww-perl	6.05-2
expat	2.1.0-8
perl-XML-Simple	2.20-5
perl-Frontier-RPC	0.07b4