Changes between Version 3 and Version 4 of misc/setup_for_ML

Timestamp:

05/10/23 11:31:04 (14 months ago)

Author:

obina

Comment:

--

misc/setup_for_ML

@@ -136 +136 @@
 
 == python3インストール ==
+今回はpython公式サイトから、現時点(2023/05)の最新版であるPython3.11.3を入れる。
+機械学習環境を構築する目的からは必ずしも最新版が良いとは限らない(ときどき最新バージョンに対応できていないことがある)が、今回はこれで問題なさそう。
+
+
+あらかじめインストール先として /opt/python/3.11.3 を作成しておく。
+ownerを自分に設定することで、後の作業は一般ユーザー権限で行う。
+{{{
+obina@notepc:~$ cd /opt
+obina@notepc:/opt$ ls
+obina@notepc:/opt$ sudo mkdir python
+obina@notepc:/opt$ sudo chown obina:obina python
+obina@notepc:/opt$ cd python
+obina@notepc:/opt/python$ mkdir 3.11.3
+obina@notepc:/opt/python$ ls
+3.11.3
+}}}
+
+ホームディレクトリに戻って、作業用のディレクトリ作成。ソースをダウンロード。URLは上の公式サイトから最新のモノを探す。今回の場合は以下の通りとなった。
+{{{
+obina@notepc:~$ mkdir work
+obina@notepc:~$ cd work
+obina@notepc:~/work$ wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz
+--2023-05-09 20:11:15--  https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz
+Resolving www.python.org (www.python.org)... 151.101.108.223, 2a04:4e42:1a::223
+Connecting to www.python.org (www.python.org)|151.101.108.223|:443... connected.
+HTTP request sent, awaiting response... 200 OK
+Length: 26455738 (25M) [application/octet-stream]
+Saving to: ‘Python-3.11.3.tgz’
+
+Python-3.11.3.tgz             100%[=================================================>]  25.23M  19.5MB/s    in 1.3s
+
+2023-05-09 20:11:17 (19.5 MB/s) - ‘Python-3.11.3.tgz’ saved [26455738/26455738]
+}}}
+
+configureでインストール先として /opt/python/3.11.3 を指定する。
+{{{
+obina@notepc:~/work$ tar xvfz Python-3.11.3.tgz
+obina@notepc:~/work$ cd Python-3.11.3/
+obina@notepc:~/work/Python-3.11.3$ ls
+Doc      LICENSE  Makefile.pre.in  Objects  Parser    README.rst  config.guess  configure.ac   setup.py
+Grammar  Lib      Misc             PC       Programs  Tools       config.sub    install-sh
+Include  Mac      Modules          PCbuild  Python    aclocal.m4  configure     pyconfig.h.in
+
+obina@notepc:~/work/Python-3.11.3$ ./configure --prefix=/opt/python/3.11.3 --enable-optimizations --with-lto
+
+# lto (Link time optimization) はリンク時間が長くなる替わりに実行速度が上がる...らしい。(自分では未検証)
+obina@notepc:~/work/Python-3.11.3$ make -j8 # 並列化の数はCPU数に応じて適当に
+....
+obina@notepc:~/work/Python-3.11.3$ make install
+....
+}}}
+
+環境設定用のスクリプトを作成。WSLの場合はユーザーが自分だけなので~/.bashrcに直接書いても良いのだが、今後pythonのバージョンによって切り分けたいこともあると思うので/opt/python以下につくっておく
+{{{
+$ vi /opt/python/setup_py3.11.3.sh
+export PATH=/opt/python/3.11.3/bin:$PATH
+}}}
+
+念のため確認. 上のスクリプトを source する前後で使うpythonをチェック。
+{{{
+obina@notepc:~$ which python3
+/usr/bin/python3
+obina@notepc:~$ source /opt/python/3.11.3/setup_py3.11.3.sh
+obina@notepc:~$ which python3
+/opt/python/3.11.3/bin/python3
+}}}
+
+問題ない。
+{{{
+obina@notepc:~$ which pip3
+/opt/python/3.11.3/bin/pip3
+obina@notepc:~$
+obina@notepc:~$ pip3 list
+Package    Version
+---------- -------
+pip        22.3.1
+setuptools 65.5.0
+
+[notice] A new release of pip available: 22.3.1 -> 23.1.2
+[notice] To update, run: pip3 install --upgrade pip
+}}}
+
+pip3を確認して、アップデートする
+{{{
+obina@notepc:~$ pip3 install --upgrade pip
+Requirement already satisfied: pip in /opt/python/3.11.3/lib/python3.11/site-packages (22.3.1)
+Collecting pip
+  Downloading pip-23.1.2-py3-none-any.whl (2.1 MB)
+     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 2.1/2.1 MB 1.8 MB/s eta 0:00:00
+Installing collected packages: pip
+  Attempting uninstall: pip
+    Found existing installation: pip 22.3.1
+    Uninstalling pip-22.3.1:
+      Successfully uninstalled pip-22.3.1
+Successfully installed pip-23.1.2
+}}}
+これで基本環境はOK。次はvenvを使って個別のパッケージを入れていく。
+
+
 == venv 設定 ==
-== !TensorFlow インストール ==
+次にTensorFlowやPyTorchを入れていく。それぞれでnumpyのバージョンなど、要求されるものが異なることが多いため別の仮想環境を作る方が良い。
+
+ここではvenvを使うのでその設定を行う
+
+基本方針： ホームディレクトリ直下に ".venv" というディレクトリを作成。 ~/.venv/以下に個別の仮想環境用のディレクトリを作成していく。
+例えば
+ - TensorFlow用は ~/.venv/tf2.12
+ - PyTorch用は ~/.venv/torch2.0
+のような感じでディレクトリを作っていく
+仮にあとで仮想環境を消したいときにはディレクトリ(上の例ではtf2.12とかtorch2.0とか)を削除すれば良いだけ。実際には.venvの下に作る必要はなく、どのディレクトリでも良いし隠しディレクトリである必然性も無いが、慣例に従う。
+python.jpサイトの仮想環境構築ガイド
+ - [windows](https://www.python.jp/install/windows/venv.html)
+ - [ubuntu](https://www.python.jp/install/ubuntu/virtualenv.html)
+
+
+=== !TensorFlow 用のvenv環境準備 ===
+
+まずはTensorFlowのバージョンを確認
+[tensorflow・PyPI](https://pypi.org/project/tensorflow/)
+をみると、python3.11に対応したTF2.12.0があることがわかる → venv名称をtf2.12とする方針とする
+
+
+ファイル名を確認する
+https://pypi.org/project/tensorflow/#files
+をみると、
+tensorflow-2.12.0-cp311-cp311-manylinux_2_17_x86_64....whl
+というファイルがあるのでCPython3.11に対応しているようだ。
+
+
+使用するpythonの場所が/opt以下であることを確認してから、venvを構築。このときに指定する名前がプロンプトの先頭に付くので、あまり長い名前を付けると面倒かもしれない（jupyter notebookを使うことが前提ならあまり気にならないが）
+{{{
+obina@notepc:~$ which python3
+/opt/python/3.11.3/bin/python3
+obina@notepc:~$ python3 -m venv ~/.venv/tf2.12
+}}}
+
+念のためディレクトリを確認
+{{{
+obina@notepc:~$ ls ~/.venv/tf2.12/
+bin  include  lib  lib64  pyvenv.cfg
+obina@notepc:~$ ls ~/.venv/tf2.12/bin/
+Activate.ps1  activate  activate.csh  activate.fish  pip  pip3  pip3.11  python  python3  python3.11
+}}}
+
+仮想環境を起動; これ以降はプロンプトの先頭に (tf2.12)が付く
+{{{
+obina@notepc:~$ source ~/.venv/tf2.12/bin/activate
+(tf2.12) obina@notepc:~$
+}}}
+
+終了するのは"deactivate"コマンドで良い
+{{{
+(tf2.12) obina@notepc:~$ which python3
+/home/obina/.venv/tf2.12/bin/python3
+(tf2.12) obina@notepc:~$ which pip
+/home/obina/.venv/tf2.12/bin/pip
+(tf2.12) obina@notepc:~$ deactivate
+obina@notepc:~$
+obina@notepc:~$ which python3
+/opt/python/3.11.3/bin/python3
+}}}
+
+== TensorFlow インストール ==
+例によって確認しておく
+{{{
+(tf2.12) obina@notepc:~$ which pip3
+/home/obina/.venv/tf2.12/bin/pip3
+(tf2.12) obina@notepc:~$ pip3 install --upgrade pip
+.....
+Successfully installed pip-23.1.2
+(tf2.12) obina@notepc:~$ pip3 list
+Package    Version
+---------- -------
+pip        23.1.2
+setuptools 65.5.0
+
+(tf2.12) obina@notepc:~$ pip3 install tensorflow
+.....
+Successfully installed MarkupSafe-2.1.2 absl-py-1.4.0 astunparse-1.6.3 cachetools-5.3.0 certifi-2023.5.7 charset-normalizer-3.1.0 flatbuffers-23.3.3 gast-0.4.0 google-auth-2.17.3 google-auth-oauthlib-1.0.0 google-pasta-0.2.0 grpcio-1.54.0 h5py-3.8.0 idna-3.4 jax-0.4.8 keras-2.12.0 libclang-16.0.0 markdown-3.4.3 ml-dtypes-0.1.0 numpy-1.23.5 oauthlib-3.2.2 opt-einsum-3.3.0 packaging-23.1 protobuf-4.23.0 pyasn1-0.5.0 pyasn1-modules-0.3.0 requests-2.30.0 requests-oauthlib-1.3.1 rsa-4.9 scipy-1.10.1 six-1.16.0 tensorboard-2.12.3 tensorboard-data-server-0.7.0 tensorflow-2.12.0 tensorflow-estimator-2.12.0 tensorflow-io-gcs-filesystem-0.32.0 termcolor-2.3.0 typing-extensions-4.5.0 urllib3-2.0.2 werkzeug-2.3.4 wheel-0.40.0 wrapt-1.14.1
+(tf2.12) obina@notepc:~$
+}}}
+
+ここで動作確認。公式サイトにあるコマンドで。
+{{{
+(tf2.12) obina@notepc:~$ python3
+Python 3.11.3 (main, May  9 2023, 20:29:30) [GCC 11.3.0] on linux
+Type "help", "copyright", "credits" or "license" for more information.
+>>>
+>>> import tensorflow as tf
+....(((いろいろとwarning)))....
+>>>
+>>> print(tf.reduce_sum(tf.random.normal([1000, 1000])))
+tf.Tensor(-182.7671, shape=(), dtype=float32)
+>>> print(tf.reduce_sum(tf.random.normal([1000, 1000])))
+tf.Tensor(-268.51474, shape=(), dtype=float32)
+}}}
+とりあえず動く。
+
+もう１つ、kereasを使ったサンプル。
+https://www.tensorflow.org/tutorials/quickstart/beginner
+をそのまま実行
+{{{
+import tensorflow as tf
+mnist = tf.keras.datasets.mnist
+
+(x_train, y_train),(x_test, y_test) = mnist.load_data()
+x_train, x_test = x_train / 255.0, x_test / 255.0
+
+model = tf.keras.models.Sequential([
+  tf.keras.layers.Flatten(input_shape=(28, 28)),
+  tf.keras.layers.Dense(128, activation='relu'),
+  tf.keras.layers.Dropout(0.2),
+  tf.keras.layers.Dense(10, activation='softmax')
+])
+
+model.compile(optimizer='adam',
+              loss='sparse_categorical_crossentropy',
+              metrics=['accuracy'])
+
+model.fit(x_train, y_train, epochs=5)
+model.evaluate(x_test, y_test)
+}}}
+
+評価結果をみる
+{{{
+>>> model.evaluate(x_test, y_test)
+313/313 [==============================] - 0s 778us/step - loss: 0.0758 - accuracy: 0.9757
+[0.07577536255121231, 0.9757000207901001]
+}}}
+ちゃんと学習出来ているので、インストール自体は問題なさそう。
+
+=== Jupyter Notebook, ipython のセットアップ ===
+次に、利便性のためにipythonやjupyter notebookを入れておく; 依存関係もあるがまとめてnotebookを入れるのが簡単。詳しくは
+https://jupyter.org/install
+を参照。
+{{{
+(tf2.12) obina@notepc:~$ pip3 install notebook
+....
+(tf2.12) obina@notepc:~$ which ipython3
+/home/obina/.venv/tf2.12/bin/ipython3
+(tf2.12) obina@notepc:~$ 
+(tf2.12) obina@notepc:~$ ipython3 --nosep
+Python 3.11.3 (main, May  9 2023, 20:29:30) [GCC 11.3.0]
+Type 'copyright', 'credits' or 'license' for more information
+IPython 8.13.2 -- An enhanced Interactive Python. Type '?' for help.
+In [1]:
+}}}
+問題なし。
+
+ノートブックの起動。デフォルトではOS内のブラウザを立ち上がようとしてしまうので、--no-browserオプションを付けて起動し、Windows側のブラウザで接続する。
+```
+(tf2.12) obina@notepc:~$ jupyter notebook --no-browser
+[I 21:30:41.014 NotebookApp] Writing notebook server cookie secret to /home/obina/.local/share/jupyter/runtime/notebook_cookie_secret
+
+  _   _          _      _
+ | | | |_ __  __| |__ _| |_ ___
+ | |_| | '_ \/ _` / _` |  _/ -_)
+  \___/| .__/\__,_\__,_|\__\___|
+       |_|
+
+Read the migration plan to Notebook 7 to learn about the new features and the actions to take if you are using extensions.
+
+https://jupyter-notebook.readthedocs.io/en/latest/migrate_to_notebook7.html
+
+Please note that updating to Notebook 7 might break some of your extensions.
+
+[I 21:30:41.133 NotebookApp] Serving notebooks from local directory: /home/obina
+[I 21:30:41.133 NotebookApp] Jupyter Notebook 6.5.4 is running at:
+[I 21:30:41.133 NotebookApp] http://localhost:8888/?token=50b97522fe665b6862193efe85be7fe5c703dcbe13116e45
+[I 21:30:41.133 NotebookApp]  or http://127.0.0.1:8888/?token=50b97522fe665b6862193efe85be7fe5c703dcbe13116e45
+[I 21:30:41.133 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
+[C 21:30:41.135 NotebookApp]
+
+    To access the notebook, open this file in a browser:
+        file:///home/obina/.local/share/jupyter/runtime/nbserver-19189-open.html
+    Or copy and paste one of these URLs:
+        http://localhost:8888/?token=50b97522fe665b6862193efe85be7fe5c703dcbe13116e45
+     or http://127.0.0.1:8888/?token=50b97522fe665b6862193efe85be7fe5c703dcbe13116e45
+```
+
+と出るので、ブラウザに上のURLを貼り付ける。ブラウザで動くことを確認。
+
+※ Notebook 7 なるものがあるとは知らなかった....
+
+上のコマンドではmatplotlibが入らなかったので、手動で入れた。plotlyやseabornはお好みで。
+{{{
+(tf2.12) obina@notepc:~$ pip install matplotlib
+}}}
+
+参考のため、pip list 確認(pip freeze 結果ファイルはこちら）
+{{{
+(tf2.12) obina@notepc:~$ pip list
+Package                      Version
+---------------------------- --------
+absl-py                      1.4.0
+anyio                        3.6.2
+argon2-cffi                  21.3.0
+argon2-cffi-bindings         21.2.0
+arrow                        1.2.3
+asttokens                    2.2.1
+astunparse                   1.6.3
+attrs                        23.1.0
+backcall                     0.2.0
+beautifulsoup4               4.12.2
+bleach                       6.0.0
+cachetools                   5.3.0
+certifi                      2023.5.7
+cffi                         1.15.1
+charset-normalizer           3.1.0
+comm                         0.1.3
+contourpy                    1.0.7
+cycler                       0.11.0
+debugpy                      1.6.7
+decorator                    5.1.1
+defusedxml                   0.7.1
+executing                    1.2.0
+fastjsonschema               2.16.3
+flatbuffers                  23.3.3
+fonttools                    4.39.3
+fqdn                         1.5.1
+gast                         0.4.0
+google-auth                  2.17.3
+google-auth-oauthlib         1.0.0
+google-pasta                 0.2.0
+grpcio                       1.54.0
+h5py                         3.8.0
+idna                         3.4
+ipykernel                    6.23.0
+ipython                      8.13.2
+ipython-genutils             0.2.0
+isoduration                  20.11.0
+jax                          0.4.8
+jedi                         0.18.2
+Jinja2                       3.1.2
+jsonpointer                  2.3
+jsonschema                   4.17.3
+jupyter_client               8.2.0
+jupyter_core                 5.3.0
+jupyter-events               0.6.3
+jupyter_server               2.5.0
+jupyter_server_terminals     0.4.4
+jupyterlab-pygments          0.2.2
+keras                        2.12.0
+kiwisolver                   1.4.4
+libclang                     16.0.0
+Markdown                     3.4.3
+MarkupSafe                   2.1.2
+matplotlib                   3.7.1
+matplotlib-inline            0.1.6
+mistune                      2.0.5
+ml-dtypes                    0.1.0
+nbclassic                    1.0.0
+nbclient                     0.7.4
+nbconvert                    7.4.0
+nbformat                     5.8.0
+nest-asyncio                 1.5.6
+notebook                     6.5.4
+notebook_shim                0.2.3
+numpy                        1.23.5
+oauthlib                     3.2.2
+opt-einsum                   3.3.0
+packaging                    23.1
+pandocfilters                1.5.0
+parso                        0.8.3
+pexpect                      4.8.0
+pickleshare                  0.7.5
+Pillow                       9.5.0
+pip                          23.1.2
+platformdirs                 3.5.0
+prometheus-client            0.16.0
+prompt-toolkit               3.0.38
+protobuf                     4.23.0
+psutil                       5.9.5
+ptyprocess                   0.7.0
+pure-eval                    0.2.2
+pyasn1                       0.5.0
+pyasn1-modules               0.3.0
+pycparser                    2.21
+Pygments                     2.15.1
+pyparsing                    3.0.9
+pyrsistent                   0.19.3
+python-dateutil              2.8.2
+python-json-logger           2.0.7
+PyYAML                       6.0
+pyzmq                        25.0.2
+requests                     2.30.0
+requests-oauthlib            1.3.1
+rfc3339-validator            0.1.4
+rfc3986-validator            0.1.1
+rsa                          4.9
+scipy                        1.10.1
+Send2Trash                   1.8.2
+setuptools                   65.5.0
+six                          1.16.0
+sniffio                      1.3.0
+soupsieve                    2.4.1
+stack-data                   0.6.2
+tensorboard                  2.12.3
+tensorboard-data-server      0.7.0
+tensorflow                   2.12.0
+tensorflow-estimator         2.12.0
+tensorflow-io-gcs-filesystem 0.32.0
+termcolor                    2.3.0
+terminado                    0.17.1
+tinycss2                     1.2.1
+tornado                      6.3.1
+traitlets                    5.9.0
+typing_extensions            4.5.0
+uri-template                 1.2.0
+urllib3                      2.0.2
+wcwidth                      0.2.6
+webcolors                    1.13
+webencodings                 0.5.1
+websocket-client             1.5.1
+Werkzeug                     2.3.4
+wheel                        0.40.0
+wrapt                        1.14.1
+}}}
+
+再掲：venv環境を抜けるのはdeactivate コマンドで終了するか、システムから抜ける。
+
+
 == !PyTorch インストール ==
 
+次にPyTorchを入れていく。やはり公式サイトからスタート
+https://pytorch.org/get-started/locally/
+PyTorchのOSやバージョン、GPUの有無などを選択。
+ここではGPUが無い環境なので
+{{{
+PyTorch Build: Stable(2.0.1)
+Your OS: Linux
+Package: Pip
+Language: Python
+Compute Platform: CPU
+}}}
+を選択する。コマンドは
+{{{
+pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
+}}}
+となったので、これをいれる。
+
+まずは　venv として設定するときのバージョンは2.0.1とする。
+最初にどのpythonを使っているのかを確認してから。
+{{{
+obina@notepc:~$ which python3
+/opt/python/3.11.3/bin/python3
+obina@notepc:~$ python3 -m venv ~/.venv/torch2.0
+obina@notepc:~$ source ~/.venv/torch2.0/bin/activate
+(torch2.0) obina@notepc:~$
+}}}
+
+ここからは先ほどと同様にpipの更新を行った後で、torch入れる。
+{{{
+(torch2.0) obina@notepc:~$ which pip
+/home/obina/.venv/torch2.0/bin/pip
+(torch2.0) obina@notepc:~$ pip install --upgrade pip
+....
+Successfully installed pip-23.1.2
+(torch2.0) obina@notepc:~$ 
+(torch2.0) obina@notepc:~$ pip list
+Package    Version
+---------- -------
+pip        23.1.2
+setuptools 65.5.0
+
+
+(torch2.0) obina@notepc:~$ pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
+....
+Installing collected packages: mpmath, urllib3, typing-extensions, sympy, pillow, numpy, networkx, MarkupSafe, idna, filelock, charset-normalizer, certifi, requests, jinja2, torch, torchvision, torchaudio
+Successfully installed MarkupSafe-2.1.2 certifi-2022.12.7 charset-normalizer-2.1.1 filelock-3.9.0 idna-3.4 jinja2-3.1.2 mpmath-1.2.1 networkx-3.0 numpy-1.24.1 pillow-9.3.0 requests-2.28.1 sympy-1.11.1 torch-2.0.1+cpu torchaudio-2.0.2+cpu torchvision-0.15.2+cpu typing-extensions-4.4.0 urllib3-1.26.13
+}}}
+
+動作確認
+{{{
+(torch2.0) obina@notepc:~$ python
+Python 3.11.3 (main, May  9 2023, 20:29:30) [GCC 11.3.0] on linux
+Type "help", "copyright", "credits" or "license" for more information.
+>>>
+>>>
+>>> import torch
+>>> x = torch.rand(5,3)
+>>> print(x)
+tensor([[0.1193, 0.9816, 0.3111],
+        [0.8966, 0.0651, 0.5655],
+        [0.5590, 0.1083, 0.6464],
+        [0.7477, 0.3680, 0.5885],
+        [0.8389, 0.1438, 0.8069]])
+>>> 
+}}}
+
+問題無さそう。あとはチュートリアルから適当に選んで動作確認すれば良い。
+
+https://pytorch.org/tutorials/beginner/basics/quickstart_tutorial.html
+この段階でのパッケージ一覧
+{{{
+(torch2.0) obina@notepc:~$ pip3 list
+Package            Version
+------------------ ----------
+certifi            2022.12.7
+charset-normalizer 2.1.1
+filelock           3.9.0
+idna               3.4
+Jinja2             3.1.2
+MarkupSafe         2.1.2
+mpmath             1.2.1
+networkx           3.0
+numpy              1.24.1
+Pillow             9.3.0
+pip                23.1.2
+requests           2.28.1
+setuptools         65.5.0
+sympy              1.11.1
+torch              2.0.1+cpu
+torchaudio         2.0.2+cpu
+torchvision        0.15.2+cpu
+typing_extensions  4.4.0
+urllib3            1.26.13
+}}}
+あとはjupyter notebook, matplotlib, plotly, seabornなど、お好みで。
+お手軽に使うには ax-platformを入れるのも楽。
+
+※ PyTorchでは numpy  1.24.1, TensorFlowでは  1.23.5 を使用している
+
+ここでは、BoTorch, Ax を入れる。notebook, matplotlibも。
+{{{
+(torch2.0) obina@notepc:~$ pip install botorch ax-platform
+(torch2.0) obina@notepc:~$ pip install notebook matplotlib
+}}}
+
+BoTorchのgetting startedを実行
+https://botorch.org/docs/getting_started
+
+乱数でデータを作成
+{{{
+import torch
+from botorch.models import SingleTaskGP
+from botorch.fit import fit_gpytorch_mll
+from gpytorch.mlls import ExactMarginalLogLikelihood
+
+train_X = torch.rand(10, 2)
+Y = 1 - (train_X - 0.5).norm(dim=-1, keepdim=True)  # explicit output dimension
+Y += 0.1 * torch.rand_like(Y)
+train_Y = (Y - Y.mean()) / Y.std()
+}}}
+
+続いてガウス過程モデル(SingleTaskGP)を定義し、周辺尤度最大化(ExactMarginalLongLikelihood) によってカーネルパラメータを推定します。
+{{{
+gp = SingleTaskGP(train_X, train_Y)
+mll = ExactMarginalLogLikelihood(gp.likelihood, gp)
+fit_gpytorch_mll(mll);
+}}}
+獲得関数としてUCBを使う
+{{{
+from botorch.acquisition import UpperConfidenceBound
+UCB = UpperConfidenceBound(gp, beta=0.1)
+}}}
+最適化
+{{{
+from botorch.optim import optimize_acqf
+
+bounds = torch.stack([torch.zeros(2), torch.ones(2)])
+candidate, acq_value = optimize_acqf(
+    UCB, bounds=bounds, q=1, num_restarts=5, raw_samples=20,
+)
+}}}
+結果表示
+{{{
+print(candidate)
+}}}
+
+そのほか、簡単に確認するにはAxのサンプルを実行するのも良いだろう
+[Ax ・ Adaptive Experimentation Platform](https://ax.dev/)
+