Jupyter Notebook のコード実行履歴を Python スクリプトとして保存する方法

今回は、 Jupyter Notebook (JupyterLab) のコード実行履歴を Python スクリプトとして保存する方法について紹介します。

先に %history マジックコマンド等の一般的な方法の紹介を行い、最後に自作した関数を紹介します。

Note
今回の方法は Google Colaboratory でも同様に動作します。
  • ノートブックのセル内で以下を実行すると、コードの実行履歴が出力されます。

    %history
    
  • 公式ドキュメント

  • 主なオプション

    オプション 説明
    -n 行番号を表示する。
    -o 出力結果も表示する。(※後述の通り、表示されない出力があるので注意。)
    -p 実行コマンドの前に >>> をつける (-oを使う際に見やすくなる)
    -t マジックコマンドやエイリアスを、Pythonのコードに翻訳してから表示する。
    -f <FILENAME> ファイルに結果を保存する。
Example
# In [1] --------------------
a = 2
b = 3

# In [2] --------------------
a + b

# In [3] --------------------
display(a * b)

# In [4] --------------------
print(a - b)

# In [5] --------------------
%history
  • 実行結果

    a = 2
    b = 3
    a + b
    display(a * b)
    print(a - b)
    %history
    
  • -n で行番号表示。

       1:
    a = 2
    b = 3
       2: a + b
       3: display(a * b)
       4: print(a - b)
       5: %history -n
    
  • -o で実行結果をあわせて表示。
    (※ printdisplayの出力結果は表示されない。)

    a = 2
    b = 3
    a + b
    5
    display(a * b)
    print(a - b)
    %history -o
    
  • -t でマジックコマンド等をPythonのコードに変換してから表示。

    a = 2
    b = 3
    a + b
    display(a * b)
    print(a - b)
    get_ipython().run_line_magic('history', '-t')
    

実行履歴とは若干異なりますが、以下の方法を用いるとノートブックを直接 Python スクリプトに変換することができます。

  1. Jupyter Notebook の File -> Download as -> Python (.py) で変換する。

  2. 以下のコマンドでも変換できる。

    jupyter nbconvert --to python <ipynbファイル>
    

上記2つの方法では自分が意図する出力を行えなかったため%historyコマンドのコードを参考にして自作した関数を紹介します。

モチベーションの話

機械学習の実験管理を行っていた際に、ノートブックで実行したコードを実験結果と一緒に保存しておきたい場面がありました。

実験では、ローカルにある ipynb ファイルを VSCode でリモートサーバに接続して実行していたため、
リモート側で完結した処理にしようとすると、2番目の「ipynb ファイルを直接 Python スクリプトに変換する」は不可。

また、 %history コマンドでは以下の要望すべてを満たす出力ができないため、専用の関数を自作することにしました。

  • セルごとに分けて出力したい。
  • 出力結果をPythonでそのまま実行できるようにしたい。
from IPython import get_ipython


def get_history_simple(start=0, stop=None):
    """Jupyter Notebook のコード実行履歴を取得する.

    Args:
        start (int, optional): 開始セル番号. Defaults to 0.
        stop (int or None, optional): 終了セル番号. Defaults to None.

    Returns:
        str: コード実行履歴
    """
    cell_num = get_ipython().execution_count
    if start < 0:
        start = cell_num + start
    if stop is not None and stop < 0:
        stop = cell_num + stop

    if stop is not None:
        stop += 1

    hist = get_ipython().history_manager.get_range(
        raw=True, output=False, start=start, stop=stop
    )
    codes = []
    for _, lineno, inline in hist:
        if inline.strip() == "":
            continue
        codes.append(f'# In [{lineno}] ' + '-' * 20)
        codes.append(f'{inline}\n')
    return "\n".join(codes)
Example

実行すると、以下のような出力となります。

# In [1] --------------------
from jupyter_utils import get_history_simple

# In [2] --------------------
a = 2
b = 3

# In [3] --------------------
a + b

# In [4] --------------------
display(a * b)

# In [5] --------------------
print(a - b)

# In [6] --------------------
get_history_simple()
  • get_ipython().execution_count で現在のセル番号を取得します。
  • start, stop にマイナスの値を入れられるように調整しています。
  • get_ipython().history_manager.get_range を使用してコードの実行履歴を取得しています。
Note

実際に使用している関数では以下のような機能も追加しています。
(あまり綺麗なコードではないため今回は省略しています。)

  • マジックコマンドをコメントアウトする機能
    (簡易的な文字列チェックでマジックコマンドを判定しコメントアウトしてます。)
  • 出力内容をprintdisplayで出力される文字列も含めてコメントとして表示させる機能
    (%%capture コマンドのコードを参考に出力のキャプチャを行っています。)

関連記事