[新製品・サービス]

2020年7月30日(木)日川 佳三（IT Leaders編集部）

リスト

　PFRLは、ディープラーニング（深層学習）のライブラリ「PyTorch」で利用可能な、深層強化学習ライブラリである（図1）。Chainerによる層強化学習ライブラリ「ChainerRL」のPyTorch版にあたる。PFNは現在、深層学習のフレームワークをChainerからPyTorchへ移行してPyTorchコミュニティと連携を強化しており、この一環としてPFRLを公開した。

図1：PFRLのロゴ（出典：Preferred Networks）
拡大画像表示

　PFRLを使うと、最近の代表的な深層強化学習アルゴリズムを、共通のインタフェースで使えるようになる。複数のアルゴリズムを比較したり、組み合わせたりして実験できる。特に重要な9つのアルゴリズムについては、十分にベンチマークした、研究開発のベースとなる再現実装スクリプトを提供する。

　ChainerRLユーザーは、既存のコードをほとんど書き換えることなくPyTorchに移行できるとしている。

　なお、PFNは、2020年の深層学習の国際学会「Neural Information Processing Systems」（NeurIPS）で行われる強化学習コンペティション「MineRL Competition」の競技参加者向けに、PFRLによるベースラインを提供する予定。また、Optunaを使ったハイパーパラメータ探索の実装例も提供する。

　2020年5月には、Chainerの有用機能をPyTorch向けに再実装したライブラリ「pytorch-pfn-extras」も公開している（関連記事：Chainerの有用機能をPyTorch向けに再実装したライブラリ「pytorch-pfn-extras」、PFNが公開）。