Preferred Networks（PFN）は2020年7月30日、PyTorch版の深層強化学習ライブラリ「PFRL（ピーエフアールエル）」をオープンソースとして公開した。ディープラーニング（深層学習）のフレームワークをChainerからPyTorchへ移行してPyTorchコミュニティと連携を強化する一環で、深層強化学習ライブラリ「ChainerRL」の後継ライブラリとして公開する。
PFRLは、ディープラーニング（深層学習）のライブラリ「PyTorch」で利用可能な、深層強化学習ライブラリである（図1）。Chainerによる層強化学習ライブラリ「ChainerRL」のPyTorch版にあたる。PFNは現在、深層学習のフレームワークをChainerからPyTorchへ移行してPyTorchコミュニティと連携を強化しており、この一環としてPFRLを公開した。
図1：PFRLのロゴ（出典：Preferred Networks）拡大画像表示
PFRLを使うと、最近の代表的な深層強化学習アルゴリズムを、共通のインタフェースで使えるようになる。複数のアルゴリズムを比較したり、組み合わせたりして実験できる。特に重要な9つのアルゴリズムについては、十分にベンチマークした、研究開発のベースとなる再現実装スクリプトを提供する。
ChainerRLユーザーは、既存のコードをほとんど書き換えることなくPyTorchに移行できるとしている。
なお、PFNは、2020年の深層学習の国際学会「Neural Information Processing Systems」（NeurIPS）で行われる強化学習コンペティション「MineRL Competition」の競技参加者向けに、PFRLによるベースラインを提供する予定。また、Optunaを使ったハイパーパラメータ探索の実装例も提供する。
2020年5月には、Chainerの有用機能をPyTorch向けに再実装したライブラリ「pytorch-pfn-extras」も公開している（関連記事：Chainerの有用機能をPyTorch向けに再実装したライブラリ「pytorch-pfn-extras」、PFNが公開）。
Preferred Networks / PyTorch / ディープラーニング / ライブラリ / 深層強化学習
