複数の選択肢が存在するオペラントタスクもしくはゲームタスクにおいて、期待された報酬が得られた場合、その選択肢に留まり続け、逆に報酬が得られなかった場合、他の選択肢を探索する行動が見られる。この探索行動パターンは、Win-Stay Lose-ShiftもしくはWin-Stay Lose-Switch (いずれもWSLS)と呼ばれ、各種の精神疾患や発達障害においてそのパターンが変化することが報告されている。動物モデルにおけるWSLSについては、ラットを用いた2選択もしくは3選択のオペラントタスクによる検討がなされており、強化学習モデルによって各個体・薬理実験条件下の行動パラメータの算出が行われている(Ito and Doya 2009; Cinotti et al. 2019)。しかし従来のタスクでは、選択肢の数が2もしくは3と限定されているため、探索パターンの複雑性を明らかにすることができないという問題がある。そこで、本研究では5選択の探索行動テストを行うための新たなオペラント箱を開発した。遺伝子改変モデル・疾患モデル等の利用が比較的容易なマウスを対象とした行動薬理実験の実施を簡便に行うため、オペラント条件付けの運用を24時間化した。通常、マウスのオペラント条件付けには週単位の訓練期間が必要であるが、マウスケージをノーズポーク式のオペラント箱と直結することで、5選択の探索行動テストを1週間未満で実施することに成功した。選択肢毎に報酬(ペレット)が出る確率を設定し、期間毎にその確率を変動させた結果、報酬確率の変化に追随して選択に関するエントロピーが増減することが観察され、また、WSLSの傾向を示すことが明らかとなった。さらに、複数種の強化学習モデルを用いて解析を行ったところ、報酬の獲得状況に応じて学習率を変化させるQ-Learningモデルがマウスの探索行動をよく説明できることがわかった。本研究によって、今後、探索行動異常が疑われる各種の疾患モデルマウスを対象とした行動薬理実験および行動パラメータの推定が可能となる。

To: 要旨(抄録)