強化学習のセットアップにおいて不可欠な部分は、RL エージェントに信頼性の高いシミュレートされた環境を提供することです。これは、RL アルゴリズムへの高速で一貫性のある合理化された接続を備えた強力な汎用シミュレーション ソフトウェアを使用することによって最も効果的に実現されます。AnyLogic モデルを強化学習のトレーニング環境として使用したい専門家や研究者には、Alpyne ライブラリ、Microsoft Azure Machine Learning、および AnyLogic Cloud の API (限定された使用ケース) の 2 つのオプションがあります。
ユースケース ワークフロー＆ツール強化学習の設定において不可欠な部分は、AI エージェントに信頼性の高いシミュレートされた環境を提供することです。これは、RL アルゴリズムへの高速、一貫性、そして合理化された接続を備えた強力な汎用シミュレーション ソフトウェアを使用することで最も効果的に実現できます。トレーニングから学習したポリシーは、最終的にはシミュレーション モデルが構築された実際のシステムにデプロイできます。
本質的に、強化学習のトレーニング プロセスは、シミュレーション環境の隅々まで調査および精査する人工探索機 (Artificial explorer) で構成されています。適切な報酬スキーマがあれば、このメカニズムを使用して、検証および確認プロセスにおいて、一般的に反復される一部を部分的に自動化し、シミュレーション モデルの堅牢性と忠実性をより徹底的にテストできるようになります。このアプローチはまだ初期段階ですが、あらゆる種類のモデルの検証および確認プロセスの不可欠な部分になる可能性があります。
研究者が同等のフィールドでアルゴリズムをテストおよび比較できるように、標準化された RL 環境のリポジトリがあります。しかし、これらの広く使用されている環境では、実際のシミュレーション システムで一般的な多様性と複雑さは提供されません。AnyLogic汎用シミュレーション プラットフォームは、簡単にカスタマイズできる高度なトレーニング環境を提供できるだけでなく、各業界固有のさまざまなレベルの複雑さに対応します。
アナリストは、あらゆる種類のルールベース、アルゴリズムベース、またはヒューリスティックベースのソリューションを選択、設計、またはキュレート(人力で情報を収集、整理、要約、公開、および共有)できます。RLポリシーの形でベースラインソリューションにアクセスできることは、キュレーションされ手動で形成されたソリューションの有効性を明らかにするのに非常に価値があります－特に、これらのソリューションが絶対的な最適値が達成できないシナリオ向けである場合。
AnyLogic モデルを強化学習のトレーニング環境として使用したい専門家や研究者には、Alpyne ライブラリ、Microsoft Azure Machine Learning、および AnyLogic Cloud の API (限定された使用ケース) の 2 つのオプションがあります。
エクスポートされた AnyLogic モデルを接続し、Alpyne を介してローカル Python 環境の AI フレームワークと通信します。
手動でキュレートされた RL セットアップがローカル マシン上の AnyLogic モデルでどのように機能するかをテストすることに興味がある方のために、Alpyne はそれを実行する方法を提供します。この Python ベースのパッケージを使用すると、RL 実験からエクスポートされた AnyLogic モデルと通信できます。
詳細
シミュレーション モデルを Azure Machine Learning プラットフォームにアップロードし、特殊な Python ライブラリである Plato Toolkit を使用して、ユーザーが割り当てた AI フレームワークと通信します。
このオプションは、強力な CPU または GPU 対応の仮想マシンを使用して、大規模な強化学習ポリシーをトレーニングしたいユーザー向けです。GitHub ページには、一般的な使用方法や AnyLogic モデルの例など、さらに詳しい情報が記載されています。
詳細
シミュレーション モデルを AnyLogic Cloud にアップロードし、クラウド API を使用してユーザーが割り当てた AI フレームワークと通信します。
このオプションは、AnyLogic Cloud でホストされているシミュレーション環境を使用してトレーニングしたい、手動で定義された RL トレーニング コードを持つ専門家向けです。AnyLogic Private Cloud の所有者は、スケーラブルなサーバーベースのプラットフォーム上でモデルを実行する Python API にアクセスできます。現時点では、この API は、各エピソードの最後に報酬 (またはフィードバック) を提供するため、対話型通信を必要としないトレーニング エピソードのみをサポートしています。