Image Credit:Anthropic Proposes a ‘Contextual AI’ for Chat Models Based on 60 Principles
Anthropicは、Constitutional AIと呼ばれるアプローチを提案し、チャットモデルのトレーニングに取り組んでいます。この方法は、OpenAIの人間からのフィードバックによる強化学習に基づいていますが、深いトレーニングサンプルを書く必要がないため、どのように重要な時期に反応するかを訓練することができます。代わりに、モデルは、従うための法律の一連の規則として機能する憲法を使用して応答するようにトレーニングされます。この時短技術は、アイザック・アシモフの「ロボット三原則」を実践すると見なされることができます。Anthropicは、Constitutional AIの方法を使用して、ChatGPTに対して競争力のあるAIモデルであるClaudeというモデルを効果的に訓練することができました。アルゴリズムは、道徳、リスク回避、経済、人工知能など、多数のトピックをカバーする一連の原則に基づいています。最初の段階では、いくつかのプロセスの例と一緒に、モデルが自分自身の返信を評価して修正する方法を教えます。
第2段階は、人間からの入力ではなく、一連の原則に基づいたAI生成のフィードバックを使用して、より良いアウトプットを選択するようにモデルを訓練することです。この新しいアプローチは、訓練サンプルを構築する必要がなくなるため、時間とお金を節約し、カスタムフィットモデルの作成に使用できるため、多くの企業にとって、革命的なテクノロジーです。加えて、この技術が、会話ボットに対する安全性を向上させることを約束することも重要です。合法的に受け入れられた原則を作成することにより、AIが暴走しないリスクを軽減することができます。Constituation AIは、チャットモデルの開発をより簡単かつ迅速にするだけでなく、安全にすることができます。AIとChatBotsの世界にとって、win-winの状況です。
Anthropic社は、新しいチャットモデルのトレーニング手法として「憲法AI」を提案しています。彼らの手法では、オープンAIの人間からのフィードバックによる強化学習をベースに、深層学習のトレーニングサンプルの作成を避けます。代わりに、AIモデルは、モデルが従うための法律のような役割を果たす憲法を使用して、入力に応答することを学習します。AIは自分自身のトレーニングサンプルを生成することができ、Asimovのロボット工学の法則が実践されたものと考えることができます。Anthropicは、ClaudeというAIモデルを成功裏にトレーニングし、OpenAIのChatGPTと競合させることに成功しました。憲法AIの手法を用いることで、Claudeは会話のプロンプトに対する返答の精度が高く、今後の改善が期待されています。この新しい手法は、トレーニングサンプルを自社で構築する必要がなく、すでにある法的に受け入れられた憲法を使用して、カスタムフィットのモデルを作成するためのベースとして使用できるため、多くの企業が時間とお金を節約することができます。また、会話ボットにおいても安全性が増し、AIが暴走するリスクを軽減することができます。
引用元記事はこちらAnthropic Proposes a ‘Contextual AI’ for Chat Models Based on 60 Principles