ChatGPT o1 が「推論」できると OpenAI が説明する理由

人工知能は可能なことの限界を押し広げ続けています。最新の開発の中には、OpenAI o1新品です。

さらに進むには
ChatGPT GPT-4 のことは忘れてください。OpenAI o1 は「考える」ことができる AI です。

OpenAI は、この AI は強化学習を使用することで推論できると述べています。しかし、この方法はなぜそれほど革命的なのでしょうか?また、GPT-4o、Google Gemini、Claude AI などの他のモデルとどう違うのでしょうか?

強化学習: 新しいアプローチ

GPT-4o や以前のモデルとは異なり、Open AI o1 はトレーニング スキームを模倣するのではなく、強化学習を使用して提示された問題を独自に解決します。

しかし、強化学習とは何でしょうか?基本的にはAIが試行錯誤しながら学習していく方式です。彼女は良い行動に対して報酬を受け取り、悪い行動に対してペナルティを受け取り、時間の経過とともに改善することができます。

OpenAIは、Open AI o1のトレーニングは、オーダーメイドのデータセットと新しい最適化アルゴリズムを使用して実行されたとコメントしました。これは、AI が特定のデータに基づいて、そのパフォーマンスを最大化する高度な方法でトレーニングされていることを意味します。トレーニング中に学習したパターンに依存して応答を生成する従来のモデルとは異なり、Open AI o1 は強化学習を使用して自律的に問題を解決します。

幻覚を止めますか？

Open AI o1 の主な利点の 1 つは、AI の「幻覚」を軽減できることです。これは、AI が間違いを犯したり、答えを発明したりしないという意味ではありません。しかしOpenAIによれば、以前のバージョンのGPTほど一般的ではないという。幻覚は、AI が時々生成する不正確またはでっちあげの応答であり、多くの場合、トレーニング データが不十分または偏っていることが原因であることに注意してください。

GPT-4o などの従来のモデルは、言語の構造とパターンを学習するために、膨大な量のテキスト データでトレーニングされます。通常、「」と呼ばれるニューラル ネットワーク アーキテクチャが使用されます。トランス」を使用すると、長いテキストのシーケンスを効率的に処理できます。

これらの言語モデル (LLM、ここでその内容を説明します)彼らは、大量の本をむさぼり読んで、学んだことに基づいて質問に答えようとする学生のようなものです。

これらのモデルを使用すると、トークン(単語または単語の一部) 次に、提供されたコンテキストに基づく可能性が最も高くなります。事前トレーニング後、特定のタスクを微調整して、特定の領域でのパフォーマンスを向上させることができます。

Open AI o1 は、人間が問題を段階的に処理するのと同じ方法で、「思考の連鎖」を使用してクエリを処理します。

OpenAIによると、この新しいモデルをGPT-4oと区別する主な点は、その推論を説明しながら、開発や数学などの複雑な問題を以前のモデルよりもはるかにうまく解決できることだという。

OpenAI は、新しい LLM と呼ばれるコンペティションに参加しました。コードフォース。複雑な問題を解決するために世界中のプログラマーが参加します。そして、何だと思いますか？彼は人間の参加者の 89% よりも優れた成績を収めました。 OpenAI にとって、これはほんの始まりにすぎません。博士課程の新入生によると、次のバージョンでは物理学、化学、生物学の複雑な問題を解決できるようになるだろうと説明されています。

同時に、o1 は多くの分野で GPT-4o ほどパフォーマンスが良くありません。世界に関する事実の知識に関しては、それほどうまくいきません。また、Web を閲覧したり、ファイルや画像を処理したりする機能もありません。

当然のことながら、各モデルがどのように機能するかについての正確な詳細が常にわかっているわけではなく、異なる可能性があります。何のために ？なぜなら、それらを開発する企業は、トレーニング方法や正確なアーキテクチャに関するすべての情報を常に開示しているわけではないからです。これにより、モデル間の直接比較が困難になる可能性があります。ただし、強化学習は顕著な進歩であるようです。

例を見てみましょう: 計算

このように LLM の機能を実証するのは簡単ではありませんが、次のクエリを試してみましょう。

電気代が 1kWh あたり 0.25 ユーロであると知った上で、平均的な電気自動車 (混合消費量 17 kWh) が、軽ハイブリッド熱自動車よりも利益が少なくなるのはどのくらいのガソリン価格になるかを計算できますか?この計算では、マイルド ハイブリッド サーマル カーが 100 キロメートルあたり平均 5 リットルのガソリンを消費すると仮定できます。計算の詳しい説明をお願いします

o1-preview を使用すると、非常に単純なクエリの分解のさまざまな段階を確認できます。OpenAI によれば、8 秒かかりました。

ご覧のとおり、文章は段階的に思考しているかのような錯覚を引き起こします。

OpenAI は、AI モデルの思考を人間の思考と同一視するものではないと考えています。しかし、インターフェイスは、モデルがどのように処理に多くの時間を費やし、問題解決をより深く掘り下げるかを示すことになっています。

最終的な答えに興味がある場合は、次のとおりです。

明らかに、GPT-4o でも同じ応答が得られました。英語話者は、非常によく知られたプロンプトの 1 つをテストすることを好みます。イチゴにはRが何個ありますか?”。 「古いモデル」は、「」という言葉を誤って主張する傾向があります。いちご» には単語が正しく分解されていないため、R が 2 つしかありません。

では、Open AI o1 は本当に私たちに約束されている革命なのでしょうか?正直なところ、それを語るにはまだ時期尚早です。近年、AI における非常に多くの「革命」を目の当たりにしてきたため、私たちは注意する必要があることを学びました。

確かなことは、強化学習が有望な手段であるということです。 GPT-o1 がその約束を守れば、より信頼性が高く、より創造的で、狂いにくい AI が誕生する可能性があります。

ChatGPT Plus と Team ユーザーは今日から o1-preview と o1-mini にアクセスできるようになりますが、Enterprise と Edu ユーザーは来週初めにアクセスできるようになります。

OpenAI は、すべての無料 ChatGPT ユーザーに o1-mini へのアクセスを提供する計画を発表しましたが、リリース日はまだ設定されていません。

開発者による o1 へのアクセスは非常に高価です。API では、o1-preview のコストは入力トークン (モデルによって解析されるテキスト) 100 万件あたり 15 ドル、出力トークン 100 万件あたり 60 ドルです。比較のために、GPT-4o の費用は 100 万入力トークンあたり 5 ドル、100 万出力トークンあたり 15 ドルです。

チャットGPT