1. GPT-4oの概要
「GPT-4o」（「omni」の「o」）は、OpenAIによって開発された次世代の言語モデルです。このモデルは、テキスト、音声、画像の組み合わせを入力として受け取り、テキスト、音声、画像の出力を生成する能力を持っています。特に音声入力に対しては、平均232ミリ秒で応答する高速性を誇ります。これにより、人間の自然な会話に近いリアルタイムでの対話が可能となっています。英語のテキストおよびコードにおいては「GPT-4 Turbo」と同等のパフォーマンスを発揮し、他言語のテキストにおいても顕著な改善が見られ、APIを通じてより高速かつ費用対効果の高い利用が可能です。「GPT-4o」は特に視覚と音声の理解において大幅な進化を遂げています。
2. 「GPT-4o」の機能
従来のモデルと比較して、「GPT-4o」はエンドツーエンドでの学習を採用しています。これにより、テキスト、ビジョン、オーディオの各モダリティを単一のニューラルネットワークで処理し、情報の流失を最小限に抑えることができます。例えば、音声モードでは従来の3つのパイプライン（音声をテキストに変換、テキストを処理、テキストを音声に変換）ではなく、直接的に音声を理解し、豊かな声のトーン、複数話者、背景騒音、感情表現を出力できるようになっています。
3. 「GPT-4o」の評価
「GPT-4o」は、標準的なベンチマークにおいてテキスト処理、推論、コーディングにおいて「GPT-4 Turbo」と同等の性能を発揮しています。さらに、多言語、オーディオ、ビジョンにおいては最高水準の成果を示しています。具体的には以下の評価指標でその能力が評価されています：
- テキスト評価
- オーディオASR性能
- オーディオ翻訳性能
- M3Exam Zero-Shot結果
- ビジョン理解評価
- 20言語にわたるトークン化の改善
4. 「GPT-4o」の安全性と制限事項
「GPT-4o」のリリースにあたり、学習データのフィルタリングやモデルの動作の調整を通じて、全体的な安全性が確保されています。特に音声出力に関しては、新たに開発された安全システムが導入され、ユーザーの安全性を強化しています。また、外部の専門家チームと共同で行ったリスク評価に基づき、新たに追加されたリスクに対する予防策や安全対策も積極的に行われています。
5. 「GPT-4o」の入手可能性
「GPT-4o」のテキストおよび画像機能は、「ChatGPT」を通じて本日から段階的に展開されています。無料ユーザーは「GPT-4レベルの知能」を体験し、有料ユーザーはさらに多様な機能にアクセスできます。また、開発者向けにはAPIが提供され、テキストおよびビジョンに関する機能が広く利用可能です。今後の展望としては、音声モードの新機能の導入や、他のモダリティのサポート強化が予定されています。
「GPT-4o」は、その革新的な多モダリティ処理能力により、コンピュータとの自然な対話を前進させる新たなマイルストーンとなることが期待されています。
