Microsoftは、画像の内容を記述しようとする画像認識ツールを開始しました。 この人工知能ツールはまだ開発段階にあり、ユーザーがアップロードした写真から常に学習しています。

正確性に関する限り、説明はかなり正確である場合もありますが、CaptionBotは描写されている内容とは関係のない説明を提供する場合もあります。 また、アプリがその荒い状態のせいで、説明をまったく提供できない場合もあります。

マイクロソフトは、CaptionBotのキャプションが時間とともに正確になることを期待して、より多くの経験を積んで学習するようにCaptionBotを設計しました。 ユーザーがアップロードする写真が多いほど、CaptionBotが説明するように、アプリはより良くなります。

私はどんな画像の内容も理解できますし、人間と同様にそれを説明しようとします。 私はまだ学んでいるので、あなたの写真を保持しますが、個人情報は保持しません。

CaptionBotは、Microsoftのコンピュータービジョン、エモーション、Bing Imageという3つのテクノロジーを使用して、写真に描かれているものを記述します。 Computer Vision APIは、画像から豊富な情報を抽出し、画像からテキストを識別および抽出するとともに、視覚データを分類および処理します。 Emotion APIは、その名前が示すように、顔を分析して、怒り、軽empt、嫌悪、恐怖、幸福、中立、悲しみ、驚きなど、さまざまな感情を検出します。 Bing ImageはWebで画像を検索します。

CaptionBotをテストし、結果は50％のケースで正確でした。 たとえば、2枚の写真をアップロードしました。1枚はゲーミングマウス、もう1枚はカードのスタックです。 どちらの場合も、ツールは携帯電話であることを示唆しました。 一方、CaptionBotは人間と顔を正確に検出しました。

どうやら、CaptionBotは携帯電話に執着しています。 あるTwitterユーザーは、アプリがミシェルオバマは携帯電話だと考えていると報告しました。 CaptionBotの面白いキャプションについては、このTwitterページをご覧ください。

ここでCaptionBotをテストすることもできます。 試してみてください：ツールの改善を支援するか、大笑いします！