iPhoneを使ってGPT-4のコンピュータビジョンAIを作った強者が登場

 
Microsoftが巨額を投資するOpenAIが提供するチャットボットChatGPTの最新バージョンGPT-4とiPhoneをかけ合わせ、視覚を持った人工知能（AI）アシスタントを作った強者が登場し、話題になっています。

■3行で分かる、この記事のポイント
1. iPhoneを使って、視覚を持った人工知能アシスタントを作った強者が登場。
2. 冷蔵庫の中からケトン食に則した食べ物を見つけさせ、レシピを考えさせるプロセス。
3. iPhoneからMacへの映像のストリーミングを処理するシステムだという。

AIアシスタントの未来がここに？

AI関係の制作を行うマッケイ・リグレー氏（@mckaywrigley）は、「iPhoneでGPT-4に目を与えてみました」と動画をソーシャルメディアに公開しました。
 
同氏が行ったのは、厳しい糖質制限によって身体をケトジェニックな状態にし、脂肪を燃えやすくする「ケトン食（ケトジェニックダイエット）」とは何かをAIに学ばせ、冷蔵庫の中からケトン食に則した食べ物を見つけさせ、インターネットを検索し、すでにある材料でレシピを考えさせるという4段階のプロセスです。
 

I used my iPhone to give GPT-4 eyes.

My AI vision assistant:
– learned what a Keto diet is
– identified Keto foods in my fridge
– searched the internet
– found a recipe with the ingredients

The future is here! pic.twitter.com/bOMhJfWRP0

— Mckay Wrigley (@mckaywrigley) May 2, 2023

 
 
一見iPhone上でコンピュータビジョンの処理をすべて行っているように見えますが、iPhoneからMacへの映像のストリーミングしているとのことで、やはりコンピュータは現段階では必要なようです。
 
リグレー氏いわく、必要なものは次のものだけだそうです。
 

• YoloV8でオブジェクト検出を行う
• 20分のYouTube動画で、ビジョンモデルに独自のデータ／画像を追加する方法を学ぶ
• GPT-4でAIを扱う
• OpenAI Whisperで音声をつける
• Googleカスタム検索エンジンでWebブラウジングを行う
• MacOS/iOSで、iPhoneからMacへの映像のストリーミングを処理する
• Pythonの基本的なコーディング

 
同氏は今回のシステムの開発理由について、「AppleのARグラスが今年の夏に発売されるらしいので、AIでクールなものを開発できるように準備している」と述べています。
 
 
Source:@mckaywrigley/Twitter
(lexi)