Mashup Camera – MAカメラ

MAカメラとは 写真を撮ると、その物を分析して、何が写っているか判別します。たとえば、ミーティングルーム、イベント、パーティーなど。 その結果と、これまでの数多くのMashup Awardsの写真をマッチさせ、どれくらいMashup度が高いのか(写っているものがMashup写真に近いのか)を判定してくれる不思議なカメラです! ついでに、MA度合いが低いと、MA風な画像を追加して、AR化した写真を生成してMA度合いを高めます! MAカメラ動画 MAモデルの作り方 FlickrにアップされたMashupがタグされた10万を超える写真をモデル生成に使っています。 これと、ごみや関係ないものの写真100枚ほど(RaspberryJunkPIE)を比較対象画像とし、その両者の判別モデルをクラウド上(GCP)のTensorflowにより生成しておきます。   [Mashup写真(MashupAwards)] Flickr (https://www.flickr.com/photos/100125183@N08/ )からMashup風な写真を数百枚選別し、MashupAwardsというタグ付けを行います。 [ラズベリーとパイ、ごみクズ(RaspberryJunkPIE)] それ以外を判別する為、本物のラズベリーやお菓子のパイの写真を100個、鉄くずなどのジャンクな機械の写真を100個用意し、比較対象にしました。 これらのデータを使い、Tensorflowを使った機械学習トレーニングを行います。この処理はGPUが必要な計算ですので、クラウド(Google Cloud Platform)上で行いました。 そこで出来たモデルをラズパイ上に移植し、撮った写真とモデルとの比較の部分のみラズパイ上で行う事により、少ないリソースでも無理なく判別機をつくれました。 [写真のAR化]     [MAカメラの使い方] 使い方は至って簡単。自分で作ったものの写真を撮るだけ! そうすると、MashupAwards(MA風)、RaspberryJunkPIE(本物のラズベリー、お菓子のパイ、又はジャンク、くず)のどれに該当するかの確率をしゃべってくれます。また結果をTwitterにもアップします。     試しに、昨年の私の写真を読み込ませてみます。しっかり受賞確率95.38%(当たり前ですよね!)と出てきました。   この解析の精度を確かめるために、こんな本物のラズベリーの写真を読み込ませると、ちゃんと98.72%の確率で、RaspberryかPieだと出してくれました。   2018年のSemi/Finalステージに参加できたら、そこで実際に確かめてみたいと思います! こちらは撮って、結果を喋っている動画です。   [MAカメラのシステム構成] ハードウェア: RaspberryPi 3B USBカメラ スピーカー スイッチ、LEDなど USBバッテリー 紙のお弁当箱などのケースなど   紙製のケースに入ったカメラ本体に、USBカメラ、スピーカー、ボタンなどが付いています。   中には、マイク、カメラがついたラズパイとバッテリーが入っています。 スピーカーは外に出ていて、大音量で結果を教えてくれます。   全体のシステム構成はこのようになっています。 システム構成図   ソフトウェア: Python […]