TaVision たびじょんメガネ Traveling with Vision, Speech and Translation on Reaspberry Pi Zero 『タビジョンめがね』は、海外旅行中に誰もがあったらいいなと思う、外国語の見る、聞く、話す、を助けてくれる眼鏡です。 タビジョンめがねは、RaspberryPi Zeroにカメラ、マイク、スピーカー、ボタンが一体となったデバイスが眼鏡の横に付いています。 ボタンを一回押すと、音声（外国語）を聞き始め、その後それを日本語にして発話してくれます。 二回連続で押した後、自分が日本語で話すと、それを指定した言葉に翻訳して発音してくれます。 最後に長押しすると、カメラで写真を撮り、その画像に写っている言葉を日本語にして読み上げてくれます。
[MagicMinutes マジックミニッツとは] 会議中に話者が喋った事をテキストにして、自動で議事録を作ってくれるデバイスです。 6つのマイクが付いたラズパイ用ReSpeakerを使って、最大6方向からの位置を特定し、それぞれの座った人の場所毎の会話を、議事録として残せる事です。 記録した会話はリアルタイムで、OLEDミニディプレイに表示し、目で確認する事もできます。 会議中の話を議事録風のフォーマットにして、最後にメールで送付します。 Google Transを使う事により、日本語での会話を英語など外国語に翻訳したミニッツにして送付する事も可能です。 MagicMinutes動画リスト https://www.youtube.com/playlist?list=PLoLx_4WjLoddWX6bn02ehKVL2WZeoJdDg [マジックミニッツの使い方] 日本語で話して、日本語の議事録を作る場合は、送りたいメールアドレスを指定して、起動します。 $ python3 magicminutes.py –mail
MAカメラとは 写真を撮ると、その物を分析して、何が写っているか判別します。たとえば、ミーティングルーム、イベント、パーティーなど。 その結果と、これまでの数多くのMashup Awardsの写真をマッチさせ、どれくらいMashup度が高いのか（写っているものがMashup写真に近いのか）を判定してくれる不思議なカメラです！ ついでに、MA度合いが低いと、MA風な画像を追加して、AR化した写真を生成してMA度合いを高めます！ MAカメラ動画 MAモデルの作り方 FlickrにアップされたMashupがタグされた10万を超える写真をモデル生成に使っています。 これと、ごみや関係ないものの写真100枚ほど（RaspberryJunkPIE）を比較対象画像とし、その両者の判別モデルをクラウド上(GCP)のTensorflowにより生成しておきます。 [Mashup写真（MashupAwards）] Flickr (https://www.flickr.com/photos/100125183@N08/ )からMashup風な写真を数百枚選別し、MashupAwardsというタグ付けを行います。 [ラズベリーとパイ、ごみクズ（RaspberryJunkPIE）] それ以外を判別する為、本物のラズベリーやお菓子のパイの写真を100個、鉄くずなどのジャンクな機械の写真を100個用意し、比較対象にしました。 これらのデータを使い、Tensorflowを使った機械学習トレーニングを行います。この処理はGPUが必要な計算ですので、クラウド(Google Cloud Platform)上で行いました。 そこで出来たモデルをラズパイ上に移植し、撮った写真とモデルとの比較の部分のみラズパイ上で行う事により、少ないリソースでも無理なく判別機をつくれました。