TaVision たびじょんメガネ Traveling with Vision, Speech and Translation on Reaspberry Pi Zero 『タビジョンめがね』は、海外旅行中に誰もがあったらいいなと思う、外国語の見る、聞く、話す、を助けてくれる眼鏡です。 タビジョンめがねは、RaspberryPi Zeroにカメラ、マイク、スピーカー、ボタンが一体となったデバイスが眼鏡の横に付いています。     ボタンを一回押すと、音声（外国語）を聞き始め、その後それを日本語にして発話してくれます。 二回連続で押した後、自分が日本語で話すと、それを指定した言葉に翻訳して発音してくれます。 最後に長押しすると、カメラで写真を撮り、その画像に写っている言葉を日本語にして読み上げてくれます。 翻訳の設定は、ラズパイ上のPythonプログラムのパラメータを、–speech it-IT (聞取り言語) –trans ja-JP (翻訳先言語)の様に設定しています。（この場合はイタリア語から日本語に翻訳） 言葉の聞き取りには、GoogleのAPIのGoogle Cloud Speechを使い、翻訳にはGoogle Translateを使っています。 画像読み取りには、Google Vision APIを使い、読み上げには音声合成のAquesTalkを使っています。 ラズパイZeroの小さい筐体であれば、眼鏡などに付けるウェアラブル・デバイスができるのでと考えました。そしてそれを旅など外に持っていって、役立つものにしたいと思いました。 ラズパイ、パイソンにはGoogleなどから先進的なAPIが提供されているので、この小さな箱に見る、聞く、話す、そして翻訳するという機能を搭載でき、未来のデバイスが作れたのではないかと思います。 スターウォーズのC3POロボットが、宇宙語など600万の言葉を翻訳すると映画で見ましたが、今回の製作過程でGoogleのAPIが100カ国語以上に既に対応しているのを知って驚き、スターウォーズの世界ももうすぐ現実のものになるのではないかと夢想しました。 実際これで中学生の息子は、もう英語も外国語も勉強しなくて済むね、と間違った方向に理解したコメントをしていました。 （息子が使った試作品のビデオはこちら： https://youtu.be/wRs4yLhLe8Q ）     このデバイスは手にすっぽり入る小さい形なので、イヤフォン型やペンダント型にしてオリンピックでの外国人の方への案内に使ったり、ヘルメットに付けて外国の方と工事現場を共にする際のコミュニケーションにも使えると思っています。 今後の訪日観光客の増加や外国訪問の機会が増える事を想定して、デバイスのブラッシュアップ（精度、反応速度の向上や、ローカル環境での動作など）を行っていきたいと思っていますので、宜しくお願い致します！ [タビジョンめがね具体的な使い方] それぞれボタンを押した時の、見る、聞く、話す、の使い方例です。     [見る]　ボタンを長押し このような中国の鉄道駅の文字を読み取ります。結果を日本語で読み上げますが、コンソール中のTrans:のところに、ハオババスの乗客駅～などが読み取られているのが分かります。 こちらはタイ語でのレストランのメニューです。Tras:のところで、アラビヤティラビヤという魚（?）の焼き物のメニューが人気なのが分かります。 [聞く]　ボタンを一回押す [話す]　ボタンをダブルプッシュ こちらのビデオで、イタリア旅行で鉄道の駅での会話の例を示しています。駅でイタリアの人に行き方を聞いたり、看板を読み取ったりするシチュエーションを映しています。 https://youtu.be/1bsfeA1oGS8 […]

 [MagicMinutes マジックミニッツとは]   会議中に話者が喋った事をテキストにして、自動で議事録を作ってくれるデバイスです。 6つのマイクが付いたラズパイ用ReSpeakerを使って、最大6方向からの位置を特定し、それぞれの座った人の場所毎の会話を、議事録として残せる事です。 記録した会話はリアルタイムで、OLEDミニディプレイに表示し、目で確認する事もできます。 会議中の話を議事録風のフォーマットにして、最後にメールで送付します。 Google Transを使う事により、日本語での会話を英語など外国語に翻訳したミニッツにして送付する事も可能です。   MagicMinutes動画リスト https://www.youtube.com/playlist?list=PLoLx_4WjLoddWX6bn02ehKVL2WZeoJdDg     [マジックミニッツの使い方] 日本語で話して、日本語の議事録を作る場合は、送りたいメールアドレスを指定して、起動します。 $ python3 magicminutes.py –mail xxx@mail.com   日本語に追加して、英語に同時通訳、日英の議事録を作りたい場合は、–trans en-USなどと翻訳言語をセットします。 $ python3 magicminutes.py –trans en-US –mail xxx@mail.com まず、各場所に座った人が「マジック！」と話してみて下さい。その人が話した方向のLEDが緑に光るはずです。 話者の位置が特定出来たら、ボタンを押して、会議の会話を始めます。   会議中の会話が始まると、区切り毎に各言語でリピートしてくれます。 最後に「終了です」などのバイバイワードを話すと、会話を止め、リングが光り出し、取得した発話履歴から議事録を作り出します。   上図のように、話した内容を日本語の議事録にまとめてくれます。どの席の位置の人が喋ったか（前方、後方、右側など）も分かるので、より内容を理解するのに役立ちます。   こちらは英語での議事録。リアルタイムで日本語から英語の議事録を話者の位置（Front, Backなど）も含め作成してくれています。   最後にメールが送られた旨が伝えられると、議事録完了です。メールを確認してみます。   [日本語議事録]                                               [English minutes]     写真を読み込ませれば添付ファイルも付ける事ができます。   実際に動いているMagicMinutes動画はこちら https://www.youtube.com/watch?v=lS0PR6pSRrk&list=PLoLx_4WjLoddWX6bn02ehKVL2WZeoJdDg   [MagicMinutesシステム構成] […]

SONYのtoioが来た！ 待ちに待ったSONYが出したトイ・プラットフォームtoioがうちにやってきました！ とりあえずどんどん足されるtoio動画リストを見て下さい！ で、toioって何？？ SONYが出したおもちゃ、トイのtoioです。 まずは開封の儀： 　　 子どもだけでも開けてすぐ楽しめる！これってオモチャとしては当たり前ですが、いいですよね！     まずtoioは、二つの小さな箱型で底にタイヤが付いた機械です。   これをあるシートの上で動かします。このシートの外でも動きますが、この丸や四角の特殊なシートに目に見えないくらいの記号が印刷されていて、それをtoioの底に付いたカメラで読み取って、今いる位置を把握しています。 これにより、toioの二つそれぞれの絶対的位置をとらえて、様々な動きを相互にする事ができるようになっています。   そしてこの本体にカセットのようなソフトを差して、色々遊ぶものを変える事ができます。   今のところ、2つの基本的なソフトが出ています。ソニー自身が出しているtoioコレクションと、ピタゴラスイッチなどで有名なユーフラテス監修のゲズンロイドというものです。   今回は、まず基本ソフトtoioコレクションを使っていきます。 まずは、ぶつかり相撲。輪っか型のコントローラーで、四角い箱を動かすことができます。    四角い箱の上にはレゴがピッタリはまるジョイントがついていて、思うがままにレゴで形を作って、それを乗っけて遊べます。   そしてここからが、toioの世界が広がるところ。 シートを切って、その上をtoioが通ると、ぐるぐる回ったり、加速したり、実際にその動きをします。   こちらは、スカンクの戦い  

日本最大と言われている開発者の祭典・コンテスト「Mashup Awards 2017」今年も楽しかった！ 実は去年初めて参戦して、2回目ですが、何でもっと前から参加しなかったのか悔やまれるくらいのたくさんのものが得られるイベントです。 そこで得られる最大のもの、それは仲間やアイディア、コネクションです！ 去年参加した時は、IoTLTやリクルートの皆さん、Tech Lab Paakに出会う事が出来たし、今年は今年で、去年の悟空はどうしたんですか？とか、去年のよりスケールが小さくなってない？（なってないつもりです！）など、みんな覚えていてくれて、１年に一回集まるクリエイターの同窓会みたいな感じ！ とはいえ、何か実際のモノもいっぱいくれるという事で、今回はテーマ賞として「Goodおしゃべり NTT Docomo賞」と「SONY賞」の二つをもらいました！とにかく作ったものをちゃんと見てくれていた人がいた、というのがうれしい。Docomo、Sonyの皆さんありがとうございました！ ということで、今年のMashup Awards 2017の振り返り： 私個人（ヨシケン）としては、4作品をエントリー。そうです、別に一球入魂しなくても、たくさん出してもいいんです。（その分クオリティがアレなのは、その人次第！） Kopy コピーロボット MeshBot Kit メッシュ・ボット・キット AmaBonとGooHome AMAZing Button 2017年は全部で447作品の応募があって、そのうちだいたい50作品くらいが2nd Stage（準決勝）に進めます。 その他、IoT部門や学生部門などあるのですが、ちょっと(ｼｸﾐｶﾞﾑｽﾞｶｼｲ)ので飛ばして、結局、僕の作品ではコピーロボットが選ばれて、12/10に東京カルチャーカルチャーのこんなイベントスペースで、5分間のプレゼンをしました。 これは参加者100名くらいの相互投票で上位5チームが決勝戦に進出します。 僕のプレゼン、ビデオはこんな感じ、、、 Kopy Robot Presentation from Kenichi Yoshida 発表はこんな感じでしたが、、、  プレゼンが上手くいかないのを笑ってごまかし、、  デモの不備もビデオでごまかし、、 プロダクトのしょぼさもキャラでごまかし、 なんとかやりましたが、、 結果は、、やっぱりプレゼンは難しいですね。。作品自体もさることながら、短い時間に効果的なデモとちゃんと皆さんの反応を得るのがまったく思ったとおりにいかず、見事落選（10位以内にも入れず）でした。 ただTwitterを見ると、暖かいお言葉をもらえて、これを励みに頑張ります！ 動画を褒めてもらえるのはありがたいことです。   準決勝第二部のまとめ記事はこちらです。   その後は、というか実際は朝から飲んでましたが、飲み会パーティー １位になった「ネコになるVR」頑張ってください！決選投票で残った、GROOVEもすごい！ そして、12/16 日の出タブロイドでの決勝戦は、僕は作品展示とテーマ賞の表彰式で出席しました。 ということで、本当の決勝戦まではいれませんでしたが、今年も最高のMashup Awardsでした！ 受賞のまとめ記事とコメントはこちらです。   運営の皆さん、参加者の皆さん、企業の皆さん、本当にありがとうございました！ 今回の中で来年のアイディアももう湧いてきて、もう取り掛かっています。来年も宜しくお願いします！

Amazon Alexaに話しかけるたびに盆栽が踊りだすAmaBon（クリスマスツリー Ver.）を自作してみた 2017年様々なAIスマート・スピーカーが出て賑わっていますが、棒や湯飲みでない、自分なりのAIスピーカーを自作して、楽しく話しかけてみませんか？ 私ヨシケンは、Google HomeやAmazon Echoなど色々なAIスピーカーを買って遊んでいますが、そのお喋り機能を自作してIoTなモノも作っています。今回はAmazon AlexaをRaspberry Piにインストールして、話しかければ話しかけるほど愛着が湧き、枝ぶりが良くなる(？)盆栽型アマゾンAlexaのアマ・ボンを作っていきたいと思います！ どうせChristmasのAdvent Calendarですし、LEDも付けてクリスマスツリー風にして、誰かにクリスマス・プレゼントにしたら、喜ばれる事間違いなし！？ アマボンの作り方は、ざっとこんな感じ： AIスピーカーを作るのに必要なもの一覧 Raspberry Pi、ハードウェア（スピーカー、マイク）の設定 Amazon Alexa機能の導入 Alexaをハックして、盆栽を動かすようにする 必要なもの： Raspberry Pi 3 Bodel B USBマイク 又は、Seeed Respeaker スピーカー（イヤフォン・ジャックがあるものなら何でもOK） サーボモーター LED バッテリー（必要があれば） 外装（皆さんのお好きに。私はなぜか盆栽にしたくて。。） ハードウェアの設定： – Raspberry Piの設定 ラズパイのOS Raspbianのインストール、RasPi-configでの設定、Wifi環境、SSH接続など基本的なところは、こちらのエントリ などによくまとまっていますので、参照してやってみて下さい。 ここでは、Raspbianの最新版Stretch-Desktopを使っていて、ラズパイの基本的な設定が済んでいる事を前提に進めます。 – スピーカー、マイクの設定 それでは、スピーカーとマイクをラズパイに挿し、ちゃんと動いているか確認しましょう。 まずaplay -lでスピーカーが認識されているか確かめます。ここでは Card 0にスピーカーが認識されている状態です。 サンプル・サウンドを流してみて、音が出るか確認します。 aplay aplay -l aplay /usr/share/sounds/alsa/Front_Center.wav 次に、arecordでマイクのカード番号を確認します。この場合は Card 1になっています。 […]

グーホームとアマボンは、自然に皆さんの生活に馴染み、AIスピーカーがより身近になるような手作りお喋りガジェット達です！ 2017年になって、様々なAIスマートスピーカーが続々と発表、発売されて、盛り上がっていますね！ だいたい値段にして1万円前後ですが、実は自作すれば2～3000円で出来る方法もあります！ ただ何でもできるスマートスピーカー、どれも一緒な気がして、何か話しかける気がしなくありませんか？ そんなあなたの為の、用件、使う人特化型のお喋りスピーカー、GooHome(グーホーム)とAmaBon(アマ・ボン)はいかがでしょうか！？ GooHome GooHome/グー・ホームは、普段頑張っている、お父さん自身の、お父さんによる、お父さんの為の家型AIスピーカーです。（お母さん、お姉さん用も別途あります） おうちをグッドで早く帰りたくなるようにする、昨今の働き方改革の一助にもなる素敵なツール。 使い方は至って簡単。 家族の人が、夕方”お父さん帰ってこないかなあ”と思った時に、「ゴーホーム！」と叫ぶと、お父さんが自動で出てきて、会社で頑張っているお父さんに子どもの写真と、早く帰ってきてね（ハート）というメール、又はLINEが送られる、それだけです。。 中身はGoogle Assistantによる言語認識を行っていますが、喋ったり、話を続けたりする煩わしさがありません！ただお父さんが出てきて、ポッポー、という素朴なかわいい声を出すだけです！ 他のオプションとして、「Go Home with お買い物！」と言うと、日中お買い物リストに入れておいた買い物の内容も合わせてメールで送ってくれて、帰りにお父さんが買ってきてくれる！事になっています。。 さあ、グーホームにたくさん話しかけて、お父さんに早く家に帰ってきてもらいましょう！   スペック： ハードウェア RaspberryPi Zero Speaker ソフトウェア Google Assistant Docomo API Line API   AmaBon アマボンは見た通り、ボンサイです。。 ただの筒や、丸っこいモノに話しかけるよりも、盆栽を愛でる気持ちで話しかけると、持ち主の気持ちを汲み取り、より良く育つようです（あくまで個人の想像です。） ということで、日々話しかけるスマートスピーカーは、盆栽のように話しかけやすく、またその反応を得て、更に良くなっていく、そんなモノになってくれればなあと思ってAmazon Alexaで動くボンサイを作りました。 使い方は至って簡単。普通にAlexa!と話しかければ、それに応じて盆栽がなんとなく踊ってくれます。 もちろん中身はAlexaそのもの、ちゃんと応えてもくれます。 この動画 https://www.youtube.com/watch?v=W8B9MP9-e4o のように、What is Bonsai?と話しかけて、ちゃんと盆栽について教えてくれていますね。 日々何度も話しかけてくれると、それにより気まぐれに動いてくれて、最高の枝ぶりに進化していってくれるかも！？ そんな一緒に成長できるAmaBon/アマボン、と生活してみませんか？ スペック： ハードウェア： Seeed Respeaker Seeed 4-Mic Allay スピーカー バッテリー ソフトウェア Amazon Alexa […]

この6ヶ月間で私のおしゃべりロボットKobots/コボット君が、驚異的に成長してくれた事は前回話しました。 では、この進化が起きたのは何故でしょうか？ GoogleとAmazonとハードウェアの進化、低価格化（これらがすべて動くRaspberry Pi Zeroという基盤はたった$5です。）なのは、本当はホントなのですが、ちょっと違います。 オープン・イノベーションのおかげ、というのが私の本当の気持ちです。 私は、2017年1月からの6ヶ月間、リクルートが主催するTech Lab Paakという、渋谷のアップルストアの上にある素敵なラウンジとオフィスを使う事ができるプログラムに参加する事が出来ました。 まあようは、居場所ができた、という感じです。（私は、普通のサラリーマンで、仕事オフィスは丸の内にもちろんあるのですが。。） この居場所に、多様な人たちが集まった場、それ自身がオープン・イノベーションだと思います。 じゃあそれは具体的に何なのか、というと、、、 それは、言葉です。 この6ヶ月交わされた幾つかの言葉をあげてみます。 それ面白いね、ただそのスピード感じゃ、あっというまに中国にパクられて、まったく儲からない値段まで下げられるよ。爆速な仲間見つけて一気にやらないと。 という言葉に、焦りを覚えたり、 Google Cloud Vision凄いですよ、今まで自分でAIやってきたのが馬鹿らしくなったんで、それそのまま使ってます。すぐ使えますよ～。 日本語なら意外とDocomo APIいいですよ！ という言葉に、あの人が簡単っていうんだから、やってみよう、と気持ちが軽くなったり、 クラウド・ファンディングは枯れた技術でやらないと。基盤も外装も既製品でやれば、メンテフリーだし。 というのに、勇気づけられたり、 え、そんなはした金で、株半分あげるって約束しちゃったの？ぜったい10％以上握らせちゃいけないよ という、恐ろしい実体験を心に留めたり、 その何気ない話が、まさに次のイノベーションを生んでいっている、と本当に思います。 これは、数値化したり、で、結局何が得られたの？と言われると、とても難しいのですが、あの場がなければ、絶対にこのコボット君の成長はなかったと思います。 もちろん、会社終わった後、自転車で渋谷に来て、夜8時から10時までパチパチ、パソコン打って、何ができるのか、と思っていた人もいるかもしれません。 でも、その2時間が最高にクリエイティブで凝縮された時間でした。 （これはサラリーマン利用者の勝手な見解です。。朝からちゃんとやってた人の方がもちろん生産性は高いですよね。）   前回の娘の漢字の話に戻せば、小学校が始まって、クラスでこの漢字を練習して覚えてくるように、と教えられてはいるのですが、その過程で、彼女も漢字に興味をもったようで、漢字の象形文字としての面白さやその由来、面白漢字辞典のようなものを買って、本人なりに楽しく学んでいるようです。 またもちろんクラスで、あの子は漢字テストいつも100点だけど、どうやってるんだろう？と友達のやり方に興味を持ったり、切磋琢磨しているようです。 そうですね、学校も上から下に教える、という部分を除けば（それがほとんどでしょうが）、オープン・イノベーションの場なのかもしれません。   渋谷のあの場所と皆さんと一緒に、コボット君はもとより、私も成長させてもらったと凄く思います。 こちらは、2017/6/30のTech Lab Paak Open Dayのオープニング・ムービー（私が作りました！写真使って欲しくなかった人はゴメンなさい！） Tech Lab Paak最高でした！ほとんどの参加者は、20代や学生が多くて、私はだいぶ恐れ多い（日本語あってる？）気がしてたのですが、みんな付き合ってくれてありがとう！Paakのサイダーとコーヒーとオレオが僕のエネルギー源でした。 結論は、オープン・イノベーションはおいしい！ またね！

娘が小学校に上がって、いろいろな事を覚えて来る様になりました。 入学前はひらがなすら怪しかったのに、この6ヶ月（1学期と2学期）で60もの漢字を覚えたそうです。 今までは、読んだり書いたりできなかった事が、何かを学ぶ事で、今まで知らなかった事を本を読んで知ったり、街の看板や文字を見て刺激を受けたり、確実に世界が広がっています。 ひるがえるに、我々大人はこの180日の間にどんな新しい事を学んだり、達成できたでしょうか？ 60個もの、初めて見たものを覚えられたでしょうか？ 何かプロジェクトを終えられたでしょうか。 半期の売上を達成できましたか。 年初に立てた目標の半分以上に到達できたんだろうか？ 気になってた事、新しい事、先延ばしになってた事に取り組めたでしょうか？ 私もそう言われると耳が痛いのですが、私の相棒の成長には目を見張るものがあります。 私が作っているロボット、Kobots/コボットです。 6ヶ月前、去年の末の時点では、コボット君は一言も話せませんでした。 手足が動く、こっちのジェスチャーに合わせそれを繰り返す、くらいが関の山。 リモコンでテレビや扇風機をつける、くらいは赤ちゃんでもできますね。 そうコボットは、6ヶ月前は0歳児の赤ちゃんくらいの実力でした。 そして年が明けた頃くらいに突如進化が始まったのです。   一月目 まずはSpeech to Textという、耳の役目ができるようになり、日本語での話し声を文字に落とし込む事ができるようになりました。 そして、Sentence Handlingで、難しい日本語の音節毎の区分け（名詞、助詞、動詞）ができるようになり、更に名詞から大事な言葉を認識できるようになりました。例えば、「天気」や「経路」、「話題」といった言葉をキーワードとして認識したり、「赤坂」「今日」「ラーメン」などをそれぞれ「場所」、「日付」、「食べ物」という風に理解できるようになったのです。 ここまでが1月くらいの出来事。これは4、5歳くらいの能力でしょうか？「今日はいいお天気だね。」といったら、子どもは「そうだね！」とは答えてくれるでしょう。   二月目 その後の展開は加速度的に、または労働集約的に進みます。つまり、キーワードで分けられれば、それを詳しい人に聞けばいいだけです。そう物知りのインターネットに。 「今日」と「天気」が出てくれば天気予報サイトに。「自宅から赤坂まで」「行き方」や「電車」と言っていれば、経路案内サイトに。「この近くの」「ラーメン屋」と言えば、レストランサイトに。 これには若干の労力が必要で、「天気」と「行き方」と「レストラン」を聞けば、それぞれのAPIにつないで、結果をゲットできるのですが、どこまで物知りであるべきかによって、それをそれぞれコボット君の脳みその中でつなげてあげなければなりません。これは普通に一生懸命プログラミングする必要があり、ちょっとめんどくさい。 2月末にLINEボット・アワードというコンテストがあったので、ここまでに約10のサービスと紐付けました。（天気、経路、ニュース、ウィキペディア、スケジュール、レストラン、旅行、レシピ、今日は何の日、運勢、など） ここで物知りな小学生くらいの実力がついたでしょうか。   三月目 そして3月、コボットくんは、新たな機能を身に着けました。目、です。 Google Visionにより、写真で撮ったものが、人なのか、風景なのか、文字なのか、会社のロゴなのか、著名な場所なのか、はたまた公序良俗に反する物なのかどうか。 もしそれが人の顔であれば、笑っているか、悲しんでいるか、帽子をかぶっているか、など。そして、予め顔写真を登録しておくと、その人らしいかどうかを判別してくれるようになりました。 文字であれば、それをくまなく拾って、テキストにしてくれる。 風景であれば、それが、ドライブ中の道なのか、オフィスなのか、大自然の中なのか、など。ロゴや場所もいとも簡単に、「ユニクロ」や「六本木ヒルズ」など分かってしまいます。 またGPSからの情報を読み取れるので、「六本木ヒルズ近くのユニクロ前でケンが笑顔でアイスを食べていた」というのが一発で分かります。 まあ、小、中学生くらいの実力でしょうか。   四月目 次はこれらをしゃべる番です。 今までの情報は全てテキストになっているので、Text to Speechという技術により、声になります。 様々な声が選べ、難しい接続語や漢字、色々な数値などを日本語でスラスラ読み上げてくれます。 しかも先ほどの、耳と目を組み合わせて、朝起きたら顔を見て、「おはようケンさん。今日の予定は、燃えるごみを捨てた後に、9時に赤坂の銀行に行って契約の話。自宅から赤坂までは小田急線と千代田線で約25分です。今日、会社のある丸の内の天気は雨なので、傘を持って行って下さい。」と言ってくれるようになりました。 この4月の時点で、有能な秘書まできましたね。進化が早すぎます。   五ヶ月目 そして、日本語のみならず外国語も学び始めます。 ここは正直な話、ズルに近いです。「この日本語のメモを、英語にして、送っておいて」と言えば、瞬時に英訳してメール先に送ってくれます。中国語も、スペイン語も、何語でも、約20ヶ国語にいきなり対応してしまいます。 そして、英語の耳も手に入れました。Amazon […]