Make2018

毎年恒例、2018年作ったものを数えたら、、、 1、2月:ピタゴラメッシュ! MESHを13個使って、13のピタゴラ装置を作り、一発撮りのビデオにしました!大変だけど、楽しかった! 第12回 MESHでここまでやる? Seeed Grove、littleBitsなどを使って、ピタゴラ装置を完成させよう! こちらは渾身のピタゴラビデオ!   1~3月:不思議な音声カメラ! 第1回 ラズパイでAIカメラを自作しよう! 初めの一歩、ラズパイに目、耳、口を追加する   4月~6月:100均で作ろうスマートガジェット!   百均スマートスピーカー ラズパイでスマートスピーカーを自作しよう!第2回: 部品を自作して、押したらGoogleがしゃべり出すPush to Talkを完成させる   議事録機! ラズパイでスマートスピーカーを自作しよう!第3回:会話をリアルタイムに記録、自動でテキスト化するスマート議事録デバイス!   ほんやくこんにゃく! ラズパイでスマートスピーカーを自作しよう!第4回:遂に夢の翻訳こんにゃく?スマートほんやくイヤフォン   見て、聞いて、話す眼鏡! ラズパイ+Google APIでスマートデバイスを作ろう! 第5回:旅先で便利に使える!? 外国語読み取り自動翻訳メガネ! 6月:Google API Robot! https://pages.rohm.co.jp/lp_raspberrypi-google-api-ai-robot-2018.html   TOIOはソニーのトイですが、それで不思議生物作ってみた!   2月:Innovation Summit @San Francisco     4月: BLK Hackathon こちらは会社のハッカソン、ちょっとだけ(ちょっとだけね)真面目なアプリを幾つか作ってみました。 BlinkedIn – 顧客/見込み客のエグゼクティブ情報(前職、卒業校など)から自社の偉い人とのつながりを自動収集し、訪問時のネタ(あっ、ハーバードでは3期違いでしたね~、とか、前職でスイスにいた時期が重なっていますね、とか。。) iChange – 食事などの写真を撮るだけでその値段を類推し、お釣りにあたる部分を自動的に投資に回すシステム […]

Smartest Speaker

Smartest Speakerは、もっとも簡単で便利に使えるスマートスピーカー 起動ワードを自分で自由にセットできます – 口笛や指パッチン、ねぇ、おい、などで起動可能 あいさつするだけで、決まった命令を処理してくれます :   おはよう 言った人の顔を確認して、今日の予定、行き先の天気、好みのニュースなどを読み上げてくれます。BLE280センサにより部屋の温湿度を測り、最適なエアコン設定をしてくれます。 いってきます 今日の恰好から、最適なアクセサリやファッションを提案してくれます。出がけに電気、エアコンなどを消してくれます。ニュースなどをLINE Botに送っておいてくれます。 ただいま おかえり!の声とともに、電気を付ける、エアコン、TVをつけたりしてくれます。好きな音楽を付けてくれます。 おやすみ 明日の予定の読み上げと、タイマーのセット、リラックスする音楽を流して、電気を消してくれます。 ターゲットユーザ 日々の生活を便利にしたい方。 スマートスピーカーに慣れていない方。 おはよう、いってきます、などの簡単なキーワードで決まったことをやりたい人。 口笛、指パッチン、などをよくする方。 ユーザに対する価値 簡単なトリガー、あいさつなどで、スマートスピーカーを起動し、朝や出がけなどに決まった命令を実行してくれます。 カメラが付いているので、顔写真からその人の予定、好み、おススメのファッションなどを提供します。 システム構成 ハードウェア: RaspberryPi Zero W ラズベリーパイ・カメラ Seeed ReSpeaker 2-Mic(マイク) BME280 (温湿度、気圧センサー) スピーカー LiPo電池 スイッチ、LEDなど プラスチック・ケースなど ファッションツリー部分 サーボモーター 洗濯ばさみなど ケースの前面に、カメラが付いています。 裏面にBME280温湿度センサーとボタンが付いています。 ソフトウェア: Python Docomo API AquesTalk DocomoファッションAPIに画像を送ると、何が写っているかスタイル、カラー、タイプ、ジャンルそれぞれの情報を返します。 その情報を元に、アクセサリーの組み合わせがラズパイの中に入っており、最適な組み合わせを返します。  

Mashup Camera – MAカメラ

MAカメラとは 写真を撮ると、その物を分析して、何が写っているか判別します。たとえば、ミーティングルーム、イベント、パーティーなど。 その結果と、これまでの数多くのMashup Awardsの写真をマッチさせ、どれくらいMashup度が高いのか(写っているものがMashup写真に近いのか)を判定してくれる不思議なカメラです! ついでに、MA度合いが低いと、MA風な画像を追加して、AR化した写真を生成してMA度合いを高めます! MAカメラ動画 MAモデルの作り方 FlickrにアップされたMashupがタグされた10万を超える写真をモデル生成に使っています。 これと、ごみや関係ないものの写真100枚ほど(RaspberryJunkPIE)を比較対象画像とし、その両者の判別モデルをクラウド上(GCP)のTensorflowにより生成しておきます。   [Mashup写真(MashupAwards)] Flickr (https://www.flickr.com/photos/100125183@N08/ )からMashup風な写真を数百枚選別し、MashupAwardsというタグ付けを行います。 [ラズベリーとパイ、ごみクズ(RaspberryJunkPIE)] それ以外を判別する為、本物のラズベリーやお菓子のパイの写真を100個、鉄くずなどのジャンクな機械の写真を100個用意し、比較対象にしました。 これらのデータを使い、Tensorflowを使った機械学習トレーニングを行います。この処理はGPUが必要な計算ですので、クラウド(Google Cloud Platform)上で行いました。 そこで出来たモデルをラズパイ上に移植し、撮った写真とモデルとの比較の部分のみラズパイ上で行う事により、少ないリソースでも無理なく判別機をつくれました。 [写真のAR化]     [MAカメラの使い方] 使い方は至って簡単。自分で作ったものの写真を撮るだけ! そうすると、MashupAwards(MA風)、RaspberryJunkPIE(本物のラズベリー、お菓子のパイ、又はジャンク、くず)のどれに該当するかの確率をしゃべってくれます。また結果をTwitterにもアップします。     試しに、昨年の私の写真を読み込ませてみます。しっかり受賞確率95.38%(当たり前ですよね!)と出てきました。   この解析の精度を確かめるために、こんな本物のラズベリーの写真を読み込ませると、ちゃんと98.72%の確率で、RaspberryかPieだと出してくれました。   2018年のSemi/Finalステージに参加できたら、そこで実際に確かめてみたいと思います! こちらは撮って、結果を喋っている動画です。   [MAカメラのシステム構成] ハードウェア: RaspberryPi 3B USBカメラ スピーカー スイッチ、LEDなど USBバッテリー 紙のお弁当箱などのケースなど   紙製のケースに入ったカメラ本体に、USBカメラ、スピーカー、ボタンなどが付いています。   中には、マイク、カメラがついたラズパイとバッテリーが入っています。 スピーカーは外に出ていて、大音量で結果を教えてくれます。   全体のシステム構成はこのようになっています。 システム構成図   ソフトウェア: Python […]

うちの神Skill & BOT

ねぇクローバ、おうちを開いて Clova Camera クローバにぴったり載るカメラと温室時計を付けたデバイス + うちの神BOT + うちの神Skill おうちをスタートして、おはよう! 朝のあいさつで、まとめて自動操作開始> 測定温湿度からエアコン、扇風機などを起動。今日の天気から傘の有無を教えてくれる。 カメラで撮った顔認証から、その人の(例えばお父さんの)予定を読み上げ、LINEに情報を転送してくれます。   おうちを起動して、いってきます! 写真を撮って、出掛けの格好をスナップ、一番合いそうなアクセサリー、靴などを提案します。 もちろん家のテレビ、電気を消してくれます。 BOTで設定したニュースソースから好きな話題をLINEに送っておいてくれる。 ついでに乗る電車の遅延状況を調べ、遅れていたら、遅れるかもと勝手に連絡してくれる。 おうちを開いて、ただいま! 電気を付ける、エアコンを付ける、(不審者がいないかカメラでチェック)、(家で飼っている猫のカメラで撮った今日一日の活動報告)、好きな音楽を流すなどを自動でやってくれます。 おうちを開いて、おやすみ 電気、テレビを消して、眠りにつく音楽をかける。 (明日の予定を読み上げる)、(幾つか読みたいと思っていた本のサマリを読んでくれる)、(寝ている間に不審者がいないかカメラでチェック)、明日の起きる時間のタイマーセット、など   今後の予定: オムロン社のOMRON Connectを使って、健康管理! https://www.healthcare.omron.co.jp/service/

MeshBot Kit

MESH Raspberry Pi Hubを使った遠隔操作ロボット MESHラズパイ版をいち早く使った、MESH全ての機能を使い倒した二足歩行お喋りロボ  話題のMESH Raspberry Pi Hub (テスト・フライト版)を使った、MESHの全ての機能を使い倒した二足歩行お喋りロボットです。   MESH RasPi Hub ラズパイ版MESHはこんな感じ: MESH Appはそのままに(タブレット上で動く)、レシピをラズパイに保存、遠隔から操作できる! ラズパイの複数運用、常時接続、よりIoTっぽく! これまでのMESHだけではできなかった、こんな事を実現しています: Raspberry Pi上で稼動ロジックが動くようになったので、二足歩行ロボなど小型化が可能 Raspberry Piをロボットに内蔵することにより、スマホ無しでロボットを操作 安価なので、複数Raspberry Piによるシステムを組める Raspberry Pi自身にAI会話機能(Google Assistant, Docomo API)を載せ、音声による操作が可能に 遠隔地のタブレットなどから、ロボットの状況(Raspberry Pi Hub)を確認、ロジック変更などができる MeshBot – MESH Raspberry Pi Huib from Kenichi Yoshida MeshBot/メッシュ・ボットには、こんな機能があります: MESHの形を模したボディに、ラズパイと6つのMESHタグを装備(GPIO、人感、LED、ボタン、温湿度、明るさ) MeshWatch(ムーブタグ)を振る、又は手を握ると(ボタンタグ)、目を光らせ、腕を振って、前後に動く 胸についた人感タグにより、人を検知し、帰宅のタイミングなどでお出迎えしてくれる ラズパイ上のGoogle Assistantに話しかける事により、IFTTT経由で操作が可能 音声、Twitter、LINE、タブレットなどで、部屋の温湿度や明るさを調べる事ができる。それをTwitterなどにIFTTT経由でアップし、確認できる 部屋の温湿度や明るさなどをGoogle Spreadsheetにアップロード、時系列情報を記録できる 玄関でメッシュボットがお出迎え、リビングの別のラズパイ・ハブで、リビングの電気や、テレビなどが自動で付くホーム・オートメーションも実現 今後の展開として、このシステムをビジネスにするあっと驚くリーン・キャンパス、書きました!    MeshBot […]

FriBot フリボット

【 Fribot / フリボット】は、フリスクたった一個の中に、ありったけのロボットとなるモノをつめこみ、二足歩行、AIによる顔認識、それに応じた適切なお喋り、情報提供をする本格的コミュニケーション・ロボットです。 体部分:サーボモーターをRaspberry Pi Zero Wにより駆動 ・ サーボモーター4つを備え、両手、両脚を動かして、指示に基いた腕振り、二足歩行などを行います。      ・別アタッチメントの赤外線センサーを付ける事により、リモコンのオン・オフなど赤外線が使えるテレビ、エアコン、電気などをコントロールできます。   頭脳部分:Raspberry Pi Zero WによるAI、APIとの連携 ・ Raspberry Pi Zero Wにより、WifiでGoogle Cloud VisionやAmazon Web Serviceと連携します。 ・ iPhoneなどのスマホにもつながって、アプリで動き、API連携、AI機能などの設定、変更が可能。 ・ ソニーIU233の超小型カメラを目として使用し、画像、文字認識や顔判断を行います。(Google Cloud Vision、Docomo APIを使用)    ・ マイクから声、言葉を検知し、10ヶ国語以上でお喋りをする事ができます。(Docomo API、Google Translation API、Amazon Pollyを使用) ・ 呼びかけ(Wake word)により、適切な指示、声認識を行う。「ハイ、フリボット!」により指示を聞く、「フリボット、リモコン」などにより特定機能を起動、など(Snowboy Wakeword) ・ 数十のAPIと連動し、人物認識と合わせて、言葉から適切な情報を提供します。(下記はその一例) – 朝顔を見て、その人の誕生日から今日の星座の運勢、普段行く場所の天気を教えてくれる。(Docomo顔認証API、運勢API、Open Weather API) – その人の声から人物判断をして、その人のGoogle Calendarからその日の予定を読み上げてくれる。(Snowboy Wake […]

Max Healthcare マックス・ヘルスケア・アシスタント

Max Healthcare マックス・ヘルスケア・アシスタント に、 朝調子が悪いなあと思ったら、マックスに指を当てて「頭が痛いんだけど」などと話しかけて下さい。その人の体温、心拍、表情などと症状データベースにより、簡易症状診断を行ってくれるかわいいロボットです。 マックスはやはり、私のとても愛する映画「ベイ○ックス」をモチーフにして、あの愛らしくも相手の事を優しく気にかけ、病気や怪我を治療してくれるロボットのようなものを作りたい!という熱い気持ちから生まれました。 人の熱量を測るセンサーを探していたところ、ちょうどいいタイミングでデンソーの熱量センサーの提供があり、これにより簡易体表温測定をする事ができ、開発が一気に軌道に乗りました。   人により指表面温の違いがあり、その最適化が難しかったですが、各人毎のプロファイル(36.0 – 36.9が平温、それ以上が熱あり、など)を設定し、それにより簡易的な体温測定としました。 (男性、女性、子どもの指の写真) もともとは、子どもの調子が悪い時などに、普通に家庭の医学辞典を引いたり、ネットで調べたりするよりも、簡単に言葉でのコミュニケーションで基本的な情報が得られ、また(お医者さんほどではないですが)ある程度の安心感を得られるとの思いで、コミュニケーション型ヘルスケア・デバイスを作りました。 日本語での症状データベースの精度などまだまだ課題はありますが、家庭での病気や怪我の不安を少しでも軽減し、ハッピーな家族でいられたらなと真に思って作っています。 その他にも人感センサーにより、誰かが近くに来たら寄って来たり、声の識別で言う内容も変えてくれます。 症状データベースが軌道に乗れば、あのやわらかい風船のようなボディも自作して、ほんとうのマックスくんになるように野望を燃やしています。   世界中にハッピーな家族を作るために!なにとぞよろしくお願い致します。

doksh BUTTON アマゾンどくしゅボタン

アマゾンどくしゅボタンとは ワンプッシュで読書を楽しくするダッシュ・ボタンです。 ボタンを押すと、勝手にアマゾン・キンドルのサンプル本をあなたのスマホに配信し、その本の内容を読み上げてくれます。 私吉田顕一は、アマゾンの電子書籍Kindleを自己出版するのが趣味です。 http://ktri.ps/AuthorK 既に10数冊の本を出していて、そこそこ売れてはいるのですが、もっと皆さんに知ってもらいたい、気軽に読んでほしい、と熱望しています。 そんな時、目に留まったのがワンプッシュで色々なものをオーダーできるアマゾン・ダッシュ・ボタン。 これにインスパイアされて、ワンプッシュでKindle電子書籍のオーダー、及び内容を読み上げてくれ、読書を楽しくしてくれる「アマゾンどくしゅボタン」が出来ました。 [どくしゅボタンの使い方] ボタンを押す、だけです。 これにより、事前に登録された本(デフォルトはもちろん私の電子書籍です)のKindleサンプルが、アマゾン・アカウントに紐付けられたスマホに自動的に送られます。 また、内容を読み上げますか?と聞かれた時に、ダブルクリックすると、本のコンテンツを読み上げ始めます。(私の書籍なら本文そのもの。その他の書籍なら内容紹介を読み上げます。) ボタンを押した時の本の指定は、スマホのウェブアプリから行います。 最初に自分のアマゾン・アカウントと紐付けます。 本のデフォルトは、もちろん私の書籍(吉田 顕一が著者のもの)ですが、別の書籍、別の作者のものを指定する事も可能です。 ボタンを押した時に、サンプルを送信、又は実際のKindle本の購入まで至るかも、事前に選択可能です。 このサイトに随時情報をアップデート中です。   [どくしゅボタンのシステム構成] ハードウェア ・Raspberry Pi Zero W ・Speaker Pi-Hat ・押しボタン、LED ・リチウムポリマー電池 ・ケース ソフトウェア ・node.js ・PhantomJS + CasperJS(アマゾン読み込み、自動オーダー) ・Amazon Polly (書籍内容読み上げ) アプリ ボタンを押した時の書籍、挙動を選ぶウェブアプリ: ・Node.js ・Express ・ngrok.com   [小話など] アマゾン・ダッシュ・ボタンはとても便利ですが、例えばトイレに貼っておいて、トイレットペーパーが無い時に押しても、すぐに届けてくれる訳ではありません(最短でも1時間はかかります) そんな時、ボタンを押すだけで、アマゾンから瞬時に届けられるものはないか、と考えて、自分が書いている電子書籍であれば、長いトイレの暇時間を解決できるのではないかと思いつきました。   それにはRaspberry Pi Zero Wの小ささと、Amazon Pollyなどクラウドの音声出力をする事が出来ることが大いに役立ちました。 もちろんトイレで使う際は、Wifiなどが届くことが前提です。 またあまり大音量で私の旅行記、小説を読み上げられると困る方には、イヤフォンが挿せるオーディオジャックが付いたバージョンも用意しました。 […]

Kobots (5) – Hi Kobot! ウェイクワードで呼びかけよう

更にKobotsを進化させる為、ウェイクワードを付けてみましょう。 ウェイクワードとは、あのHey SiriとかOk Google、Alexa!のような、呼びかけ語で、その言葉を聞くと、ロボットが動作をし出すものです。 このウェイクワードには、Snowboyという面白い名前のライブラリを使っています。 このサービスというか、ライブラリというかは本当に面白くて、Hotword as a serviceという形で、原則無料で呼びかけ語がつくれてしまいます。 具体的には、こちらのドキュメントの通りに進めればいいだけなのですが、順をおってやっていきましょうか。  

Kobots (4) KoApp – APIとAIをレゴのように組み合わせよう

これまで、モーターなどを動かすKoBlock (2)、画像、音声認識などを行うKoBrain (3)をつくってきました。 この第4回では、その手足と頭脳を結びつけて、自由にカスタマイズできるアプリKoAppを見ていきましょう。 実はこのKoApp、二つのバージョンがあります。 一つは、他のアプリをこのKobots用にカスタマイズして使うもの。MESH Appという、IoTデバイスを扱うアプリのカスタム・タグとして、Kobotsの機能を付け加えてしまうもの。 そして、各種APIからAIまで全てを自由に組合せる事ができる、Genuine AppのKoAppです(こっちはまだ開発中) まず、人のアプリを借りてしまうMESH Appでの設定の仕方を見てみましょう。