LINE BOOT AWARDS、今まで一番盛り上がって、賞まで貰ってありがとうございました！ 11/10(土)@LINE本社で行われたボットと音声スキルのコンテスト”LINE Boot Awards”を振り返ります。 まずKtrips 吉田 顕一チームでは、以下2作品が選ばれて、当日ファイナルに参加しました。 読みの神Skill & Bot (応募リンク) グランプリファイナル候補 うちの神Skill & Bot + Clova Camera (応募リンク) エンジニア賞候補
Smartest Speakerは、もっとも簡単で便利に使えるスマートスピーカー 起動ワードを自分で自由にセットできます – 口笛や指パッチン、ねぇ、おい、などで起動可能 あいさつするだけで、決まった命令を処理してくれます : おはよう 言った人の顔を確認して、今日の予定、行き先の天気、好みのニュースなどを読み上げてくれます。BLE280センサにより部屋の温湿度を測り、最適なエアコン設定をしてくれます。 いってきます 今日の恰好から、最適なアクセサリやファッションを提案してくれます。出がけに電気、エアコンなどを消してくれます。ニュースなどをLINE Botに送っておいてくれます。 ただいま おかえり！の声とともに、電気を付ける、エアコン、TVをつけたりしてくれます。好きな音楽を付けてくれます。 おやすみ 明日の予定の読み上げと、タイマーのセット、リラックスする音楽を流して、電気を消してくれます。 ターゲットユーザ 日々の生活を便利にしたい方。 スマートスピーカーに慣れていない方。
TaVision たびじょんメガネ Traveling with Vision, Speech and Translation on Reaspberry Pi Zero 『タビジョンめがね』は、海外旅行中に誰もがあったらいいなと思う、外国語の見る、聞く、話す、を助けてくれる眼鏡です。 タビジョンめがねは、RaspberryPi Zeroにカメラ、マイク、スピーカー、ボタンが一体となったデバイスが眼鏡の横に付いています。 ボタンを一回押すと、音声（外国語）を聞き始め、その後それを日本語にして発話してくれます。 二回連続で押した後、自分が日本語で話すと、それを指定した言葉に翻訳して発音してくれます。 最後に長押しすると、カメラで写真を撮り、その画像に写っている言葉を日本語にして読み上げてくれます。
[MagicMinutes マジックミニッツとは] 会議中に話者が喋った事をテキストにして、自動で議事録を作ってくれるデバイスです。 6つのマイクが付いたラズパイ用ReSpeakerを使って、最大6方向からの位置を特定し、それぞれの座った人の場所毎の会話を、議事録として残せる事です。 記録した会話はリアルタイムで、OLEDミニディプレイに表示し、目で確認する事もできます。 会議中の話を議事録風のフォーマットにして、最後にメールで送付します。 Google Transを使う事により、日本語での会話を英語など外国語に翻訳したミニッツにして送付する事も可能です。 MagicMinutes動画リスト https://www.youtube.com/playlist?list=PLoLx_4WjLoddWX6bn02ehKVL2WZeoJdDg [マジックミニッツの使い方] 日本語で話して、日本語の議事録を作る場合は、送りたいメールアドレスを指定して、起動します。 $ python3 magicminutes.py –mail
MAカメラとは 写真を撮ると、その物を分析して、何が写っているか判別します。たとえば、ミーティングルーム、イベント、パーティーなど。 その結果と、これまでの数多くのMashup Awardsの写真をマッチさせ、どれくらいMashup度が高いのか（写っているものがMashup写真に近いのか）を判定してくれる不思議なカメラです！ ついでに、MA度合いが低いと、MA風な画像を追加して、AR化した写真を生成してMA度合いを高めます！ MAカメラ動画 MAモデルの作り方 FlickrにアップされたMashupがタグされた10万を超える写真をモデル生成に使っています。 これと、ごみや関係ないものの写真100枚ほど（RaspberryJunkPIE）を比較対象画像とし、その両者の判別モデルをクラウド上(GCP)のTensorflowにより生成しておきます。 [Mashup写真（MashupAwards）] Flickr (https://www.flickr.com/photos/100125183@N08/ )からMashup風な写真を数百枚選別し、MashupAwardsというタグ付けを行います。 [ラズベリーとパイ、ごみクズ（RaspberryJunkPIE）] それ以外を判別する為、本物のラズベリーやお菓子のパイの写真を100個、鉄くずなどのジャンクな機械の写真を100個用意し、比較対象にしました。 これらのデータを使い、Tensorflowを使った機械学習トレーニングを行います。この処理はGPUが必要な計算ですので、クラウド(Google Cloud Platform)上で行いました。 そこで出来たモデルをラズパイ上に移植し、撮った写真とモデルとの比較の部分のみラズパイ上で行う事により、少ないリソースでも無理なく判別機をつくれました。
ねぇクローバ、おうちを開いて Clova Camera クローバにぴったり載るカメラと温室時計を付けたデバイス + うちの神BOT ＋ うちの神Skill おうちをスタートして、おはよう！ 朝のあいさつで、まとめて自動操作開始＞ 測定温湿度からエアコン、扇風機などを起動。今日の天気から傘の有無を教えてくれる。 カメラで撮った顔認証から、その人の（例えばお父さんの）予定を読み上げ、LINEに情報を転送してくれます。 おうちを起動して、いってきます！ 写真を撮って、出掛けの格好をスナップ、一番合いそうなアクセサリー、靴などを提案します。 もちろん家のテレビ、電気を消してくれます。 BOTで設定したニュースソースから好きな話題をLINEに送っておいてくれる。 ついでに乗る電車の遅延状況を調べ、遅れていたら、遅れるかもと勝手に連絡してくれる。 おうちを開いて、ただいま！ 電気を付ける、エアコンを付ける、（不審者がいないかカメラでチェック）、（家で飼っている猫のカメラで撮った今日一日の活動報告）、好きな音楽を流すなどを自動でやってくれます。 おうちを開いて、おやすみ
『ねぇClova、読みの神を開いて』 と言えば、小中学生の漢字や英語などを適度に読み上げてくれて、試験勉強、暗記に役立つスキルとボットです！ 読みの神Skill(クローバ): 問題を聞いたり、読み上げてくれます 読みの神BOT(ライン): 問題の答えを受けたり、自分独自の問題をアップロード、採点してくれます 読みの神スキルの使い方 「小3の漢字を読み上げて」 読みの神スキルに言うだけで、スマホやLINEを持っていない子どもでも簡単に『漢検5級を読んで』や『中1の英単語教えて』と言うだけ、適度にランダムな単語を読み上げてくれて、子どもは書き取りの練習や暗記ができ、時間の無いお父さんやお母さんの助けになります。 現在のところ以下の語句が収録されています。 小学1年生の常用漢字(80語とその用例) ～「小1漢字を読み上げて！」など 小学2年生の常用漢字(160語とその用例) ～「小学2年生の漢字」など 小学3年生の常用漢字(200語とその用例) ～「小三の漢字読んで」など 小学4年生の常用漢字(200語とその用例) ～「4年生の漢字」など 小学5年生の常用漢字(185語とその用例) ～「5年の漢字教えて」など
ゲズンロイドってなんじゃろ！？ Sony toioの工作シリーズで、紙を切って乗っけるだけで、無茶苦茶面白い動きをするムシ生物になる！ まずは動画を見てみて、とにかく不思議な動き！ ゲズンロイドは、toioの追加機能で、19の虫のような動きをする生き物を作れます！（自分で独自のものも作れるらしい） toioにゲズンロイドのソフトを差して、本を見ながらはさみでチョキチョキ切っていきます。 まずは、しゃくとりむしのようなシャクトリー シャクトリーの動いている動画を見て下さい！お尻をたたくとビックリして振り返る！ お次は、シャクトリーの変型版、ナマコシャクトリー シャクトリーを作るところをまとめたビデオです。 そして、これは一番面白い、足の人。 寝た後、起こすのが楽しい！ 足の人、途中で寝てますzzz でドン！とビックリさせると。。。 こちらは、ぐるぐる回るウンテイハムシ
SONYのtoioが来た！ 待ちに待ったSONYが出したトイ・プラットフォームtoioがうちにやってきました！ とりあえずどんどん足されるtoio動画リストを見て下さい！ で、toioって何？？ SONYが出したおもちゃ、トイのtoioです。 まずは開封の儀： 子どもだけでも開けてすぐ楽しめる！これってオモチャとしては当たり前ですが、いいですよね！ まずtoioは、二つの小さな箱型で底にタイヤが付いた機械です。 これをあるシートの上で動かします。このシートの外でも動きますが、この丸や四角の特殊なシートに目に見えないくらいの記号が印刷されていて、それをtoioの底に付いたカメラで読み取って、今いる位置を把握しています。 これにより、toioの二つそれぞれの絶対的位置をとらえて、様々な動きを相互にする事ができるようになっています。 そしてこの本体にカセットのようなソフトを差して、色々遊ぶものを変える事ができます。 今のところ、2つの基本的なソフトが出ています。ソニー自身が出しているtoioコレクションと、ピタゴラスイッチなどで有名なユーフラテス監修のゲズンロイドというものです。 今回は、まず基本ソフトtoioコレクションを使っていきます。
2017年つくったもの 2017年もいろいろなものを作りました。基本的には今流行りのEDD(Entry/Event Driven Development、つまり申し込んでから作り出す！)で突っ走っちゃた感じ。ただ自分では、これ作ったら、それを生かして次はこれ、みたいな流れをなるべく考えてやっていたつもりです。 数えてみると2017年だけで全部で10以上のコンテスト、イベント、ハッカソンなどに参加して、50近くのモノを何らかの形でつくってたみたい。。。そのまとまりない開発履歴を、2017年に参加したコンテストなどを元に時系列で追っていくと： 2月: LINE Bot Awards 初めてPHPでLINEのBotを作ってみました。まあ賞金1,000万円に目がくらんだだけですが、、ただこの時のBot開発で、様々なAPIを使う事ができ、その後のロボット開発につながりました。 神采配のサイちゃん ＞ ウェブサイト チャッと議事録ボット ＞ ウェブサイト こぐまのIoTボット 3月: 会社のハッカソン 直前のLINE Bot開発を金融に広げ、ボットで楽しく資産運用！を掲げ、社内コンペに挑みました。 Fun.d Bot