Line Boot Awards

LINE BOOT AWARDS、今まで一番盛り上がって、賞まで貰ってありがとうございました! 11/10(土)@LINE本社で行われたボットと音声スキルのコンテスト”LINE Boot Awards”を振り返ります。 まずKtrips 吉田 顕一チームでは、以下2作品が選ばれて、当日ファイナルに参加しました。 読みの神Skill & Bot (応募リンク) グランプリファイナル候補 うちの神Skill & Bot + Clova Camera (応募リンク) エンジニア賞候補 今回のコンテストでは1125作品もの応募!があったらしいです、そんなコンテスト見た事ない!皆さん、1000万円の賞金に目がくらんだのか(もちろん私も!)、インドネシアやタイなど海外も含めてやった大規模の大会だったからか、事前のハッカソンやイベントも多数あって、すごいコンテストだったと思います。 4000人の参加者がいて、 1125のプロジェクトが生まれた、とのこと。#linebootawards pic.twitter.com/XUkb6U7zz5 — you (@youtoy) November 10, 2018 その中から、1チーム(一人チームですが、、)から2つが選ばれたのはおそらくこれだけじゃないでしょうか。。正直、選んでもらっただけで嬉しかったです。 ただ一瞬振り返りたいのですが、思い返せば1年半前の2017年2月第一回のLINE Bot Awardsでは、七福神になぞらえて以下3作品を出していました。(2017年の事はこちらにまとめています。) 神采配のサイちゃん > ウェブサイト チャッと議事録ボット > ウェブサイト こぐまのIoTボット ただこの時は、どれもファイナルに呼んでもらえず、さすが皆さんのレベルが高いのかなあ、まだまだ足りないなあ、と嘆いたものです。 ちなみにこの時、何でもやってくれる系BOTのサイちゃんを作る中ググっていたら、この「いもうとBOT」をよく見させてもらって、正直すごいなー、こんなに機能あったら、僕が別に作ってもしょうがないや、と半ばあきらめ気味でした。そうしたら去年の時点で、この「いもうとBOT」もファイナル進めなかったとの事、ほんとにレベルが高かったのを見せつけられました。(→その後、今年のAwardsではいもうとBOTは快進撃を見せるのは、のちほど) そして今年の作品作りにあっては、去年の反省から、以下の事を考えました。 本当に役に立つBOTやSkillを作る事 → 面白いだけじゃダメ 実際使う人に色々やってもらってフィードバックを得る → 使用感、ブラッシュアップ LINEならではのアドバンスを使う → Clova SkillとLINE Botの連携 先進的、新機能などと融合させる → LINE LIFFやTensorflow機械学習など という事で、実際に役立つものをという事で、子どもや家族に意見を聞いて、新たな七福神ラインナップとして「読みの神」と「うちの神」を光臨させたわけです! ということで、ここからは当日の流れにそって説明します。 「読みの神」ファイナル展示審査 まず11/10(土)当日9時に新宿ミライナタワーにあるLINE本社にチェックイン!素晴らしいオフィスですね~   ここで、1チームに付き一つ会議室を割り当ててもらいます。ここを自分のオフィスにして、11:30から2時間、審査員及び来場者の方にデモをして投票してもらいます。 こんなオフィスを、、、   […]

Smartest Speaker

Smartest Speakerは、もっとも簡単で便利に使えるスマートスピーカー 起動ワードを自分で自由にセットできます – 口笛や指パッチン、ねぇ、おい、などで起動可能 あいさつするだけで、決まった命令を処理してくれます :   おはよう 言った人の顔を確認して、今日の予定、行き先の天気、好みのニュースなどを読み上げてくれます。BLE280センサにより部屋の温湿度を測り、最適なエアコン設定をしてくれます。 いってきます 今日の恰好から、最適なアクセサリやファッションを提案してくれます。出がけに電気、エアコンなどを消してくれます。ニュースなどをLINE Botに送っておいてくれます。 ただいま おかえり!の声とともに、電気を付ける、エアコン、TVをつけたりしてくれます。好きな音楽を付けてくれます。 おやすみ 明日の予定の読み上げと、タイマーのセット、リラックスする音楽を流して、電気を消してくれます。 ターゲットユーザ 日々の生活を便利にしたい方。 スマートスピーカーに慣れていない方。 おはよう、いってきます、などの簡単なキーワードで決まったことをやりたい人。 口笛、指パッチン、などをよくする方。 ユーザに対する価値 簡単なトリガー、あいさつなどで、スマートスピーカーを起動し、朝や出がけなどに決まった命令を実行してくれます。 カメラが付いているので、顔写真からその人の予定、好み、おススメのファッションなどを提供します。 システム構成 ハードウェア: RaspberryPi Zero W ラズベリーパイ・カメラ Seeed ReSpeaker 2-Mic(マイク) BME280 (温湿度、気圧センサー) スピーカー LiPo電池 スイッチ、LEDなど プラスチック・ケースなど ファッションツリー部分 サーボモーター 洗濯ばさみなど ケースの前面に、カメラが付いています。 裏面にBME280温湿度センサーとボタンが付いています。 ソフトウェア: Python Docomo API AquesTalk DocomoファッションAPIに画像を送ると、何が写っているかスタイル、カラー、タイプ、ジャンルそれぞれの情報を返します。 その情報を元に、アクセサリーの組み合わせがラズパイの中に入っており、最適な組み合わせを返します。  

Mashup Camera – MAカメラ

MAカメラとは 写真を撮ると、その物を分析して、何が写っているか判別します。たとえば、ミーティングルーム、イベント、パーティーなど。 その結果と、これまでの数多くのMashup Awardsの写真をマッチさせ、どれくらいMashup度が高いのか(写っているものがMashup写真に近いのか)を判定してくれる不思議なカメラです! ついでに、MA度合いが低いと、MA風な画像を追加して、AR化した写真を生成してMA度合いを高めます! MAカメラ動画 MAモデルの作り方 FlickrにアップされたMashupがタグされた10万を超える写真をモデル生成に使っています。 これと、ごみや関係ないものの写真100枚ほど(RaspberryJunkPIE)を比較対象画像とし、その両者の判別モデルをクラウド上(GCP)のTensorflowにより生成しておきます。   [Mashup写真(MashupAwards)] Flickr (https://www.flickr.com/photos/100125183@N08/ )からMashup風な写真を数百枚選別し、MashupAwardsというタグ付けを行います。 [ラズベリーとパイ、ごみクズ(RaspberryJunkPIE)] それ以外を判別する為、本物のラズベリーやお菓子のパイの写真を100個、鉄くずなどのジャンクな機械の写真を100個用意し、比較対象にしました。 これらのデータを使い、Tensorflowを使った機械学習トレーニングを行います。この処理はGPUが必要な計算ですので、クラウド(Google Cloud Platform)上で行いました。 そこで出来たモデルをラズパイ上に移植し、撮った写真とモデルとの比較の部分のみラズパイ上で行う事により、少ないリソースでも無理なく判別機をつくれました。 [写真のAR化]     [MAカメラの使い方] 使い方は至って簡単。自分で作ったものの写真を撮るだけ! そうすると、MashupAwards(MA風)、RaspberryJunkPIE(本物のラズベリー、お菓子のパイ、又はジャンク、くず)のどれに該当するかの確率をしゃべってくれます。また結果をTwitterにもアップします。     試しに、昨年の私の写真を読み込ませてみます。しっかり受賞確率95.38%(当たり前ですよね!)と出てきました。   この解析の精度を確かめるために、こんな本物のラズベリーの写真を読み込ませると、ちゃんと98.72%の確率で、RaspberryかPieだと出してくれました。   2018年のSemi/Finalステージに参加できたら、そこで実際に確かめてみたいと思います! こちらは撮って、結果を喋っている動画です。   [MAカメラのシステム構成] ハードウェア: RaspberryPi 3B USBカメラ スピーカー スイッチ、LEDなど USBバッテリー 紙のお弁当箱などのケースなど   紙製のケースに入ったカメラ本体に、USBカメラ、スピーカー、ボタンなどが付いています。   中には、マイク、カメラがついたラズパイとバッテリーが入っています。 スピーカーは外に出ていて、大音量で結果を教えてくれます。   全体のシステム構成はこのようになっています。 システム構成図   ソフトウェア: Python […]

うちの神Skill & BOT

ねぇクローバ、おうちを開いて Clova Camera クローバにぴったり載るカメラと温室時計を付けたデバイス + うちの神BOT + うちの神Skill おうちをスタートして、おはよう! 朝のあいさつで、まとめて自動操作開始> 測定温湿度からエアコン、扇風機などを起動。今日の天気から傘の有無を教えてくれる。 カメラで撮った顔認証から、その人の(例えばお父さんの)予定を読み上げ、LINEに情報を転送してくれます。   おうちを起動して、いってきます! 写真を撮って、出掛けの格好をスナップ、一番合いそうなアクセサリー、靴などを提案します。 もちろん家のテレビ、電気を消してくれます。 BOTで設定したニュースソースから好きな話題をLINEに送っておいてくれる。 ついでに乗る電車の遅延状況を調べ、遅れていたら、遅れるかもと勝手に連絡してくれる。 おうちを開いて、ただいま! 電気を付ける、エアコンを付ける、(不審者がいないかカメラでチェック)、(家で飼っている猫のカメラで撮った今日一日の活動報告)、好きな音楽を流すなどを自動でやってくれます。 おうちを開いて、おやすみ 電気、テレビを消して、眠りにつく音楽をかける。 (明日の予定を読み上げる)、(幾つか読みたいと思っていた本のサマリを読んでくれる)、(寝ている間に不審者がいないかカメラでチェック)、明日の起きる時間のタイマーセット、など   今後の予定: オムロン社のOMRON Connectを使って、健康管理! https://www.healthcare.omron.co.jp/service/

読みの神Skill & BOT

『ねぇClova、読みの神を開いて』 と言えば、小中学生の漢字や英語などを適度に読み上げてくれて、試験勉強、暗記に役立つスキルとボットです! 読みの神Skill(クローバ): 問題を聞いたり、読み上げてくれます 読みの神BOT(ライン): 問題の答えを受けたり、自分独自の問題をアップロード、採点してくれます 読みの神スキルの使い方 「小3の漢字を読み上げて」 読みの神スキルに言うだけで、スマホやLINEを持っていない子どもでも簡単に『漢検5級を読んで』や『中1の英単語教えて』と言うだけ、適度にランダムな単語を読み上げてくれて、子どもは書き取りの練習や暗記ができ、時間の無いお父さんやお母さんの助けになります。 現在のところ以下の語句が収録されています。 小学1年生の常用漢字(80語とその用例) ~「小1漢字を読み上げて!」など 小学2年生の常用漢字(160語とその用例) ~「小学2年生の漢字」など 小学3年生の常用漢字(200語とその用例) ~「小三の漢字読んで」など 小学4年生の常用漢字(200語とその用例) ~「4年生の漢字」など 小学5年生の常用漢字(185語とその用例) ~「5年の漢字教えて」など 小学6年生の常用漢字(181語とその用例) ~「六年漢字を読んで」など 中学1~3年生の常用漢字(316語とその用例) ~「中1漢字読み上げて」「中三漢字を教えて」など 中学1年生の英単語~「中1英語読んで」 中学2年生の英単語~「中学二年の英単語教えて」 中学3年生の英単語~「英検3級の問題読んで」 漢検の各漢字 英検の各英単語 読みの神ボット 読み上げ内容とその答えは、スキルに紐づいたLINEの「読みの神BOT」に転送されるので、親御さんが結果の確認やマル付けをする事ができます。 LINEで独自問題の写真を撮ってアップロード また独自の問題や試験範囲から問題を出したい場合は、LINEの読みの神BOTで問題の写真を撮ると、その言葉を読取り保存後、Clovaで「問題を読み上げて」と言うと、その範囲で読み上げて試験に役立ちます。 「自分の問題を読み上げて」 例えば、「明日は、英語の試験、出題範囲はこのプリントの単語から」の場面に。   LINEで写真撮影、自動で文字を読み取り、「ねぇクローバ、自分の問題読んで」で読み上げ、再度書き取った答えをLINEで撮って、採点して!を選ぶと、問題と答えの比較から点数計算してくれます。 答えをアップロードすると、採点も!     拡張機能(API連携)も! 最後に、LINE側でAPI追加機能を付加、例えば、百人一首を追加したい場合、百人一首APIを設定すると、「ねぇクローバ、百人一首を詠んで」でランダムに上の句だけ詠んでくれる、とカスタマイズ、拡張可能。     システム関連図 自分の問題撮影、答え合わせの連携   プログラム、Github See the detail and programs in Github or […]

Sony toio Gesundroid ゲズンロイドを作ってみた

ゲズンロイドってなんじゃろ!? Sony toioの工作シリーズで、紙を切って乗っけるだけで、無茶苦茶面白い動きをするムシ生物になる! まずは動画を見てみて、とにかく不思議な動き! ゲズンロイドは、toioの追加機能で、19の虫のような動きをする生き物を作れます!(自分で独自のものも作れるらしい)    toioにゲズンロイドのソフトを差して、本を見ながらはさみでチョキチョキ切っていきます。    まずは、しゃくとりむしのようなシャクトリー シャクトリーの動いている動画を見て下さい!お尻をたたくとビックリして振り返る! お次は、シャクトリーの変型版、ナマコシャクトリー     シャクトリーを作るところをまとめたビデオです。 そして、これは一番面白い、足の人。 寝た後、起こすのが楽しい!   足の人、途中で寝てますzzz でドン!とビックリさせると。。。 こちらは、ぐるぐる回るウンテイハムシ 見てると目が回る動画です! 目立つ、目玉生物! 目玉生物と追いかけっこするシャイドーザー    こちらは、クワガタ系のガタドーザー。   ガタドーザーの動画です。 お次はトッタリー そしてうねうね動く、ワニムシ   これは面白い、アシュラコップ ぶつかると、顔も性格も変わるドンクルリ   カミコロガシが転がしますよ   最後にもう一回動画を見てね! 自分で作れる不思議生物ゲズンロイド、面白い!

Make 2017

2017年つくったもの 2017年もいろいろなものを作りました。基本的には今流行りのEDD(Entry/Event Driven Development、つまり申し込んでから作り出す!)で突っ走っちゃた感じ。ただ自分では、これ作ったら、それを生かして次はこれ、みたいな流れをなるべく考えてやっていたつもりです。 数えてみると2017年だけで全部で10以上のコンテスト、イベント、ハッカソンなどに参加して、50近くのモノを何らかの形でつくってたみたい。。。そのまとまりない開発履歴を、2017年に参加したコンテストなどを元に時系列で追っていくと: 2月: LINE Bot Awards 初めてPHPでLINEのBotを作ってみました。まあ賞金1,000万円に目がくらんだだけですが、、ただこの時のBot開発で、様々なAPIを使う事ができ、その後のロボット開発につながりました。 神采配のサイちゃん > ウェブサイト チャッと議事録ボット > ウェブサイト こぐまのIoTボット   3月: 会社のハッカソン 直前のLINE Bot開発を金融に広げ、ボットで楽しく資産運用!を掲げ、社内コンペに挑みました。 Fun.d Bot Magic Minutes Smiladdin   6月: Tech Lab Paak Open Day 何と言っても、1月からお世話になった渋谷のアップルストアの上、リクルートがやっているPAAKは、様々なぶっ飛んだ皆さんと友達になれて、刺激を受けて、更に開発が進みました。Kobotsというロボットを作った(今も途上)なのですが、とりあえずバージョン0から始まって、この6ヶ月でVer. Xまで、それでもまだまだ発展途上、がんばります! その6ヶ月の歩みはこちら > ”半年でいくつ漢字覚えた?” Kobots: 1, 2, 3 … X   プレゼンの模様はこちら:   7月: ROHM Open Hack Challenge / GR Design Contest Kenko Kiken Kenchi Device – […]

Kopy Robot

コピーロボット。鼻を押すだけで、どんな人にもなってしまうロボット。 まだ生身の人間に成り変るのは難しくても、絵を描いたり、写真を貼るだけで、その人物のように話し始めたら、面白いと思いませんか? Mashup Awards 2017でGoodおしゃべり ドコモ賞をもらいました!   説明プレゼン資料はこちら: Kopy Robot Presentation from Kenichi Yoshida 例えば、地獄のミサワ。   紫式部になって、百人一首を読み上げたり、   トランプになって、英語で話し始めます。   ラーメンマンでは中国語、   小峠になってお笑いのボケとツッコミもしてくれます。   果ては、扇風機になったり、   冷蔵庫にくっ付いて、足りないものを読み上げてくれたり、   お財布になって、持ち運べたりします。 人間になるまでもう少し。   まずは自分のコピーロボットを作り上げます! スペック: ハードウェア Raspberry Pi Zero Mic & Speaker ソフトウェア Docomo API Amazon Alexa/Polly Google Natural Language ぐるナビ  

MeshBot Kit

MESH Raspberry Pi Hubを使った遠隔操作ロボット MESHラズパイ版をいち早く使った、MESH全ての機能を使い倒した二足歩行お喋りロボ  話題のMESH Raspberry Pi Hub (テスト・フライト版)を使った、MESHの全ての機能を使い倒した二足歩行お喋りロボットです。   MESH RasPi Hub ラズパイ版MESHはこんな感じ: MESH Appはそのままに(タブレット上で動く)、レシピをラズパイに保存、遠隔から操作できる! ラズパイの複数運用、常時接続、よりIoTっぽく! これまでのMESHだけではできなかった、こんな事を実現しています: Raspberry Pi上で稼動ロジックが動くようになったので、二足歩行ロボなど小型化が可能 Raspberry Piをロボットに内蔵することにより、スマホ無しでロボットを操作 安価なので、複数Raspberry Piによるシステムを組める Raspberry Pi自身にAI会話機能(Google Assistant, Docomo API)を載せ、音声による操作が可能に 遠隔地のタブレットなどから、ロボットの状況(Raspberry Pi Hub)を確認、ロジック変更などができる MeshBot – MESH Raspberry Pi Huib from Kenichi Yoshida MeshBot/メッシュ・ボットには、こんな機能があります: MESHの形を模したボディに、ラズパイと6つのMESHタグを装備(GPIO、人感、LED、ボタン、温湿度、明るさ) MeshWatch(ムーブタグ)を振る、又は手を握ると(ボタンタグ)、目を光らせ、腕を振って、前後に動く 胸についた人感タグにより、人を検知し、帰宅のタイミングなどでお出迎えしてくれる ラズパイ上のGoogle Assistantに話しかける事により、IFTTT経由で操作が可能 音声、Twitter、LINE、タブレットなどで、部屋の温湿度や明るさを調べる事ができる。それをTwitterなどにIFTTT経由でアップし、確認できる 部屋の温湿度や明るさなどをGoogle Spreadsheetにアップロード、時系列情報を記録できる 玄関でメッシュボットがお出迎え、リビングの別のラズパイ・ハブで、リビングの電気や、テレビなどが自動で付くホーム・オートメーションも実現 今後の展開として、このシステムをビジネスにするあっと驚くリーン・キャンパス、書きました!    MeshBot […]

FriBot フリボット

【 Fribot / フリボット】は、フリスクたった一個の中に、ありったけのロボットとなるモノをつめこみ、二足歩行、AIによる顔認識、それに応じた適切なお喋り、情報提供をする本格的コミュニケーション・ロボットです。 体部分:サーボモーターをRaspberry Pi Zero Wにより駆動 ・ サーボモーター4つを備え、両手、両脚を動かして、指示に基いた腕振り、二足歩行などを行います。      ・別アタッチメントの赤外線センサーを付ける事により、リモコンのオン・オフなど赤外線が使えるテレビ、エアコン、電気などをコントロールできます。   頭脳部分:Raspberry Pi Zero WによるAI、APIとの連携 ・ Raspberry Pi Zero Wにより、WifiでGoogle Cloud VisionやAmazon Web Serviceと連携します。 ・ iPhoneなどのスマホにもつながって、アプリで動き、API連携、AI機能などの設定、変更が可能。 ・ ソニーIU233の超小型カメラを目として使用し、画像、文字認識や顔判断を行います。(Google Cloud Vision、Docomo APIを使用)    ・ マイクから声、言葉を検知し、10ヶ国語以上でお喋りをする事ができます。(Docomo API、Google Translation API、Amazon Pollyを使用) ・ 呼びかけ(Wake word)により、適切な指示、声認識を行う。「ハイ、フリボット!」により指示を聞く、「フリボット、リモコン」などにより特定機能を起動、など(Snowboy Wakeword) ・ 数十のAPIと連動し、人物認識と合わせて、言葉から適切な情報を提供します。(下記はその一例) – 朝顔を見て、その人の誕生日から今日の星座の運勢、普段行く場所の天気を教えてくれる。(Docomo顔認証API、運勢API、Open Weather API) – その人の声から人物判断をして、その人のGoogle Calendarからその日の予定を読み上げてくれる。(Snowboy Wake […]