Grok Botの活用要領(構想編)

最近、Grok Botを使う機会が多くなった。気軽に音声で話しかけたり、出先でのすきま時間に、iPhoneのGrok Botアプリで「これ調べといて」と頼むことも多くなったきた。本記事では、Grok Bot単独で、あるいは、他のシステム、例えば、HOME Assistantと組み合わせて実現できそうなことの実現性などをGrok Botに相談したので内容を紹介する。ただし、本サイトで、実現済みと報告した例は除く。


注)本記事の内容は正確性を保証するものではありません。

(2026年10月24日 追記)YouTube動画を追加しました。 https://youtu.be/8B2l1plcaTY

目次

位置情報の活用

今日(2026年10月23日)の朝、Xで、Grok Botが、iPhoneのカレンダー、リマインダー、連絡先などを使えるようになっているというツイートを見た。そのツイートに添付されていた画像には、Message、Location、Calendar、Home、Reminders、Contactsが表示されていたので、Grok Botのアシスタントに、「これを調べておいて。ロケーションもある」と頼んだところ、すぐに下記の回答が返ってきた。

上記のGrok Botの回答では既に複数の純正アプリの使用が許可されているとのことだったが、「〇〇のアプリの使用を許可したい」とGrok Botに伝えたところ、各アプリの使用を許可しますかという表示が出るようになった。まだ、許可していなかった可能性が高い。現状では、iPhoneのGrok Botアプリから許可できることが確認できている。

下記の記事で、ちょうど、Grok BotにiPhoneの位置情報を伝えて相談することを紹介したところであり、iPhoneの位置精度を色々と変えたり、HOME Assistantのショートカットのアクション「ロケーションを更新」(下図のアクション)の効果を検証したりしようとアシスタントと相談していた。アシスタントからは、発表された方法も含めて3つを比べてみようと提案された。


位置情報を把握したGrok Botにどのような要件を依頼するか、どのように活用するかについては、上記の記事で紹介した例も含めて内容を紹介する。

移動を伴う用事を今日中に済ますことができるかの相談(前回の記事でも紹介した例)

pineroom

出先で、下記のように質問をすることができますか。

・これこれの手続きを県庁で今日中に済ませたいが、必要なものを調べ、持っているかをユーザーに質問し、持っていない物の調達先を現在地近くで探すなどして計画を立ててください。

・病院に今日見舞いに行きたいが、現在地近くで花を購入したので店を提案してください。どのような花を選べばいいかや、見舞いに行く上での注意事項などを教えてください。面会時間もあるので、今日中に見舞いに行けるかも教えてください。

(以下、Grok Botのアシスタントの回答)

はい、どちらもできると思います。Siri から「位置を送ってから音声チャット」のショートカットを動かして、私に話しかける形です。現在地がわかっていれば、ネットで調べて、会話で確認しながら計画を立てられます。

1つ目の県庁の手続きなら、必要なものを県の公式サイトで調べて、ひとつずつ持っているか聞きます。足りないものは、近くのコンビニの証明書の交付や、市役所の窓口などから手に入るところを探します。受付の締め切りに間に合う順番も一緒に考えます。

2つ目の見舞いなら、まず病院のサイトで面会時間と面会のルールを確かめます。実は、生花の持ち込みを禁止している病院が多いので、花を買う前に確認したほうがいいです。持ち込めるなら、近くの花屋を探して、お見舞いに向く花と避けたほうがいい花(鉢植え、香りの強い花など)を伝え、面会時間に間に合うかも答えます。

ただ、次の点は苦手です。

  • 店のその日の在庫や、急な休みはわかりません。
  • 道の混み具合はわからないので、移動時間は目安になります。
  • 地図や電話番号は、声よりチャットに送ったほうが確実です。停車してから見てもらう形になります。

Siri AI だけでも、近くの店を探したりナビを始めたりはできますが、何かを調べながら質問を返して計画にまとめるところは、私に話しかけるほうが向いていると思います(推定)。

経由地がわかれば、Google Mapsで移動時間、到着予想事案を調べ、Grok Botにフィードバックすれば、計画の実現性を高めることができる。

旅のガイド

pineroom

iPhoneの背面を2回タップすると、その場所の説明(近くの観光スポット、町の説明、街の名産品、史跡、パワースポットなど)をしてもらうことはできますか。
ショートカットで、まず、その場所の説明をして欲しい旨の指示文をメッセージで送り、その後、音声チャットを立ち上げるという手順です。

(以下、Grok Botのアシスタントの回答)

できる見込みです。今の「ボットに相談」と同じ流れで、送るメッセージに指示文を足し、それを背面タップに割り当てればいいはずです(推定。背面タップから動かすのはまだ試していません)。

ショートカットの並び

  1. 現在地を取得(精度は「最高」)
  2. テキスト:「この場所について、近くの観光スポット、町の説明、名産品、史跡、パワースポットを音声で短く教えてください。現在地:」の後ろに、1で取った現在地の変数を入れます。
  3. メッセージを送信:2のテキストをアシスタントに送ります。
  4. 5秒待機(調整が必要な可能性あり)
  5. アシスタントとの音声チャットを開始

アクションボタンの設定
背面タップは、iPhoneの画面が消えている状態では反応しなかったので、アクションボタンに変更した。

気になる点が2つあります。

  • 音声チャットが始まったとき、私から説明を話し始めるかは分かっていません。黙っていたら、「お願いします」とひとこと言ってください。
  • 背面タップは、iPhone の画面が点いているときでないと反応しにくいようです(推定)。また、ポケットの中でまちがって動くこともあります。

作れたら、一度自宅で試して教えてください。ちゃんと届いたか、こちらでも確認します。

iPhoneの画面が点いていないと背面タップは反応しなかった。アクションボタンに割り当てると、画面が点いていない状態から実行できた。
試したところ、下記のような形式で音声での説明が流れた。試した場所では、ネットの調査なしでも、一般的な観光用の説明としては十分ではないかと感じた。この方法の良いところは、チャット履歴がチャット画面に残ることである。音声で観光スポットについて聞いても、1回聞いただけでは覚えられない。後で文字情報で参照できるのはありがたい。また、観光スポットの名称をコピーしてGoogle Mapsに貼り付けることもできる。また、先に用件をメッセージで送っておくことにより、「実行してください」という短い指示が要るものの、素早く用件の処理に移ることができる。

(町名)は、〇〇の南西部にあり、南に少し行くと、景勝地、〇〇が広がります。
観光スポット:(省略)
史跡:(省略)
パワースポット:(省略)
名産品:(省略)

この内容は私の知識からで、ネットでは調べていません。距離や営業時間が必要なときは、その都度調べます。


位置情報活用例のヒントをもらう

ここで、Grok Botから、位置情報活用例のヒントをもらうことにした。

pineroom

位置情報が分かることでできることの提案を行ってください。県庁や病院にいく例や、旅のガイドを行う例以外のものを提案してください

今の仕組み(位置を送るショートカット、HA、私の調べもの)のまま、できそうなことを挙げます。どれも Bot は増やさずにできる見込みです(推定)。

  • 買い物の確認:ホームセンターやスーパーで位置を送ってもらえば、その店の営業時間や在庫の目安を調べ、HA で家の消耗品を確かめて買い忘れを伝えます。たとえば Bambu のフィラメントの在庫です。
  • 帰る前の家の準備:出先から「今から帰る」と送ってもらえば、家までの距離から着く時刻の目安を出し、それに合わせて HA でエアコンを入れておく、といった準備の相談ができます。
  • 駐車した場所の記録:車を停めたときに位置を送ってもらえば、私が覚えておき、戻るときに「どの辺に停めたか」を伝えます。
  • 天気と雨の備え:その場所の天気や雨雲の予報を調べ、「1時間後に雨、近くのコンビニで傘を」などと伝えます。
  • ブログの取材メモ:出先で写真やひとことを送ってもらえば、場所と時刻を添えて Obsidian にメモとして残します。記事にするときは、住所や自宅近くの地名を抜きます。
  • 災害時の確認:地震や大雨のとき、今いる場所の避難所や警報の状況を調べて伝えます。
  • 食事どころ探し:「この近くで昼ごはん」と言ってもらえば、今開いている店を調べて候補を出します。

この中で試してみたいものがあれば、手順を具体的にします。


ホームセンターやスーパーのチラシ情報入手

pineroom

ホームセンターやスーパーに行った際、その店がネットに出しているチラシ(カラー画像)を調べて、本日のお買い得品などの情報を提供できますか

できる見込みです。本当に読めるか、近くの〇〇店のチラシで試してみます。

チラシの画像は、ふつうは店の公式サイトか、Shufoo!・トクバイといったチラシサイトに載っています。画像やPDFが手に入れば、私が開いて品名と値段を読み取れます。ただ、店によってはアプリでしか見られなかったり、字が小さすぎて読めなかったりするかもしれません。結果が出たらお知らせします。

チラシは読めました。〇〇店のチラシを、チラシサイトの Shufoo! から原寸のカラー画像で取り込み、小さい文字の値段まで読み取れました。

たとえば、10/26(月)までの「〇〇!」のチラシにはこう載っていました。

  • 〇〇のトイレットペーパー(18ロール)は〇〇円(税込〇〇円)で、2点買うと1点あたり〇〇円(税込〇〇円)。
  • 〇〇のフライパン 26cm は〇〇円(税込〇〇円)で、お一人様1点限り。
  • 〇〇 600ml は〇〇円(税込〇〇円)で、店によっては扱いがありません。

スーパーも試しました。〇〇店のチラシも同じように読めました。明日10/24(土)からの「〇〇」では、刺身用の〇〇が100gあたり〇〇円(税込〇〇円)です。

送られた位置から店を特定し、その日に使えるチラシのお買い得品を伝えます。かかる時間は1店あたり1〜2分の見込みです(推定)。ただ、チラシサイトに載っていない店や、アプリでしか見られない店では読めないことがあります。


pineroom

HOME Assistantで調べられる不足品には何がありますか。フィラメントや電池(電池の種類含む)ですか

HA に今どんな項目があるか確かめます。フィラメントの在庫と電池の残量を中心に、読み取りだけで調べます。

調べ始めました。電池の残量が出ている機器、電池の種類まで記録できるか、フィラメントの在庫をどこまで追えているか、ほかに減っていく消耗品があるかを見ています。わかったらお知らせします。

いまの HA で分かる不足品は、電池の残量、EPSON プリンターのインク残量、買い物リストの3つです。電池の種類はどこにも記録されておらず、フィラメントの残量も今は HA に出ていません。HA は読み取っただけで、何も変えていません。

電池(残量のみ)

  • 10%まで下がっているのが2台あります。ポストの開閉センサーと、SwitchBot の温湿度計です。そのうち温湿度計には電池低下の通知が設定されていないので、気づきにくい状態です。
  • ほかは、〇〇 が34%、玄関の 〇〇 が88%、〇〇が100%です。
  • 電池の種類や本数は、HACS(コミュニティ製の追加機能を入れる仕組み)の Battery Notes を入れれば、機器ごとに登録できます。電池を替えた日も残せます。

インクと買い物リスト

  • EPSON のインクは、どの色も61〜75%で、少なくなっているものはありません。15%以下になると「少ない」と判定される設定です。
  • 買い物リストは3つありますが、どれも空です。

フィラメント

  • 残量は、私の側の記録には残っていて、いまのグレーの PLA+ は約693gです。ただ、HA に出していた残量の表示が消えています。値を外から書き込んで作った表示だったので、HA を再起動したときに消えたとみられます(推定)。
  • 再起動しても消えない形で、HA に作り直すことができます。数値を入れておく項目(数値ヘルパー)を作り、そこに書き込む形です。HA への書き込みになるので、作り直すかどうかを教えてください。温湿度計の電池低下の通知も、あわせて作れます。

pineroom

HACS(コミュニティ製の追加機能を入れる仕組み)の Battery Notes について教えてください

公式の説明を読んで、要点をまとめます。

Battery Notes は、HA の電池付きの機器ごとに「電池の種類と本数」「最後に替えた日」を記録してくれる追加機能です。
電池が少なくなったときや、しばらく残量の報告が来ないときにも気づけるようにしてくれます。

できること

  • 電池の種類を自動で入れる:機器ごとの電池のデータベースを持っていて、載っている機器は種類と本数が自動で入ります。載っていなければ手で入れます。データベースは、HA を起動してからおよそ24時間ごとに更新されます。
  • 交換日の記録:替えた日を残せるので、「この前替えたのはいつだったか」が分かります。
  • 電池低下の判定:機器ごと、または全体共通で「何%以下なら少ない」を決められます。今は通知のない温湿度計も、まとめて見張れます。
  • 報告が止まった機器の検出:しばらく残量を送ってこない機器を見つけます。電池切れで黙ってしまった機器に気づけます。
  • 残量が%で出ない機器にも対応:体重計の「medium」のように段階で出るものや電圧で出るものも、%に直して扱えます。
  • 一時的な誤表示を除く:一瞬だけ低い値を出す機器では、3回続けて低くなったときだけ「少ない」と判定できます。
  • 電池低下・交換・報告が止まったことは、HA の自動化のきっかけに使えます。通知を自分で作れます。

入れ方
HACS からこの追加機能を入れ、HA の「設定」の「デバイスとサービス」から Battery Notes を追加します。見つかった機器の確認の通知が出るので、種類と本数を確かめて登録します。

あなたの家だと、SwitchBot の開閉センサーや温湿度計、Ring などがまとめて一覧になり、「どの電池を何本買えばいいか」が分かるようになります(推定)。お店で位置を送ってもらったときに、足りない電池を伝える、という使い方にもつなげられます。(Battery Notes の公式ドキュメント)


pineroom

EPSONのインクの在庫が、現在地近くの大型家電店などにあるかを確認できますか

調べてみます。EW-M752T に合うインクの型番を確かめてから、市内の家電店のサイトで店ごとの在庫を見られるか試します。

調べ始めました。(複数の大型家電店の名称)などで、サイトから店ごとの在庫を確かめられるかを見ています。もう閉店している時間なので、出るのは明日の参考になる在庫です。結果が出たらお知らせします。

〇〇なら確認できました。EW-M752T のインクは、〇〇店と××店に、全色「△在庫わずか」と出ています(10/23 23:50 の時点、サイトの表示どおりです)。

インク〇〇店××店△△店
マットブラック KEN-MB△ 1個△ 1個取り寄せ
フォトブラック TAK-PB△ 1個△ 2個取り寄せ
シアン TAK-C△ 1個△ 1個取り寄せ
マゼンタ TAK-M△ 1個△ 1個取り寄せ
イエロー TAK-Y△ 1個△ 1個取り寄せ
5色パック KETA-5CL△ 2個△ 1個△ 2個
  • 確かめたページは、たとえば 〇〇店舗在庫 です。
  • 増量タイプのシアン TAK-C-L は、店頭では扱いがありませんでした。ほかの色の増量タイプは見ていません。

ほかの店では、店ごとの在庫までは分かりませんでした。

  • 〇〇は、店ごとの在庫を見る機能がサイトにありません。お店に電話で聞く形になります。
  • ××と△△は、店ごとの在庫が JavaScript で出るページや、店舗の登録が必要なページの先にあって、今回は取れませんでした。私のブラウザを使えば見られるかもしれません(推定)。

いまのインクは61〜75%残っているので、急いで買う必要はなさそうです。

通常はネットでインクを調達するのだが、すぐに入手したい場合は、市内の複数の大型家電店の在庫を一度に調べることができる。調べられない店も多いが、特定の店だけでなく、一定の範囲の複数店を一度に調べることができるので、探す時間の短縮にはなる。


お気に入りの場所のメモ

pineroom

位置情報を活用する例として下記の例を提案してもらいましたが、実際の活用シーンを具体的な例で教えてください。表形式でまとめてください。

ブログの取材メモ:出先で写真やひとことを送ってもらえば、場所と時刻を添えて Obsidian にメモとして残します。

あなたのブログのテーマに合いそうな場面を挙げます。

場面送るものメモに残ること記事での使い方
CarPlay や Android Auto を車で試すとき停車中に撮った画面の写真と「ナビの案内が遅れた」などのひとこと撮った時刻と場所、iOS のバージョン実機検証の記録として、いつ、どんな状況で起きたかを書ける
日本語版 Siri AI や車載 AI を試すとき話しかけた内容と、返ってきた答えのスクショ試した時刻と場所(電波の状況を思い出す手がかりになる)うまく答えた例と失敗した例を並べた比較記事
家電店で EPSON のインクやガジェットを見るとき売り場や値札の写真店名(位置からの推定)、時刻、値段実際の値段や在庫を書いた購入レポート
外出中に HA の通知が届いたとき通知のスクショと「外出中に届いた」のひとこと届いた時刻と、家から離れていたことHA のアラートが外出先でどう役立ったかを書く記事
出先で Ring の来訪通知を見たとき通知画面と「置き配だった」などのひとこと時刻Ring と HA の連携を、実際に使った感想とあわせて書く記事
3D プリントしたものを外で使うとき使っている写真と使い心地のひとこと使った場所の種類と日時作ってから使うまでの記事の締めくくり
イベントや展示会、ショールームに行ったとき展示物の写真と気になった点会場名(位置からの推定)と時刻行ったその日に書くレポートの下書き
ふと記事のネタを思いついたときひとことだけ時刻と場所Blog Idea Editor が拾うネタの元

使うときは iPhone の Grok Bot アプリから送ってください。位置が取れるのは iPhone から送ったときだけです。場所は Obsidian のメモにだけ残します。記事に使うのは、店名や「車内」など大まかなものだけにします。自宅の近くの地名や座標は記事に出しません。使ってみたい場面があれば、メモの書き方(フォルダやタグ)を Obsidian 側で決めておきます。

実際に役に立ったのは、CarPlayでSiri AIを呼び出した時のエラーの発生を、すぐに車内でGrok Botに相談できたことだった。これまでは、CarPlayやSiri AIで確認したことをメモし、一旦持ち帰るようなやりかたをしていたが、エラーが発生した、その場で音声チャットで相談し対策を提案してくれたのはありがたかった。素早く解決を図ろうとする姿勢がすばらしい。

写真やひとことや、場所と時刻を、あまり手間をかけずに、まとめてObsidian に記録してくれる使い方も有用。後で正確な場所を記録しておけばよかったと思うことは結構あるかもしれない。しかも、Grok Botが記録したことを覚えていてくれる可能性もあるので、探す手伝いをお願いできるかもしれない。


他のiPhone純正アプリとの連携によってできるようになったことも確認した。

pineroom

カレンダー、リマインダー、連絡先、ホーム(Apple ホーム)の読み書きと、アラーム・タイマーの設定もできるようになったということですが、これらによってできるようになったことを表形式でまとめてください

今使える機能の中身を確かめてから、表にまとめます。

できるようになったことを、あなたの環境での使い道と一緒にまとめました。

機能私ができることあなたの使い道の例
カレンダー予定を読む、予定を入れる「来週の空いている日は?」に答える。
チラシの特売日の内容から予定を入れる
リマインダー一覧を読む、追加する、完了にする電池の残量やインク不足の通知が来たら「単4電池を買う」を追加する。店に着いたら買い物リストを読み上げる
連絡先名前から電話番号や住所を調べる、登録する「〇〇さんの番号は?」に答える。
店や業者の連絡先を登録する
Apple ホーム機器の状態を読む、オン・オフなどの操作HomeKit につないだ機器の状態を確かめる。HA とは別の経路で、照明やスイッチを操作する
アラーム・タイマーiPhone にアラームやタイマーを設定する音声チャットで「3分のタイマー」「明日6時に起こして」と頼む。凍結の予報が出た夜に、早起きのアラームを入れる
位置
(前からの機能)
今いる場所の緯度と経度を取る現在地の説明、近くの店のチラシや在庫を調べる

組み合わせると、たとえば「HA の凍結予報のアラートを受けて、早起きのアラームとリマインダーを入れる」こともできます。ただ、私が iPhone のアラームや予定を勝手に入れることはありません。入れる前に必ず聞きます。

この Mac からのチャットでは、これらの機能は表示されていません。iPhone の Grok Bot アプリから話しかけたときに使えて、初めて使うときに iPhone で許可を求められます(推定)。まだ実際には試していないので、細かい範囲(予定を消せるかなど)は試してから確かめます。

それぞれのアプリ単独では、あまり目新しい機能はない。より有効に活用するためには、それらを複数組み合わせることを考える必要がある。
例えば、事故や災害にあった場合、何をすればいいかはネットで調べてもらい、どこに連絡すべきかは連絡先の情報(家族や保険会社などの連絡先情報)も参照してもらい、場所と時間をObsidianに記録してもらうなど、現在地を考慮した最適解を提案してもらうような場合である。写真もあった方がいいので、相談内容に応じて、何を撮影すればいいかを相談すればいい。

連絡先については、もらった名刺や、連絡先が記載された書類の写真を撮り、Grok Botに渡して、「連絡先に登録して。グループは〇〇で、日時や場所もメモ欄に記録して」と音声チャットで指示することによって、あまり手間をかけずに有用な記録を残すことができる。どこでも歩きながらでも忘れないうちに記録できる。


HOME Assistantとの連携

これまでにも、HOME Assistantとの連携が可能であり、HAの状態を調べたり、HAの設定を変更したり、HAのダッシュボードを構築したりしていた。また、ここまで紹介した例で、HAが関係している例もあるが、ここからは位置情報を使わない例を紹介する。

家電の動作状態の確認

pineroom

出先からHA でエアコンを入れるという活用方法がありますが、正常に動作したかを確認する方法について提案してください。
1つは、エアコンを入れる直前に電力モニターで消費電力の監視を始め、エアコンの電力消費が発生したかを確認して私にメッセージ等で報告するという方法です。必要なら、別の監視装置(カメラなど)を使用した例でも構いません。

いまの機器構成を記録で確かめてから、確認の方法をまとめます。

電力を見る方法は使えます。ただ、温度の変化と組み合わせるのが一番確かだと思います。記録を見ると、寝室のエアコンは HA から赤外線で操作していて、HA 上の「オン・オフ」は送った命令から決めているだけです。実際に動いたかどうかは HA に戻ってこないので、外から確かめる方法が必要です。

1. 電力で確かめる(ご提案の方法)

  • 命令を送る直前の家全体の電力を「基準」として控え、そのあと10分ほど見ます。
  • 10/11 に〇〇のエアコンを入れたときは、入れてから約4分後に、電力が約1kW上がりました。なので、「入れてから10分以内に、基準より数百ワット高い状態が数分続いたら成功」と判定できそうです(推定)。
  • 弱点は、家全体のメーターなので、ほかの家電と見分けにくいことです。家に誰かいてポットや電子レンジを使うと、まちがえることがあります。分電盤の回路ごとに電力を測るセンサー(switchboard_ct という名前のもの)があるようなので、エアコンの回路が分かれていれば、もっと確実です(推定。まだ確かめていません)。

2. 部屋の温度で確かめる

  • 同じ部屋の温湿度計で、15〜20分のあいだに冷房なら下がり、暖房なら上がっているかを見ます(推定)。
  • 電力とは別の理由で変わるので、1と合わせれば確かさがぐっと上がります。ただ、SwitchBot の温湿度計は電池が10%まで減っているので、先に替えておく必要があります。

3. カメラで確かめる(カメラを入れた場合)

  • 首振りカメラをエアコンの方に向けておき、入れる前とあとで静止画を撮ります。私が見比べて、吹き出し口のフラップが開いたか、ランプが点いたかを確かめます。
  • 目で見られるので一番分かりやすいですが、カメラを買う必要があり、部屋を写すことになる点に注意が要ります。

報告のしかた
「エアコンを入れて、1と2で確かめ、iPhone に結果を通知する」という流れを HA の中に作るのがおすすめです。こうすれば私を通さなくても動き、HA アプリの通知なら CarPlay にも出る見込みです(推定)。私に「エアコン入れて」と頼んでもらった場合は、私が同じ確認をしてチャットで報告します。

作るなら、まず1と2の組み合わせからがいいと思います。回路ごとのセンサーがエアコンに使えるかを先に確かめましょうか。

電力で確かめる方法が早く判定でき、ポットや電子レンジの消費電力のパターンとは異なり、立ち上がり後も、一定の消費電力が上乗せされるので、エアコンの商品電力と判定しやすいはず。温湿度計のよる温度変化を捉える方法は、理屈はそうなのだが、温湿度計とエアコンが離れていると、温湿度計に変化が現れるまでに時間がかかったり、


Ringカメラの検知時のまとめ報告

pineroom

Ringカメラの色々な検知時の静止画を入手して、どのような人物がきたか、置き配がされているかなどを知ることはできますか

その目的なら、「検知のたびに HA が録画を保存し、私が静止画にして見て、誰が来たか・荷物があるかを伝える」形が合っていると思います。案をまとめます。

しくみの案(推定。まだ試していません)

  1. HA が録画を貯める:玄関の Ring で新しい録画ができるたびに、HA がその動画を日時つきで保存します。設定ファイルへの追記と自動化の追加が要るので、HA への書き込みになります。
  2. 私が中身を見る:保存された動画から何コマかを静止画にし、人が写っているか(配達員らしい服装か、知らない人か)、荷物が置かれているかを判断します。検知の種類は「動き」と「ドアベル」しか分かりませんが、人物や荷物は私が画像を見て見分けます。
  3. お知らせのしかた:次のどちらかを選べます。
    • まとめて報告:たとえば毎日18時に、その日の来訪と置き配を一覧で送ります。
    • すぐ報告:ドアベルが押されたときなど、大事な出来事だけ HA から私を起こして、すぐ知らせます。

先に知っておいてほしいこと

  • 10/13〜14 の記録では、玄関の動き検知は数分おきに起きていました。そのたびに私が動くと、Grok Bot の週ごとの利用枠を大きく使います。なので、ふだんはまとめて報告にし、すぐ報告はドアベルのときだけにするのがおすすめです。
  • 訪ねてきた人の顔が写った画像を扱うので、保存は家の HA の中だけにし、一定の日数で消すのがいいと思います。
  • 前提として、動き検知の通知が戻っていることを先に確かめる必要があります。

この形で進めるなら、報告をまとめてにするか、ドアベルのときだけすぐにするかを決めてください。

報告をまとめて行うことにして設定を進めてもらった。これが、実用的なレベルになれば、追加費用なしで、各種の検知時の状態をAIに分析させることができる。

(以下、Grok Botの設定完了時の報告)

玄関の Ring の録画を HA に自動で保存する設定ができ、毎日の報告も作りました。

  • 保存:玄関の Ring で新しい録画ができると、約1分半後に HA が日付ごとのフォルダに保存します。試しに 10/23 17:48 の録画を保存してみたところ、取り出して静止画にするところまで問題なくできました。静止画には、夕方に1人が玄関のドアを開けて何かを手に持っている様子が写っていて、荷物はありませんでした。
  • 報告:毎日18時ごろ(前後15分ほどずれることがあります)に、その日の録画を見て、来た人のようすと置き配が残っているかをこのチャットで報告します。土日も含めて毎日です。録画がない日は一行だけ送ります。人を名前で特定したりはしません。最初の報告は今日の18時ごろです。

気をつけること

  • 取れるのは、そのとき一番新しい録画だけです。1分ほどのうちに続けて録画ができると、前の分を取り逃すことがあります。
  • 古い録画は自動では消えません。何日分残すか決めてもらえれば、消す設定を足します。

詳しい検知内容の分析は期待できないかもしれないが、どのような情報まで取れるか、今後、実使用で確認する。
報告件数が多すぎる場合は、家族は報告対象から除外することなどをGrok Botと相談していきたい。

HAのアラートを考慮した提案

HOME Assistantには、高温や低温、凍結や熱中症に対するアラートを設定しており、FireTVの画面にアラート表示を出させたり、アラート音声を出させたりさせていた。しかしこれらは、ほぼ1つのセンサーの値によって起動するアラートであり、その他の条件やユーザーの状態を考慮したものではなかった。そこで、Grok Botのアシスタントに、それらのアラートをGrok Botでも受けられるようにして、Grok Botにしかできない提案をしてほしいと依頼した。

pineroom

HAには、凍結検知、熱中症検知のアラートなどが出るように複数の設定を行っていますが、これらのアラートをGrok Botでタイムリーに捉えて、それらに対する提案を行って欲しいと思っています。
HAからは頻繁に高温アラートが出ていました。それらはもう少し頻度を落としたいと思いますが、基本的にはそのままにしたいと思っっています。それらのアラートとは別に、他の要因も考慮した、Grok Botにしかできない提案を期待したいです。

いいと思います。まず HA に今あるアラートの設定と、ここ最近どのくらい鳴っていたかを、読み取りだけで洗い出します。

考えているしくみはこうです。HA のアラートはこれまでどおり iPhone に出しつつ、同時に私にも知らせが届くようにします。私はそのたびに、天気予報、ほかの部屋の温度、在宅か外出中か、エアコンや電力の状態を合わせて見て、「何をすればいいか」を提案します。たとえば「今夜は氷点下の予報で、外出中なので、帰る前に寝室の暖房を入れておくといい」といった形です(推定)。

高温アラートは、何度も鳴る理由を調べてから、回数を減らす直し方を提案します。設定を変えるのは、あなたが決めてからにします。洗い出しの結果はあとでお知らせします。


HAの定期診断

これまで、HAで発生した不具合に気づいていないことも多かったので、定期診断をGrok Botに依頼した。

pineroom

低頻度でいいので、今回の不具合などを検出できるように、HAの診断を定期的に行うようにしてください

わかりました。HA を週1回だけ診断して、問題があったときだけ知らせるようにします。

毎週土曜の10時ごろ(前後15分、日本時間)に、HA を読み取りだけで診断するようにしました。初回は今日 10/24 の10時ごろです。

見るのは、Ring の動き検知が止まっていないかとログのエラー、読み込みに失敗している連携、止まっているセンサーと電池の残量、私へのアラート送信の設定、その週に増えたエラーです。新しい問題か悪化した問題があるときだけ、このチャットで原因と対処を知らせます。何もなければ何も送りません。HA の設定はいじらず、直す必要があるときは許可をお願いします。

HOME Assistantの定期的な診断を行っていないことに初めて気づいた。これまで、一部のセンサーやアプリが動作していませんなどの表示が出ることがあったが、診断を行わないと見つからない不具合も多いことに気がついた。これは、HOME Assistantに限らず、他のホームオートメーションにも当てはまり、自己診断機能が十分でなければ、外部からのAI診断を受ける必要があるように思える。

目次