以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
（概要）
図１は、本開示の技術の一例に係る概要を説明するための図である。本開示の技術は、ユーザＵｓｒが端末１０を使用して、移動体の一例である飛行体２０に対してコマンドを送信し、飛行体２０に自律飛行を行わせるものである。詳しくは後述するが、かかるコマンドは、飛行体２０の飛行動作の単位ごとに飛行体２０の飛行を制御するためのコマンドである。例えば、端末１０に対して、「離陸する」「前方向に５０ｃｍ移動する」「左方向に９０°回転する」「発光する」「カメラで撮像する」「着陸する」等のコマンドを組み合わせて一連のコマンドからなる飛行プログラムを構成するための情報をユーザＵｓｒが入力する。飛行プログラムは、動作プログラムの一例である。かかる入力は、例えば各コマンドに対応付けて表示されるブロックを適宜並び替えることにより行われる。この飛行プログラムは飛行体２０に送信され、飛行体２０はかかる飛行プログラムに基づいて飛行動作を行う。ユーザＵｓｒは、構築した飛行プログラムと実際の飛行体２０との動作とを突き合せて、ユーザＵｓｔが想定していた動作を飛行体２０が行ったかを検証する。本技術では、このような飛行プログラムの構築、実行および検証のプロセスを、かかる端末１０と飛行体２０とを用いることで実現することができる。例えば、プログラミングスキルとして必須と考えられているロジカルシンキングの能力を向上させることができる。例えば、プログラミングやロボット工学といったＳＴＥＭ教育への適用が可能であるが、本技術の適用範囲は特に限定されない。
ここでは上記の「検証」のプロセスにおいては、通常のプログラミングとは異なり、飛行体２０の実際の動作と飛行プログラムの各コマンドにより実行され得る動作との突き合せが必要となる。しかしながら、飛行体２０は三次元方向への移動および回転が可能であるため、単に飛行体２０を観察しているだけでは、飛行体２０が実行している動作を直感的に把握することは難しい。そのため、検証の質が担保されず、プログラミングスキルの向上のプロセスにおいて非効率となりうる。
そこで、本技術では、飛行体２０が飛行している間、ユーザＵｓｒは、端末１０のディスプレイ（表示部）１７を通じて、飛行体２０の像Ｍ１を視認する。表示部１７には、像Ｍ１とともに、入力したコマンドに対応するブロックが表示されている。そして、一連のコマンドのうち少なくとも一のコマンドに対応する飛行動作が実行されているとき、かかるコマンドに対応するブロックは他のコマンドのブロックとは異なる態様で表示される。
かかる技術により、端末１０の表示部１７を観察するだけで、飛行体２０の実際の動作と、該動作に対応するコマンドの内容との突き合せが容易となる。また、かかる飛行体２０の動作をコマンドの表示態様と含めて録画したり、端末１０の状態に応じて飛行体２０の動作を制御してもよい。以下、本開示の一実施形態について説明する。
（第１の実施形態）
図２は、本開示の第１の実施形態に係る飛行体の飛行制御システム１の構成の一例を示す概要図である。図２に示すように、本実施形態に係る飛行体の飛行制御システム１は、端末１０および飛行体２０を備える。
端末１０は、例えばスマートフォン、タブレット端末またはパーソナルコンピュータ等の情報処理装置により実現される。また、例えば、端末１０の表示機能および入出力機能以外の機能は、一または複数のサーバ等により実現されるコンピュータやクラウドコンピューティング等により実現されてもよい。
端末１０は、インターネット等のネットワークや近距離無線通信等の通信手段を介して、飛行体２０と接続する。上記ネットワークおよび通信手段の例として、有線通信、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、５Ｇ、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、Ｗｉ－Ｆｉ（登録商標）等が挙げられる。
飛行体２０は、移動体の一例である。図１および図２では移動体の一例として無人飛行体（ＵＡＶ；Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）を示しているが、移動体は、例えば、車両、
船舶もしくは潜
水装置、またはこれらを模した玩具等でもよく、制御
信号により自律的に動作する移動体であれば特に限定されない。飛行体２０として、ドローンまたはマルチコプター等が挙げられる。飛行体の種類は特に限定されない。
図３は、本実施形態に係る端末１０のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
端末１０は、少なくとも、制御部１１、メモリ１２、ストレージ１３、通信部１４、入出力部１５、センサ１６および表示部１７等を備え、これらはバス１８を通じて相互に電気的に接続される。
制御部１１は、端末１０全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部１１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１３に格納されメモリ１２に展開されたプログラム等を実行して各情報処理を実施する。
メモリ１２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１２は、制御部１１のワークエリア等として使用され、また、端末１０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
ストレージ１３は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１３に構築されていてもよい。
通信部１４は、情報処理装置１０をネットワークおよび／またはブロックチェーンネットワークに接続する。なお、通信部１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インタフェースを備えていてもよい。
入出力部１５は、キーボード・マウス類等の情報入力機器である。例えば、入出力部１５は、後述する表示部１７に備えられるタッチパネルを含んでもよい。
センサ１６は、端末１０に備えられ、端末１０の内部または外部の状況に係る状況を取得するために用いられる。センサ１６は、例えば、カメラ１６１、ジャイロセンサ１６２、地磁気センサ１６３、マイク１６４および測位センサ１６５を含みうる。
カメラ１６１は光学系センサの一例であり、空間を撮像し、撮像画像を生成する機能を有する。撮像画像は、静止画像または動画像を含みうる。ジャイロセンサ１６２は、端末１０の
角速度および／または角度を検出する機能を有し、端末１０の姿勢を推定するために用いられる。地磁気センサ１６３は、端末１０の向きを推定するために用いられる。マイク１６４は、空間の音声を取得し音声情報を生成する機能を有する。測位センサ１６５は、端末１０の
位置情報を取得するために用いられる。
表示部１７は、ディスプレイ等の画像出力機器である。かかるディスプレイは、タッチパネル等の入出力部１５の機能も併せて有していてもよい。
バス１８は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
図４は、本実施形態に係る飛行体２０の機能ブロック図である。なお、以下の機能ブロック図は説明を簡単にするために、単一のデバイス（図４では飛行体）に格納された概念として記載しているが、例えば、その一部機能を外部デバイス（例えば、端末１０）に発揮させたり、クラウドコンピューティング技術を利用することによって論理的に構成されていてもよい。
フライトコントローラ２１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
フライトコントローラ２１は、メモリ２１１を有しており、当該メモリにアクセス可能である。メモリ２１１は、１つ以上のステップを行うためにフライトコントローラ２１が実行可能であるロジック、コード、および／またはプログラム命令を記憶している。
メモリ２１１は、例えば、ＳＤカードまたはランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ２５１またはセンサ２５２等の外部機器２５から取得したデータは、メモリ２１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。外部機器２５は飛行体にジンバル２４を介して設置される。
フライトコントローラ２１は、飛行体の状態を制御するように構成された制御部２１２を含んでいる。例えば、制御部２１２は、６
自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ
ｘ、θ
ｙ及びθ
ｚ）を有する飛行体の空間的配置、速度、および／または
加速度を調整するために、ＥＳＣ（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）２６を経由して飛行体の推進機構（モータ２７等）を制御する。モータ２７によりプロペラ２８が回転することで飛行体の揚力を生じさせる。制御部２１２は、搭載部、センサ類の状態のうちの１つ以上を制御することができる。
フライトコントローラ２１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部２３と通信可能である。送受信機は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。フライトコントローラ２１は、端末１０から取得した一連のコマンドから構成される飛行プログラムを、送受信部２３を介して取得し得る。
例えば、送受信部２３は、有線通信、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、５Ｇ、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、Ｗｉ－Ｆｉ（登録商標）などのうちの１つ以上を利用することができる。
送受信部２３は、カメラまたは各種センサにより取得されたデータ、フライトコントローラ２１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。なお、本実施形態においては、端末１０との通信は、この送受信部２３を介して行われ得る。
本実施の形態に係るセンサ２５２（外部機器２５に含まれる）は、慣性センサ（加速度センサ、ジャイロセンサ）、測位センサ（ＧＰＳセンサ）、測距センサ（例えば、レーザーセンサ、超音波センサ、ＬｉＤＡＲ）、または地磁気センサを含みうる。また、センサとして、またはビジョン／イメージセンサ（例えば、カメラ２５１）が含まれる。
図５は、本実施形態に係る端末１０における制御部１１の機能を示すブロック図である。なお、図５に図示される構成は一例であり、これに限らない。
図５に示すように、制御部１１は、取得部１１１、移動体制御部１１２および表示制御部１１３を備える。また、取得部１１１は、コマンド取得部１１１１およびセンサ情報取得部１１１２を備える。また、移動体制御部１１２は、コマンド送信部１１２１、第１移動体動作制御部１１２２および第２移動体動作制御部１１２３を備える。また、表示制御部１１３は、画像表示制御部１１３１、コマンド表示制御部１１３２、態様表示制御部１１３３および動画記録制御部１１３４を備える。
取得部１１１は、端末１０の内部または外部から情報を取得する機能を有する。
コマンド取得部１１１１は、ユーザの入力等に基づいて飛行体２０を動作させるためのコマンドに係る情報を取得する機能を有する。ここでコマンドとは、飛行体２０に所定の動作を与えるための指示である。例えば、コマンドは、飛行体２０の移動および／または回転等の動作や、飛行体２０に搭載されたセンサおよび／またはアクチュエータ等により行われる動作（例えば、ＬＥＤ等の発光体による発光、スピーカ等による音声の発声、投擲物の投射等）であり得る。
かかるコマンドは、例えば、表示部１７に表示されるコマンドに係るオブジェクトを操作することによって入力されるものであってもよい。図６は、本実施形態に係る表示部１７に表示されるコマンドに係るオブジェクトの一例を説明するための図である。図６に示すように、かかるコマンドオブジェクトＣＯ１～ＣＯ６は、後述するコマンド表示制御部１１３２により表示部１７に表示される。
なお、かかるコマンドオブジェクトＣＯ１～ＣＯ６には、それぞれコマンドに対応する内容が表示されている。その内容については後述する。
センサ情報取得部１１１２は、端末１０に設けられるセンサ１６の各々から得られる情報を取得する。例えば、センサ情報取得部１１１２は、カメラ１６１からカメラ１６１が撮像して得られる撮像画像の情報を取得し得る。また、センサ情報取得部１１１２は、ジャイロセンサ１６２から端末１０の姿勢に関する情報を取得し得る。また、センサ情報取得部１１１２は、地磁気センサ１６３から端末１０の向きに関する情報を取得し得る。また、センサ情報取得部１１１２は、マイク１６４が収音して得られる音声情報を取得し得る。また、センサ情報取得部１１１２は、測位センサ１６５から端末１０の位置情報を取得し得る。センサ情報取得部１１１２が各種センサから取得し得る情報は、各種センサが取得した生データであってもよいし、各種センサにおいて適宜加工された情報であってもよい。
移動体制御部１１２は、飛行体２０に対して動作の制御を行うための情報を出力する機能を有する。
コマンド送信部１１２１は、コマンド取得部１１１１により取得された一連のコマンドを飛行体２０に送信する機能を有する。飛行体２０は、かかる一連のコマンドから構成される飛行プログラムに従って動作する。
第１移動体動作制御部１１２２は、端末１０から得られる情報に基づいて、飛行プログラムの内容に関わらず、飛行体２０の動作を制御するための情報を出力する。
例えば、飛行体２０が飛行プログラムの内容に従って飛行している最中であっても、第１移動体動作制御部１１２２は、端末１０から得られる情報に基づいて、かかる飛行体２０の飛行を停止するための情報を出力してもよい。飛行体２０は、かかる情報を受けて、飛行を停止する。ここで、飛行の停止とは、飛行体２０がその場で着陸すること、または飛行体２０が飛行を開始した地点に戻ることを含みうる。
また、第１移動体動作制御部１１２２は、端末１０から得られる情報に基づいて、飛行プログラムに基づく飛行体２０の動作を開始または再開するための情報を出力してもよい。かかる情報をトリガーとして、飛行体２０は動作を開始または再開し得る。
端末から得られる情報は、例えば、端末１０の姿勢に関する情報を含む。すなわち、第１移動体動作制御部１１２２は、ジャイロセンサ１６２等により取得された端末１０の姿勢に関する情報に基づいて、飛行体２０の動作を制御するための情報を出力してもよい。詳しくは後述する。
また、端末から得られる情報は、例えば、端末１０と飛行体２０との位置関係に係る情報を含んでもよい。すなわち、第１移動体動作制御部１１２２は、測位センサ１６５等により取得された端末１０の位置情報と、飛行体２０の位置情報とに基づいて、飛行体２０の動作を制御するための情報を出力してもよい。端末１０と飛行体２０との位置関係は、例えば、端末１０と飛行体２０との距離（ＸＹＺ方向の少なくともいずれかの成分における）等であってもよい。飛行体２０の位置情報は、例えば飛行体２０に積載されているセンサによって推定される情報であってもよいし、端末１０がカメラ１６１により撮像される飛行体２０の像を含む画像を画像解析することによって得られる情報であってもよい。
また、端末から得られる情報は、例えば、端末１０に備えられるセンサにより取得される情報を含んでもよい。センサにより取得される情報は、例えば、マイク１６４が収音して得られる音声情報や、カメラ１６１により得られる画像に基づく画像情報であってもよい。詳しくは後述する。
第２移動体動作制御部１１２３は、飛行体２０に備えられるカメラ２５１により撮像された所定の標識の像を解析して得られる情報に基づいて、飛行プログラムの内容に関わらず、飛行体２０の動作を制御するための情報を出力する。
例えば、飛行体２０が飛行プログラムの内容に従って飛行している最中であっても、第２移動体動作制御部１１２３は、飛行体２０により得られる標識の像を解析して得られる情報に基づいて、飛行プログラムとは異なる動作を指示するための情報を出力してもよい。詳細は後述する。
表示制御部１１３は、端末１０の表示部１７の表示を制御する機能を有する。
画像表示制御部１１３１は、撮像画像を表示部１７に表示させる機能を有する。撮像画像は、例えば、端末１０のカメラ１６１により撮像されて生成される画像であり得る。また、撮像画像は、飛行体２０の像を含むものであり得る。すなわち、該撮像画像は、端末１０のカメラ１６１の画角に飛行体２０が含まれるように撮像されて得られるものであり得る。
コマンド表示制御部１１３２は、コマンドに関する情報を所定の態様により表示部１７に表示させる機能を有する。所定の態様とは、例えば、図６に示すようなブロックのようなオブジェクトの態様であり得る。かかるブロックには、コマンドの内容に関する情報（ＳＴＡＲＴ、ｍｏｖｅ、ｒｏｔａｔｅ等）が表示され得る。これらのコマンドオブジェクトは、撮像画像に重畳して表示される。
図６には、コマンドオブジェクトＣＯ１（ＳＴＡＲＴ：飛行プログラムの開始のためのコマンド）、コマンドオブジェクトＣＯ２（Ｔａｋｉｎｇ Ｏｆｆ：飛行体２０の離陸のためのコマンド）、コマンドオブジェクトＣＯ３（ｒｏｔａｔｅ ９０°：９０°ヨー回転するためのコマンド）、コマンドオブジェクトＣＯ４（ｉｔｅｒａｔｅ ３ ｔｉｍｅｓコマンドオブジェクトＣＯ５、ＣＯ６に対応するコマンドを３回繰り返すためのコマンド）、コマンドオブジェクトＣＯ５（ｍｏｖｅ ３０ｃｍ：３０ｃｍ移動するためのコマンド）およびコマンドオブジェクトＣＯ６（ｈｏｖｅｒ １ｓ：１秒間同位置でホバリングするためのコマンド）が表示されている。
コマンドオブジェクトＣＯ１～ＣＯ６は、例えば図６に示すように、上から順に並べて連結されることにより、コマンドの実行順序が決定される。かかるオブジェクトは上述したように、ユーザの入力により操作可能に表示される。図６に示す例では、コマンドオブジェクトＣＯ３は他のコマンドオブジェクトから離隔して表示されているが、かかるコマンドオブジェクトＣＯ３をコマンドオブジェクトＣＯ２とＣＯ４の間にユーザの入力に移動させることで、コマンドオブジェクトＣＯ１～ＣＯ６に対応するそれぞれのコマンドが順に実行される状態となり得る。
また、これらのコマンドオブジェクトＣＯ１～ＣＯ６は、一のコマンドとは異なる他のコマンドとを連続して行うことが可能な場合には、これらのコマンドに対応するオブジェクトが接続可能な態様で表示される。例えば、コマンドオブジェクトＣＯ２に対応するコマンド（Ｔａｋｉｎｇ ｏｆｆ）とコマンドオブジェクトＣＯ３に対応するコマンド（ｒｏｔａｔｅ ９０°）とは連続して行うことが可能であるので、コマンドオブジェクトＣＯ２の凸部ＣＯ２ａは、コマンドオブジェクトＣＯ３の凹部ＣＯ３ａと連結可能である。これにより、コマンドオブジェクトＣＯ２とコマンドオブジェクトＣＯ３とをつなぎ合わせることが感覚的に可能ということがユーザにとって理解しやすくなる。
なお、飛行体２０を飛行させるための空間の大きさ等によっては、コマンドの内容が適切ではない場合もある。具体的には、空間の天井の高さが３メートルである場合に、飛行体２０に対して４ｍ上昇するコマンドを送信する場合である。この場合、例えば、コマンド表示制御部１１３２は、該コマンドに対応するコマンドオブジェクトを並べることができない旨の表示を制御してもよい。
態様表示制御部１１３３は、飛行体２０の動作に対応するコマンドに関する情報（例えば、コマンドオブジェクト）を、他のコマンドの所定の態様とは異なる態様で表示する機能を有する。例えば、態様表示制御部１１３３は、撮像画像の撮像時点において実行されている飛行体２０の動作に対応するコマンドオブジェクトを、他のコマンドオブジェクトとは異なる色や大きさ、点滅等の表示パターンにより表示してもよい。他のコマンドと異なる態様で対象のコマンドが表示されるのであれば、その態様については特に限定されない。
動画記録制御部１１３４は、一連の撮像画像からなる動画像を記録する機能を有する。本実施形態に係る動画記録制御部１１３４は、かかる動画像と、コマンド表示制御部１１３２および態様表示制御部１１３３により表示が制御されるコマンドに関する情報とを時系列で記録する。例えば、飛行体２０が所定のコマンドに基づく動作を行っている場合、動画像とともに、該コマンドに対応するコマンドオブジェクトが他のコマンドオブジェクトとは異なる態様で表示されている状態で記録される。これにより、記録した動画を見返した場合に、飛行体２０の動作がどのコマンドに対応するかを直感的に理解することができる。すなわち、プログラミングにより得られる結果のフィードバックをより容易に得やすくなる。なお、かかる録画の処理は、例えば図６に記載のボタンＢｔ４をタップすることにより開始または再開されてもよい。また、かかる録画の処理は、飛行体２０が第１移動体動作制御部１１２２による動作の割り込みの制御があった場合であっても、割り込みがあった時点で中断されてもよいし、最終的に飛行体２０の飛行が停止するまで続けられていてもよい。
（ＵＩ例）
次に、本実施形態に係る表示部１７に表示されるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の表示例、および制御部１１の各機能による処理の例について説明する。再度図６を参照すると、端末１０の表示部１７には、撮像画像ＰＩ１、コマンドオブジェクトＣＯ（ＣＯ１～ＣＯ６）、飛行体２０のカメラ２５１により撮像される映像ＤＶ１、各種ボタンＢｔ１～Ｂｔ４が表示されている。撮像画像ＰＩ１には、飛行体２０の像ＤＩ１が表示されている。既に記述した内容については説明を割愛する。
図６に示すボタンＢｔ１は、飛行体２０がコマンドオブジェクトＣＯに対応する飛行プログラムに従って実行している飛行の動作を中断させるためのボタンである。具体的には、コマンド送信部１１２１は、かかるボタンＢｔ１に対してタップの入力があったと判定された場合に、飛行体２０に対して飛行プログラムに係る飛行の動作を中断させるための情報を送信してもよい。これにより、飛行体２０は動作を中断する。
図６に示すボタンＢｔ２は、飛行体２０が飛行プログラムに係る飛行の動作を中断している場合に、該飛行を再開させるためのボタンである。具体的には、コマンド送信部１１２１は、かかるボタンＢｔ２に対してタップの入力があったと判定された場合に、飛行体２０に対して飛行プログラムに係る飛行の動作を再開させるための情報を送信してもよい。これにより、飛行体２０は動作を再開する。
図６に示すボタンＢｔ３は、飛行体２０のカメラ２５１に撮像処理を行わせるためのボタンである。かかる撮像処理により得られる撮像画像は、例えば、映像ＤＶ１に表示されている画像である。具体的には、コマンド送信部１１２１は、かかるボタンＢｔ３に対してタップの入力があったと判定された場合に、飛行体２０に対して撮像処理を実行させるための情報を送信してもよい。これにより、飛行体２０のカメラ２５１は撮像処理を行う。
図７は、本実施形態に係る表示部１７に表示されるＵＩの一例を示す図である。図７は、飛行体２０が離陸を開始する直前の状況を示している。図７を参照すると、コマンドオブジェクトＣＯ１は、他のコマンドオブジェクトと異なり、表示態様が異なっている。すなわち、この時点では、飛行体２０がコマンドオブジェクトＣＯ１に対応する状態であること（離陸前のＳＴＡＲＴの状態であること）が示されている。
図８は、本実施形態に係る表示部１７に表示されるＵＩの一例を示す図である。図８は、図７よりも後の時点に撮像された撮像画像ＰＩ２を表示している。かかる撮像画像ＰＩ２に示されるように、飛行体２０が離陸している状態である像ＤＩ２が撮像画像ＰＩ２に含まれている。
この時点においては、コマンドオブジェクトＣＯ２（Ｔａｋｉｎｇ ｏｆｆ）は、他のコマンドオブジェクトとは表示態様が異なっている。すなわち、この時点では、飛行体２０がコマンドオブジェクトＣＯ２に対応する動作を実行している状態であること（離陸した状態であること）が示されている。飛行体２０の離陸が完了すると、飛行体２０は、コマンドオブジェクトＣＯ３に対応する動作を実行し得る。その際、態様表示制御部１１３３は、コマンドオブジェクトＣＯ３を他のコマンドオブジェクトとは異なる態様に表示し得る。以下、飛行体２０が各コマンドに対応する動作を実行するごとに、各コマンドオブジェクトの表示態様が変化しうる。なお、コマンドオブジェクトＣＯ４のような一以上の他のコマンドを繰り返し実行するためのコマンドオブジェクトや、条件分岐等他のコマンドを実行するためのコマンドオブジェクトは、該他のコマンドとともに表示態様が変化されていてもよい。
また、図８を参照すると、飛行体２０のカメラ２５１の映像ＤＶ２には、所定の標識の像ＭＣ１が含まれている。このとき、第２移動体動作制御部１１２３は、かかる像ＭＣ１を解析し、その解析情報に基づいて、飛行体２０の動作を制御してもよい。この場合、コマンドオブジェクトＣＯに対応する飛行プログラムによるオーダーに割り込んで、該解析情報に対応する飛行体２０の動作が制御されてもよい。例えば、所定の標識の像ＭＣ１が解析されることにより、飛行体２０が予め与えられた課題のルートを正常に飛行することができたことを示す動作を飛行体２０に実行させることができる。これにより、ユーザにより構成された飛行プログラムの評価をその場で行うことが可能となる。
このように、コマンドに対応する飛行体２０の動作に応じてコマンドオブジェクトの表示態様を他のコマンドオブジェクトとは異ならせて表示させることで、飛行体２０の動作が飛行プログラムのどのコマンドに対応するかどうかを、容易に確認することができる。これにより、飛行プログラムのフィードバックが容易となる。また、撮像画像の録画において、かかるコマンドオブジェクトの表示態様と併せて記録することで、飛行の動作の実行後に動画像を見返す場合においても、飛行体２０の動作状況と各コマンドの突き合せが容易となる。
（端末の状態に応じた移動体の動作の制御）
図９は、本実施形態に係る第１移動体動作制御部１１２２による処理の一例を示す図である。図９に示すように、例えば、端末１０のカメラ１６１の視野ＶＳ１が図示される飛行体２０の動作範囲に入っていれば、飛行体２０の動作を表示部１７を介して観察を続けることができる。
一方で、端末１０が端末１０ａのような姿勢である場合、カメラ１６１ａの視野ＶＳ２には、飛行体２０の動作範囲から外れてしまっている。この場合、表示部１７を見ても飛行体２０の像が映っていないため、飛行プログラムの検証を行うことが困難である。そのため、例えば第１移動体動作制御部１１２２は、端末１０が、端末１０ａに示すような姿勢であると判断した場合、飛行体２０の動作を停止するための情報を飛行体２０に送信してもよい。これにより、飛行体２０は、飛行プログラムに基づく動作を中断または中止する。
そうすると、飛行体２０が端末１０の撮像対象から外れていると考えられる場合に、自動的に飛行体２０の動作を停止させることができる。また、端末１０の使用中に操作を誤ったり、端末１０の操作を中断しなければならないなどによりカメラ１６１の画角から明らかに飛行体２０が外れたと判断される場合にも、自動的にプログラムに従った飛行体２０の動作を停止させることができる。
なお、第１移動体動作制御部１１２２は、カメラ１６１の撮像により生成される撮像画像の画像情報に基づいて、飛行体２０の動作を制御するための情報を飛行体２０に送信してもよい。例えば、該撮像画像を画像解析し、動作対象の飛行体２０の像が該撮像画像に含まれていないと判断された場合、第１移動体動作制御部１１２２は、飛行体２０の動作を停止するための情報を飛行体２０に送信してもよい。これにより、飛行体２０は、飛行プログラムに基づく動作を中断または中止する。かかる画像情報は、例えば、撮像画像そのものであってもよいし、撮像画像の輝度、彩度もしくは明度、または撮像画像の画素に係る情報等であってもよい。例えば、撮像画像の輝度が低ければ、カメラ１６１は飛行体２０が飛行可能な空間ではなく、壁や床、テーブル等の構造物に近接していることが考えられる。そのため、第１移動体動作制御部１１２２は、撮像画像の輝度（の統計情報）が所定のしきい値より低い場合に、飛行体２０の動作を停止するための情報を飛行体２０に送信してもよい。
また、例えば、第１移動体動作制御部１１２２は、マイク１６４が収音して生成される音声情報に基づいて、飛行体２０の動作を制御するための情報を飛行体２０に送信してもよい。例えば、該音声情報が飛行体２０の動作を停止する内容の音声が含まれる場合、第１移動体動作制御部１１２２は、飛行体２０の動作を停止するための情報を飛行体２０に送信してもよい。また、該音声情報が飛行体２０の動作を開始または再開する内容の音声が含まれる場合、第１移動体動作制御部１１２２は、飛行体２０の動作を開始または再開するための情報を飛行体２０に送信してもよい。
なお、本実施形態では、飛行体２０の動作を停止したりする等の例を示したが、本技術はかかる例に限定されない。例えば、端末１０の姿勢等により飛行体２０
次に、本実施形態に係る飛行体の飛行制御システム１による処理の流れの一例について説明する。図１０は、本実施形態に係る飛行体の飛行制御システム１による処理の流れの一例を示すフローチャートである。
まず、飛行体２０の飛行プログラムの設定が実行される（ステップＳＱ１０１）。例えば、コマンド取得部１１１１は、ユーザの入力により適宜並べられたコマンドオブジェクトにより、一連のコマンドから構成される飛行プログラムを取得する。かかるコマンドオブジェクトの表示は、コマンド表示制御部１１３２により制御される。
次に、飛行体２０は飛行プログラムに従って飛行を開始する（ステップＳＱ１０３）。例えば、コマンド送信部１１２１は、取得された飛行プログラムを構成する各コマンドを飛行体２０に送信する。飛行体２０は、受信した飛行プログラムに従って飛行を開始する。
次に、飛行体２０は、各コマンドに係る動作を実行する（ステップＳＱ１０５）。ここでは、コマンドオブジェクトに対応する各コマンドを順次実行することで、飛行体２０は各動作を行う。
このとき、態様表示制御部１１３３は、飛行体２０が行っている動作に対応するコマンドオブジェクトの表示態様を、他のコマンドオブジェクトとは異なる表示態様に変化させる制御を行う（ステップＳＱ１０７）。
また、かかるコマンドによる飛行体２０の動作中に、飛行体２０が撮像対象から外れたと判定される場合がある（ステップＳＱ１０９）。撮像対象から外れたと判定される場合とは、例えば、端末１０が所定の姿勢にあると判定された場合、またはカメラ１６１により得られる撮像画像に飛行体２０の像が含まれていない場合を含む。もし、飛行体２０が撮像対象から外れたと判定された場合（ステップＳＱ１０９／Ｙ）、第１移動体動作制御部１１２２は、飛行体２０に対して飛行体２０の動作を停止するための情報を送信する。一方、飛行体２０の動作中に飛行体２０が撮像対象から外れたと判定されなければ（ステップＳＱ１０９／Ｎ）、飛行体２０は適宜コマンドに係る動作を実行する（ステップＳＱ１１１）。
飛行体２０は、飛行プログラムを完了した場合、または端末１０からの情報により動作を停止した場合、飛行を終了する（ステップＳＱ１１３）。
以上説明したように、本実施形態に係る飛行体の飛行制御システム１は、コマンドオブジェクトを一例とする飛行体２０の所定の動作を指示するためのコマンドに係る情報を表示部１７に表示させ、飛行体２０の動作中において、かかる動作に対応するコマンドに係る情報を、他のコマンドに係る情報とは異なる態様で表示させる。これにより、ある時点で行われている飛行体２０の動作と対応するコマンドとの突き合せが容易となる。かかる表示部１７に表示される撮像画像を動画像として記録する際、コマンドに係る情報も表示態様とともに記録することで、ポスト処理における飛行体２０の動作の検証も容易になる。
また、端末１０の姿勢、端末１０に備えられる各種センサが取得する情報、および／または端末１０と飛行体２０との位置関係等に基づいて、予め設定された飛行プログラムに関わらず飛行体２０の動作（例えば、停止、開始または再開等）の制御が可能となる。これにより、例えば端末１０のカメラ１６１を用いて飛行体２０を観察するとき、飛行体２０が表示部１７にはっきり映っていないような場合に飛行体２０の動作を中断または中止することができる。これにより、飛行体２０の動作が失敗等によりすぐに中断させることができ、飛行体２０の動作の検証を促進させることができる。
次に、本開示の第２の実施形態について説明する。図１１は、本開示の第２の実施形態に係る端末１０における制御部１１’の機能を示すブロック図である。なお、第１の実施形態に係る機能と同じ機能を有する機能部については、説明を省略する。
本実施形態に係る制御部１１’は、上記実施形態の構成に加え、経路表示制御部１１３５および仮想オブジェクト表示制御部１１３６をさらに備える。
経路表示制御部１１３５は、複数のコマンドから構成される飛行プログラムに対応する飛行体２０の飛行予定経路を表示部１７に表示させる機能を有する。飛行体２０の飛行予定経路は、予めウェイポイントを設定して得られるものではなく、コマンドにより
指定される飛行体２０の移動等の動作に基づいて設定されるものである。すなわち、ユーザがコマンドを入力することで、飛行体２０が飛行すると思われる経路を把握することができる。
仮想オブジェクト表示制御部１１３６は、飛行体２０に対応付けられた仮想オブジェクトを表示部１７に表示させる機能を有する。かかる仮想オブジェクトは、例えば、飛行体２０に対応する仮想オブジェクトである。
（ＵＩ例）
次に、本実施形態に係る表示部１７に表示されるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の表示例、および制御部１１’の各機能による処理の例について説明する。図１２は、本実施形態に係る表示部１７に表示されるＵＩの一例を示す図である。なお、図６に示すＵＩと共通の部分については説明を省略する。図１２に示す表示部１７は、離陸前の、すなわち飛行プログラムを開始する前の飛行体２０の映像を映している。
図１２に示すように、表示部１７には、経路情報を示すマップＲＭ１、ＲＭ２が表示されている。マップＲＭ１、ＲＭ２は、それぞれ高さ方向および平面方向から見た、飛行体２０の飛行予定ルートを示すマップである。飛行体２０の現在位置は、例えばポイントＰｔ１ａ、Ｐｔ１ｂにより示され得る。かかる飛行予定ルートは、ユーザが入力したコマンドに基づいて生成され、経路表示制御部１１３５が生成されたルートを表示部１７に表示する制御を行う。
なお、マップＲＭ１、ＲＭ２には、飛行体２０の飛行予定ルートに係る情報が示されているが、例えば、飛行体２０が回転したり、その場で行う動作を行うことを示す情報がさらに表示されてもよい。
図１３は、本実施形態に係る表示部１７に表示されるＵＩの一例を示す図である。図１３に示す表示部１７は、離陸中の飛行体２０の映像を映している。図１３に示す例では、マップＲＭ１、ＲＭ２に示すように、飛行体２０がポイントＰｔ２ａ、Ｐｔ２ｂに位置していると推定されることがわかる（マップＲＭ１、ＲＭ２に示す位置は、あくまで飛行プログラムの進行に応じて推定される飛行体２０の位置である）。このように、飛行体２０の飛行予定経路を示す情報を提示することで、ユーザが入力したコマンドにより飛行体２０がどのように飛行するかを予め把握することができる。すなわち、飛行体２０の飛行プログラムに基づく飛行を実行する前に、予め飛行体２０の動作について予測することができる。
さらに、図１３に示すように、表示部１７には、仮想オブジェクトであるゴーストＧｈ１が表示されている。ゴーストＧｈ１は、撮像画像ＰＩ４を拡張空間として表示される仮想オブジェクトである。仮想オブジェクト表示制御部１１３６は、例えば、飛行体２０の飛行プログラム開始前の位置と、端末１０の位置および姿勢と、飛行プログラムの進行に応じて推定される飛行体２０の位置情報とに基づいて、ゴーストＧｈ１の表示態様（例えば、ゴーストＧｈ１の表示位置および表示姿勢）を制御し得る。ゴーストＧｈ１のような仮想オブジェクトを飛行体２０の像とともに表示させることで、飛行体２０の飛行プログラムに基づく動作についてリアルタイムで評価することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置（例えばクラウドサーバ）等により実現されてもよい。例えば、端末１０の制御部１１および表示部１７は、互いにネットワークで接続された異なるサーバにより実現されてもよい。また、上記の撮像画像は端末１０に備えられるカメラ１６１とは異なるカメラにより撮像されてもよいが、端末１０に備えられるカメラを用いることにより、ユーザにとって飛行体２０の撮像とコマンドオブジェクトの視認のいずれも容易となる。
本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る端末１０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（項目１）
画像表示制御部と、コマンド表示制御部と、態様表示制御部を備え、
前記画像表示制御部は、複数のコマンドから構成される動作プログラムに基づいて一連の動作を行うよう制御される移動体の像を含む撮像画像を、端末の表示部に表示させ、
前記コマンドは、移動体の所定の一の動作または所定の動作群に対応するコマンドであって、
前記コマンド表示制御部は、前記複数のコマンドに関する情報を、所定の表示態様により、前記端末の表示部に前記撮像画像に重畳するように表示させ、
前記態様表示制御部は、前記撮像画像の撮像時点において実行されている前記移動体の動作に対応する前記コマンドに関する情報を、前記所定の表示態様とは異なる態様で表示する、
情報処理装置。
（項目２）
前記コマンド表示制御部は、前記複数のコマンドに関する情報を、前記コマンドが実行される順に並べて表示させる、項目１に記載の情報処理装置。
（項目３）
前記コマンド表示制御部は、前記複数のコマンドに関する情報を、前記コマンドの内容に対応する態様を有するオブジェクトとして表示させる、項目１または２に記載の情報処理装置。
（項目４）
前記オブジェクトは、ユーザの入力により操作可能に表示される、項目３に記載の情報処理装置。
（項目５）
一のコマンドと、前記一のコマンドとは異なる他のコマンドとを連続して行うことが可能な場合に、
前記コマンド表示制御部は、前記一のコマンドに対応するオブジェクトと前記他のコマンドに対応するオブジェクトを接続可能な態様で表示させる、項目４に記載の情報処理装置。
（項目６）
前記端末から得られる情報に基づいて、前記動作プログラムの内容に関わらず前記移動体の動作を制御するための情報を出力する、第１移動体動作制御部をさらに備える、項目１～５のいずれか１項に記載の情報処理装置。
（項目７）
前記端末から得られる情報は、前記端末の姿勢に関する情報を含む、項目６に記載の情報処理装置。
（項目８）
前記端末から得られる情報は、前記端末と前記移動体との位置関係に係る情報を含む、項目６または７に記載の情報処理装置。
（項目９）
前記端末から得られる情報は、前記端末に備えられるセンサにより取得される情報を含む、項目６～８のいずれか１項に記載の情報処理装置。
（項目１０）
前記センサにより取得される情報は、音声情報および／または画像情報を含む、項目９に記載の情報処理装置。
（項目１１）
前記第１移動体動作制御部は、前記端末から得られる情報に基づいて、前記移動体の動作を停止するため情報を出力する、項目６～１０のいずれか１項に記載の情報処理装置。
（項目１２）
前記第１移動体動作制御部は、前記端末から得られる情報に基づいて、前記動作プログラムに基づく前記移動体の動作を開始または再開するための情報を出力する、項目６～１１のいずれか１項に記載の情報処理装置。
（項目１３）
前記移動体に備えられるカメラにより撮像された所定の標識の像を解析して得られる情報に基づいて、前記動作プログラムの内容に関わらず前記移動体の動作を制御するための情報を出力する、第２移動体動作制御部をさらに備える、項目１～１２のいずれか１項に記載の情報処理装置。
（項目１４）
前記複数のコマンドから構成される前記動作プログラムに対応する前記移動体の移動予定経路を前記表示部に表示させる経路表示制御部をさらに備える、項目１～１３のいずれか１項に記載の情報処理装置。
（項目１５）
前記表示部に、前記移動体に対応付けられた仮想オブジェクトを表示させるオブジェクト表示制御部をさらに備え、
前記オブジェクト表示制御部は、前記コマンドの実行中に、前記コマンドにより前記移動体に対して命令される動作に対応するように前記仮想オブジェクトを移動させる、項目１４に記載の情報処理装置。
（項目１６）
前記撮像画像は、前記端末に備えられるカメラにより生成される、項目１～１５のいずれか１項に記載の情報処理装置。
（項目１７）
一連の前記撮像画像からなる動画像と、前記コマンド表示制御部および前記態様表示制御部により表示が制御される前記コマンドに関する情報とを時系列で記録する動画記録制御部をさらに備える、項目１～１６のいずれか１項に記載の情報処理装置。
（項目１８）
前記コマンド表示制御部により表示される前記移動体の動作プログラムに対応する複数のコマンドに係る情報を、前記移動体に送信するコマンド送信部をさらに備える、項目１～１７のいずれか１項に記載の情報処理装置。
（項目１９）
プロセッサが、
複数のコマンドから構成される動作プログラムに基づいて一連の動作を行うよう制御される移動体の像を含む撮像画像を、端末の表示部に表示させることと、
前記コマンドは、移動体の所定の一の動作または所定の動作群に対応するコマンドであって、前記複数のコマンドに関する情報を、所定の表示態様により、前記端末の表示部に前記撮像画像に重畳するように表示させることと、
前記撮像画像の撮像時点において実行されている前記移動体の動作に対応する前記コマンドに関する情報を、前記所定の表示態様とは異なる態様で表示することと、
を含む、情報処理方法。
（項目２０）
コンピュータを画像表示制御部と、コマンド表示制御部と、態様表示制御部と、として機能させるためのプログラムであって、
前記画像表示制御部は、複数のコマンドから構成される動作プログラムに基づいて一連の動作を行うよう制御される移動体の像を含む撮像画像を、端末の表示部に表示させ、
前記コマンドは、移動体の所定の一の動作または所定の動作群に対応するコマンドであって、
前記コマンド表示制御部は、前記複数のコマンドに関する情報を、所定の表示態様により、前記端末の表示部に前記撮像画像に重畳するように表示させ、
前記態様表示制御部は、前記撮像画像の撮像時点において実行されている前記移動体の動作に対応する前記コマンドに関する情報を、前記所定の表示態様とは異なる態様で表示する、プログラム。
