電機メーカーでのインターンシップ

アノテーション途中経過 アノテーション作業の途中経過を報告させて頂きます。  $nano predifined_classes.txt  まずディレクトリ変更でlabelImg内のdataディレクトリに指定し、上記のようなnanoエディタで自分の名前、家族、othersをそれぞれ一行ずつクラスラベルに指定して保存しました。 続いて、 cdコマンド でディレクトリをlabelImg内のstudent変更します。 ここで unzipコマンド を入力し、studentディレクトリ内のzipファイルを解凍 $cd labelImg でディレクトリ変更し、 $python3 labelImg.py でラベリングソフトを起動 Open Dirのでstudentディレクトリを選択しopenする。 ツールバーのViewの Auto Save mode と Single Class Mode にチェックを入れ、 一枚目の写真をラベル選択する前に PscalVOC をクリックして YOLO に変更しておきました。 一回目はこの作業を抜いてしまっていたのでラベル選択し保存した際に.xmlファイルでstudentディレクトリに保存されてしまいました。 その後、上記のYOLOに変更するとラベル選択し保存した際に.txtファイルで正しく 1 0 ~座標 のように格納されていました。 ラベル選択後にstudentディレクトリに保存されるテキストファイル 写真はありませんが、ラベル選択し保存する際に、あらかじめ変更しておいたpredifine_classes.txtの三つのクラスラベルのどれに指定するか選択しました(今回はまず自分の顔をアノテーションするのでクラスラベル１を選択)。 また、アノテーションの作業中は気づいてなかったのですが、predifine_classes.txtを変更してからlabelImgを起動したからなのか、studentディレクトリの中にclasses.txtというファイルが作られていました。 classes.txtの内容 ここからはstudentディレクトリ内の写真をラベル選択して保存していくだけなので、キー操作で作業を効率化しながらこなしていきます。また、ラベル保存した際に、画像ファイルと同じ名前のテキストファイルが保存されていることを確認しながら進めていきます。 具体

3/11の出社内容 画像認識のアノテーションについて： アノテーションで用いる自分が写っている写真を少しずつ集めてJetson nanoのstudentフォルダにダウンロードしていました。集めていた素材一つ一つに対して自分の顔が写っている部分だけをトリミングしてから保存していましたが、距離感も含めて機械やソフトに学習させ、自分の顔の認識率を得るためにトリミングを施さずに元のサイズのままアノテーションすることになりました。また、正面を向いている写真だけをアノテーションに使用しても顔の認識率はなかなか上がってこないので、横・斜めなど様々な方向を向いてたり、髪の長さや容姿の異なる写真をできるだけ選んでアノテーションすることが重要とのことでした。また、自分と自分以外を見分けるためにclass指定を0と1の2つだけにしては確率が50%と表示されても、アノテーションや画像認識が上手くいったか確認することが難しいので、自分の写真だけをアノテーションに使用するのではなく、家族や友人などの写真もアノテーションに使用することになりました。 次回の出社までに進める作業内容について： 参考サイトを見ながら、自分の写真に対してアノテーションの作業をします。1,000枚以上あるので時間がかかると思いますが丁寧にやっていきたいと思います。 また、久しぶりにコマンドを打ち込むこんだり、Jetson nanoをいじることになるので、もし誤りや気づかないミスが生じて動かなくなってもいいように、予備に購入したmicroSDカードに現在のものをコピーしておきます。 Unity ReflectとAutodesk Revitを用いた3DデモとARについて： 前回の作業報告の際に、AR再現するときは Tabletop を用いたので、カメラビューと3Dモデルのスケールは100 : 1に指定されていたので実際のサイズよりも小さく映っていました。 今回出社させて頂いた際は View Match モードを使用しました。 View Match モードを用いるとカメラビューと3Dモデルを 1 : 1 のスケールで表示し、3Dモデルを実寸サイズで再現できるはずなのですが、実際には 1 : 1 に表示することはできませんでした。Fusion360から3DモデルをSATファイル形式でエクスポートする際にスケールが変更されてしまう

 3DバーチャルデモとAR Unity Reflect とAutodesk Revit 2021の3Dデータを連携し、iPad ProのViewerでAR再現 目的： ・Autodesk Fusion360やAutodesk Revit 2021で作製した3Dモデルを3次元空間に配置すること。 ・ARやVRと融合してリアルタイムでデジタル上に再現すること。 使用したソフトウェアやアプリ： ・Autodesk Fusion360  ・Autodesk Revit 2021 無料体験版 ・ Unity Reflect 無料体験版 (無料のViewerが付属しています) ・ Unity Reflect Viewer iOSアプリ  (iPad ProでViewerを使用するため) 実際に行った操作の手順： 1. 動画 や 参考資料 で内容を確認 2.Autodesk Revit 2021を教育利用の無料体験版でダウンロード 3.Autodesk Revit 2021にFusioin360で作製した箱や棒をインポート    Fusion360からエクスポートする際、SATファイル形式(*.sat)にしました。 4.Unityアカウントにログインして配布されたトライアルコードを入力しプロジェクトにUnity Reflectを追加( 詳細は参考資料 ) 5.Unity Reflect Installerを起動し、Autodesk Revit 2021にチェックを入れて、Revitに    Unity Reflectのプラグインをインストール インストールが完了するとメニューバーにUnity Reflectが追加されます。 6.Revit上の3Dモデルを選択し、Reflect Severにエクスポート 7.Unity Reflect Viewerにアカウントでログインし、6.の情報が3次元空間にアップロードされていることを確認( 各種UIなどは参考資料から ) 8.iPad ProでViewerを起動しアカウントでログインし、 ARモード (Tabletop AR)で現実空間と3Dモデルを融合         ※ 画面録画の容量が大きく直接アップロードできないので、 共有リンク で視聴お願いします。 以上が実際に行った作業になります。参考資料の説明が簡潔で分かりやすかったので、特