スマートペースト・ファイルとツールバー モデル駆動型アプリのCopilotご紹介その④

コンテンツ

はじめに

モデル駆動型アプリやキャンバスアプリに色々なCopilotがいるので、概要や活用イメージなど紹介していくシリーズです。
その④では「スマートペースト(Smart Paste)」と「ファイルとツールバー」をご紹介します。
フォーム上部にテキストや画像、ファイルをコピペ、またはファイルアップでCopilotがフォームの入力項目へ候補を提案してくれる機能です。
テキストだけではなく画像やファイルからもOCRで入力補助される点がすごい機能です!
現時点でも日本語環境でプレビュー機能として使えるようになっています。

NOTE2025/5月上旬時点での情報となります。今後アップデートされていきますので、ご確認された際に古い情報となっていた場合はご了承ください(プレビューからGAや英語のみから日本語対応、ライセンスなど)
適宜チェックはして更新はしようと思いますのでご容赦ください。

Power AppsのCopilot 一覧資料

2025/4/30にコミュニティ「なんでもCopilot」に登壇した際の資料をドクセルへアップしております。
こちらではPower AppsのCopilotを一覧にまとめてそれぞれ概要などを記載しております。

また以下ページでもブラウザ版の一覧として記事にしていますのでご参考ください。

公式記事

公式のDocs記載部分は以下です。以下3つの機能が併せて載っています。

  1. ユーザーのアプリの使用状況、フォームで既に利用可能な情報、頻繁に使用されるデータに基づきます。
  2. ユーザーがスマート貼り付け (プレビュー) 機能を通じて提供するコピーされたテキストに基づきます。
  3. ユーザーがFiles (プレビュー) 機能を通じて提供するファイルの内容に基づきます。

NOTE今回の記事では上記1の入力支援(頻繁に使用するデータに基づく提案)は割愛しています。

モデル駆動型アプリで Copilot フォーム入力支援機能を使用する – Power Apps | Microsoft Learn

また、以下公式ブログでも動作含めて確認出来ます。こちらでは手書きの内容からも取込み出来てます。
AI で画像を貼り付けたり、ファイルを追加したりして、フォームにすばやく入力する – Microsoft Power Platform ブログ

また、MVPのやまさんもQiitaで検証された内容を記事にされています。こちらもあわせてご覧ください!

環境の設定について

環境の設定>機能の画面でこの機能がオンとなっている必要があります。
以下3つの関連機能がありますが、明示的にオンとすれば環境でオンになります。デフォルトの場合はリリースチャネルや環境の言語などによりオンとオフの状態が分かれます。

TIPS少し前はファイルとツールバーの項目はなかったんですが記事投稿時点で見たら増えてました。日本環境では今時点ではデフォルトだとオフっぽいです。こちらをオン(またはアプリの設定でオン)にすると後述するファイルからの取り込みに対応するツールバーに変わります。


機能設定の管理 – Power Platform | Microsoft Learn

ファイルとツールバーはアプリ単位での設定もある

上記は環境での設定ですがアプリの設定でもオンオフがあります。アプリ単位での設定も出来るのはいいですね。
環境がデフォルトの場合でもアプリ単位でオンにするとツールバーが表示されるようになりました。

スマートペースト(Smart paste)

まずスマートペーストについてざっくりご紹介すると、テキストまたは画像をクリップボードにコピーしてフォーム上で貼り付けるとフォームの項目から対応する入力候補を提案してくれます。

また、以下がファイルとツールバーとも共通の制限事項です。特に対応する列の種類がポイントですね。

NOTE・提案は、メイン フォームとクイック作成フォームのフィールドに対してのみ生成されます
・現在サポートされているフィールド タイプは、テキスト、数値、選択、日付です
・列セキュリティが設定されたフィールドは、現在サポートされていません

テキストまたは画像からクリップボードにコピー

以下では、ユーザー情報を書いた画像をコピーしています。テキストをコピーしても同様に使えます。

スマートペースト貼り付け(アイコンまたはCtrl+V)

以下のスマート貼り付けのアイコンをクリックまたはフォーム上でCtrl+Vで貼り付けます。
(ファイルとツールバーが有効でない場合は上部にスマート貼り付けのアイコンがあります)

そうするとフォームの入力項目に提案として下書き入力されます。
以下のように結構精度高い内容で入力候補が入ってくれます!画像にある項目がちゃんと対応する入力項目に入っています!素晴らしいですね!

(以下はファイルとツールバーをオンにした状態での画面ショットです。位置がリボンからフォーム上部に移動します)

取込み内容を確認して確定する

ホバーすると取り込んだ項目が表示されます。今回は以下の項目が取り込まれているようです。

入力項目をホバーすると取りこんだ項目に対応する値がホバー表示されます。
入力があっていれば✓アイコンをクリックで1項目ずつ確定出来ます。×アイコンで破棄されます。

右側の「〇件のサジェスチョンを受け入れる」をクリックすると候補がすべて確定されます。
(この時点ではまだレコードの保存はされていません)

フォーム上部の保存、保存して閉じるをクリックすると入力した内容でレコードが登録されます。

提案が残っている状態で保存せずにフォームから離れようとすると以下のように提案を破棄して続けるか聞いてきます。

英語の列への貼り付けも精度が高かった

試しに英語環境で同じ画像ファイルからコピペしてみたんですが、こちらでもちゃんと対応する項目に入っていました。やりますねー!

ファイルとツールバー

前途した設定でオンにしている場合はツールバーの表示になります。(すでに先ほどの画面ショットでそうなっていますが)

この表示の場合だとファイルのアップロードアイコンまたは中央のエリアにファイルをドラックアンドドロップでファイルから取込み→提案が同じように出来ます!

対応するファイルは以下と載っています。また、秘密度ラベルで分類されたファイルはサポートされていないともあります。

対応ファイル拡張子.txt、.docx、.csv、.pdf、.png、.jpg、.jpeg、.bmp

TIPSPDF、Wordが対応しているの素晴らしいですね!また、こちらには載ってないですが以下のようにエクセルファイルでも取込みしてくれました!

以下、エクセルファイルで同様のユーザー情報をファイルのアップロード、またはドラックアンドドロップします。

画像ファイルの場合と同様に取り込まれ候補が提案されます!

列ごとに提案させないようにする設定もあり

テーブルの列ごとに上記の入力提案をさせる、させない設定があります。既定ではオンとなっているので提案させたくない場合はここをオフにすることで対応できます。(対応する列種類の場合のみチェックボックスが表示される)

利用用途と対応範囲(単票のフォーム対応・列種類の対応)

上記のとおり、取引先の情報やユーザー情報、企業の情報、その他何かしらの情報が画像やファイルで連携される場合にその登録にかなり活用できると思います。

名刺を取引先の社員情報として取り込んだり、アンケートなどの情報を対応するテーブルにフォーム上から取り込めます。開発不要で設定のみで出来るというのが大きいと思います。

逆に明細が含まれる見積(フォーム上にサブグリッドがあるもの)などでサブグリッド部分までは対応できません。
また、参照列もサポート外の列なのでそのあたりは適用外となります。

NOTE現時点でサポートされている列の種類はテキスト、数値、選択、日付の4つ

見積など複雑な内容はAI Builder+カスタムページなどのカスタムで対応も可能

上記とはズレますが、対応範囲外の取込みをしたい場合は以下の記事でご紹介しているような実装で取込みも可能です。
複雑な場合はこういったカスタマイズでの対応は可能ですが、通常のフォーム入力ならカスタム不要で上記のようにOCR取込みができちゃうのはすごいですよね!

将来のアップデートでもしかしたらキャンバスにも来る?

アップデート予定の紹介である「2025 release wave 1」のPower Appsの概要ページにある動画を見ていたら
別のCopilotが活躍する機能のプラン デザイナーの新機能で従来の自動生成のキャンバスアプリの他にキャンバスっぽく見えるアプリを作ってくれるようなんですが、それにスマートペーストとファイルとツールバーが載っていました。

ちょっと正確な内容がわからずなんですが、もしかしたらキャンバス側にもこれがくるの??と思わされます。(または自動生成されるやつ専用だったりする?)
もしキャンバスでも使えるってことならさらにすんばらしいですよね!(わからないけど)

Power Apps 2025 年リリース サイクル 1 の概要 | Microsoft Learn

プラン デザイナーで作成されるアプリ?に同じやつがいる

Power Apps 2025 Release Wave 1 Release Highlights – YouTube

おわりに

ということで今回はスマートペーストとファイルとツールバーについてご紹介しました。
併せて入力支援(頻繁に入力される内容から入力候補を提案)もありますがこちらは公式ご参考ください。

Power AppsのライセンスだけでOCR取込みが出来ると考えるとかなりインパクトのある機能だと思います。
公式のブログでもこの機能で入力完成が29%向上し95%が手動入力より良いと言っているようです。

インフォメーションワーカーを対象とした調査によると、AIアシスタンスにより、フォームの完成が29%速くなり、95%が手動入力よりもAIアシスタンスを好むことがわかりました

Power Appsの使う系Copilotの中でもかなりイケている機能です。日本環境、日本語でも対応しているのでモデル駆動型アプリを利用している場合は積極的に使っていきたいですね。またこの機能があるってことを踏まえてスタンドアロンライセンスの必要なDataverse・モデル駆動型アプリの導入を検討いただくのも良いかと思います。それでは!

関連記事

この記事は役に立ちましたか?

もし参考になりましたら、下記のボタンで教えてください。

ヨウセイ

ヨウセイ

一般職からSharePoint、C#、.NET系技術者へ、そこからPower App、Power Automate技術者へと転身。 ワンランク上のおっさんはPower Appsでシステム開発が出来る〜! qiitaや自社HPでも技術ブログを書いていました。

関連記事

コメント

この記事へのコメントはありません。

コンテンツ

CONTENTS