画像: マーク・ハッハマン / IDG
マイクロソフトは、機械学習を活用してWindowsアプリの性能を大幅に向上させています。シアトルで開催されたマイクロソフトの開発者カンファレンス「Build」で月曜日に行われたテクノロジー・スニーク・ピークにおいて、幹部らはWindows Inkを用いて、Windows 10の2018年4月のアップデートで初めて導入された機械学習API「Windows ML」の可能性を実証しました。
Windows MLはAPIであるため、一般ユーザーが目にすることはありません。しかし、このAPIは、開発者がWindowsおよびWindowsアプリにおいてCPUやGPUのパワーを活用してユーザーのニーズを予測し、それに応じて動作するためのフレームワークを提供します。
デモに参加した幹部たちは、披露したInk機能は今後大幅に変更される可能性があり、あるいはリリースされない可能性もあると明言しました。それでも、彼らが示した未来は、現在のWindowsの仕組みから数歩前進したものでした。
一例を挙げましょう。現在、Windows 10 向けの OneNote アプリは、手書きで入力した数式を解けるほど賢くなっています。しかし、その操作を実行するたびに、ペンで数式を「投げ縄」のように囲み、Windows に操作の指示を伝える必要があります。
Windows Inkチームは、Windows MLがインク体験におけるこれらの問題やその他の課題にどのように対処できるかを披露しました。例えば、インクは以下の用途に使用できます。
- 適切な値が見つかるまでスライダーを前後に動かすのではなく、スライダー バーに必要な値を入力します。
- ユーザーが数式、フローチャート、または表を手書き入力していることを Windows が認識できるようにします。
- Windows の Sticky Notes アプリや WordPad アプリとは異なり、OneNote でインクが使用されるときの動作を変更します。
- ペイントブラシの適用のテクスチャを速度によって変更します。
- 認識機能を使用して、Office Lens に OCR 機能を付与します。

Windows ML では、インク ブラシの深さとテクスチャをその場で調整できます。
Office Lens OCRの例は、Windows MLで構築された認識プラットフォームの可能性を示しています。Office Lensは、例えばホワイトボードの写真を読み取りやすいように位置合わせする機能に優れたモバイルアプリです。しかし、ホワイトボードに書かれたテキストを「読み取る」機能はまだありません。現実世界を「見る」能力はMicrosoftの優先事項であり、機械学習はOffice Lensをはじめとする様々な分野でこの優先事項をさらに推進する可能性があります。
Office Lens が実際にこの機能を搭載するかどうかについて、Microsoft のプログラムマネージャーであるカイル・ベック氏は、彼のチームはインクプラットフォームの設計に携わっているだけで、最終的にどこに展開するかは彼の判断ではないと述べました。しかし、Office Lens はこの機能に「自然に適合する」だろうと付け加えました。

これが、Ink がインクで書かれた数式を認識する方法です (少なくとも認識できる方法です)。