どうもSurface Pro2にリモートデスクトップすると、キーボードが英語配列になっている。
一応英語配列のままでもalt+半角キーで日本語入力はできます。
日本語が打てないわけじゃないのでそのままでも使えるのだけれど、
修正の仕方をメモしておく。
まずはデバイスマネージャーを開き、
キーボードの中にあるリモートデスクトップキーボードデバイスを右クリック、
ドライバーソフトウェアの更新を選択。

コンピューターを参照してドライバーソフトウェアを更新を押す。
コンピューター上のデバイスドライバーの一覧から選択を押す。

互換性のあるハードウェアのチェックを外す。
(標準キーボード)から日本語PS/2キーボード(106/109キー)に切り替え、
次へを押す。

警告出るけど「はい」を押す。
んでPC再起動させればOK。
おそらくSurface Pro/Surface Pro3も同様かと。