知らないとどうしようもないのでメモ。
renderWindowのSetParentId関数(ウィンドウ全面に表示したいならSetDisplayId関数)を使う。
その他、SetSizeやSetPositionを使えばやりたいことはできるかと。
VTK: vtkWindow Class Reference
VTK: vtkRenderWindow Class Reference
SetParentId関数の引数にはウィンドウハンドルを突っ込む。
MFCならGetSafeHwndなどを使うと良い(流石に古いか)。
まぁvtkをラップすればC#,WPFとかでも使えるけども。
ウィンドウハンドルが分からなければ調べてから使うこと。