点群の選択及び抽出について

私はStructure from Motionに関する研究をしており，その過程で，構成された三次元点群を元の画像座標に再投影するプログラムを組もうとしています．

点群の再投影には透視投影変換行列を用いればよいと考えますが，どのようにすれば複数画像より生成された点群データから，ある特定の一枚の画像に映り込んでいる部分だけを選択，抽出できるのでしょうか？

お教えいただけると幸いです．宜しくお願いいたします．