Не работам C#, но како што гледам има Matrix класа ,и во неа има invert метода , не гледам причина зашто не би ја искористил неа ?
http://msdn.microsoft.com/en-us/library/system.drawing.drawing2d.matrix.invert(v=vs.110).aspx?cs-save-lang=1&cs-lang=csharp#code-snippet-1
Доколку не ти заврши ова...