обычное:
X = x * cos(a) - y * sin(a);
Y = y * cos(a) + x * sin(a);

вокруг центра:

X = x0 + (x - x0) * cos(a) - (y - y0) * sin(a);
Y = y0 + (y - y0) * cos(a) + (x - x0) * sin(a);
где, (x0, y0) — центр, точка вокруг которой нужно вращать