Kleine Viecher an meiner Fensterbank wie werd ich sie los?

Das könnten Springschwänze sein, die in den unterschiedlichsten Farben auftreten, wie Du siehst - und sie können springen.

Diese Tierchen sind harmlos, stechen und beissen auch nicht.

Bei hoher Luftfeuchtigkeit sind sie eher zu sehen als sonst - sie stellen aber nichts an, wenngleich sie auch lästig sein können.

Draußen in der Natur räumen sie mit modrigem Laub, Pilze, Pollen auf, .. sie sind somit eher nützlich. Daher sind sie auch gerne in Kellerschächten, Kellern und an deren Fenstern zu finden.

Los wird man sie bei undichten Fenstern und Türen wohl nie ganz.
Einfach mit dem Besen auffegne und rausbringen.