Vietovardis Karoliniškės, kalbininko Jono Jurkšto nuomone, tai dirbtinai pasidarytas naujadaras, atsiradęs iš lenkiško pavadinimo Karolinka. Taip vadinosi šioje vietoje buvęs dvarelis, kuris priklausė turtingai paveldėtojai Karolinai. Taip pat, jo nuomone, vietovardis galėjo kilti iš XIX a. čia buvusios Karolinų karčiamos (lenk. karczma Karolinów). Netoli dabartinių Karoliniškių teritorijos buvo bent keli seni kaimai: Šaltūnai, Raišiai, Raišeliai ir Gudeliai. Kalbininkas Aleksandras Vanagas siūlė naująjį mikrorajoną pavadinti Šaltūnais, bet to nepadaryta. XIX a. Karoliniškių apylinkėse buvo tik trys sodybos, o šalia – minėtasis nedidelis Šaltūnų kaimas. Vietovėje XIX a. antroje pusėje veikė plytinė. Karoliniškės, kaip vaizdinga vietovė, senovėje buvo mėgstama vilniečių iškylų, susibūrimų vieta. 1896 m. gegužės 1 d. Karoliniškių miške vyko darbo žmonių šventės minėjimas. Prieš Pirmąjį pasaulinį karą šiose apylinkėse tarp kalvų ir miškeliais apaugusių skardžių siautė plėšikai. Išlikę pasakojimų, kad šiose kalvose ir lomose plėšikai slėpė prisigrobtus turtus. Po Antrojo pasaulinio karo šioje vietoje buvo tarybinis ūkis, grūdų selekcijos stotis, sodai.