杜牧的《阿房宮賦》寫述了秦始皇後宮女子的生活：“妃嬪媵嬙，王子皇孫，辭樓下殿，輦來於秦。朝歌夜弦，爲秦宮人。明星熒熒。開妝鏡也。綠雲擾擾，梳曉鬟也。渭流漲膩，棄脂水也。煙斜霧橫，焚椒蘭也。雷霆乍驚，宮車過也。轆轆遠聽，杳不知其所之也。一肌一容，盡態極妍。縵立遠視，而望幸焉。有不得見者三十六年。”
這樣的描繪，看起來細緻生動，然而卻大體是基於文學家自己的浪漫想象。當然，這種想象有作者對於唐代宮廷生活的知識作爲依據。
可惜歷史有限的相關記載，沒有能夠給我們提供反映秦始皇后宮生活的真切的相關信息。
秦始皇個人的情感經歷，性愛生活，究竟是一種怎樣的情形呢?
我們只知道，秦始皇的兒子和女兒，人數並不算少。
《史記·高祖本紀》司馬貞《索隱》寫道：“《善文》稱隱士雲‘趙高爲二世殺十七兄而立今王’，則二世是第十八子也。”說趙高爲了立胡亥爲帝，殺了秦二世的十七個哥哥，這麼說來，秦二世胡亥是秦始皇的第十八個兒子。
《史記·秦始皇本紀》說，秦二世胡亥登基之後，清洗宗室中有可能動搖他的權力和地位的力量，有六位公子戮死於杜。公子將閭兄弟三人被囚於內宮，後來拔劍自殺。《李斯列傳》說，秦二世即位後，有公子十二人僇死咸陽市，有十位公主死於杜。另有一位公子高，本來想要逃走的，但是又擔心他的家人被殺害，於是上書請求爲先帝從死，葬於麗山腳下。
《秦始皇本紀》所謂六公子戮死於杜，和《李斯列傳》所謂公子十二人僇死咸陽市，很可能有重複的情形。如果只是按照《李斯列傳》的說法，那麼，包括公子扶蘇和胡亥，則秦始皇的子女至少有二十五人。如果再加上公子將閭兄弟三人，則一共有二十八人。
如果六公子戮死於杜和公子十二人僇死咸陽市並不重複，那麼，秦始皇的子女竟然多至三十四人。
這其實只是我們根據胡亥殺害其兄弟姐妹的相關資料作出的統計，實際的人數，可能還要多。
據學者張文立統計，認爲“始皇帝有兒子三十位，女兒十五位，子女共四十五位”。
這樣說來，似乎應當消除秦始皇的性生活可能不正常的疑慮。
和其他大有作爲的帝王不同的是，素始皇的女人們沒有一位在史書記載中留下過姓名。
在荊軻行刺秦王政時，唱“羅縠單衣，可掣而絕;八尺屏風，可超而越;鹿盧之劍，可負而拔”，從而提醒秦始皇拔劍自救的女子，應當也是在秦始皇身邊服務的女性。這位救了秦始皇性命的女子，也沒有人能夠知道她的姓名。
《水經注·沔水》裏邊有這樣一段話，說《太康地道記》記載：吳地有鹽官縣。樂資《九州志》說：縣有秦延山。秦始皇曾經經過這裏，隨行美人去世，葬于山上。山下有美人廟。《浙江通志》卷一一《山川三》“海鹽縣”條寫道：“秦駐山，《至元嘉禾志》：在縣南一十八里。樂資《九州志》雲：縣有秦徑山，秦始皇經此，美人葬於此山下，有美人廟，故名。《水經注》雲：海鹽縣南有秦望山，秦始皇登以望海。”又錄有彭紹賢《秦駐山詩》二首：“水淺蓬萊歲幾更，凡夫那解馭風行。空教海外留徐福，一片荒山浪得名。”“翠蓋金文想象間，昔時流水尚潺湲。美人似念今祠廟，死作山花不肯還。”《山東通志》卷六說，文登縣北三十里有“燒車嶺”。據《古今圖書集成·職方典》說，秦始皇東巡經過此地，有妃生子而死，於是自燒其車。
看來，秦始皇出巡時，是有女子隨行的。
有人對秦始皇的皇后予以關注，提出了“爲什麼秦始皇沒有立皇后”的問題，並且認爲這是一個“千古之謎”。
討論者認爲，秦始皇在有機會立皇后的時間內沒有立皇后，有許多原因，但主要原因是很複雜的。除性格多疑擔心皇后掣肘外，還跟秦始皇追求長生不老和後宮美女過多有關。此外，由怨母而仇視女人的心理陰影，使秦始皇長大後在婚姻能力上未能健康發展。由母親行爲不諧而形成的心理障礙，也是秦始皇遲遲未立後的重要因素之一。
據說，秦人在秦孝公以後對於立後和立太子之事已制度化，秦國在發展壯大過程中，各種國家制度已臻完善，秦統一中國後更全面建立了各種制度，並定出了皇帝的正妻爲皇后、母親爲皇太后的制度。但是秦始皇帝始終沒有設立皇后，這成爲令人費解的千古之謎。
其實，說秦國從秦孝公時代起，立後、立太子已經制度化，似乎是缺乏充分的論證的。現在我們看到的資料，尚不足以說明秦國從秦孝公時代起，就已經存在這種完備的制度。實際上，秦始皇的先祖們的正妻，也就是所謂“後”，在史書中均罕見其事蹟。《史記·秦本紀》說，“(惠文後)不得良死。悼武王后出歸魏。”事在秦昭襄王二年(公元前305年)，她們的實際身份，其實已經不再是王后。“惠文後”名號的使用，其實已經在她具有太后身份之後：“惠文後，武王母也。”“武王即位，尊夫人曰惠文後。”
讀秦史的時候，我們常常看到秦國的“太后”如何如何，卻很少看到“後”的活動。事實上，秦孝公到秦始皇共有七位帝王，我們只看到兩位王后的名號，一位即“葉陽後”。《漢書》記載：西漢名臣張敞說：“臣聞秦王好淫聲，葉陽後爲不聽鄭衛之樂。”顏師古注引孟康的解釋：“葉陽，秦昭王后也。”另一位即孝文王后。《史記·秦本紀》：“秦昭王五十六年，薨，太子安國君立爲王，華陽夫人爲王后，子楚爲太子。”然而這位華陽夫人只做了一年的王后。“秦王立一年，薨，諡爲孝文王。太子子楚代立，是爲莊襄王。莊襄王所母華陽後爲華陽太后。”關於“葉陽後”，王先謙《漢書補註》引述了沈欽韓的說法，認爲《論衡·譴告》中說到“秦穆公好淫樂，華陽後爲之不聽鄭衛之音”。所以《張敞傳》“葉陽”是“華陽”之誤。“葉”字和“華”字確實字形相近，誤寫誤讀是可能的。如果沈欽韓的說法成立，那麼，在秦史記錄中，從秦孝公到秦始皇七位帝王統治的一百五十一年間，我們只看到一位只當了一年的王后。
秦國王后們的事蹟不見於文書的記載，這可能和秦的文化傳統有關。秦始皇大概繼承了這樣的傳統，因此秦始皇的皇后在史籍中的沉默，是自然的事，並不構成什麼“令人費解的千古之謎”。《初學記》卷一〇《中宮部·皇后第一》說：“秦稱皇帝，正嫡曰皇后，漢因之。”如果秦始皇不立皇后，大概不會有“秦稱皇帝，正嫡曰皇后”的說法。我們似乎不能因爲現在還沒有看到秦始皇皇后的事蹟，就斷定“秦始皇帝始終沒有設立皇后”。
