Из-за безоговорочного признания происхождения Конфуция из известной семьи, возводившей род к знатному клану княжества Сун, стали считать, что он жил в условиях, подобающих аристократу. Биографы, например Линь Юйтан, написавший новое критическое жизнеописание Конфуция, считают его вельможей с рафинированными интересами и утонченными чувствами и думают, что он жил среди аристократической изысканности. 

Взрослый Конфуций рассматривал аристократию как идеал человеческой культуры (это отразилось в его концепции «благородного мужа»). Поэтому нельзя отрицать, что он испытывал некоторое почтение к жизни знати. Это почтение, тем не менее, следует трактовать как следствие неудовлетворенных желаний его юности, когда он жил в условиях, полностью противоположных безбедной и роскошной жизни знати.
Отец Конфуция Шулян Хэ обладал рангом и жалованьем, подобающими положению его семьи: он не принадлежал к аристократии. Его репутация мужественного воина была приобретена благодаря выдающемуся военному таланту, храбрости и требовавших находчивости боевых подвигов. Он принадлежал не к наследственной знати, а к служилым, несшим военную службу: этот класс выдвинулся в середине периода Весен и Осеней и в последующие годы и служил знати, научившись военному делу и зарабатывая этим себе на жизнь.
Знатные семьи, то есть «благородные мужи», обладали обширными землями в земледельческих районах, кормились и одевались с дохода от этих владений, хотя в то же время в окрестностях городов-государств они строили особняки, где обычно и жили. Знатные люди были горожанами и жили внутри городских стен. В противоположность им обычный народ, который называли «маленькими людьми» (поскольку их контролировала знать), представлял собой большинство, занимавшееся сельским хозяйством и жившее за пределами пространства, обнесенного городскими стенами, в «полях».
Рассказывают, что, когда Конфуций впервые получил должность и совершал церемонии на службе в луском храме предков, над ним смеялись жители Лу, говоря: «Может ли быть, что сын человека из Цзоу действительно знает ритуал?» 

Здесь слова «сын человека из Цзоу» использует один из знатных горожан луской столицы Цюйфу, чтобы выразить презрение к сыну воина-служилого, живущему в деревне. Ведь Шулян Хэ, хотя и получил в старости должность командующего дивизией, оставался провинциальным выскочкой: его грубая деревенская жизнь не могла отличаться той утонченностью и изысканностью, которые были свойственны быту знатных горожан.
Итак, ясно, что с отцовской стороны Конфуций происходил из недавно выдвинувшегося класса воинов; но мы и не располагаем данными, чтобы считать, что его мать происходила из известной луской семьи. Напротив, она, по-видимому, происходила из простонародья. Больше того, существует традиция, согласно которой Шулян Хэ и девушка из рода Янь не сочетались браком должным образом. Конфуций, рожденный от этого союза, быстро лишился не только отца, но и матери и стал сиротой, которому не к кому было обратиться. Когда он был молодым, в его жизни не было ничего от аристократической роскоши, которую обычно представляют себе люди. Ему, неимущему сироте, вероятно, приходилось жить в величайшей нужде.
Первый министр княжества У (оно во время жизни Конфуция стало играть немаловажную роль в политической деятельности центральной равнины; княжество Лу тоже одно время признавало У главой союза государств) в разговоре с учеником Конфуция Цзы Гуном, ставшим луским послом, как-то спросил, почему его Учитель, несмотря на то что он мудрец, знает так много о второстепенных делах. Когда Конфуций услышал об этом, он сказал, обратившись к Цзы Гуну: «В молодости я был беден: вот почему я научился многим презренным занятиям. Многими ли такими умениями владеет благородный муж? Нет! Не многими».

 Ранее Конфуций говорил также: «Благородный муж – не орудие». Под этим он имел в виду, что благородный муж (цзюнь-цзы), идеальный аристократ, не обучается никаким специальным техникам, готовясь к определенной профессии; в нем должна быть воспитана личность, чтобы он был способен управлять теми, кто занимается профессиональной деятельностью. В таких обстоятельствах любое проявление склонностей или способностей к обычным делам не должно было быть присуще благородному мужу или знатному человеку. Это казалось неким недостатком, ни в коей мере не подобающим мудрецу. Тем не менее, Конфуций признал, что он родился в бедной семье, и поэтому ему пришлось отказаться от всеобъемлющего общего образования, которое получали аристократы, и уделить основное внимание изучению профессиональных специальных навыков.
В «Изречениях» нет ясного указания, что за навыки приобрел Конфуций. Как-то он сказал своим ученикам: «За что бы мне взяться? За управление колесницей или за стрельбу из лука? Пожалуй, за управление колесницей». Видимо, он так и не захотел как следует научиться военным искусствам – управлению боевой колесницей или стрельбе из лука в случае чрезвычайного положения в стране, а служилый в армии не мог этим пренебречь. Но стремление к приобретению подобных умений не соответствовало образу мыслей Конфуция, несмотря на то что он был сыном воина – служилого, завоевавшего в Лу широкую известность. 

Широкоплечий и, по всей вероятности, сильный, этот сын доблестного воина не стремился к достижениям на профессиональном военном поприще.
Согласно «Историческим запискам», в детстве Конфуций часто играл, расставляя жертвенные сосуды в определенном ритуалом порядке и предлагая богам жертвы. Конечно, нельзя установить, насколько достоверна эта история, но она выглядит похожей на правду. Хотя Конфуций и был сыном воина, он говорил, что в юности «в пятнадцать лет устремил свою волю к учению». Это было радикальным отходом от унаследованного им образа жизни и от привычной ему среды. Однако сейчас, к несчастью, мы не в состоянии выяснить, чем он руководствовался в выборе совершенно чуждой области занятий и в решении положиться на скудный доход, – ведь этим он обрекал себя на бедность. Он говорит о себе: «В сорок у меня не осталось сомнений». 

Значит, в интервале между тем, как он впервые открыл в себе стремление обрести ученость, и окончательным формированием собственного образа мыслей в сорок лет Конфуций вполне мог переживать периоды мучительного беспокойства. Но он добавляет: «В пятьдесят я познал веление Неба». И значит, в этом возрасте он действительно постиг, что его первоначальное решение посвятить свою жизнь учебе было задачей, возложенной на него Небом. В старости Конфуций считал учебу долгом, к которому обязывает Небо, однако для него не так важен был субъект, как побуждение. И о мотивах, побуждающих к учебе, он говорил: «Древние ученые учились для себя, а современные – для людей». 

По-видимому, этим он хотел сказать, что его современники учились с целью показать свою ученость другим и похвалиться ею. Но для ученых старых времен (то есть для идеальных ученых) учеба была самоцелью. Возможно, вернее было бы сказать, что Конфуций не «избрал жизнь ученого», а «естественным образом оказался на пути ученого».