Тем не менее те из учеников, кто все же находил с Ли общий язык, описывали его как доброго, застенчивого мальчика, с которым было интересно проводить время. Его учительница в четвертом классе вспоминала, что Ли подарил ей на Рождество 1949 года щенка и потом навещал ее, чтобы поинтересоваться жизнью своего бывшего подопечного.
С братьями у мальчика были хорошие отношения. Но те не брали его с собой — обычная история любой семьи, где у детей существенная разница в возрасте. Поэтому большую часть времени Ли был абсолютно один. Правда, у него была собака, коллекция марок, книги и шахматы. Мальчик любил слушать радио, позднее (когда появилось телевидение) смотреть телевизор. Он жил в своем мире, почти никак не связанном с реальным, существовавшим вокруг него. В то время соседи стали замечать, что у него вспыльчивый нрав. Похоже, он проявлялся тогда, когда кто-то пытался отвлечь его от любимых занятий, сделать его таким, как остальные ребята. В свою очередь, такие попытки вызывали в нем реакцию стойкого и упорного сопротивления. Позднее, в беседе с психологом, 13-летний Ли заметил, что любит говорить окружающим «нет».
В 1950 году старший из братьев Джон пошел в армию, точнее, в береговую охрану ВМС США. Роберту пришлось, как раньше Джону, бросить школу и идти работать, чтобы помогать содержать семью. В 1952 году настал черед самого Роберта — он завербовался в Корпус морской пехоты ВМС США. Семейный круг Ли сузился до его матери. Та как могла старалась обеспечить материальное благополучие своего сына. Ли всегда хорошо питался, и мать, несмотря на усталость после работы, часто готовила ему любимые блюда. Правда, когда на это не оставалось сил, Ли нередко вскипал, ругаясь на мать. Потом он, похоже, стал даже распускать руки. Маргарита ничего не могла и не хотела с этим поделать: она всю жизнь чувствовала свою вину перед Ли, так никогда и не имевшим настоящего любящего отца.
Несмотря на работу, Маргарита содержала дом в полном порядке. Единственное, что она не могла дать сыну, — общение. Им просто не о чем было говорить. Маргарита никогда не увлекалась книгами, ее целью в жизни было любой ценой не допустить сползания семьи в нищету. Она не могла проникнуть в мечты своего замкнутого ребенка. А тот не делал никаких попыток понять сложность положения своей матери. Ведь она сама всегда учила его полагаться только на собственные силы, не ожидая ни от кого моральной поддержки. Сама же Маргарита и стала первой жертвой своего собственного мировоззрения. Хотя надо сказать, что так же думали миллионы других американцев. Просто они были готовы приспосабливаться, ломать себя, чтобы добиться успеха в жизни. А вот ни Маргарита, ни Ли этого не хотели.
До сих пор жизнь Маргариты Освальд была сплошной чередой переездов. Но дома, квартиры и рабочие места все же были на Юге США в одном и том же регионе (точнее, в пределах двух штатов — Техаса и Луизианы), с одними и теми же социальными стандартами жизни. Летом 1952 года Маргарита решила поменять свою судьбу коренным образом. Ее старший сын Джон женился и получил назначение в береговую охрану в Нью-Йорке. Он пригласил мать приехать к нему (по крайней мере, именно так Маргарита впоследствии объясняла свое решение перебраться в Нью-Йорк). В августе 1952 года, захватив с собой лучшего друга Ли — телевизор, Маргарита и ее младший сын появились в квартире Джона. Последний вроде бы был рад. Он водил Ли по музеям большого города (приехать из Техаса в Нью-Йорк в то время было сравнимо с приездом, например, из Якутии в Москву), показывал достопримечательности.
Однако не заладились отношения Маргариты и 17-летней жены Джона, матери которой принадлежала пятикомнатная квартира. Сноха сразу дала понять, что техасским, родственникам надо как можно быстрее подыскать себе отдельное жилье. Ли возмущало то, что при обилии комнат ему приходилось спать в гостиной. Тем самым ему намекали на нежелательность их с матерью присутствия в квартире. Однажды Ли стал свидетелем очередной ссоры матери и снохи. Он вытащил перочинный нож (который в некоторых книгах позднее вырос до большого кухонного ножа) и стал приближаться к жене брата. Мать пыталась остановить сына. Тот повернулся и несильно, скорее демонстративно, ударил невестку ножом. Джон встал на защиту жены, и Ли с тех пор никогда не имел со старшим братом никаких отношений.
Маргарите пришлось срочно съехать и снять квартиру в полуподвальном^ помещении в довольно неблагополучном районе Нью-Йорка — Бронксе. Южанам, привыкшим к строгой расовой сегрегации (в то время в том же Техасе негры ездили в отдельных трамваях, учились в отдельных школах и ели в отдельных ресторанах), было непривычно жить и сталкиваться в общественных местах с чернокожими и пуэрториканскими соотечественниками. К тому же Ли постоянно дразнили в школе за южный акцент и джинсы (джинсы в Нью-Йорке в то время воспринимались как деревенская одежда; ходить в них в школу было примерно то же самое, что прийти в московскую школу того времени в лаптях).
Ли стал прогуливать школу. Сначала он делал вид, что ходит туда, чтобы не расстраивать мать. Уходя утром из дому, мальчик целыми днями катался в нью-йоркском сабвее, ходил в зоопарк. Маргарита работала страховым агентом и иногда брала Ли с собой. Тот сидел в машине, ожидая, пока мать закончит дела с очередным клиентом. Потом Маргарита устроилась на работу в магазин женской одежды. Сама она всегда элегантно одевалась и обладала хорошим вкусом.
У семьи Освальдов в Нью-Йорке впервые не было ни собственного дома, ни небольшого участка вокруг него. Если раньше Ли мог играть с собакой возле дома, где, по крайней мере, его знали соседи, то в большом городе он был абсолютно чужой. Маргарита поняла, что сделала ошибку, перебравшись в Нью-Йорк. Чувствуя себя виноватой перед Ли, она баловала его еще больше. Например, на Рождество 1952 года она купила ему модель органа, выложив за нее всю свою недельную зарплату. Скоро Маргарита узнала, что сын прогуливает школу. Но дальше уговоров вернуться туда дело не пошло. И тут впервые Ли столкнулся с законом, и столкновение это было далеко не из приятных.
В США вопросы образования находятся в компетенции штатов, и стандарты этого самого образования существенно разнятся. Техас, откуда приехали Маргарита и Ли, был одним из самых отсталых в социальном отношении штатов Америки. Тамошние власти считали, что получение образования является личным дело каждого. Нью-Йорк в этом смысле был более прогрессивным, «европейским» штатом. Здесь школьное образование было обязательным, и родители должны были обеспечивать посещение школы своими детьми. Систематические прогулы считались соответственно нарушением закона.
В январе 1953 года специальный сотрудник департамента образования Нью-Йорка, выявлявший на улицах города прогуливающих детей, «засек» Ли в зоопарке Бронкса. Мальчик был опрятно одет и, судя по внешнему виду, неплохо питался. Сотрудника Ли назвал «проклятым янки». После установления факта прогула завертелся бюрократический механизм дознания причин подобного поведения. К удивлению Ли и Маргариты, их стали бомбардировать повестками в специальный суд по делам несовершеннолетних. Мать и сын эти повестки игнорировали, считая, что посещение школы их личное дело.
В марте 1953 года Маргарита все же появилась в суде и обещала, что мальчик станет регулярно посещать школу. Она говорила, что Ли никак не может приспособиться к новым условиям жизни. Как, впрочем, и она сама. Все эти аргументы не возымели никакого действия. Установив, что Ли в школу так и не вернулся, 16 апреля 1953 года суд принудительно направил его в специальный «молодежный дом» (что-то вроде колонии для «трудных» подростков) с целью психологического и психиатрического освидетельствования.