Русь еще стонала под татаро-монгольским игом, а на нее "засматривалось" великое княжество Литовское. Крепнувшее с каждым годом, оно стремилось раздвинуть свои владения на восток. Пользуясь междоусобицами, литовские князья усиливали натиск. Один за другим захватывали они города. Брянские дружины неоднократно участвовали в сражениях с литовцами. В 1321 году, когда великий князь литовский Гедимин двинулся к Киеву, навстречу ему вышло войско брянского князя Василия и переяславского князя Олега. У реки Ирпень произошла жестокая сеча. Силы литовцев намного превосходили русских, и литовцы одержали победу. После двухмесячной осады Киев пал. С этого времени начались регулярные вторжения литовцев в пределы Брянского княжества. В 1356 году литовский князь Ольгерд, воспользовавшись тем, что брянский князь Василий Иванович уехал в Орду, двинулся с войском к городу. Здесь оставался сын князя Иван. Он вышел навстречу литовцам, но потерпел поражение и попал в плен. Тем не менее, город литовцам взять не удалось, т.к. горожане умело организовали оборону. Узнав о случившемся, князь Василий поспешил домой. Но вскоре после приезда умер. В городе тотчас начались неурядицы. Часть именитых горожан, преимущественно купцов, выступила за то, чтобы перейти под власть Ольгерда, другая предлагала сохранить самостоятельность, пригласив князя со стороны. Собрания веча, на которых обсуждалась дальнейшая судьба города, часто заканчивались схватками сторонников перехода под власть Литвы и сторонников независимости. Неизвестно чем бы кончились эти раздоры, если бы вблизи города вновь не появились литовские войска. В этих условиях большинство вена высказалось за переход под власть Литвы, и горожане отворили ворота Ольгерду. Таким образом, в 1356 году, после 110 лет самостоятельности, Брянское княжество прекратило свое существование.
На решение перейти под власть литовцев повлияло два обстоятельства: горожане рассчитывали, что в этом случае Брянск станет недосягаемым для Орды, которой приходилось выплачивать очень большую дань. Кроме того, вхождение в состав Литовского государства открывало большие перспективы в торговле с западными районами, хорошо развитыми экономически. В Брянске водворился сын Ольгерда Дмитрий, а потомки брянских князей вынуждены были уйти в Москву. О троих из них - Романе, Глебе и Симеоне - до нас дошли некоторые сведения. Роман активно помогал Дмитрию Донскому в борьбе с тверским князем, участвовал в битве с татарами на Куликовом поле. Но после изменил ему и перешел на службу к литовскому князю Витовту. Тот сделал его наместником в Смоленске, где он и был убит восставшими горожанами. Глеб Брянский храбро сражался на Куликовом поле, командуя полками Владимирским и Суздальским. На службе у Дмитрия был и Симеон. Он погиб при осаде Твери.
Целых 43 года княжил в Брянске Дмитрий Ольгердович. Он во всем придерживался русских обычаев, войско его состояло в основном из местных жителей. Часть брянского боярства покинула город и отправилась к Москве. Но купцы и ремесленники не испытывали желания уйти из-под сильной руки Литвы. Брянцы знали о том, что в соседних землях - Московской, Рязанской, Тверской, Владимирской - бесконечные княжеские распри разоряли население городов и сел, княжеские военные отряды выжигали населенные пункты и хлеб, истребляли и забирали в плен жителей. В русских землях хозяйничали татарские отряды, приходившие сами на добычу или приводимые соперничающими князьями. А здесь, в пределах княжества Литовского, было относительно спокойно. Не удивительно поэтому, что когда в 1370 году Дмитрий Иванович, великий князь московский, предпринял попытку вернуть Брянск, жители города отчаянно оборонялись и отбили натиск.
В этом и в последующие два года брянское ополчение в составе войск Ольгерда ходило в походы на Москву. В 1372 году мирным договором был положен конец московско-литовской войне. С этого времени Дмитрий брянский стал налаживать отношения с Дмитрием московским. Пять лет спустя, когда умер великий князь литовский Ольгерд, преемником стал сын от второго брака - Ягайло. Против него тотчас поднялся его брат Андрей полоцкий. Получив поддержку в Москве, он с московским войском двинулся в пределы Литовского княжества. Дмитрий брянский соблюдал благожелательный нейтралитет. Он беспрепятственно пропустил войско Андрея в Северскую землю, а потом сам открыто перешел на сторону Москвы. На некоторое время он вынужден был покинуть Брянск и уйти в Москву. Дмитрий Иванович встретил его радушно и отдал ему в княжение Переяславль. Но вскоре Дмитрий Ольгердович вновь вернулся в Брянск. С этого времени брянский князь действовал в тесном союзе с великим князем Московским, и брянцы принимали самое активное участие в борьбе за свержение татаро-монгольского ига. Процесс укрепления русских земель, который довольно интенсивно шел во второй половине XIV щека, тревожил Золотую Орду. И в 1380 году властитель ее Мамай решил произвести очередной погром Руси, чтобы не допустить ее укрепления. Собрав силы, он договорился также о военной помощи с великим князем литовским Ягайлом и великим князем рязанским Олегом.
Узнав о приближении татарских полчищ, князь Дмитрий Иванович объявил сбор ратных сил. Одновременно он отправил гонцов в литовские земли - к своим старым союзникам Дмитрию брянскому и Андрею полоцкому. Дмитрий брянский, получив просьбу о помощи, тотчас приказал собрать войско. Из города во все концы княжества поскакали гонцы в боярские вотчины с приказом немедля прибыть в Брянск с отрядами, экипированными для дальнего похода. Словно потревоженный пчелиный улей, загудел Брянск. День и ночь звонили колокола церквей и монастырей, им вторил перестук молотков оружейников и кузнецов, улицы заполнили конные и пешие ратники, ночами на берегу Десны полыхали костры, у которых спали воины. В середине августа многотысячный отряд двинулся к Москве. В Брянске остался небольшой гарнизон. Шли быстро, почти без отдыха, от зари и до зари, так как стало известно, что московское войско уже двинулось к югу, навстречу Мамаю. Нагнали основные силы в конце августа и вместе с ними пошли к Дону.
Приход брянской дружины и почти одновременно с ней полоцкой поднял дух русских войск. Подкрепление было значительным, да и оба князя славились своей храбростью.
Когда русская рать достигла берегов Дона, воеводы и князья стали спорить - переправляться ли через реку или ждать неприятеля на левом берегу. Многие настаивали на том, чтобы оставаться на месте. На военном совете Дмитрий брянский решительно восстал против такой тактики. "Аще пребудем зде, - заявил он, - слабо будет воиньство сие русское, аще ли на ону страну Дона перевеземся, крепко и мужественно будет" (Пересвет похоронен в Москве в церкви Рождества (территория завода "Динамо"). Ранее одна из улиц в этом районе называлась Пересветинской), потому что тогда каждый будет знать, что впереди либо смерть, либо победа, а для позорного бегства возможности нет.
Дмитрий Иванович поддержал это предложение и в ночь на 8 сентября русские перешли Дон.
Битва началась около полудня и, по обычаю того времени, со схватки самых удалых и отважных воинов. Татары выставили своего богатыря Темира-мурзу. Со стороны русских навстречу ему направился брянчанин Александр Пересеет. Он был известен на Руси как неустрашимый и могучий воин. Незадолго до Куликовской битвы Александр ратное дело сменил на схиму монаха в Троицком монастыре. Перед походом на Мамая Дмитрий приехал в этот монастырь и уговорил настоятеля Сергия Радонежского отпустить к нему в войско Пересвета.
Съехавшись в центре поля, оба богатыря в короткой схватке погибли. И тотчас над полем нависла туча татарских стрел. Сражение началось.
Дмитрий Иванович решил принять участие в битве. Но войска должны были видеть, что князь с ними, что он направляет ход битвы. Тогда Дмитрий "...ссед с коня, совлече с себя поволоку княжу, и возложи оную на любезного своего Михаила Александровича брянского, и посади его на свой конь, повелев быти ему во свое место под большим знаменем...". Софоний. "Сказание о Куликовской битве".
Лавиной обрушились татары на передовой полк русских и полностью уничтожили его. Они врубились в ряды большого полка и прорвались к тому месту, где развевалось знамя великого князя. Михаил брянский и окружавшие его воины не отступили ни на шаг и все полегли тут... Большой полк - владимирский и суздальский - сообщает летописец, - "бияся на едином месте, не можаху одолети татар, зане многие побиении перед ними лежаху; ни татаре могусче я сломити, князь бо Глеб брянский и тысяцкий великого князя Тимофей Васильевич храбрии и сильнии зело крепце бишеся и не даюсче татарам одолевати... А князь Дмитрий Ольгердович (брянский) сзади большого полку вступи на то место, где оторвася левый полк, и нападе с северяны и псковичи - на большой полк татарский. Тогда же и князь Глеб брянский с полком володимерским и суздальским поступи через трупы мертвых и ту бысть бой тяжкий".
Дмитрий брянский ударил на татар одновременно с засадным полком. Этот внезапный удар вызвал среди татар замешательство и дал возможность перейти в наступление большому полку. Обратившись в бегство, татарская конница смяла свою же пехоту.
Когда на следующий день Дмитрий Донской пришел на Куликово поле, "и виде мертвых, лежащих аки копны... и восилака князь великий великим плачем со слезами, и наеха место, иде же лежаху вкупе осмь князей белозерских убиенных... также наеде наперсника своего, его же любяще паче всех, Михаила Александровича брянского, и близ его множество князей и бояр лежаше избиенных..." И приеде на другое место, и виде Сергиева чернеца Пересвета и близ него нарочитого богатыря татарского и обратився, рече к сущим с ним: "Видите, братия, начальника битвы. Той бо победи подобна себе, от того было многим пити чашу смерти..." "Сергиев чернец Пересвет,— замечает в этой связи летописец,— ему же имя Александр, бывый прежде боярин брянский, бе же сей удалец и богатырь славен зело". Значительно поредевшая в кровавой сече, со славой возвратилась дружина победителей в Брянск. Для города начался довольно значительный период спокойной мирной жизни. Только в 1399 году из Брянска вновь ушло большое войско. Предстояло новое сражение с татарами. Оно произошло на берегах Ворсклы. Но тут русские и литовцы потерпели жестокое поражение. В бою Дмитрий брянский был убит. Погибла и почти вся брянская дружина.
После этого на брянский престол взошел брат Дмитрия Свидригайло. Но он здесь не долго княжил, так как поссорился с великим князем литовским Витовтом и вместе с епископом Исаакием уехал в Москву. В начавшейся междоусобной борьбе он подчинил своему влиянию восточные области великого княжества Литовского. Поэтому в Брянске длительное время правили назначенные Свидригайло наместники, чаще всего из числа русских феодалов. В составе литовского войска брянцы участвовали в Грюнвальдской битве, сражались в междоусобных войнах литовских князей. Однако сам город и его окрестности оказались в стороне от военных действий и не подвергались разорению в течение почти полувека.
Но в 1445 году в пределы русских княжеств вторглись войска татар. В сражении под Суздалем они разбили армию московского князя Василия II и раненого взяли его в плен. Три месяца спустя они освободили его за огромный выкуп - 200 тысяч рублей. Собирая эту сумму, татарские войска стали рыскать по всей Руси. Василий II, недовольный усилившимся нажимом литовцев на северо-западные земли, направил двух татарских царевичей на пограничные литовские города. В сфере их действий оказался и Брянск. Татары подошли к городу, осадили его, а потом штурмом взяли. Брянск был ограблен и сожжен, многие жители убиты. А через год с небольшим брянцам пришлось выступить в защиту своего обидчика. Дело в том, что в 1446 году Василий II был свергнут Дмитрием Шемякой и ослеплен. Один из его родственников, Василий Ярославович, бежал в Польшу. Король польский и литовский Казимир дал ему во владение несколько городов и в их числе Брянск. Василий Ярославович послал сюда наместниками Ивана Оболенского и Федора Басенка, тоже бежавших от Шемяки. Эти два энергичных боярина тут же стали формировать войско, призвали на помощь татар и, соединившись с войсками, которые оставались верными Василию Темному, пошли на Москву. Василий вновь занял московский престол.
Со второй половины XV века, по мере того как все успешнее шло образование русского централизованного государства, положение на его западной границе накалялось. Москва стремилась вернуть захваченные литовцами русские земли. Брянск на длительное время оказался в самом центре разгоравшейся борьбы. Город и его окрестности опустошались чуть ли не ежегодно. Брянские наместники, рассорившись с польским королем или проворовавшись, уходили в Москву и, уходя, считали своим долгом разгромить окрестности, как это сделал, например Дмитрий Воротынский. Москвичи, нападая на польское королевство, первым делом разоряли пограничную Брянщину. Озлобленные брянцы отвечали тем же. А король польский и великий князь московский в этой связи вели оживленную переписку. В одном из таких писем князь московский укорял короля: "свои убытки поминаешь, а о наших забыл, сколько наших именитых людей твои побили. Ездили наши люди оберегать христианство от басурманства, а твои люди на них напали... из Брянска..." (С. Соловьев. История России с древнейших времен, т. 5, М., 1959, стр. 134.)
"В 1492 году король Казимир умер. Владения его тотчас распались на Польшу и Литву. Воспользовавшись этим, Иван III начал возвращать назад земли, отнятые Ольгердом. В 1500 году московский воевода Яков Кошкин вместе с татарским царевичем подступил к Брянску и взял его приступом. Жители присягнули на верность Москве. А в 1503 году, по договору с Литвой, Брянск перешел к Москве и юридически.