提出改进计划的动力是潜在敌人的空中突击战术发生了变化。20设计70年代，随着地空导弹的飞速发展，高空高速突入的目标必定会遭到毁灭性打击，因此空中突击方式从高空转入了相对安全的低空和超低空。还有一个原因就是，空射巡航导弹进入美军战略空军服役，而且在可预见的将来射程更远飞行高度更低的巡航导弹的威胁将会越来越大。
图波列夫设计局经过了相当深入的分析后认为通过改进将图-128S-4系统的作战能力提高到目标值是完全可能的。1968年设计局将“关于图-128S-4系统改进的技术建议”提交给了防空军和空军最高司令部，其中指出在旧飞机返厂大修时可以将其升级到改进型号。
1968年4月，苏联航空工业委员会、电子工业委员会、空军和防空军共同下发了关于图-128S-4空中截击系统的升级改进的决定。在5月17日，国防工业委员会主席团也下发了一个类似的文件。最后，苏共中央委员会和部长会议于1968年12月26日下达了“关于改进图-128S-4空中截击系统的指导性决议”，这份文件要求图波列夫、沃尔科夫和比斯诺瓦特设计局将图-128改进到图-128M的水平。改进后的图-128装备RP-SM（龙卷风-M）火控雷达，将现有导弹更换为更先进的R-4RM和R-4TM导弹。
虽然以上两图中的图-128的机号都是“蓝色75”，但它们并不是一架飞机。上图中的是编号为403704的前期型号的图-128，而下图中的飞机是装备了R-846无线电通讯系统的图-128M。外型上它们的垂尾切尖方式是明显的区别
1969年11月图波列夫设计局把改进方案交给了沃罗涅日飞机制造厂，图-128M的工厂内部编号为“项目IM”。1970年4月，防空军下令将两架库存的图-128改装成图-128M原型机供试飞使用。首架升级完成的飞机于1970年8月5日重新交给了防空军，紧接着第二架于9月3日交付，而图-128M截击机和图-128S-4M武器系统的国家验收试验在几天前就已经开始。
第一阶段的国家验收试验在沃罗涅日-普罗达沙机场进行，该机场归64飞机制造厂所有。1970年9月24日，图-128M首架原型机进行了第一次飞行，在10月25日完成了初始阶段的一系列试飞；第二架原型机于同日进行了首次飞行，并且在10月28日完成了其承担的初始阶段试飞科目。1972年8月29日，两架原型机转场到茹科夫斯基继续进行第一阶段的下一步试飞工作，在此期间有设计局试飞员马尔科诺夫、科兹洛夫担任飞行员，由阿加波夫和尼古拉耶夫担任武器官。
图-128M蓝45号
第二阶段的国家验收试验于1973年5月10日到1974年7月24日在红旗空军研究院进行，在此阶段由戈罗韦伊和巴热诺夫担任驾驶员，米特罗法诺夫、彼得罗夫和哈利佐夫担任武器官，此阶段的试飞结果非常令人满意。此后又经过了漫长而艰苦的测试岁月，终于在1979年6月28日，苏联国防部长签署命令，图-128S-4M武器系统进入防空军现役装备序列。
对于现役图-128飞机的大规模升级工作由隶属于防空军的大修厂来完成，此间两架原型机作为升级的参考样机。这些工作包括将RP-S雷达更换为RP-SM雷达，还包括换装R-846无线电通讯系统，由于改进后的R-4RM和R-4TM导弹比初始型号要重一些，因此除了升级火控系统接口外还要对外部挂点进行加固，垂尾也改为水平切尖方式，整个机队的升级用了相对较短的时间便完成了。
图-128S-4M截击系统在苏军中一直服役到80年代末期，之后被作战能力更强的米格-31截击机替代。
准备起飞执行任务的图-128M（也可能是图-128的最后三个批次生产的飞机），值得一提的是并不是所有的图-128都升级到了图-128M
装备RD36-41和龙卷风A雷达的图-128改进计划
在改进图-128的最后尝试中，图波列夫设计局计划将科列索夫设计局的RD-36-41发动机和RP-SA（龙卷风-A）火控雷达装上飞机。RD-36-41在全加力状态下推力为16000千克，耗油率在最大军用推力和全加力推力下分别为提供每小时每千克推力耗油0.88千克和1.9千克。改装完成后的飞机最大起飞重量将上升到52140千克，最大设计速度也将达到时速2650千米。
RD-36发动机 1968年RD36-41刚刚开始在图-16LL动力测试平台上开始进行测试，而此时用图曼斯基的R-15-300量产型发动机的米格-25P已经开始了试飞工作并取得了令防空军相当满意的试验结果。因此防空军认为再对图-128系统进行改进就已经没有必要，于是这个计划最终停留了在图纸上。
图-128对地攻击机计划
早在1963年，杨格尔带领的图波列夫设计局设计团队就开始进行有关将图-128改进成对地攻击机的研究，主要用于打击前沿目标为攻击部队扫清障碍。装备32管的S-5K或者64管的S-5M型无制导的57毫米火箭弹发射巢；两枚或者四枚233毫米S-24型重型火箭弹；两个AO-9机炮吊舱，每个吊舱中有一门GSh-23机炮和200-250发炮弹；两枚500千克航空炸弹或者八枚250千克航空炸弹。前舱中装备了一个ASP-PF瞄准具用以瞄准。
图波列夫设计局还计划将其做一些可以执行反辐射任务的改进（就是西方资料中的野鼬鼠型号），主要是将K-28（包括两枚Kh-28反辐射导弹和一些相关设备）或者K-80空对地武器系统装上飞机。还有一个在机腹下携带一枚KSR巡航导弹的攻击机计划和一个携带可抛弃副油箱的远程侦察机计划，当然最后也都停留在了纸面上。
图-128B战术轰炸机计划
在1969年图波列夫设计局提出了将图-128截击机改装成战术轰炸机的方案，这就是图-128B战术轰炸机计划的由来。图-128B计划装备“主动-II”导航攻击雷达，并且与OPB-16光学轰炸瞄准具交联。图-128B的机腹弹仓携带总重1500千克的航空炸弹时，在11000米高度的最大速度可以达到1770km/h，满载情况下航程为2345千米。当机翼下挂载总重为3000千克的炸弹时，最大速度和航程分别下降到1210km/h和1430千米。最大起飞重量和图-128M相同为43140千克。图-128B机组成员为两名，分别为飞行员和领航员。该机还计划装备电子对抗设备和ASO-24自动红外对抗系统。
由于与苏军已经装备或者即将装备的武器系统相互重叠而且优势并不明显，所以这三个计划最终停留在了纸面上。
图-128的飞行员座舱，飞机由方向盘操纵，可见方向盘的中间有一个图波列夫设计局的标志
早期图-128的武器官座舱，仪表板的布局尚未确定，没有雷达显示屏，由此可以推测此时的国家验收试验尚未完成，可能是一架样机
服役岁月
防空军最初计划用图-128截击机装备分别位于北部、东部、东南部边境的二十五个团，但是事实上最终装备图-128的飞行团不超过六个，每个团包括三个装备9到12架飞机的中队。其中三个团位于极北地区，负责拱卫北方舰队基地和苏联欧洲部分的北部边境；有两个在西伯利亚东部地区；最后一个团部署在哈萨克斯坦的塞米巴拉金斯克，这里是苏联的一个核试验场所在地，也是西方侦察机经常光顾的地方。60年代末到70年代初，这些部队开始接收图-128UT教练机，新飞行员们在该机上做过适应性训练后极大地减少了事故率。
图-128的17-36 4机编队截击战术
部署于北方舰队锚地附近的部队是所有图-128飞行团中最忙的，因为随着北方舰队舰只频繁地出动，他们要每时每刻地为舰队提供空中支援，当然了，大多数时间是在驱赶无孔不入的西方侦察机。这些图-128飞行团经常参加代号为“大洋”的海军演习，他们负责护送红海军舰队安全通过“七海”（这是一个地理专有名词，欧洲的“七海”是指地中海、亚得里亚海、阿拉伯海、黑海、里海、波斯湾、红海）中的一些海域，当然还有在那个年代永远都不会让人感到寂寞的巴伦支海。在一次“大洋”演习中，一架图-128不经意间闯入了挪威领空，由于此时该机正在超音速飞行，起飞拦截的北约飞机还没有追上苏联飞机，后者便已经飞到公海继续训练去了，事后苏军给出的原因是导航失误，鉴于图-128并非侦察机，笔者认为这回苏联人说了真话，当然了，在当时不论真话还是假话都是没有人信的。
在雪中待命的图-128，大多数图-128部队都在极北或者是远东地区，所以这样的场景还是比较常见的
图-128部队的常规训练也有在条件较差的前线机场起降的科目，苏联时期在其北部边境建设了很多类似于前线机场的备用机场设施以供不时之需。图-128部队正式开始截击训练是在图-126空中预警控制系统服役之后，在训练中后者为前者提供所需的目标数据以及其他的空情信息。这种作战方式可以看做是今天预警机引导作战飞机的雏形，也充分发挥出了图-128S-4/图-128S-4M武器系统的作战能力。依据这种战法，防空军于70年代早期开发了一种类似的战术：在执行任务时，一架由资深机组驾驶图-128打开雷达搜索目标，通过数据链或者其他通信设备将目标信息传给其他飞机，事实证明这种方法非常管用，因此被后来的米格-31部队沿用。其实这两种作战方式已经和今天预警机引导作战飞机以及西方三代机编队的作战方式非常相似了。
为了给读者对于图-128S-4截击系统的作战效能一个直观地了解，引用一段在图-128部队服役近十年的一位老飞行员的看法。叶夫格列夫斯基上校是第一批接触图-128的防空军作战部队飞行员，他在1967年十月的一次飞行事故中侥幸逃生，而他的武器官则没有这么幸运。之后他成为了一名防空军试飞员，并且参与解决过很多关于图-128飞机和建立新型空中截击系统的问题，以下是叶夫格列夫斯基上校关于图-128的一些回忆：
“对很多防空军的小伙子们来说，飞双发的重型截击机是一个不小的挑战,尤其是飞机的操控系统与之前的截击机差别很大使他们起初难以适应。首先，飞图-128必须熟悉用方向盘，而他们从前飞的飞机都是用操纵杆来控制的；其次，起落架的刹车要靠脚踏板来控制，而不是早已驾轻就熟的操纵杆。图-128巨大的体积和由此带来的巨大惯性以及落地时相对缓慢的相应特性也让飞惯了米格机的他们感到非常不适应。在降落过程中低速时较低的滚转控制效率，进场速度相对较高，还有进场时操作程序较多都令他们感到头疼。
对于原米格-17的飞行员来说，转飞图-128则变得更加困难。对他们来说在起飞过程中保持正确的攻角非常困难，尤其是在攻角达到16度，最大起飞重量时开着全加力起飞的时候。这种情况下，他们就会使飞机更快地加速来防止攻角过高，这时还要腾出一只手来收起落架和襟翼，这使得保持合适的角度更加困难。
在起飞过程中收起襟翼也是一个非常复杂的过程。首先要注意不要超过放下襟翼的最大允许速度是450km/h，超过此速度襟翼有撕裂的危险（这在日常训练中发生过几次）。保持速度的唯一方法就是增加攻角，如果速度过高，那么必须将攻角增加到20-25度。飞习惯米格17之后在较低高度做以上动作真是令人心惊胆战。
苏维埃天空的守护者——防空军第64歼击飞行团第一中队的地勤人员在一架图-128前面的合影
在缺少教练机（指的是图-128UT）的日子里，防空军不得不将转飞图-128的飞行员的资格定的非常高，他们必须有一级飞行员资格证而且至少在一线部队的喷气式飞机上飞够400小时（飞行俱乐部和飞行学校的不计入小时数）。
我不知道这是谁的主意，国家验收试验的总结报告告诉我们：图-128非常容易驾驭，即使没有教练机也可以让飞行员轻易上手。但是事实证明这是不负责任的说法，在发生过几次事故之后，我们费了很多口舌去劝说设计局开发相应的教练机，幸运的是最终我们终于说动了他们。在图-128UT进入部队服役之前，我们不得不让第一批接受图-128的飞行员在伊尔-14运输机和图-124支线客机上熟悉大型飞机的控制系统。之后给每个装备图-128的飞行团配备一架图-124sh，并且强制飞行员现在这种飞机上做适应性训练。这种方法只是权宜之计，因为当时没有办法来训练他们。
原苏-9飞行员是最想转飞图-128的，也是掌握最快的。因为图-128和苏-9用的是一种发动机，而且具有相近的起降速度，不同的是图-128有两台发动机载油量几乎是苏-9的三倍，不过这已经使得苏-9飞行员可以很快掌握这种飞机了。
我们之前装备的截击机大都是单座的，没有武器官。而图-128是双座，武器官坐在飞行员的后边。起初对于很多截击机飞行员来说他们不愿意将导航以及其他工作交给武器官，但是后来他们发现在远距离飞行中，武器官可以极大地减轻他们的工作负担，因此后来就没有什么怨言了。在迎头攻击模式中，他们可能会为自己所驾驭的飞机的强大战斗力感到自豪，因为他们再也不需要爬升到和目标相同的高度，即使比目标高度低3000-4500米他们也照样能击毁目标。
不得不提一句，图-128的武器和火控系统的各项参数比防空军用过的所有截击机都要好，有效杀伤范围、要求的目标高度、全向攻击性能、最大锁定距离、雷达探测距离都相当出色。虽然图-128在低空的表现不尽人意，但是这些缺点在图-128M上得到了修正。
如果你想问我对这种飞机的印象如何，我会说在我的一生中大部分时间都在驾驭如此杰出的飞机，我感到很骄傲,这段经历是我今生难以忘怀的。图-128截击机的体量是我见过的截击机之最，我对它强大的动力系统印象深刻，起飞和爬升时巨大的加速度也令人印象深刻，如此庞大的飞机在10000-11000米在满军推状态下就可以达到超音速也给人一种快感。
图-128和之后的图-128M部队中有一大批值得他们自豪的技艺精湛的飞行员，真是因为他们的存在，才使得我们广阔的北部边境有了空中的保障。”
维护中的图-128，机头处的铁架子与以往不同被安置在了右侧