1975年1月5日，中共中央和毛澤東決定：鄧小平擔任中共中央副主席、中央軍委副主席兼解放軍總參謀長。隨即，他就以軍隊整頓為突破口，大刀闊斧地開始了全面整頓。1月19日，鄧小平在解放軍各大軍區領導同志座談會上發表了題為《軍隊要安定團結》的談話。他指出：“在軍委擴大會議之后，還要開一個政治工作會議。”為什麼要召開政治工作會議？鄧小平回答說：因為“軍隊的思想問題一大堆”。在1975年7月14日召開的中央軍委擴大會議上，鄧小平在提出了“軍隊整頓的任務”后說，“很多同志提出，希望開一個政治工作會議，我看這個意見很好，是需要開一個全軍政治工作會議，研究加強軍隊黨的工作和政治工作”，從而達到“要加強軍隊黨委的集體領導，要加強政治機關，提高政治機關的威信”的目的。但由於鄧小平政治生涯的第三次“跌落”，這次會議中途夭折。1977年12月，經過充分醞釀，中央軍委在北京召開全體會議。第三次復出的鄧小平發表重要講話，強調加強軍隊領導班子建設、紀律建設和軍隊團結，以保証全軍各項任務的完成。中央軍委全體會議的召開和鄧小平、葉劍英等的重要講話，為全軍政治工作會議的召開奠定了良好的思想基礎。
“做好新的歷史條件下的軍隊政治工作”
1977年12月中央軍委全會之后，鄧小平等同意多數人的提議，決定召開全軍政治工作會議，並明確把會議主題定為“集中研究在新的歷史條件下，恢復和發揚政治工作的優良傳統，提高我軍戰斗力”。全軍政治工作會議多年沒開，現在開這樣一次會議，應該採取什麼方法呢？鄧小平提出，方法有兩種。很明顯，第一種應該也隻能是“採取實事求是、從實際出發、理論和實踐相結合的方法，總結過去的經驗，分析新的歷史條件，提出新的問題、新的任務、新的方針。這樣，我們的會議才能夠解決問題，才能夠解決得正確”，才能“在實際行動中堅決擁護毛澤東思想”。第二種是“隻把過去的一些文件逐字逐句照抄一通”，但那就不能解決任何問題，“實際上也隻能是違反毛澤東思想”。
根據中央軍委全會和鄧小平等指示精神，時任解放軍總政治部主任韋國清，主持召開總政黨委會進行研究，決定由梁必業具體負責會議的籌備和文件的起草工作。由於這是從提議到召開經過幾年時間，特別是經過粉碎“四人幫”、結束“文化大革命”后的第一次全軍政工會議，因而成為在重要轉折關頭肅清林彪、“四人幫”對我軍政治工作的破壞與影響的會議。因此，開好這次會議十分重要，而關鍵是要有好的會議文件。這期間，梁必業等把主要精力放在了組織領導起草會議文件上。
這次全軍政治工作會議的主要文件有關於加強軍隊政治工作決議、韋國清在會議上的報告、政治工作條例和干部服役條例。后兩個文件原來已有基礎，關鍵是下功夫搞好前兩個文件。起草小組的同志先是學習毛澤東關於政治工作的一系列論述和古田會議決議等重要歷史文獻，了解我軍政治工作的基本理論原則和傳統。接著，梁必業等組織討論鄧小平對會議主題的指示。“我們感到鄧小平的指示主要有兩個基本思想：一是針對林彪、‘四人幫’對我軍政治工作的干擾和破壞，研究如何恢復政治工作的優良傳統﹔二是針對新的歷史條件下部隊建設出現的新情況、新問題，研究政治工作如何去做。”之后，圍繞政治工作建設中的一些根本性問題，廣泛調查研究，掌握情況，搜集素材。
針對林彪、“四人幫”對我軍政治工作的破壞和影響，梁必業等強調文件必須體現堅持政治工作是我軍生命線這一根本思想。因為它既是我軍階級性質及其歷史使命所決定的，也是我軍區別於任何剝削階級軍隊的根本標志。因為人民軍隊如果“沒有革命的政治工作，在政治上就會失去生命力，在軍事上將會喪失戰斗力，便不成其為革命的軍隊。政治工作關系到軍隊的強弱、勝敗，關系到我軍的生死存亡”。
鄧小平十分關心會議文件的起草工作，先后幾次召集總政領導同志座談，並作出重要指示。整個文件形成都是按鄧小平的指示精神去起草和修改的。
1978年3月20日上午，鄧小平同韋國清、梁必業、徐立清、顏金生等談話，對會議幾個主要文件提出修改意見。他認為：
第一，“這次全軍政治工作會議的文件，中心就是要把決議搞好”。在審看《中共中央軍委關於加強軍隊政治工作決議》草案送審稿后，鄧小平認為，決議稿寫得比較簡練，但不夠全面。“要寫全面一些，要把古田會議以來政治工作總結的全部好的經驗都寫進去。”決議稿對三大民主等內容不突出，所以“要充實，要強調”。鄧小平還說：1960年軍委擴大會議作出的決議是好的，這次寫決議要把好內容都吸收進來，把林彪塞進的私貨去掉。“那個決議連隊工作講得多。連隊工作是整個軍隊工作的基礎，一定要搞好。”現在政治工作內容比較復雜，教育訓練也和過去不同，比較難做。我們歷來講政治工作要出戰斗力，光嘴巴講不行，要扎扎實實地做。軍隊建立紀律檢查委員會應該寫上，獎懲制度也應該寫上。“這個決議要作為今后學習和檢查的主要文件，以后大家看這個決議基本就可以了。”“政治工作要保障部隊戰斗力的提高。”過去練四大技術（指射擊、投彈、刺殺、土工作業）出戰斗力，現在情況不同了，要掌握現代化戰爭知識，要一兵多能，干部要指揮現代化戰爭。在這些方面，報告稿也好，決議稿也好，都接觸不多。“要把決議的重要之點抽出來，加以闡明發揮，這樣報告就有力量了。”
第二，會議主題報告“要更多地闡明在新的歷史條件下政治工作怎麼做，全軍指戰員怎麼做”。鄧小平說，報告稿有的部分重復，理得不清。報告對保証訓練質量沒有講，政治工作要加強這方面的工作。對院校提了一句，不夠。院校很重要，要起集體干部部的作用。揭批“四人幫”篇幅過大。“四人幫”的毒害可以概括地講，主要是講揭批“四人幫”的深入問題、處理問題。報告不一定面面講，思想要解放一下。報告就是要有針對性，要抓住重點，抽幾個問題展開講，集中講，講透。報告就是“要講清楚新的條件是什麼，在新的條件下，應該怎麼講紀律，怎麼做思想政治工作，怎麼