甲午戰爭
1894年6月5日，大山岩與伊藤博文等人組成戰時大本營，共同制定侵華作戰方針。同年9月25日，任侵華日軍第二軍司令官，參與制定入侵遼東半島作戰計劃。爲奪取旅順，他提出“由後路包抄旅順”的方案，將清軍未設一兵一卒的莊河花園口作爲登陸突破口。同年10月24日，他帶領日軍在海軍艦隊的護送下，在花園口登陸。隨後，他命令山地元治的第一師團進攻金州及大連灣。11月6日佔領金州，7日佔領大連。11月13日，大山岩和幕僚制定了進攻旅順的作戰計劃。21日凌晨，分三路向旅順口後路發起總攻。經過一天的激戰，旅順口終於被日軍攻克。據說，他作戰非常有大將風度，在作戰時還不忘賞花吟詩，有一次參謀長受到一封電報，說六千清軍出現在金州，將截斷日軍的後路。參謀長報告給他後，他只是輕輕的說了一聲知道了，然後拿出麪包喂狗，就再也不過問這件事了。事後發現這是一個錯誤的情報。
日軍攻陷旅順口後，大本營擬按原定計劃立即由渤海灣運兵登陸，進軍直隸。但由於當時遼東半島天氣嚴寒，渤海灣沿岸結冰，軍隊登陸困難，因此大山岩和聯合艦隊司令伊東佑亨聯名向大本營建議：暫緩向直隸進軍，首先進攻山東半島，消滅威海衛的北洋艦隊後，再實施直隸平原的作戰方案。大本營根據大山岩和伊東佑亨的建議，改變作戰計劃，先進攻山東半島。並以第二師團和第六師團組成山東作戰軍，任命大山岩爲山東作戰軍司令官。
1895年1月20日，大山岩指揮下的第二師團在山東半島榮成灣登陸。1月25日在榮成縣設立山東作戰軍司令部，策劃對威海衛的進攻。30日，大山岩指揮佐久間左馬太的第二師團和黑木爲楨第六師團分路圍攻威海衛。2月2日佔領威海衛南北兩岸海陸炮臺，完成了對北洋艦隊的合圍。丁汝昌率領的北洋艦隊進行了奮勇抵抗，但終因日軍海陸配合，兵力強大，清軍援兵斷絕。2月17日威海衛陷落，北洋艦隊全軍覆滅。大山岩攻克威海衛後，又重返金州。三月下旬，派出第一師團配合野津道貫的第一軍發動遼河下游戰役，先後攻佔了營口和田臺莊等地。爲了實施直隸平原作戰計劃，大本營擬定大山岩的第二軍下一步作戰任務時從洋河口登陸，取山海關，奠定直隸作戰的根據地。爲此，日本明治天皇於3月30日特敕諭大山岩，除了表彰他的戰功外，還希望他充當第二期作戰的先鋒。
1895年4月1日，由於清政府求和，日本東京令大山岩休戰。大山岩接令後，於同年5月17日回國。甲午戰爭後，大山岩被日本明治天皇授予三級金鴟章及旭日桐花大綬章。1898年由伯爵升遷侯爵，名列元帥府，是日本最早的四位元帥之一(其他三位爲山縣有朋，小松宮彰仁親王，西鄉從道)，隨後又出任日軍參謀總長。1900年義和團運動爆發，他和陸軍大臣桂太郎合謀，抽調2萬人參加干涉軍，成爲八國聯軍中出兵最多的國家。1903年5月，他提出日本針對俄國勢力東漸的充實軍備意見書，要求日本根據俄國海軍狀況，抓住機遇對其先發制人。他的這個意見書，對1904年2月9日日本對俄國的不宣而戰爆發的日俄戰爭，起了推波助瀾的作用。
對華暴行
大山岩是日本侵華的罪魁禍首之一。甲午戰爭在花園口登陸後，爲了保證日軍的作戰物資供應，他發佈訓令公告，強行掠奪遼東的生活必需品、房屋、勞役及運輸工具、現金等。由此，日軍所到之處，沿途物資被掠奪一空。日軍佔領金州後，他又發佈命令，在金州設置“金州城內佔領地行政廳”，任命日本一等領事荒川巳次爲行政廳知事。同年11月17日，大山岩下令進攻旅順，並於21日親抵水師營坐鎮指揮。22日，旅順陷落後，他命令日軍有計劃、有預謀、有組織地在旅順進行三天三夜慘絕人寰的大屠殺，殺害我同胞近2萬人。同年12月1日，大山岩決定將日軍司令部遷往金州，將金州設爲侵華戰爭的大本營，翌日，即向日本東京呈報在金州、旅順兩地設立軍政廳的方案，對佔領區全面實行軍政統治。在對佔領區實施軍政統治期間，迫不及待地在金州、普蘭店一帶強行推行日本語言。日俄戰爭期間再次踐踏中國領土。他受任後以日本陸軍的名義發佈告示，強令中國人民“爾等各宜奮力效勞，倘或暗助俄人、妨害我軍，或做奸細等事，一經查出，立即嚴辦，決不稍貸”。日俄戰爭結束後，以參謀總長的名義制定了《日俄戰史編纂綱領》，規定《日俄戰史》對“有可能違反國際法或有礙外交的事不得記述，因爲虐待俘虜和百姓，或傷害非戰人員、當局者否認僱用馬賊等內容往往引起爭議，危害國交，降低我(日)軍聲譽”。
日俄戰爭
1904年6月20日，日軍大本營成立了滿洲軍司令部。按照軍中的資歷和名望，這個熱門人選首推當時日本陸軍頭號牛人山縣有朋，不過身爲“皇軍大元帥”的明治天皇卻看上了另一位軍人——大山岩。因爲他作爲總參謀長制定了全部的對俄作戰計劃，並直接上書要求在西伯利亞鐵路修築未完成時快速出擊，分割俄國在滿洲的防禦陣地。大山岩成了日俄戰爭中日本陸軍的前線總指揮。他果然沒有辜負天皇的厚望，在數次會戰中把俄軍打得落花流水，自己也成爲明治時代日本軍界首屈一指的名將。
俄羅斯帝國號稱世界陸軍第一，比大清帝國難對付，所以日本軍政界的首腦都很緊張，就連明治天皇本人也是寢食不安。但俄國軍隊外強中乾，俄國艦隊在海上遭遇了日本海軍“軍神”東鄉平八郎;俄國陸軍在中國東北遭遇了大山岩。狂妄的俄國人在戰前還是很鄙視日本人的，他們覺得日本人不過是一羣黃皮猴子，收拾一羣猴子簡直不費吹灰之力。而大山岩不驕不躁，以事實說話，他指揮日軍與俄軍展開了四輪廝殺，讓俄國人嚐到了“猴子”的厲害。
遼陽會戰
1904年8-9月。統帥22萬俄軍，佔盡數量和防禦上優勢的俄軍總司令阿列克謝·尼古拉耶維奇·庫羅帕特金上將揚言“誓死不從遼陽後撤”，結果俄軍被大山岩統帥的3個軍13.5萬人以避實擊虛戰法打出了遼陽!在倫敦股票交易市場上的俄羅斯股票狂跌。庫洛特帕特金被沙皇訓斥了一頓! 大山岩在戰後對記者表示，號稱恐怖壓路機的俄羅斯陸軍不過如此。從此信心大漲。
沙河會戰
1904年10月。庫羅帕特金大將率領二十二萬餘兵力打算反攻日軍，收復遼陽並解救旅順。日本軍至十月初完成醫治遼陽會戰的損傷以及彈藥之補充。日軍總司令官大山岩決定採取攻勢，對各軍作了戰鬥部署。其總兵力約十三萬有餘。自十月九日至十六日，兩軍在沙河附近展井了大規模的遭遇戰。
俄軍集中攻擊日軍的右翼，日軍將重點放在左翼，將俄軍壓迫在山地裏，激戰至第三日，俄軍開始發生動搖。因爲在十二日日軍騎兵第二旅團(旅團長爲閒院官載仁親王)從太子河左岸起遠遠威脅俄軍的後背，俄軍開始退卻。日軍在十二、十三、十四日經猛烈追擊後，在沙河左岸整頓兵力。這一戰日軍損失二萬五千，俄軍損失四萬一千四百。
旅順口攻堅戰
1904年8月-1905年1月，乃木希典大搞“肉彈戰術”，用武士道精神和大口徑榴彈炮猛攻俄軍陣地，損失慘重。此時大山岩遠在遼陽，未能親自督戰旅順。他雖然着急，但並未顯現出來。作爲帝國首屈一指的炮兵專家，就在“常陸丸”被俄國海軍擊沉，重型攻城炮全部損失的時候也不露聲色，還不忘開開玩笑緩解氣氛。他派兒玉源太郎帶着他的訓令前往旅順督戰。該訓令稱：1、關於203高地的戰況所以不明，大部分應歸於統一指揮不得其宜;2、高級司令部和預備隊位置過遠，因此對敵人的反攻喪失了救援時機;3、明早攻擊時，各司令級司令部應親自到達適當位置，必須親自觀察地形與時機，不放過成功機會，以期鞏固佔領。爲了以總司令官的名義指揮第三軍作戰，特差遣兒玉總參謀長到旅順按照他的部署辦，使乃木希典暫時讓出指揮權，用5天時間便將203高地攻下，迫使堅守旅順俄軍於1905年1月1日投降。
奉天會戰
日俄戰爭中最大最慘烈的陸上決戰——奉天會戰(1905年2-3月)，俄軍增加了新從歐洲調來的兵力後，對日軍的左翼黑溝臺方面的日軍第一騎兵旅團秋山好古部進行襲擊。日軍總司令逐漸將第八、第五、第二師團投入戰鬥，經過三晝夜激戰，好不容易在北方將其擊退。當時參謀長兒玉不在，他身兼總司令和參謀長，無論情況判斷的準確還是發佈命令的清晰果斷，都讓和他接觸不多的小參謀們大爲驚歎。黑溝臺會戰後，日本滿洲軍準備在奉天附近進行決戰。大山岩以5個軍27萬日軍對抗庫羅帕特金35萬俄軍，崇拜毛奇的他準備打一次“色當式的戰役”，一舉滅掉俄軍!大山岩大搞“聲東擊西”的戰術，先以第五軍川村景明部吸引俄軍的全部預備隊，接着指揮主力從另一翼發動強攻，成功突破了俄軍的防線，迂迴到俄軍戰線後方，形成大包圍之態勢。俄軍被迫在日軍的交叉火力網下殺開一條血路，突圍成功，此戰俄軍被俘二萬二千，失蹤三萬，死傷六萬，總計損失了12萬，沙皇尼古拉二世終於忍無可忍，撤掉庫羅帕特金。不過大山岩損失也挺大，戰死戰傷七萬，由此可見此戰的規模和慘烈。
日本最終取得了日俄戰爭的勝利(俄國艦隊已經在海上被東鄉平八郎給打敗了)，從此大山岩成爲“大日本帝國”的英雄，他的大名也衝出亞洲，走向世界。雖然大山岩在“皇軍”中威望崇高，但他並不像他的同事山縣有朋那樣對政治着迷。1912年，這位元帥退出現役，就任內大臣。4年後在東京去世，終年74歲。
