Branch data Line data Source code
1 : : /* Copy propagation on hard registers for the GNU compiler.
2 : : Copyright (C) 2000-2025 Free Software Foundation, Inc.
3 : :
4 : : This file is part of GCC.
5 : :
6 : : GCC is free software; you can redistribute it and/or modify it
7 : : under the terms of the GNU General Public License as published by
8 : : the Free Software Foundation; either version 3, or (at your option)
9 : : any later version.
10 : :
11 : : GCC is distributed in the hope that it will be useful, but WITHOUT
12 : : ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
13 : : or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public
14 : : License for more details.
15 : :
16 : : You should have received a copy of the GNU General Public License
17 : : along with GCC; see the file COPYING3. If not see
18 : : <http://www.gnu.org/licenses/>. */
19 : :
20 : : #include "config.h"
21 : : #include "system.h"
22 : : #include "coretypes.h"
23 : : #include "backend.h"
24 : : #include "rtl.h"
25 : : #include "df.h"
26 : : #include "memmodel.h"
27 : : #include "tm_p.h"
28 : : #include "insn-config.h"
29 : : #include "regs.h"
30 : : #include "emit-rtl.h"
31 : : #include "recog.h"
32 : : #include "diagnostic-core.h"
33 : : #include "addresses.h"
34 : : #include "tree-pass.h"
35 : : #include "rtl-iter.h"
36 : : #include "cfgrtl.h"
37 : : #include "target.h"
38 : : #include "function-abi.h"
39 : :
40 : : /* The following code does forward propagation of hard register copies.
41 : : The object is to eliminate as many dependencies as possible, so that
42 : : we have the most scheduling freedom. As a side effect, we also clean
43 : : up some silly register allocation decisions made by reload. This
44 : : code may be obsoleted by a new register allocator. */
45 : :
46 : : /* DEBUG_INSNs aren't changed right away, as doing so might extend the
47 : : lifetime of a register and get the DEBUG_INSN subsequently reset.
48 : : So they are queued instead, and updated only when the register is
49 : : used in some subsequent real insn before it is set. */
50 : : struct queued_debug_insn_change
51 : : {
52 : : struct queued_debug_insn_change *next;
53 : : rtx_insn *insn;
54 : : rtx *loc;
55 : : rtx new_rtx;
56 : : };
57 : :
58 : : /* For each register, we have a list of registers that contain the same
59 : : value. The OLDEST_REGNO field points to the head of the list, and
60 : : the NEXT_REGNO field runs through the list. The MODE field indicates
61 : : what mode the data is known to be in; this field is VOIDmode when the
62 : : register is not known to contain valid data. */
63 : :
64 : : struct value_data_entry
65 : : {
66 : : machine_mode mode;
67 : : unsigned int oldest_regno;
68 : : unsigned int next_regno;
69 : : struct queued_debug_insn_change *debug_insn_changes;
70 : : };
71 : :
72 : : struct value_data
73 : : {
74 : : struct value_data_entry e[FIRST_PSEUDO_REGISTER];
75 : : unsigned int max_value_regs;
76 : : unsigned int n_debug_insn_changes;
77 : : };
78 : :
79 : : static object_allocator<queued_debug_insn_change> queued_debug_insn_change_pool
80 : : ("debug insn changes pool");
81 : :
82 : : static bool skip_debug_insn_p;
83 : :
84 : : static void kill_value_one_regno (unsigned, struct value_data *);
85 : : static void kill_value_regno (unsigned, unsigned, struct value_data *);
86 : : static void kill_value (const_rtx, struct value_data *);
87 : : static void set_value_regno (unsigned, machine_mode, struct value_data *);
88 : : static void init_value_data (struct value_data *);
89 : : static void kill_clobbered_value (rtx, const_rtx, void *);
90 : : static void kill_set_value (rtx, const_rtx, void *);
91 : : static void copy_value (rtx, rtx, struct value_data *);
92 : : static bool mode_change_ok (machine_mode, machine_mode,
93 : : unsigned int);
94 : : static rtx maybe_mode_change (machine_mode, machine_mode,
95 : : machine_mode, unsigned int, unsigned int);
96 : : static rtx find_oldest_value_reg (enum reg_class, rtx, struct value_data *);
97 : : static bool replace_oldest_value_reg (rtx *, enum reg_class, rtx_insn *,
98 : : struct value_data *);
99 : : static bool replace_oldest_value_addr (rtx *, enum reg_class,
100 : : machine_mode, addr_space_t,
101 : : rtx_insn *, struct value_data *);
102 : : static bool replace_oldest_value_mem (rtx, rtx_insn *, struct value_data *);
103 : : static bool copyprop_hardreg_forward_1 (basic_block, struct value_data *);
104 : : extern void debug_value_data (struct value_data *);
105 : : static void validate_value_data (struct value_data *);
106 : :
107 : : /* Free all queued updates for DEBUG_INSNs that change some reg to
108 : : register REGNO. */
109 : :
110 : : static void
111 : 249168 : free_debug_insn_changes (struct value_data *vd, unsigned int regno)
112 : : {
113 : 249168 : struct queued_debug_insn_change *cur, *next;
114 : 636301 : for (cur = vd->e[regno].debug_insn_changes; cur; cur = next)
115 : : {
116 : 387133 : next = cur->next;
117 : 387133 : --vd->n_debug_insn_changes;
118 : 387133 : queued_debug_insn_change_pool.remove (cur);
119 : : }
120 : 249168 : vd->e[regno].debug_insn_changes = NULL;
121 : 249168 : }
122 : :
123 : : /* Kill register REGNO. This involves removing it from any value
124 : : lists, and resetting the value mode to VOIDmode. This is only a
125 : : helper function; it does not handle any hard registers overlapping
126 : : with REGNO. */
127 : :
128 : : static void
129 : 84226063 : kill_value_one_regno (unsigned int regno, struct value_data *vd)
130 : : {
131 : 84226063 : unsigned int i, next;
132 : :
133 : 84226063 : if (vd->e[regno].oldest_regno != regno)
134 : : {
135 : 105287 : for (i = vd->e[regno].oldest_regno;
136 : 3118406 : vd->e[i].next_regno != regno;
137 : 105287 : i = vd->e[i].next_regno)
138 : 105287 : continue;
139 : 3013119 : vd->e[i].next_regno = vd->e[regno].next_regno;
140 : : }
141 : 81212944 : else if ((next = vd->e[regno].next_regno) != INVALID_REGNUM)
142 : : {
143 : 4565958 : for (i = next; i != INVALID_REGNUM; i = vd->e[i].next_regno)
144 : 2340837 : vd->e[i].oldest_regno = next;
145 : : }
146 : :
147 : 84226063 : vd->e[regno].mode = VOIDmode;
148 : 84226063 : vd->e[regno].oldest_regno = regno;
149 : 84226063 : vd->e[regno].next_regno = INVALID_REGNUM;
150 : 84226063 : if (vd->e[regno].debug_insn_changes)
151 : 104814 : free_debug_insn_changes (vd, regno);
152 : :
153 : 84226063 : if (flag_checking)
154 : 84225829 : validate_value_data (vd);
155 : 84226063 : }
156 : :
157 : : /* Kill the value in register REGNO for NREGS, and any other registers
158 : : whose values overlap. */
159 : :
160 : : static void
161 : 83934222 : kill_value_regno (unsigned int regno, unsigned int nregs,
162 : : struct value_data *vd)
163 : : {
164 : 83934222 : unsigned int j;
165 : :
166 : : /* Kill the value we're told to kill. */
167 : 168075113 : for (j = 0; j < nregs; ++j)
168 : 84140891 : kill_value_one_regno (regno + j, vd);
169 : :
170 : : /* Kill everything that overlapped what we're told to kill. */
171 : 83934222 : if (regno < vd->max_value_regs)
172 : : j = 0;
173 : : else
174 : 72047550 : j = regno - vd->max_value_regs;
175 : 152104962 : for (; j < regno; ++j)
176 : : {
177 : 68170740 : unsigned int i, n;
178 : 68170740 : if (vd->e[j].mode == VOIDmode)
179 : 53184102 : continue;
180 : 14986638 : n = hard_regno_nregs (j, vd->e[j].mode);
181 : 14986638 : if (j + n > regno)
182 : 127758 : for (i = 0; i < n; ++i)
183 : 85172 : kill_value_one_regno (j + i, vd);
184 : : }
185 : 83934222 : }
186 : :
187 : : /* Kill X. This is a convenience function wrapping kill_value_regno
188 : : so that we mind the mode the register is in. */
189 : :
190 : : static void
191 : 92180546 : kill_value (const_rtx x, struct value_data *vd)
192 : : {
193 : 92180546 : if (GET_CODE (x) == SUBREG)
194 : : {
195 : 6 : rtx tmp = simplify_subreg (GET_MODE (x), SUBREG_REG (x),
196 : 3 : GET_MODE (SUBREG_REG (x)), SUBREG_BYTE (x));
197 : 3 : x = tmp ? tmp : SUBREG_REG (x);
198 : : }
199 : 92180546 : if (REG_P (x))
200 : 69057088 : kill_value_regno (REGNO (x), REG_NREGS (x), vd);
201 : 92180546 : }
202 : :
203 : : /* Remember that REGNO is valid in MODE. */
204 : :
205 : : static void
206 : 53376992 : set_value_regno (unsigned int regno, machine_mode mode,
207 : : struct value_data *vd)
208 : : {
209 : 53376992 : unsigned int nregs;
210 : :
211 : 53376992 : vd->e[regno].mode = mode;
212 : :
213 : 50786883 : nregs = hard_regno_nregs (regno, mode);
214 : 53376992 : if (nregs > vd->max_value_regs)
215 : 4846007 : vd->max_value_regs = nregs;
216 : 0 : }
217 : :
218 : : /* Initialize VD such that there are no known relationships between regs. */
219 : :
220 : : static void
221 : 5036677 : init_value_data (struct value_data *vd)
222 : : {
223 : 5036677 : int i;
224 : 468410961 : for (i = 0; i < FIRST_PSEUDO_REGISTER; ++i)
225 : : {
226 : 463374284 : vd->e[i].mode = VOIDmode;
227 : 463374284 : vd->e[i].oldest_regno = i;
228 : 463374284 : vd->e[i].next_regno = INVALID_REGNUM;
229 : 463374284 : vd->e[i].debug_insn_changes = NULL;
230 : : }
231 : 5036677 : vd->max_value_regs = 0;
232 : 5036677 : vd->n_debug_insn_changes = 0;
233 : 5036677 : }
234 : :
235 : : /* Called through note_stores. If X is clobbered, kill its value. */
236 : :
237 : : static void
238 : 78705235 : kill_clobbered_value (rtx x, const_rtx set, void *data)
239 : : {
240 : 78705235 : struct value_data *const vd = (struct value_data *) data;
241 : :
242 : 78705235 : if (GET_CODE (set) == CLOBBER)
243 : 10336476 : kill_value (x, vd);
244 : 78705235 : }
245 : :
246 : : /* A structure passed as data to kill_set_value through note_stores. */
247 : : struct kill_set_value_data
248 : : {
249 : : struct value_data *vd;
250 : : rtx ignore_set_reg;
251 : : };
252 : :
253 : : /* Called through note_stores. If X is set, not clobbered, kill its
254 : : current value and install it as the root of its own value list. */
255 : :
256 : : static void
257 : 78601669 : kill_set_value (rtx x, const_rtx set, void *data)
258 : : {
259 : 78601669 : struct kill_set_value_data *ksvd = (struct kill_set_value_data *) data;
260 : 78601669 : if (rtx_equal_p (x, ksvd->ignore_set_reg))
261 : : return;
262 : :
263 : 78531607 : if (GET_CODE (set) != CLOBBER)
264 : : {
265 : 68195131 : kill_value (x, ksvd->vd);
266 : 68195131 : if (REG_P (x))
267 : 46331795 : set_value_regno (REGNO (x), GET_MODE (x), ksvd->vd);
268 : : }
269 : : }
270 : :
271 : : /* Kill any register used in X as the base of an auto-increment expression,
272 : : and install that register as the root of its own value list. */
273 : :
274 : : static void
275 : 72802732 : kill_autoinc_value (rtx_insn *insn, struct value_data *vd)
276 : : {
277 : 72802732 : subrtx_iterator::array_type array;
278 : 470213088 : FOR_EACH_SUBRTX (iter, array, PATTERN (insn), NONCONST)
279 : : {
280 : 397410356 : const_rtx x = *iter;
281 : 397410356 : if (GET_RTX_CLASS (GET_CODE (x)) == RTX_AUTOINC)
282 : : {
283 : 4385026 : x = XEXP (x, 0);
284 : 4385026 : kill_value (x, vd);
285 : 4385026 : set_value_regno (REGNO (x), GET_MODE (x), vd);
286 : 4385026 : iter.skip_subrtxes ();
287 : : }
288 : : }
289 : 72802732 : }
290 : :
291 : : /* Assert that SRC has been copied to DEST. Adjust the data structures
292 : : to reflect that SRC contains an older copy of the shared value. */
293 : :
294 : : static void
295 : 6249074 : copy_value (rtx dest, rtx src, struct value_data *vd)
296 : : {
297 : 6249074 : unsigned int dr = REGNO (dest);
298 : 6249074 : unsigned int sr = REGNO (src);
299 : 6249074 : unsigned int dn, sn;
300 : 6249074 : unsigned int i;
301 : :
302 : : /* ??? At present, it's possible to see noop sets. It'd be nice if
303 : : this were cleaned up beforehand... */
304 : 6249074 : if (sr == dr)
305 : : return;
306 : :
307 : : /* Do not propagate copies to the stack pointer, as that can leave
308 : : memory accesses with no scheduling dependency on the stack update. */
309 : 6249074 : if (dr == STACK_POINTER_REGNUM)
310 : : return;
311 : :
312 : : /* Likewise with the frame pointer, if we're using one. */
313 : 6245416 : if (frame_pointer_needed && dr == HARD_FRAME_POINTER_REGNUM)
314 : : return;
315 : :
316 : : /* Do not propagate copies to fixed or global registers, patterns
317 : : can be relying to see particular fixed register or users can
318 : : expect the chosen global register in asm. */
319 : 6198278 : if (fixed_regs[dr] || global_regs[dr])
320 : : return;
321 : :
322 : : /* If SRC and DEST overlap, don't record anything. */
323 : 6198261 : dn = REG_NREGS (dest);
324 : 6198261 : sn = REG_NREGS (src);
325 : 6198261 : if ((dr > sr && dr < sr + sn)
326 : 6198261 : || (sr > dr && sr < dr + dn))
327 : : return;
328 : :
329 : : /* If SRC had no assigned mode (i.e. we didn't know it was live)
330 : : assign it now and assume the value came from an input argument
331 : : or somesuch. */
332 : 6198261 : if (vd->e[sr].mode == VOIDmode)
333 : 2570622 : set_value_regno (sr, vd->e[dr].mode, vd);
334 : :
335 : 3627639 : else if (!ordered_p (GET_MODE_PRECISION (vd->e[sr].mode),
336 : 3627639 : GET_MODE_PRECISION (GET_MODE (src))))
337 : : return;
338 : :
339 : : /* If we are narrowing the input to a smaller number of hard regs,
340 : : and it is in big endian, we are really extracting a high part.
341 : : Since we generally associate a low part of a value with the value itself,
342 : : we must not do the same for the high part.
343 : : Note we can still get low parts for the same mode combination through
344 : : a two-step copy involving differently sized hard regs.
345 : : Assume hard regs fr* are 32 bits each, while r* are 64 bits each:
346 : : (set (reg:DI r0) (reg:DI fr0))
347 : : (set (reg:SI fr2) (reg:SI r0))
348 : : loads the low part of (reg:DI fr0) - i.e. fr1 - into fr2, while:
349 : : (set (reg:SI fr2) (reg:SI fr0))
350 : : loads the high part of (reg:DI fr0) into fr2.
351 : :
352 : : We can't properly represent the latter case in our tables, so don't
353 : : record anything then. */
354 : 3627639 : else if (sn < hard_regno_nregs (sr, vd->e[sr].mode)
355 : 3627639 : && maybe_ne (subreg_lowpart_offset (GET_MODE (dest),
356 : : vd->e[sr].mode), 0U))
357 : 0 : return;
358 : :
359 : : /* If SRC had been assigned a mode narrower than the copy, we can't
360 : : link DEST into the chain, because not all of the pieces of the
361 : : copy came from oldest_regno. */
362 : 3627639 : else if (sn > hard_regno_nregs (sr, vd->e[sr].mode))
363 : : return;
364 : :
365 : : /* If a narrower value is copied using wider mode, the upper bits
366 : : are undefined (could be e.g. a former paradoxical subreg). Signal
367 : : in that case we've only copied value using the narrower mode.
368 : : Consider:
369 : : (set (reg:DI r14) (mem:DI ...))
370 : : (set (reg:QI si) (reg:QI r14))
371 : : (set (reg:DI bp) (reg:DI r14))
372 : : (set (reg:DI r14) (const_int ...))
373 : : (set (reg:DI dx) (reg:DI si))
374 : : (set (reg:DI si) (const_int ...))
375 : : (set (reg:DI dx) (reg:DI bp))
376 : : The last set is not redundant, while the low 8 bits of dx are already
377 : : equal to low 8 bits of bp, the other bits are undefined. */
378 : 3627639 : else if (partial_subreg_p (vd->e[sr].mode, GET_MODE (src)))
379 : : {
380 : 19503 : if (!REG_CAN_CHANGE_MODE_P (sr, GET_MODE (src), vd->e[sr].mode)
381 : 19503 : || !REG_CAN_CHANGE_MODE_P (dr, vd->e[sr].mode, GET_MODE (dest)))
382 : 16 : return;
383 : 19487 : set_value_regno (dr, vd->e[sr].mode, vd);
384 : : }
385 : :
386 : : /* Link DR at the end of the value chain used by SR. */
387 : :
388 : 6198245 : vd->e[dr].oldest_regno = vd->e[sr].oldest_regno;
389 : :
390 : 6509045 : for (i = sr; vd->e[i].next_regno != INVALID_REGNUM; i = vd->e[i].next_regno)
391 : 310800 : continue;
392 : 6198245 : vd->e[i].next_regno = dr;
393 : :
394 : 6198245 : if (flag_checking)
395 : 6198216 : validate_value_data (vd);
396 : 310800 : }
397 : :
398 : : /* Return true if a mode change from ORIG to NEW is allowed for REGNO. */
399 : :
400 : : static bool
401 : 285170 : mode_change_ok (machine_mode orig_mode, machine_mode new_mode,
402 : : unsigned int regno ATTRIBUTE_UNUSED)
403 : : {
404 : 285170 : if (partial_subreg_p (orig_mode, new_mode))
405 : : return false;
406 : :
407 : 278680 : return REG_CAN_CHANGE_MODE_P (regno, orig_mode, new_mode);
408 : : }
409 : :
410 : : /* Register REGNO was originally set in ORIG_MODE. It - or a copy of it -
411 : : was copied in COPY_MODE to COPY_REGNO, and then COPY_REGNO was accessed
412 : : in NEW_MODE.
413 : : Return a NEW_MODE rtx for REGNO if that's OK, otherwise return NULL_RTX. */
414 : :
415 : : static rtx
416 : 1608269 : maybe_mode_change (machine_mode orig_mode, machine_mode copy_mode,
417 : : machine_mode new_mode, unsigned int regno,
418 : : unsigned int copy_regno ATTRIBUTE_UNUSED)
419 : : {
420 : 1608269 : if (partial_subreg_p (copy_mode, orig_mode)
421 : 1608269 : && partial_subreg_p (copy_mode, new_mode))
422 : : return NULL_RTX;
423 : :
424 : : /* Avoid creating multiple copies of the stack pointer. Some ports
425 : : assume there is one and only one stack pointer.
426 : :
427 : : It's unclear if we need to do the same for other special registers. */
428 : 1607568 : if (regno == STACK_POINTER_REGNUM)
429 : : {
430 : 25245 : if (orig_mode == new_mode && new_mode == GET_MODE (stack_pointer_rtx))
431 : : return stack_pointer_rtx;
432 : : else
433 : : return NULL_RTX;
434 : : }
435 : :
436 : 1582323 : if (orig_mode == new_mode)
437 : 1435853 : return gen_raw_REG (new_mode, regno);
438 : 146470 : else if (mode_change_ok (orig_mode, new_mode, regno)
439 : 146470 : && mode_change_ok (copy_mode, new_mode, copy_regno))
440 : : {
441 : 138700 : int copy_nregs = hard_regno_nregs (copy_regno, copy_mode);
442 : 138700 : int use_nregs = hard_regno_nregs (copy_regno, new_mode);
443 : 138700 : poly_uint64 bytes_per_reg;
444 : 277400 : if (!can_div_trunc_p (GET_MODE_SIZE (copy_mode),
445 : : copy_nregs, &bytes_per_reg))
446 : 138574 : return NULL_RTX;
447 : 138700 : poly_uint64 copy_offset = bytes_per_reg * (copy_nregs - use_nregs);
448 : 138700 : poly_uint64 offset
449 : 138700 : = subreg_size_lowpart_offset (GET_MODE_SIZE (new_mode) + copy_offset,
450 : 138700 : GET_MODE_SIZE (orig_mode));
451 : 138700 : regno += subreg_regno_offset (regno, orig_mode, offset, new_mode);
452 : 138700 : if (targetm.hard_regno_mode_ok (regno, new_mode))
453 : 138574 : return gen_raw_REG (new_mode, regno);
454 : : }
455 : : return NULL_RTX;
456 : : }
457 : :
458 : : /* Find the oldest copy of the value contained in REGNO that is in
459 : : register class CL and has mode MODE. If found, return an rtx
460 : : of that oldest register, otherwise return NULL. */
461 : :
462 : : static rtx
463 : 79593796 : find_oldest_value_reg (enum reg_class cl, rtx reg, struct value_data *vd)
464 : : {
465 : 79593796 : unsigned int regno = REGNO (reg);
466 : 79593796 : machine_mode mode = GET_MODE (reg);
467 : 79593796 : unsigned int i;
468 : :
469 : 79593796 : gcc_assert (regno < FIRST_PSEUDO_REGISTER);
470 : :
471 : : /* If we are accessing REG in some mode other that what we set it in,
472 : : make sure that the replacement is valid. In particular, consider
473 : : (set (reg:DI r11) (...))
474 : : (set (reg:SI r9) (reg:SI r11))
475 : : (set (reg:SI r10) (...))
476 : : (set (...) (reg:DI r9))
477 : : Replacing r9 with r11 is invalid. */
478 : 79593796 : if (mode != vd->e[regno].mode
479 : 79593796 : && (REG_NREGS (reg) > hard_regno_nregs (regno, vd->e[regno].mode)
480 : 4159095 : || !REG_CAN_CHANGE_MODE_P (regno, mode, vd->e[regno].mode)))
481 : 35165584 : return NULL_RTX;
482 : :
483 : 44990834 : for (i = vd->e[regno].oldest_regno; i != regno; i = vd->e[i].next_regno)
484 : : {
485 : 1877112 : machine_mode oldmode = vd->e[i].mode;
486 : 1877112 : rtx new_rtx;
487 : :
488 : 1877112 : if (!in_hard_reg_set_p (reg_class_contents[cl], mode, i))
489 : 555396 : continue;
490 : :
491 : 1321716 : new_rtx = maybe_mode_change (oldmode, vd->e[regno].mode, mode, i, regno);
492 : 1321716 : if (new_rtx)
493 : : {
494 : : /* NEW_RTX may be the global stack pointer rtx, in which case we
495 : : must not modify it's attributes. */
496 : 1314490 : if (new_rtx != stack_pointer_rtx)
497 : : {
498 : 1305631 : ORIGINAL_REGNO (new_rtx) = ORIGINAL_REGNO (reg);
499 : 1305631 : REG_ATTRS (new_rtx) = REG_ATTRS (reg);
500 : 1305631 : REG_POINTER (new_rtx) = REG_POINTER (reg);
501 : : }
502 : 1314490 : return new_rtx;
503 : : }
504 : : }
505 : :
506 : : return NULL_RTX;
507 : : }
508 : :
509 : : /* If possible, replace the register at *LOC with the oldest register
510 : : in register class CL. Return true if successfully replaced. */
511 : :
512 : : static bool
513 : 63041460 : replace_oldest_value_reg (rtx *loc, enum reg_class cl, rtx_insn *insn,
514 : : struct value_data *vd)
515 : : {
516 : 63041460 : rtx new_rtx = find_oldest_value_reg (cl, *loc, vd);
517 : 63041460 : if (new_rtx && (!DEBUG_INSN_P (insn) || !skip_debug_insn_p))
518 : : {
519 : 1011278 : if (DEBUG_INSN_P (insn))
520 : : {
521 : 492113 : struct queued_debug_insn_change *change;
522 : :
523 : 492113 : if (dump_file)
524 : 2 : fprintf (dump_file, "debug_insn %u: queued replacing reg %u with %u\n",
525 : 2 : INSN_UID (insn), REGNO (*loc), REGNO (new_rtx));
526 : :
527 : 492113 : change = queued_debug_insn_change_pool.allocate ();
528 : 492113 : change->next = vd->e[REGNO (new_rtx)].debug_insn_changes;
529 : 492113 : change->insn = insn;
530 : 492113 : change->loc = loc;
531 : 492113 : change->new_rtx = new_rtx;
532 : 492113 : vd->e[REGNO (new_rtx)].debug_insn_changes = change;
533 : 492113 : ++vd->n_debug_insn_changes;
534 : 492113 : return true;
535 : : }
536 : 519165 : if (dump_file)
537 : 30 : fprintf (dump_file, "insn %u: replaced reg %u with %u\n",
538 : 30 : INSN_UID (insn), REGNO (*loc), REGNO (new_rtx));
539 : :
540 : 519165 : validate_change (insn, loc, new_rtx, 1);
541 : 519165 : return true;
542 : : }
543 : : return false;
544 : : }
545 : :
546 : : /* Similar to replace_oldest_value_reg, but *LOC contains an address.
547 : : Adapted from find_reloads_address_1. CL is INDEX_REG_CLASS or
548 : : BASE_REG_CLASS depending on how the register is being considered. */
549 : :
550 : : static bool
551 : 95639757 : replace_oldest_value_addr (rtx *loc, enum reg_class cl,
552 : : machine_mode mode, addr_space_t as,
553 : : rtx_insn *insn, struct value_data *vd)
554 : : {
555 : 95639757 : rtx x = *loc;
556 : 95639757 : RTX_CODE code = GET_CODE (x);
557 : 95639757 : const char *fmt;
558 : 95639757 : int i, j;
559 : 95639757 : bool changed = false;
560 : :
561 : 95639757 : switch (code)
562 : : {
563 : 27382369 : case PLUS:
564 : 27382369 : if (DEBUG_INSN_P (insn))
565 : : break;
566 : :
567 : 21572531 : {
568 : 21572531 : rtx orig_op0 = XEXP (x, 0);
569 : 21572531 : rtx orig_op1 = XEXP (x, 1);
570 : 21572531 : RTX_CODE code0 = GET_CODE (orig_op0);
571 : 21572531 : RTX_CODE code1 = GET_CODE (orig_op1);
572 : 21572531 : rtx op0 = orig_op0;
573 : 21572531 : rtx op1 = orig_op1;
574 : 21572531 : rtx *locI = NULL;
575 : 21572531 : rtx *locB = NULL;
576 : 21572531 : enum rtx_code index_code = SCRATCH;
577 : :
578 : 21572531 : if (GET_CODE (op0) == SUBREG)
579 : : {
580 : 0 : op0 = SUBREG_REG (op0);
581 : 0 : code0 = GET_CODE (op0);
582 : : }
583 : :
584 : 21572531 : if (GET_CODE (op1) == SUBREG)
585 : : {
586 : 0 : op1 = SUBREG_REG (op1);
587 : 0 : code1 = GET_CODE (op1);
588 : : }
589 : :
590 : 21572531 : if (code0 == MULT || code0 == SIGN_EXTEND || code0 == TRUNCATE
591 : 21065678 : || code0 == ZERO_EXTEND || code1 == MEM)
592 : : {
593 : 506853 : locI = &XEXP (x, 0);
594 : 506853 : locB = &XEXP (x, 1);
595 : 506853 : index_code = GET_CODE (*locI);
596 : : }
597 : 21065678 : else if (code1 == MULT || code1 == SIGN_EXTEND || code1 == TRUNCATE
598 : 21064362 : || code1 == ZERO_EXTEND || code0 == MEM)
599 : : {
600 : 1316 : locI = &XEXP (x, 1);
601 : 1316 : locB = &XEXP (x, 0);
602 : 1316 : index_code = GET_CODE (*locI);
603 : : }
604 : 21064362 : else if (code0 == CONST_INT || code0 == CONST
605 : 21064362 : || code0 == SYMBOL_REF || code0 == LABEL_REF)
606 : : {
607 : 684470 : locB = &XEXP (x, 1);
608 : 684470 : index_code = GET_CODE (XEXP (x, 0));
609 : : }
610 : 20379892 : else if (code1 == CONST_INT || code1 == CONST
611 : : || code1 == SYMBOL_REF || code1 == LABEL_REF)
612 : : {
613 : 19445882 : locB = &XEXP (x, 0);
614 : 19445882 : index_code = GET_CODE (XEXP (x, 1));
615 : : }
616 : 934010 : else if (code0 == REG && code1 == REG)
617 : : {
618 : 741773 : int index_op;
619 : 741773 : unsigned regno0 = REGNO (op0), regno1 = REGNO (op1);
620 : :
621 : 398 : if (REGNO_OK_FOR_INDEX_P (regno1)
622 : 741773 : && regno_ok_for_base_p (regno0, mode, as, PLUS, REG))
623 : : index_op = 1;
624 : 0 : else if (REGNO_OK_FOR_INDEX_P (regno0)
625 : 398 : && regno_ok_for_base_p (regno1, mode, as, PLUS, REG))
626 : : index_op = 0;
627 : 0 : else if (regno_ok_for_base_p (regno0, mode, as, PLUS, REG)
628 : 0 : || REGNO_OK_FOR_INDEX_P (regno1))
629 : : index_op = 1;
630 : 0 : else if (regno_ok_for_base_p (regno1, mode, as, PLUS, REG))
631 : : index_op = 0;
632 : : else
633 : 741375 : index_op = 1;
634 : :
635 : 741773 : locI = &XEXP (x, index_op);
636 : 741773 : locB = &XEXP (x, !index_op);
637 : 741773 : index_code = GET_CODE (*locI);
638 : : }
639 : 192237 : else if (code0 == REG)
640 : : {
641 : 0 : locI = &XEXP (x, 0);
642 : 0 : locB = &XEXP (x, 1);
643 : 0 : index_code = GET_CODE (*locI);
644 : : }
645 : 192237 : else if (code1 == REG)
646 : : {
647 : 192237 : locI = &XEXP (x, 1);
648 : 192237 : locB = &XEXP (x, 0);
649 : 192237 : index_code = GET_CODE (*locI);
650 : : }
651 : :
652 : 21572531 : if (locI)
653 : 1442179 : changed |= replace_oldest_value_addr (locI, INDEX_REG_CLASS,
654 : : mode, as, insn, vd);
655 : 21572531 : if (locB)
656 : 21572531 : changed |= replace_oldest_value_addr (locB,
657 : : base_reg_class (mode, as, PLUS,
658 : : index_code),
659 : : mode, as, insn, vd);
660 : : return changed;
661 : : }
662 : :
663 : : case POST_INC:
664 : : case POST_DEC:
665 : : case POST_MODIFY:
666 : : case PRE_INC:
667 : : case PRE_DEC:
668 : : case PRE_MODIFY:
669 : : return false;
670 : :
671 : 1833846 : case MEM:
672 : 1833846 : return replace_oldest_value_mem (x, insn, vd);
673 : :
674 : 36173928 : case REG:
675 : 36173928 : return replace_oldest_value_reg (loc, cl, insn, vd);
676 : :
677 : : default:
678 : : break;
679 : : }
680 : :
681 : 31706953 : fmt = GET_RTX_FORMAT (code);
682 : 74280354 : for (i = GET_RTX_LENGTH (code) - 1; i >= 0; i--)
683 : : {
684 : 42573401 : if (fmt[i] == 'e')
685 : 16439640 : changed |= replace_oldest_value_addr (&XEXP (x, i), cl, mode, as,
686 : : insn, vd);
687 : 26133761 : else if (fmt[i] == 'E')
688 : 321979 : for (j = XVECLEN (x, i) - 1; j >= 0; j--)
689 : 182404 : changed |= replace_oldest_value_addr (&XVECEXP (x, i, j), cl,
690 : : mode, as, insn, vd);
691 : : }
692 : :
693 : : return changed;
694 : : }
695 : :
696 : : /* Similar to replace_oldest_value_reg, but X contains a memory. */
697 : :
698 : : static bool
699 : 29746313 : replace_oldest_value_mem (rtx x, rtx_insn *insn, struct value_data *vd)
700 : : {
701 : 29746313 : enum reg_class cl;
702 : :
703 : 29746313 : if (DEBUG_INSN_P (insn))
704 : : cl = ALL_REGS;
705 : : else
706 : 27912467 : cl = base_reg_class (GET_MODE (x), MEM_ADDR_SPACE (x), MEM, SCRATCH);
707 : :
708 : 29746313 : return replace_oldest_value_addr (&XEXP (x, 0), cl,
709 : 29746313 : GET_MODE (x), MEM_ADDR_SPACE (x),
710 : 29746313 : insn, vd);
711 : : }
712 : :
713 : : /* Apply all queued updates for DEBUG_INSNs that change some reg to
714 : : register REGNO. */
715 : :
716 : : static void
717 : 166381 : apply_debug_insn_changes (struct value_data *vd, unsigned int regno)
718 : : {
719 : 166381 : struct queued_debug_insn_change *change;
720 : 166381 : rtx_insn *last_insn = vd->e[regno].debug_insn_changes->insn;
721 : :
722 : 166381 : for (change = vd->e[regno].debug_insn_changes;
723 : 444882 : change;
724 : 278501 : change = change->next)
725 : : {
726 : 278501 : if (last_insn != change->insn)
727 : : {
728 : 108421 : apply_change_group ();
729 : 108421 : last_insn = change->insn;
730 : : }
731 : 278501 : validate_change (change->insn, change->loc, change->new_rtx, 1);
732 : : }
733 : 166381 : apply_change_group ();
734 : 166381 : }
735 : :
736 : : /* Called via note_uses, for all used registers in a real insn
737 : : apply DEBUG_INSN changes that change registers to the used
738 : : registers. */
739 : :
740 : : static void
741 : 873243 : cprop_find_used_regs (rtx *loc, void *data)
742 : : {
743 : 873243 : struct value_data *const vd = (struct value_data *) data;
744 : 873243 : subrtx_iterator::array_type array;
745 : 3253509 : FOR_EACH_SUBRTX (iter, array, *loc, NONCONST)
746 : : {
747 : 2380266 : const_rtx x = *iter;
748 : 2380266 : if (REG_P (x))
749 : : {
750 : 804731 : unsigned int regno = REGNO (x);
751 : 804731 : if (vd->e[regno].debug_insn_changes)
752 : : {
753 : 144354 : apply_debug_insn_changes (vd, regno);
754 : 144354 : free_debug_insn_changes (vd, regno);
755 : : }
756 : : }
757 : : }
758 : 873243 : }
759 : :
760 : : /* Apply clobbers of INSN in PATTERN and C_I_F_U to value_data VD. */
761 : :
762 : : static void
763 : 72872794 : kill_clobbered_values (rtx_insn *insn, struct value_data *vd)
764 : : {
765 : 0 : note_stores (insn, kill_clobbered_value, vd);
766 : 70062 : }
767 : :
768 : : /* Perform the forward copy propagation on basic block BB. */
769 : :
770 : : static bool
771 : 12150647 : copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
772 : : {
773 : 12150647 : bool anything_changed = false;
774 : 12150647 : rtx_insn *insn, *next;
775 : :
776 : 12150647 : for (insn = BB_HEAD (bb); ; insn = next)
777 : : {
778 : 154063748 : int n_ops, i, predicated;
779 : 154063748 : bool is_asm, any_replacements;
780 : 154063748 : rtx set;
781 : 154063748 : rtx link;
782 : 154063748 : bool changed = false;
783 : 154063748 : struct kill_set_value_data ksvd;
784 : :
785 : 154063748 : next = NEXT_INSN (insn);
786 : 154063748 : if (!NONDEBUG_INSN_P (insn))
787 : : {
788 : 81068873 : if (DEBUG_BIND_INSN_P (insn))
789 : : {
790 : 40217161 : rtx loc = INSN_VAR_LOCATION_LOC (insn);
791 : 40217161 : if (!VAR_LOC_UNKNOWN_P (loc))
792 : 23043417 : replace_oldest_value_addr (&INSN_VAR_LOCATION_LOC (insn),
793 : 23043417 : ALL_REGS, GET_MODE (loc),
794 : : ADDR_SPACE_GENERIC, insn, vd);
795 : : }
796 : :
797 : 81068873 : if (insn == BB_END (bb))
798 : : break;
799 : : else
800 : 80840828 : continue;
801 : : }
802 : :
803 : 72994875 : set = single_set (insn);
804 : :
805 : : /* Detect noop sets and remove them before processing side effects. */
806 : 72994875 : if (set && REG_P (SET_DEST (set)) && REG_P (SET_SRC (set)))
807 : : {
808 : 6404624 : unsigned int regno = REGNO (SET_SRC (set));
809 : 6404624 : rtx r1 = find_oldest_value_reg (REGNO_REG_CLASS (regno),
810 : : SET_DEST (set), vd);
811 : 6404624 : rtx r2 = find_oldest_value_reg (REGNO_REG_CLASS (regno),
812 : : SET_SRC (set), vd);
813 : 6404624 : if (rtx_equal_p (r1 ? r1 : SET_DEST (set), r2 ? r2 : SET_SRC (set)))
814 : : {
815 : 64765 : bool last = insn == BB_END (bb);
816 : 64765 : delete_insn (insn);
817 : 64765 : if (last)
818 : : break;
819 : 63561 : continue;
820 : 63561 : }
821 : : }
822 : :
823 : : /* Detect obviously dead sets (via REG_UNUSED notes) and remove them. */
824 : : if (set
825 : 67035683 : && !RTX_FRAME_RELATED_P (insn)
826 : 63097197 : && NONJUMP_INSN_P (insn)
827 : 52993314 : && !may_trap_p (set)
828 : 45827702 : && find_reg_note (insn, REG_UNUSED, SET_DEST (set))
829 : 252712 : && !side_effects_p (SET_SRC (set))
830 : 127378 : && !side_effects_p (SET_DEST (set)))
831 : : {
832 : 127378 : bool last = insn == BB_END (bb);
833 : 127378 : delete_insn (insn);
834 : 127378 : if (last)
835 : : break;
836 : 127374 : continue;
837 : 127374 : }
838 : :
839 : :
840 : 72802732 : extract_constrain_insn (insn);
841 : 72802732 : preprocess_constraints (insn);
842 : 72802732 : const operand_alternative *op_alt = which_op_alt ();
843 : 72802732 : n_ops = recog_data.n_operands;
844 : 72802732 : is_asm = asm_noperands (PATTERN (insn)) >= 0;
845 : :
846 : : /* Simplify the code below by promoting OP_OUT to OP_INOUT
847 : : in predicated instructions. */
848 : :
849 : 72802732 : predicated = GET_CODE (PATTERN (insn)) == COND_EXEC;
850 : 225123384 : for (i = 0; i < n_ops; ++i)
851 : : {
852 : 152320652 : int matches = op_alt[i].matches;
853 : 152320652 : if (matches >= 0 || op_alt[i].matched >= 0
854 : 135105007 : || (predicated && recog_data.operand_type[i] == OP_OUT))
855 : 17215645 : recog_data.operand_type[i] = OP_INOUT;
856 : : }
857 : :
858 : : /* Apply changes to earlier DEBUG_INSNs if possible. */
859 : 72802732 : if (vd->n_debug_insn_changes)
860 : 655574 : note_uses (&PATTERN (insn), cprop_find_used_regs, vd);
861 : :
862 : : /* For each earlyclobber operand, zap the value data. */
863 : 225123384 : for (i = 0; i < n_ops; i++)
864 : 152320652 : if (op_alt[i].earlyclobber)
865 : 12697 : kill_value (recog_data.operand[i], vd);
866 : :
867 : : /* Within asms, a clobber cannot overlap inputs or outputs.
868 : : I wouldn't think this were true for regular insns, but
869 : : scan_rtx treats them like that... */
870 : 72802732 : kill_clobbered_values (insn, vd);
871 : :
872 : : /* Kill all auto-incremented values. */
873 : : /* ??? REG_INC is useless, since stack pushes aren't done that way. */
874 : 72802732 : kill_autoinc_value (insn, vd);
875 : :
876 : : /* Kill all early-clobbered operands. */
877 : 297926116 : for (i = 0; i < n_ops; i++)
878 : 152320652 : if (op_alt[i].earlyclobber)
879 : 12697 : kill_value (recog_data.operand[i], vd);
880 : :
881 : : /* If we have dead sets in the insn, then we need to note these as we
882 : : would clobbers. */
883 : 140987290 : for (link = REG_NOTES (insn); link; link = XEXP (link, 1))
884 : : {
885 : 68184583 : if (REG_NOTE_KIND (link) == REG_UNUSED)
886 : : {
887 : 9168457 : kill_value (XEXP (link, 0), vd);
888 : : /* Furthermore, if the insn looked like a single-set,
889 : : but the dead store kills the source value of that
890 : : set, then we can no-longer use the plain move
891 : : special case below. */
892 : 9168457 : if (set
893 : 9168457 : && reg_overlap_mentioned_p (XEXP (link, 0), SET_SRC (set)))
894 : : set = NULL;
895 : : }
896 : :
897 : : /* We need to keep CFI info correct, and the same on all paths,
898 : : so we cannot normally replace the registers REG_CFA_REGISTER
899 : : refers to. Bail. */
900 : 68184583 : if (REG_NOTE_KIND (link) == REG_CFA_REGISTER)
901 : 25 : goto did_replacement;
902 : : }
903 : :
904 : : /* Special-case plain move instructions, since we may well
905 : : be able to do the move from a different register class. */
906 : 72802707 : if (set && REG_P (SET_SRC (set)))
907 : : {
908 : 16223585 : rtx src = SET_SRC (set);
909 : 16223585 : rtx dest = SET_DEST (set);
910 : 16223585 : unsigned int regno = REGNO (src);
911 : 16223585 : machine_mode mode = GET_MODE (src);
912 : 16223585 : unsigned int i;
913 : 16223585 : rtx new_rtx;
914 : :
915 : : /* If we are accessing SRC in some mode other that what we
916 : : set it in, make sure that the replacement is valid. */
917 : 16223585 : if (mode != vd->e[regno].mode)
918 : : {
919 : 6465564 : if (REG_NREGS (src)
920 : 6465564 : > hard_regno_nregs (regno, vd->e[regno].mode))
921 : 5228214 : goto no_move_special_case;
922 : :
923 : : /* And likewise, if we are narrowing on big endian the transformation
924 : : is also invalid. */
925 : 1237350 : if (REG_NREGS (src) < hard_regno_nregs (regno, vd->e[regno].mode)
926 : 1237350 : && maybe_ne (subreg_lowpart_offset (mode,
927 : : vd->e[regno].mode), 0U))
928 : 0 : goto no_move_special_case;
929 : : }
930 : :
931 : : /* If the destination is also a register, try to find a source
932 : : register in the same class. */
933 : 10995371 : if (REG_P (dest))
934 : : {
935 : 3743088 : new_rtx = find_oldest_value_reg (REGNO_REG_CLASS (regno),
936 : : src, vd);
937 : :
938 : 3743088 : if (new_rtx && validate_change (insn, &SET_SRC (set), new_rtx, 0))
939 : : {
940 : 68968 : if (dump_file)
941 : 2 : fprintf (dump_file,
942 : : "insn %u: replaced reg %u with %u\n",
943 : 2 : INSN_UID (insn), regno, REGNO (new_rtx));
944 : 68968 : changed = true;
945 : 68968 : goto did_replacement;
946 : : }
947 : : /* We need to re-extract as validate_change clobbers
948 : : recog_data. */
949 : 3674120 : extract_constrain_insn (insn);
950 : 3674120 : preprocess_constraints (insn);
951 : : }
952 : :
953 : : /* Otherwise, try all valid registers and see if its valid. */
954 : 10941128 : for (i = vd->e[regno].oldest_regno; i != regno;
955 : 14725 : i = vd->e[i].next_regno)
956 : : {
957 : 286553 : new_rtx = maybe_mode_change (vd->e[i].mode, vd->e[regno].mode,
958 : : mode, i, regno);
959 : 286553 : if (new_rtx != NULL_RTX)
960 : : {
961 : : /* Don't propagate for a more expensive reg-reg move. */
962 : 285066 : if (REG_P (dest))
963 : : {
964 : 133340 : enum reg_class from = REGNO_REG_CLASS (regno);
965 : 133340 : enum reg_class to = REGNO_REG_CLASS (REGNO (dest));
966 : 133340 : enum reg_class new_from = REGNO_REG_CLASS (i);
967 : 133340 : unsigned int original_cost
968 : 133340 : = targetm.register_move_cost (mode, from, to);
969 : 133340 : unsigned int after_cost
970 : 133340 : = targetm.register_move_cost (mode, new_from, to);
971 : 133340 : if (after_cost > original_cost)
972 : 7551 : continue;
973 : : }
974 : :
975 : 277515 : if (validate_change (insn, &SET_SRC (set), new_rtx, 0))
976 : : {
977 : : /* NEW_RTX may be the global stack pointer rtx, in which
978 : : case we must not modify it's attributes. */
979 : 271828 : if (new_rtx != stack_pointer_rtx)
980 : : {
981 : 255562 : ORIGINAL_REGNO (new_rtx) = ORIGINAL_REGNO (src);
982 : 255562 : REG_ATTRS (new_rtx) = REG_ATTRS (src);
983 : 255562 : REG_POINTER (new_rtx) = REG_POINTER (src);
984 : : }
985 : 271828 : if (dump_file)
986 : 3 : fprintf (dump_file,
987 : : "insn %u: replaced reg %u with %u\n",
988 : 3 : INSN_UID (insn), regno, REGNO (new_rtx));
989 : 271828 : changed = true;
990 : 271828 : goto did_replacement;
991 : : }
992 : : /* We need to re-extract as validate_change clobbers
993 : : recog_data. */
994 : 5687 : extract_constrain_insn (insn);
995 : 5687 : preprocess_constraints (insn);
996 : : }
997 : : }
998 : : }
999 : 56579122 : no_move_special_case:
1000 : :
1001 : : any_replacements = false;
1002 : :
1003 : : /* For each input operand, replace a hard register with the
1004 : : eldest live copy that's in an appropriate register class. */
1005 : 224100932 : for (i = 0; i < n_ops; i++)
1006 : : {
1007 : 151639021 : bool replaced = false;
1008 : :
1009 : : /* Don't scan match_operand here, since we've no reg class
1010 : : information to pass down. Any operands that we could
1011 : : substitute in will be represented elsewhere. */
1012 : 151639021 : if (recog_data.constraints[i][0] == '\0')
1013 : 27336717 : continue;
1014 : :
1015 : : /* Don't replace in asms intentionally referencing hard regs. */
1016 : 138288 : if (is_asm && REG_P (recog_data.operand[i])
1017 : 124425020 : && (REGNO (recog_data.operand[i])
1018 : 122716 : == ORIGINAL_REGNO (recog_data.operand[i])))
1019 : 2021 : continue;
1020 : :
1021 : 124300283 : if (recog_data.operand_type[i] == OP_IN)
1022 : : {
1023 : 64258900 : if (op_alt[i].is_address)
1024 : 3213273 : replaced
1025 : 3213273 : = replace_oldest_value_addr (recog_data.operand_loc[i],
1026 : : alternative_class (op_alt, i),
1027 : : VOIDmode, ADDR_SPACE_GENERIC,
1028 : : insn, vd);
1029 : 61045627 : else if (REG_P (recog_data.operand[i]))
1030 : 26867532 : replaced
1031 : 26867532 : = replace_oldest_value_reg (recog_data.operand_loc[i],
1032 : : alternative_class (op_alt, i),
1033 : : insn, vd);
1034 : 34178095 : else if (MEM_P (recog_data.operand[i]))
1035 : 14080607 : replaced = replace_oldest_value_mem (recog_data.operand[i],
1036 : : insn, vd);
1037 : : }
1038 : 60041383 : else if (MEM_P (recog_data.operand[i]))
1039 : 13831860 : replaced = replace_oldest_value_mem (recog_data.operand[i],
1040 : : insn, vd);
1041 : :
1042 : : /* If we performed any replacement, update match_dups. */
1043 : 57993272 : if (replaced)
1044 : : {
1045 : 518066 : int j;
1046 : 518066 : rtx new_rtx;
1047 : :
1048 : 518066 : new_rtx = *recog_data.operand_loc[i];
1049 : 518066 : recog_data.operand[i] = new_rtx;
1050 : 546968 : for (j = 0; j < recog_data.n_dups; j++)
1051 : 28902 : if (recog_data.dup_num[j] == i)
1052 : 9394 : validate_unshare_change (insn, recog_data.dup_loc[j], new_rtx, 1);
1053 : :
1054 : : any_replacements = true;
1055 : : }
1056 : : }
1057 : :
1058 : 72461911 : if (any_replacements)
1059 : : {
1060 : 515067 : if (! apply_change_group ())
1061 : : {
1062 : 352 : if (dump_file)
1063 : 0 : fprintf (dump_file,
1064 : : "insn %u: reg replacements not verified\n",
1065 : 0 : INSN_UID (insn));
1066 : : }
1067 : : else
1068 : : changed = true;
1069 : : }
1070 : :
1071 : 340821 : did_replacement:
1072 : 340821 : if (changed)
1073 : : {
1074 : 855511 : anything_changed = true;
1075 : :
1076 : : /* If something changed, perhaps further changes to earlier
1077 : : DEBUG_INSNs can be applied. */
1078 : 855511 : if (vd->n_debug_insn_changes)
1079 : 105114 : note_uses (&PATTERN (insn), cprop_find_used_regs, vd);
1080 : 855511 : df_insn_rescan (insn);
1081 : : }
1082 : :
1083 : 72802732 : ksvd.vd = vd;
1084 : 72802732 : ksvd.ignore_set_reg = NULL_RTX;
1085 : :
1086 : : /* Clobber call-clobbered registers. */
1087 : 72802732 : if (CALL_P (insn))
1088 : : {
1089 : 5469761 : unsigned int set_regno = INVALID_REGNUM;
1090 : 5469761 : unsigned int set_nregs = 0;
1091 : 5469761 : unsigned int regno;
1092 : 5469761 : rtx exp;
1093 : :
1094 : 15361903 : for (exp = CALL_INSN_FUNCTION_USAGE (insn); exp; exp = XEXP (exp, 1))
1095 : : {
1096 : 9962204 : rtx x = XEXP (exp, 0);
1097 : 9962204 : if (GET_CODE (x) == SET)
1098 : : {
1099 : 70062 : rtx dest = SET_DEST (x);
1100 : 70062 : kill_value (dest, vd);
1101 : 70062 : set_value_regno (REGNO (dest), GET_MODE (dest), vd);
1102 : 70062 : copy_value (dest, SET_SRC (x), vd);
1103 : 70062 : ksvd.ignore_set_reg = dest;
1104 : 70062 : set_regno = REGNO (dest);
1105 : 70062 : set_nregs = REG_NREGS (dest);
1106 : 70062 : break;
1107 : : }
1108 : : }
1109 : :
1110 : 5469761 : function_abi callee_abi = insn_callee_abi (insn);
1111 : 514157534 : for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
1112 : 503218012 : if (vd->e[regno].mode != VOIDmode
1113 : 24649305 : && callee_abi.clobbers_reg_p (vd->e[regno].mode, regno)
1114 : 518165208 : && (regno < set_regno || regno >= set_regno + set_nregs))
1115 : 14877134 : kill_value_regno (regno, 1, vd);
1116 : :
1117 : : /* If SET was seen in CALL_INSN_FUNCTION_USAGE, and SET_SRC
1118 : : of the SET isn't clobbered by CALLEE_ABI, but instead among
1119 : : CLOBBERs on the CALL_INSN, we could wrongly assume the
1120 : : value in it is still live. */
1121 : 5469761 : if (ksvd.ignore_set_reg)
1122 : 70062 : kill_clobbered_values (insn, vd);
1123 : : }
1124 : :
1125 : 151817964 : bool copy_p = (set
1126 : 66585183 : && REG_P (SET_DEST (set))
1127 : 117610123 : && REG_P (SET_SRC (set)));
1128 : 6212516 : bool noop_p = (copy_p
1129 : 6212516 : && rtx_equal_p (SET_DEST (set), SET_SRC (set)));
1130 : :
1131 : : /* If a noop move is using narrower mode than we have recorded,
1132 : : we need to either remove the noop move, or kill_set_value. */
1133 : 33504 : if (noop_p
1134 : 33504 : && partial_subreg_p (GET_MODE (SET_DEST (set)),
1135 : 33504 : vd->e[REGNO (SET_DEST (set))].mode))
1136 : : {
1137 : 2169 : if (noop_move_p (insn))
1138 : : {
1139 : 2169 : bool last = insn == BB_END (bb);
1140 : 2169 : delete_insn (insn);
1141 : 2169 : if (last)
1142 : : break;
1143 : : }
1144 : : else
1145 : : noop_p = false;
1146 : : }
1147 : :
1148 : 72802716 : if (!noop_p)
1149 : : {
1150 : : /* Notice stores. */
1151 : 72769228 : note_stores (insn, kill_set_value, &ksvd);
1152 : :
1153 : : /* Notice copies. */
1154 : 72769228 : if (copy_p)
1155 : : {
1156 : 6179012 : df_insn_rescan (insn);
1157 : 6179012 : copy_value (SET_DEST (set), SET_SRC (set), vd);
1158 : : }
1159 : : }
1160 : :
1161 : 72802716 : if (insn == BB_END (bb))
1162 : : break;
1163 : : }
1164 : :
1165 : 12150647 : return anything_changed;
1166 : : }
1167 : :
1168 : : /* Dump the value chain data to stderr. */
1169 : :
1170 : : DEBUG_FUNCTION void
1171 : 0 : debug_value_data (struct value_data *vd)
1172 : : {
1173 : 0 : HARD_REG_SET set;
1174 : 0 : unsigned int i, j;
1175 : :
1176 : 0 : CLEAR_HARD_REG_SET (set);
1177 : :
1178 : 0 : for (i = 0; i < FIRST_PSEUDO_REGISTER; ++i)
1179 : 0 : if (vd->e[i].oldest_regno == i)
1180 : : {
1181 : 0 : if (vd->e[i].mode == VOIDmode)
1182 : : {
1183 : 0 : if (vd->e[i].next_regno != INVALID_REGNUM)
1184 : 0 : fprintf (stderr, "[%u] Bad next_regno for empty chain (%u)\n",
1185 : : i, vd->e[i].next_regno);
1186 : 0 : continue;
1187 : : }
1188 : :
1189 : 0 : SET_HARD_REG_BIT (set, i);
1190 : 0 : fprintf (stderr, "[%u %s] ", i, GET_MODE_NAME (vd->e[i].mode));
1191 : :
1192 : 0 : for (j = vd->e[i].next_regno;
1193 : 0 : j != INVALID_REGNUM;
1194 : 0 : j = vd->e[j].next_regno)
1195 : : {
1196 : 0 : if (TEST_HARD_REG_BIT (set, j))
1197 : : {
1198 : 0 : fprintf (stderr, "[%u] Loop in regno chain\n", j);
1199 : 0 : return;
1200 : : }
1201 : :
1202 : 0 : if (vd->e[j].oldest_regno != i)
1203 : : {
1204 : 0 : fprintf (stderr, "[%u] Bad oldest_regno (%u)\n",
1205 : : j, vd->e[j].oldest_regno);
1206 : 0 : return;
1207 : : }
1208 : 0 : SET_HARD_REG_BIT (set, j);
1209 : 0 : fprintf (stderr, "[%u %s] ", j, GET_MODE_NAME (vd->e[j].mode));
1210 : : }
1211 : 0 : fputc ('\n', stderr);
1212 : : }
1213 : :
1214 : 0 : for (i = 0; i < FIRST_PSEUDO_REGISTER; ++i)
1215 : 0 : if (! TEST_HARD_REG_BIT (set, i)
1216 : 0 : && (vd->e[i].mode != VOIDmode
1217 : 0 : || vd->e[i].oldest_regno != i
1218 : 0 : || vd->e[i].next_regno != INVALID_REGNUM))
1219 : 0 : fprintf (stderr, "[%u] Non-empty reg in chain (%s %u %i)\n",
1220 : 0 : i, GET_MODE_NAME (vd->e[i].mode), vd->e[i].oldest_regno,
1221 : : vd->e[i].next_regno);
1222 : : }
1223 : :
1224 : : /* Do copyprop_hardreg_forward_1 for a single basic block BB.
1225 : : DEBUG_INSN is skipped since we do not want to involve DF related
1226 : : staff as how it is handled in function pass_cprop_hardreg::execute.
1227 : :
1228 : : NOTE: Currently it is only used for shrink-wrap. Maybe extend it
1229 : : to handle DEBUG_INSN for other uses. */
1230 : :
1231 : : void
1232 : 357616 : copyprop_hardreg_forward_bb_without_debug_insn (basic_block bb)
1233 : : {
1234 : 357616 : struct value_data *vd;
1235 : 357616 : vd = XNEWVEC (struct value_data, 1);
1236 : 357616 : init_value_data (vd);
1237 : :
1238 : 357616 : skip_debug_insn_p = true;
1239 : 357616 : copyprop_hardreg_forward_1 (bb, vd);
1240 : 357616 : free (vd);
1241 : 357616 : skip_debug_insn_p = false;
1242 : 357616 : }
1243 : :
1244 : : static void
1245 : 90424045 : validate_value_data (struct value_data *vd)
1246 : : {
1247 : 90424045 : HARD_REG_SET set;
1248 : 90424045 : unsigned int i, j;
1249 : :
1250 : 90424045 : CLEAR_HARD_REG_SET (set);
1251 : :
1252 : 8409436185 : for (i = 0; i < FIRST_PSEUDO_REGISTER; ++i)
1253 : 8319012140 : if (vd->e[i].oldest_regno == i)
1254 : : {
1255 : 8291012719 : if (vd->e[i].mode == VOIDmode)
1256 : : {
1257 : 7967673242 : if (vd->e[i].next_regno != INVALID_REGNUM)
1258 : 0 : internal_error ("%qs: [%u] bad %<next_regno%> for empty chain (%u)",
1259 : : __func__, i, vd->e[i].next_regno);
1260 : 7967673242 : continue;
1261 : : }
1262 : :
1263 : 323339477 : SET_HARD_REG_BIT (set, i);
1264 : :
1265 : 323339477 : for (j = vd->e[i].next_regno;
1266 : 351338898 : j != INVALID_REGNUM;
1267 : 27999421 : j = vd->e[j].next_regno)
1268 : : {
1269 : 27999421 : if (TEST_HARD_REG_BIT (set, j))
1270 : 0 : internal_error ("%qs: loop in %<next_regno%> chain (%u)",
1271 : : __func__, j);
1272 : 27999421 : if (vd->e[j].oldest_regno != i)
1273 : 0 : internal_error ("%qs: [%u] bad %<oldest_regno%> (%u)",
1274 : : __func__, j, vd->e[j].oldest_regno);
1275 : :
1276 : 27999421 : SET_HARD_REG_BIT (set, j);
1277 : : }
1278 : : }
1279 : :
1280 : 8409436185 : for (i = 0; i < FIRST_PSEUDO_REGISTER; ++i)
1281 : 8319012140 : if (! TEST_HARD_REG_BIT (set, i)
1282 : 8319012140 : && (vd->e[i].mode != VOIDmode
1283 : 7967673242 : || vd->e[i].oldest_regno != i
1284 : 7967673242 : || vd->e[i].next_regno != INVALID_REGNUM))
1285 : 0 : internal_error ("%qs: [%u] non-empty register in chain (%s %u %i)",
1286 : : __func__, i,
1287 : 0 : GET_MODE_NAME (vd->e[i].mode), vd->e[i].oldest_regno,
1288 : : vd->e[i].next_regno);
1289 : 90424045 : }
1290 : :
1291 : :
1292 : : namespace {
1293 : :
1294 : : const pass_data pass_data_cprop_hardreg =
1295 : : {
1296 : : RTL_PASS, /* type */
1297 : : "cprop_hardreg", /* name */
1298 : : OPTGROUP_NONE, /* optinfo_flags */
1299 : : TV_CPROP_REGISTERS, /* tv_id */
1300 : : 0, /* properties_required */
1301 : : 0, /* properties_provided */
1302 : : 0, /* properties_destroyed */
1303 : : 0, /* todo_flags_start */
1304 : : TODO_df_finish, /* todo_flags_finish */
1305 : : };
1306 : :
1307 : : class pass_cprop_hardreg : public rtl_opt_pass
1308 : : {
1309 : : public:
1310 : 285081 : pass_cprop_hardreg (gcc::context *ctxt)
1311 : 570162 : : rtl_opt_pass (pass_data_cprop_hardreg, ctxt)
1312 : : {}
1313 : :
1314 : : /* opt_pass methods: */
1315 : 1449863 : bool gate (function *) final override
1316 : : {
1317 : 1449863 : return (optimize > 0 && (flag_cprop_registers));
1318 : : }
1319 : :
1320 : : unsigned int execute (function *) final override;
1321 : :
1322 : : }; // class pass_cprop_hardreg
1323 : :
1324 : : static bool
1325 : 11793031 : cprop_hardreg_bb (basic_block bb, struct value_data *all_vd, sbitmap visited)
1326 : : {
1327 : 11793031 : bitmap_set_bit (visited, bb->index);
1328 : :
1329 : : /* If a block has a single predecessor, that we've already
1330 : : processed, begin with the value data that was live at
1331 : : the end of the predecessor block. */
1332 : : /* ??? Ought to use more intelligent queuing of blocks. */
1333 : 11793031 : if (single_pred_p (bb)
1334 : 8741001 : && bitmap_bit_p (visited, single_pred (bb)->index)
1335 : 19038083 : && ! (single_pred_edge (bb)->flags & (EDGE_ABNORMAL_CALL | EDGE_EH)))
1336 : : {
1337 : 7113970 : all_vd[bb->index] = all_vd[single_pred (bb)->index];
1338 : 7113970 : if (all_vd[bb->index].n_debug_insn_changes)
1339 : : {
1340 : : unsigned int regno;
1341 : :
1342 : 471253 : for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
1343 : : {
1344 : 471253 : if (all_vd[bb->index].e[regno].debug_insn_changes)
1345 : : {
1346 : : struct queued_debug_insn_change *cur;
1347 : 91404 : for (cur = all_vd[bb->index].e[regno].debug_insn_changes;
1348 : 154744 : cur; cur = cur->next)
1349 : 91404 : --all_vd[bb->index].n_debug_insn_changes;
1350 : 63340 : all_vd[bb->index].e[regno].debug_insn_changes = NULL;
1351 : 63340 : if (all_vd[bb->index].n_debug_insn_changes == 0)
1352 : : break;
1353 : : }
1354 : : }
1355 : : }
1356 : : }
1357 : : else
1358 : 4679061 : init_value_data (all_vd + bb->index);
1359 : :
1360 : 11793031 : return copyprop_hardreg_forward_1 (bb, all_vd + bb->index);
1361 : : }
1362 : :
1363 : : static void
1364 : 42590 : cprop_hardreg_debug (function *fun, struct value_data *all_vd)
1365 : : {
1366 : 42590 : basic_block bb;
1367 : :
1368 : 2578214 : FOR_EACH_BB_FN (bb, fun)
1369 : 2535624 : if (all_vd[bb->index].n_debug_insn_changes)
1370 : : {
1371 : 73539 : unsigned int regno;
1372 : 73539 : bitmap live;
1373 : :
1374 : 73539 : live = df_get_live_out (bb);
1375 : 573165 : for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
1376 : 573165 : if (all_vd[bb->index].e[regno].debug_insn_changes)
1377 : : {
1378 : 76196 : if (REGNO_REG_SET_P (live, regno))
1379 : 22027 : apply_debug_insn_changes (all_vd + bb->index, regno);
1380 : :
1381 : 76196 : struct queued_debug_insn_change *cur;
1382 : 76196 : for (cur = all_vd[bb->index].e[regno].debug_insn_changes;
1383 : 181176 : cur; cur = cur->next)
1384 : 104980 : --all_vd[bb->index].n_debug_insn_changes;
1385 : 76196 : all_vd[bb->index].e[regno].debug_insn_changes = NULL;
1386 : 76196 : if (all_vd[bb->index].n_debug_insn_changes == 0)
1387 : : break;
1388 : : }
1389 : : }
1390 : :
1391 : 42590 : queued_debug_insn_change_pool.release ();
1392 : 42590 : }
1393 : :
1394 : : unsigned int
1395 : 1023801 : pass_cprop_hardreg::execute (function *fun)
1396 : : {
1397 : 1023801 : struct value_data *all_vd;
1398 : 1023801 : basic_block bb;
1399 : :
1400 : 1023801 : all_vd = XNEWVEC (struct value_data, last_basic_block_for_fn (fun));
1401 : :
1402 : 1023801 : auto_sbitmap visited (last_basic_block_for_fn (fun));
1403 : 1023801 : bitmap_clear (visited);
1404 : :
1405 : 1023801 : auto_vec<int> worklist1, worklist2;
1406 : 1023801 : auto_vec<int> *curr = &worklist1;
1407 : 1023801 : auto_vec<int> *next = &worklist2;
1408 : 1023801 : bool any_debug_changes = false;
1409 : :
1410 : : /* We need accurate notes. Earlier passes such as if-conversion may
1411 : : leave notes in an inconsistent state. */
1412 : 1023801 : df_note_add_problem ();
1413 : 1023801 : df_analyze ();
1414 : :
1415 : : /* It is tempting to set DF_LR_RUN_DCE, but DCE may choose to delete
1416 : : an insn and this pass would not have visibility into the removal.
1417 : : This pass would then potentially use the source of that
1418 : : INSN for propagation purposes, generating invalid code.
1419 : :
1420 : : So we just ask for updated notes and handle trivial deletions
1421 : : within this pass where we can update this passes internal
1422 : : data structures appropriately. */
1423 : 1023801 : df_set_flags (DF_DEFER_INSN_RESCAN);
1424 : :
1425 : 12352119 : FOR_EACH_BB_FN (bb, fun)
1426 : : {
1427 : 11328318 : if (cprop_hardreg_bb (bb, all_vd, visited))
1428 : 460777 : curr->safe_push (bb->index);
1429 : 11328318 : if (all_vd[bb->index].n_debug_insn_changes)
1430 : 66083 : any_debug_changes = true;
1431 : : }
1432 : :
1433 : : /* We must call df_analyze here unconditionally to ensure that the
1434 : : REG_UNUSED and REG_DEAD notes are consistent with and without -g. */
1435 : 1023801 : df_analyze ();
1436 : :
1437 : 1023801 : if (MAY_HAVE_DEBUG_BIND_INSNS && any_debug_changes)
1438 : 36756 : cprop_hardreg_debug (fun, all_vd);
1439 : :
1440 : : /* Repeat pass up to PASSES times, but only processing basic blocks
1441 : : that have changed on the previous iteration. CURR points to the
1442 : : current worklist, and each iteration populates the NEXT worklist,
1443 : : swapping pointers after each cycle. */
1444 : :
1445 : 1023801 : unsigned int passes = optimize > 1 ? 3 : 2;
1446 : 1205476 : for (unsigned int pass = 2; pass <= passes && !curr->is_empty (); pass++)
1447 : : {
1448 : 181675 : any_debug_changes = false;
1449 : 181675 : bitmap_clear (visited);
1450 : 181675 : next->truncate (0);
1451 : 646388 : for (int index : *curr)
1452 : : {
1453 : 464713 : bb = BASIC_BLOCK_FOR_FN (fun, index);
1454 : 464713 : if (cprop_hardreg_bb (bb, all_vd, visited))
1455 : 4737 : next->safe_push (bb->index);
1456 : 464713 : if (all_vd[bb->index].n_debug_insn_changes)
1457 : 7456 : any_debug_changes = true;
1458 : : }
1459 : :
1460 : 181675 : df_analyze ();
1461 : 181675 : if (MAY_HAVE_DEBUG_BIND_INSNS && any_debug_changes)
1462 : 5834 : cprop_hardreg_debug (fun, all_vd);
1463 : 181675 : std::swap (curr, next);
1464 : : }
1465 : :
1466 : 1023801 : free (all_vd);
1467 : 1023801 : return 0;
1468 : 1023801 : }
1469 : :
1470 : : } // anon namespace
1471 : :
1472 : : rtl_opt_pass *
1473 : 285081 : make_pass_cprop_hardreg (gcc::context *ctxt)
1474 : : {
1475 : 285081 : return new pass_cprop_hardreg (ctxt);
1476 : : }
|
