Branch data Line data Source code
1 : : /* Expansion pass for OMP directives. Outlines regions of certain OMP
2 : : directives to separate functions, converts others into explicit calls to the
3 : : runtime library (libgomp) and so forth
4 : :
5 : : Copyright (C) 2005-2025 Free Software Foundation, Inc.
6 : :
7 : : This file is part of GCC.
8 : :
9 : : GCC is free software; you can redistribute it and/or modify it under
10 : : the terms of the GNU General Public License as published by the Free
11 : : Software Foundation; either version 3, or (at your option) any later
12 : : version.
13 : :
14 : : GCC is distributed in the hope that it will be useful, but WITHOUT ANY
15 : : WARRANTY; without even the implied warranty of MERCHANTABILITY or
16 : : FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License
17 : : for more details.
18 : :
19 : : You should have received a copy of the GNU General Public License
20 : : along with GCC; see the file COPYING3. If not see
21 : : <http://www.gnu.org/licenses/>. */
22 : :
23 : : #include "config.h"
24 : : #include "system.h"
25 : : #include "coretypes.h"
26 : : #include "memmodel.h"
27 : : #include "backend.h"
28 : : #include "target.h"
29 : : #include "rtl.h"
30 : : #include "tree.h"
31 : : #include "gimple.h"
32 : : #include "cfghooks.h"
33 : : #include "tree-pass.h"
34 : : #include "ssa.h"
35 : : #include "optabs.h"
36 : : #include "cgraph.h"
37 : : #include "pretty-print.h"
38 : : #include "diagnostic-core.h"
39 : : #include "fold-const.h"
40 : : #include "stor-layout.h"
41 : : #include "cfganal.h"
42 : : #include "internal-fn.h"
43 : : #include "gimplify.h"
44 : : #include "gimple-iterator.h"
45 : : #include "gimplify-me.h"
46 : : #include "gimple-walk.h"
47 : : #include "tree-cfg.h"
48 : : #include "tree-into-ssa.h"
49 : : #include "tree-ssa.h"
50 : : #include "splay-tree.h"
51 : : #include "cfgloop.h"
52 : : #include "omp-general.h"
53 : : #include "omp-offload.h"
54 : : #include "tree-cfgcleanup.h"
55 : : #include "alloc-pool.h"
56 : : #include "symbol-summary.h"
57 : : #include "gomp-constants.h"
58 : : #include "gimple-pretty-print.h"
59 : : #include "stringpool.h"
60 : : #include "attribs.h"
61 : : #include "tree-eh.h"
62 : : #include "opts.h"
63 : :
64 : : /* OMP region information. Every parallel and workshare
65 : : directive is enclosed between two markers, the OMP_* directive
66 : : and a corresponding GIMPLE_OMP_RETURN statement. */
67 : :
68 : : struct omp_region
69 : : {
70 : : /* The enclosing region. */
71 : : struct omp_region *outer;
72 : :
73 : : /* First child region. */
74 : : struct omp_region *inner;
75 : :
76 : : /* Next peer region. */
77 : : struct omp_region *next;
78 : :
79 : : /* Block containing the omp directive as its last stmt. */
80 : : basic_block entry;
81 : :
82 : : /* Block containing the GIMPLE_OMP_RETURN as its last stmt. */
83 : : basic_block exit;
84 : :
85 : : /* Block containing the GIMPLE_OMP_CONTINUE as its last stmt. */
86 : : basic_block cont;
87 : :
88 : : /* If this is a combined parallel+workshare region, this is a list
89 : : of additional arguments needed by the combined parallel+workshare
90 : : library call. */
91 : : vec<tree, va_gc> *ws_args;
92 : :
93 : : /* The code for the omp directive of this region. */
94 : : enum gimple_code type;
95 : :
96 : : /* Schedule kind, only used for GIMPLE_OMP_FOR type regions. */
97 : : enum omp_clause_schedule_kind sched_kind;
98 : :
99 : : /* Schedule modifiers. */
100 : : unsigned char sched_modifiers;
101 : :
102 : : /* True if this is a combined parallel+workshare region. */
103 : : bool is_combined_parallel;
104 : :
105 : : /* Copy of fd.lastprivate_conditional != 0. */
106 : : bool has_lastprivate_conditional;
107 : :
108 : : /* The ordered stmt if type is GIMPLE_OMP_ORDERED and it has
109 : : a depend clause. */
110 : : gomp_ordered *ord_stmt;
111 : : };
112 : :
113 : : static struct omp_region *root_omp_region;
114 : : static bool omp_any_child_fn_dumped;
115 : :
116 : : static void expand_omp_build_assign (gimple_stmt_iterator *, tree, tree,
117 : : bool = false);
118 : : static gphi *find_phi_with_arg_on_edge (tree, edge);
119 : : static void expand_omp (struct omp_region *region);
120 : :
121 : : /* Return true if REGION is a combined parallel+workshare region. */
122 : :
123 : : static inline bool
124 : 42683 : is_combined_parallel (struct omp_region *region)
125 : : {
126 : 42683 : return region->is_combined_parallel;
127 : : }
128 : :
129 : : /* Return true is REGION is or is contained within an offload region. */
130 : :
131 : : static bool
132 : 11118 : is_in_offload_region (struct omp_region *region)
133 : : {
134 : 29951 : gimple *entry_stmt = last_nondebug_stmt (region->entry);
135 : 29951 : if (is_gimple_omp (entry_stmt)
136 : 28999 : && is_gimple_omp_offloaded (entry_stmt))
137 : : return true;
138 : 25641 : else if (region->outer)
139 : : return is_in_offload_region (region->outer);
140 : : else
141 : 6808 : return (lookup_attribute ("omp declare target",
142 : 6808 : DECL_ATTRIBUTES (current_function_decl))
143 : 6808 : != NULL);
144 : : }
145 : :
146 : : /* Given two blocks PAR_ENTRY_BB and WS_ENTRY_BB such that WS_ENTRY_BB
147 : : is the immediate dominator of PAR_ENTRY_BB, return true if there
148 : : are no data dependencies that would prevent expanding the parallel
149 : : directive at PAR_ENTRY_BB as a combined parallel+workshare region.
150 : :
151 : : When expanding a combined parallel+workshare region, the call to
152 : : the child function may need additional arguments in the case of
153 : : GIMPLE_OMP_FOR regions. In some cases, these arguments are
154 : : computed out of variables passed in from the parent to the child
155 : : via 'struct .omp_data_s'. For instance:
156 : :
157 : : #pragma omp parallel for schedule (guided, i * 4)
158 : : for (j ...)
159 : :
160 : : Is lowered into:
161 : :
162 : : # BLOCK 2 (PAR_ENTRY_BB)
163 : : .omp_data_o.i = i;
164 : : #pragma omp parallel [child fn: bar.omp_fn.0 ( ..., D.1598)
165 : :
166 : : # BLOCK 3 (WS_ENTRY_BB)
167 : : .omp_data_i = &.omp_data_o;
168 : : D.1667 = .omp_data_i->i;
169 : : D.1598 = D.1667 * 4;
170 : : #pragma omp for schedule (guided, D.1598)
171 : :
172 : : When we outline the parallel region, the call to the child function
173 : : 'bar.omp_fn.0' will need the value D.1598 in its argument list, but
174 : : that value is computed *after* the call site. So, in principle we
175 : : cannot do the transformation.
176 : :
177 : : To see whether the code in WS_ENTRY_BB blocks the combined
178 : : parallel+workshare call, we collect all the variables used in the
179 : : GIMPLE_OMP_FOR header check whether they appear on the LHS of any
180 : : statement in WS_ENTRY_BB. If so, then we cannot emit the combined
181 : : call.
182 : :
183 : : FIXME. If we had the SSA form built at this point, we could merely
184 : : hoist the code in block 3 into block 2 and be done with it. But at
185 : : this point we don't have dataflow information and though we could
186 : : hack something up here, it is really not worth the aggravation. */
187 : :
188 : : static bool
189 : 8852 : workshare_safe_to_combine_p (basic_block ws_entry_bb)
190 : : {
191 : 8852 : struct omp_for_data fd;
192 : 8852 : gimple *ws_stmt = last_nondebug_stmt (ws_entry_bb);
193 : :
194 : 8852 : if (gimple_code (ws_stmt) == GIMPLE_OMP_SECTIONS)
195 : : return true;
196 : :
197 : 8733 : gcc_assert (gimple_code (ws_stmt) == GIMPLE_OMP_FOR);
198 : 8733 : if (gimple_omp_for_kind (ws_stmt) != GF_OMP_FOR_KIND_FOR)
199 : : return false;
200 : :
201 : 8719 : omp_extract_for_data (as_a <gomp_for *> (ws_stmt), &fd, NULL);
202 : :
203 : 8719 : if (fd.collapse > 1 && TREE_CODE (fd.loop.n2) != INTEGER_CST)
204 : : return false;
205 : 6947 : if (fd.iter_type != long_integer_type_node)
206 : : return false;
207 : :
208 : : /* FIXME. We give up too easily here. If any of these arguments
209 : : are not constants, they will likely involve variables that have
210 : : been mapped into fields of .omp_data_s for sharing with the child
211 : : function. With appropriate data flow, it would be possible to
212 : : see through this. */
213 : 1508 : if (!is_gimple_min_invariant (fd.loop.n1)
214 : 1278 : || !is_gimple_min_invariant (fd.loop.n2)
215 : 1149 : || !is_gimple_min_invariant (fd.loop.step)
216 : 2642 : || (fd.chunk_size && !is_gimple_min_invariant (fd.chunk_size)))
217 : 376 : return false;
218 : :
219 : : return true;
220 : : }
221 : :
222 : : /* Adjust CHUNK_SIZE from SCHEDULE clause, depending on simd modifier
223 : : presence (SIMD_SCHEDULE). */
224 : :
225 : : static tree
226 : 8295 : omp_adjust_chunk_size (tree chunk_size, bool simd_schedule, bool offload)
227 : : {
228 : 8295 : if (!simd_schedule || integer_zerop (chunk_size))
229 : 8261 : return chunk_size;
230 : :
231 : 34 : tree vf;
232 : 34 : tree type = TREE_TYPE (chunk_size);
233 : :
234 : 34 : if (offload)
235 : : {
236 : 2 : cfun->curr_properties &= ~PROP_gimple_lomp_dev;
237 : 2 : vf = build_call_expr_internal_loc (UNKNOWN_LOCATION, IFN_GOMP_MAX_VF,
238 : : unsigned_type_node, 0);
239 : 2 : vf = fold_convert (type, vf);
240 : : }
241 : : else
242 : : {
243 : 32 : poly_uint64 vf_num = omp_max_vf (false);
244 : 32 : if (known_eq (vf_num, 1U))
245 : 8262 : return chunk_size;
246 : 31 : vf = build_int_cst (type, vf_num);
247 : : }
248 : :
249 : 33 : tree vf_minus_one = fold_build2 (MINUS_EXPR, type, vf,
250 : : build_int_cst (type, 1));
251 : 33 : tree negative_vf = fold_build1 (NEGATE_EXPR, type, vf);
252 : 33 : chunk_size = fold_build2 (PLUS_EXPR, type, chunk_size, vf_minus_one);
253 : 33 : return fold_build2 (BIT_AND_EXPR, type, chunk_size, negative_vf);
254 : : }
255 : :
256 : : /* Collect additional arguments needed to emit a combined
257 : : parallel+workshare call. WS_STMT is the workshare directive being
258 : : expanded. */
259 : :
260 : : static vec<tree, va_gc> *
261 : 1196 : get_ws_args_for (gimple *par_stmt, gimple *ws_stmt, bool offload)
262 : : {
263 : 1196 : tree t;
264 : 1196 : location_t loc = gimple_location (ws_stmt);
265 : 1196 : vec<tree, va_gc> *ws_args;
266 : :
267 : 1196 : if (gomp_for *for_stmt = dyn_cast <gomp_for *> (ws_stmt))
268 : : {
269 : 1084 : struct omp_for_data fd;
270 : 1084 : tree n1, n2;
271 : :
272 : 1084 : omp_extract_for_data (for_stmt, &fd, NULL);
273 : 1084 : n1 = fd.loop.n1;
274 : 1084 : n2 = fd.loop.n2;
275 : :
276 : 1084 : if (gimple_omp_for_combined_into_p (for_stmt))
277 : : {
278 : 769 : tree innerc
279 : 769 : = omp_find_clause (gimple_omp_parallel_clauses (par_stmt),
280 : : OMP_CLAUSE__LOOPTEMP_);
281 : 769 : gcc_assert (innerc);
282 : 769 : n1 = OMP_CLAUSE_DECL (innerc);
283 : 769 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
284 : : OMP_CLAUSE__LOOPTEMP_);
285 : 769 : gcc_assert (innerc);
286 : 769 : n2 = OMP_CLAUSE_DECL (innerc);
287 : : }
288 : :
289 : 1084 : vec_alloc (ws_args, 3 + (fd.chunk_size != 0));
290 : :
291 : 1084 : t = fold_convert_loc (loc, long_integer_type_node, n1);
292 : 1084 : ws_args->quick_push (t);
293 : :
294 : 1084 : t = fold_convert_loc (loc, long_integer_type_node, n2);
295 : 1084 : ws_args->quick_push (t);
296 : :
297 : 1084 : t = fold_convert_loc (loc, long_integer_type_node, fd.loop.step);
298 : 1084 : ws_args->quick_push (t);
299 : :
300 : 1084 : if (fd.chunk_size)
301 : : {
302 : 538 : t = fold_convert_loc (loc, long_integer_type_node, fd.chunk_size);
303 : 538 : t = omp_adjust_chunk_size (t, fd.simd_schedule, offload);
304 : 538 : ws_args->quick_push (t);
305 : : }
306 : :
307 : 1084 : return ws_args;
308 : : }
309 : 112 : else if (gimple_code (ws_stmt) == GIMPLE_OMP_SECTIONS)
310 : : {
311 : : /* Number of sections is equal to the number of edges from the
312 : : GIMPLE_OMP_SECTIONS_SWITCH statement, except for the one to
313 : : the exit of the sections region. */
314 : 112 : basic_block bb = single_succ (gimple_bb (ws_stmt));
315 : 224 : t = build_int_cst (unsigned_type_node, EDGE_COUNT (bb->succs) - 1);
316 : 112 : vec_alloc (ws_args, 1);
317 : 112 : ws_args->quick_push (t);
318 : 112 : return ws_args;
319 : : }
320 : :
321 : 0 : gcc_unreachable ();
322 : : }
323 : :
324 : : /* Discover whether REGION is a combined parallel+workshare region. */
325 : :
326 : : static void
327 : 15991 : determine_parallel_type (struct omp_region *region)
328 : : {
329 : 15991 : basic_block par_entry_bb, par_exit_bb;
330 : 15991 : basic_block ws_entry_bb, ws_exit_bb;
331 : :
332 : 15991 : if (region == NULL || region->inner == NULL
333 : 14540 : || region->exit == NULL || region->inner->exit == NULL
334 : 14529 : || region->inner->cont == NULL)
335 : : return;
336 : :
337 : : /* We only support parallel+for and parallel+sections. */
338 : 10102 : if (region->type != GIMPLE_OMP_PARALLEL
339 : 10102 : || (region->inner->type != GIMPLE_OMP_FOR
340 : 291 : && region->inner->type != GIMPLE_OMP_SECTIONS))
341 : : return;
342 : :
343 : : /* Check for perfect nesting PAR_ENTRY_BB -> WS_ENTRY_BB and
344 : : WS_EXIT_BB -> PAR_EXIT_BB. */
345 : 9984 : par_entry_bb = region->entry;
346 : 9984 : par_exit_bb = region->exit;
347 : 9984 : ws_entry_bb = region->inner->entry;
348 : 9984 : ws_exit_bb = region->inner->exit;
349 : :
350 : : /* Give up for task reductions on the parallel, while it is implementable,
351 : : adding another big set of APIs or slowing down the normal paths is
352 : : not acceptable. */
353 : 9984 : tree pclauses
354 : 9984 : = gimple_omp_parallel_clauses (last_nondebug_stmt (par_entry_bb));
355 : 9984 : if (omp_find_clause (pclauses, OMP_CLAUSE__REDUCTEMP_))
356 : : return;
357 : :
358 : 9961 : if (single_succ (par_entry_bb) == ws_entry_bb
359 : 8888 : && single_succ (ws_exit_bb) == par_exit_bb
360 : 8852 : && workshare_safe_to_combine_p (ws_entry_bb)
361 : 11212 : && (gimple_omp_parallel_combined_p (last_nondebug_stmt (par_entry_bb))
362 : 7 : || (last_and_only_stmt (ws_entry_bb)
363 : 2 : && last_and_only_stmt (par_exit_bb))))
364 : : {
365 : 1244 : gimple *par_stmt = last_nondebug_stmt (par_entry_bb);
366 : 1244 : gimple *ws_stmt = last_nondebug_stmt (ws_entry_bb);
367 : :
368 : 1244 : if (region->inner->type == GIMPLE_OMP_FOR)
369 : : {
370 : : /* If this is a combined parallel loop, we need to determine
371 : : whether or not to use the combined library calls. There
372 : : are two cases where we do not apply the transformation:
373 : : static loops and any kind of ordered loop. In the first
374 : : case, we already open code the loop so there is no need
375 : : to do anything else. In the latter case, the combined
376 : : parallel loop call would still need extra synchronization
377 : : to implement ordered semantics, so there would not be any
378 : : gain in using the combined call. */
379 : 1128 : tree clauses = gimple_omp_for_clauses (ws_stmt);
380 : 1128 : tree c = omp_find_clause (clauses, OMP_CLAUSE_SCHEDULE);
381 : 1128 : if (c == NULL
382 : 1110 : || ((OMP_CLAUSE_SCHEDULE_KIND (c) & OMP_CLAUSE_SCHEDULE_MASK)
383 : : == OMP_CLAUSE_SCHEDULE_STATIC)
384 : 1096 : || omp_find_clause (clauses, OMP_CLAUSE_ORDERED)
385 : 1084 : || omp_find_clause (clauses, OMP_CLAUSE__REDUCTEMP_)
386 : 2212 : || ((c = omp_find_clause (clauses, OMP_CLAUSE__CONDTEMP_))
387 : 14 : && POINTER_TYPE_P (TREE_TYPE (OMP_CLAUSE_DECL (c)))))
388 : 44 : return;
389 : : }
390 : 116 : else if (region->inner->type == GIMPLE_OMP_SECTIONS
391 : 232 : && (omp_find_clause (gimple_omp_sections_clauses (ws_stmt),
392 : : OMP_CLAUSE__REDUCTEMP_)
393 : 116 : || omp_find_clause (gimple_omp_sections_clauses (ws_stmt),
394 : : OMP_CLAUSE__CONDTEMP_)))
395 : 4 : return;
396 : :
397 : 1196 : region->is_combined_parallel = true;
398 : 1196 : region->inner->is_combined_parallel = true;
399 : 1196 : region->ws_args = get_ws_args_for (par_stmt, ws_stmt,
400 : 1196 : is_in_offload_region (region));
401 : : }
402 : : }
403 : :
404 : : /* Debugging dumps for parallel regions. */
405 : : void dump_omp_region (FILE *, struct omp_region *, int);
406 : : void debug_omp_region (struct omp_region *);
407 : : void debug_all_omp_regions (void);
408 : :
409 : : /* Dump the parallel region tree rooted at REGION. */
410 : :
411 : : void
412 : 203 : dump_omp_region (FILE *file, struct omp_region *region, int indent)
413 : : {
414 : 248 : fprintf (file, "%*sbb %d: %s\n", indent, "", region->entry->index,
415 : 248 : gimple_code_name[region->type]);
416 : :
417 : 248 : if (region->inner)
418 : 39 : dump_omp_region (file, region->inner, indent + 4);
419 : :
420 : 248 : if (region->cont)
421 : : {
422 : 99 : fprintf (file, "%*sbb %d: GIMPLE_OMP_CONTINUE\n", indent, "",
423 : : region->cont->index);
424 : : }
425 : :
426 : 248 : if (region->exit)
427 : 225 : fprintf (file, "%*sbb %d: GIMPLE_OMP_RETURN\n", indent, "",
428 : : region->exit->index);
429 : : else
430 : 23 : fprintf (file, "%*s[no exit marker]\n", indent, "");
431 : :
432 : 248 : if (region->next)
433 : : dump_omp_region (file, region->next, indent);
434 : 203 : }
435 : :
436 : : DEBUG_FUNCTION void
437 : 0 : debug_omp_region (struct omp_region *region)
438 : : {
439 : 0 : dump_omp_region (stderr, region, 0);
440 : 0 : }
441 : :
442 : : DEBUG_FUNCTION void
443 : 0 : debug_all_omp_regions (void)
444 : : {
445 : 0 : dump_omp_region (stderr, root_omp_region, 0);
446 : 0 : }
447 : :
448 : : /* Create a new parallel region starting at STMT inside region PARENT. */
449 : :
450 : : static struct omp_region *
451 : 235932 : new_omp_region (basic_block bb, enum gimple_code type,
452 : : struct omp_region *parent)
453 : : {
454 : 235932 : struct omp_region *region = XCNEW (struct omp_region);
455 : :
456 : 235932 : region->outer = parent;
457 : 235932 : region->entry = bb;
458 : 235932 : region->type = type;
459 : :
460 : 235932 : if (parent)
461 : : {
462 : : /* This is a nested region. Add it to the list of inner
463 : : regions in PARENT. */
464 : 122857 : region->next = parent->inner;
465 : 122857 : parent->inner = region;
466 : : }
467 : : else
468 : : {
469 : : /* This is a toplevel region. Add it to the list of toplevel
470 : : regions in ROOT_OMP_REGION. */
471 : 113075 : region->next = root_omp_region;
472 : 113075 : root_omp_region = region;
473 : : }
474 : :
475 : 235932 : return region;
476 : : }
477 : :
478 : : /* Release the memory associated with the region tree rooted at REGION. */
479 : :
480 : : static void
481 : 235932 : free_omp_region_1 (struct omp_region *region)
482 : : {
483 : 235932 : struct omp_region *i, *n;
484 : :
485 : 358789 : for (i = region->inner; i ; i = n)
486 : : {
487 : 122857 : n = i->next;
488 : 122857 : free_omp_region_1 (i);
489 : : }
490 : :
491 : 235932 : free (region);
492 : 235932 : }
493 : :
494 : : /* Release the memory for the entire omp region tree. */
495 : :
496 : : void
497 : 2697962 : omp_free_regions (void)
498 : : {
499 : 2697962 : struct omp_region *r, *n;
500 : 2811037 : for (r = root_omp_region; r ; r = n)
501 : : {
502 : 113075 : n = r->next;
503 : 113075 : free_omp_region_1 (r);
504 : : }
505 : 2697962 : root_omp_region = NULL;
506 : 2697962 : }
507 : :
508 : : /* A convenience function to build an empty GIMPLE_COND with just the
509 : : condition. */
510 : :
511 : : static gcond *
512 : 106432 : gimple_build_cond_empty (tree cond)
513 : : {
514 : 106432 : enum tree_code pred_code;
515 : 106432 : tree lhs, rhs;
516 : :
517 : 106432 : gimple_cond_get_ops_from_tree (cond, &pred_code, &lhs, &rhs);
518 : 106432 : return gimple_build_cond (pred_code, lhs, rhs, NULL_TREE, NULL_TREE);
519 : : }
520 : :
521 : : /* Change DECL_CONTEXT of CHILD_FNDECL to that of the parent function.
522 : : Add CHILD_FNDECL to decl chain of the supercontext of the block
523 : : ENTRY_BLOCK - this is the block which originally contained the
524 : : code from which CHILD_FNDECL was created.
525 : :
526 : : Together, these actions ensure that the debug info for the outlined
527 : : function will be emitted with the correct lexical scope. */
528 : :
529 : : static void
530 : 41170 : adjust_context_and_scope (struct omp_region *region, tree entry_block,
531 : : tree child_fndecl)
532 : : {
533 : 41170 : tree parent_fndecl = NULL_TREE;
534 : 41170 : gimple *entry_stmt;
535 : : /* OMP expansion expands inner regions before outer ones, so if
536 : : we e.g. have explicit task region nested in parallel region, when
537 : : expanding the task region current_function_decl will be the original
538 : : source function, but we actually want to use as context the child
539 : : function of the parallel. */
540 : 41170 : for (region = region->outer;
541 : 62031 : region && parent_fndecl == NULL_TREE; region = region->outer)
542 : 20861 : switch (region->type)
543 : : {
544 : 6753 : case GIMPLE_OMP_PARALLEL:
545 : 6753 : case GIMPLE_OMP_TASK:
546 : 6753 : case GIMPLE_OMP_TEAMS:
547 : 6753 : entry_stmt = last_nondebug_stmt (region->entry);
548 : 6753 : parent_fndecl = gimple_omp_taskreg_child_fn (entry_stmt);
549 : 6753 : break;
550 : 4437 : case GIMPLE_OMP_TARGET:
551 : 4437 : entry_stmt = last_nondebug_stmt (region->entry);
552 : 4437 : parent_fndecl
553 : 4437 : = gimple_omp_target_child_fn (as_a <gomp_target *> (entry_stmt));
554 : 4437 : break;
555 : : default:
556 : : break;
557 : : }
558 : :
559 : 41170 : if (parent_fndecl == NULL_TREE)
560 : 32997 : parent_fndecl = current_function_decl;
561 : 41170 : DECL_CONTEXT (child_fndecl) = parent_fndecl;
562 : :
563 : 41170 : if (entry_block != NULL_TREE && TREE_CODE (entry_block) == BLOCK)
564 : : {
565 : 41136 : tree b = BLOCK_SUPERCONTEXT (entry_block);
566 : 41136 : if (TREE_CODE (b) == BLOCK)
567 : : {
568 : 41006 : DECL_CHAIN (child_fndecl) = BLOCK_VARS (b);
569 : 41006 : BLOCK_VARS (b) = child_fndecl;
570 : : }
571 : : }
572 : 41170 : }
573 : :
574 : : /* Build the function calls to GOMP_parallel etc to actually
575 : : generate the parallel operation. REGION is the parallel region
576 : : being expanded. BB is the block where to insert the code. WS_ARGS
577 : : will be set if this is a call to a combined parallel+workshare
578 : : construct, it contains the list of additional arguments needed by
579 : : the workshare construct. */
580 : :
581 : : static void
582 : 15991 : expand_parallel_call (struct omp_region *region, basic_block bb,
583 : : gomp_parallel *entry_stmt,
584 : : vec<tree, va_gc> *ws_args)
585 : : {
586 : 15991 : tree t, t1, t2, val, cond, c, clauses, flags;
587 : 15991 : gimple_stmt_iterator gsi;
588 : 15991 : gimple *stmt;
589 : 15991 : enum built_in_function start_ix;
590 : 15991 : int start_ix2;
591 : 15991 : location_t clause_loc;
592 : 15991 : vec<tree, va_gc> *args;
593 : :
594 : 15991 : clauses = gimple_omp_parallel_clauses (entry_stmt);
595 : :
596 : : /* Determine what flavor of GOMP_parallel we will be
597 : : emitting. */
598 : 15991 : start_ix = BUILT_IN_GOMP_PARALLEL;
599 : 15991 : tree rtmp = omp_find_clause (clauses, OMP_CLAUSE__REDUCTEMP_);
600 : 15991 : if (rtmp)
601 : : start_ix = BUILT_IN_GOMP_PARALLEL_REDUCTIONS;
602 : 15932 : else if (is_combined_parallel (region))
603 : : {
604 : 1196 : switch (region->inner->type)
605 : : {
606 : 1084 : case GIMPLE_OMP_FOR:
607 : 1084 : gcc_assert (region->inner->sched_kind != OMP_CLAUSE_SCHEDULE_AUTO);
608 : 1084 : switch (region->inner->sched_kind)
609 : : {
610 : 546 : case OMP_CLAUSE_SCHEDULE_RUNTIME:
611 : : /* For lastprivate(conditional:), our implementation
612 : : requires monotonic behavior. */
613 : 546 : if (region->inner->has_lastprivate_conditional != 0)
614 : : start_ix2 = 3;
615 : 544 : else if ((region->inner->sched_modifiers
616 : : & OMP_CLAUSE_SCHEDULE_NONMONOTONIC) != 0)
617 : : start_ix2 = 6;
618 : 530 : else if ((region->inner->sched_modifiers
619 : : & OMP_CLAUSE_SCHEDULE_MONOTONIC) == 0)
620 : : start_ix2 = 7;
621 : : else
622 : 16 : start_ix2 = 3;
623 : : break;
624 : 538 : case OMP_CLAUSE_SCHEDULE_DYNAMIC:
625 : 538 : case OMP_CLAUSE_SCHEDULE_GUIDED:
626 : 538 : if ((region->inner->sched_modifiers
627 : : & OMP_CLAUSE_SCHEDULE_MONOTONIC) == 0
628 : 534 : && !region->inner->has_lastprivate_conditional)
629 : : {
630 : 522 : start_ix2 = 3 + region->inner->sched_kind;
631 : 522 : break;
632 : : }
633 : : /* FALLTHRU */
634 : 16 : default:
635 : 16 : start_ix2 = region->inner->sched_kind;
636 : 16 : break;
637 : : }
638 : 1084 : start_ix2 += (int) BUILT_IN_GOMP_PARALLEL_LOOP_STATIC;
639 : 1084 : start_ix = (enum built_in_function) start_ix2;
640 : 1084 : break;
641 : : case GIMPLE_OMP_SECTIONS:
642 : : start_ix = BUILT_IN_GOMP_PARALLEL_SECTIONS;
643 : : break;
644 : 0 : default:
645 : 0 : gcc_unreachable ();
646 : : }
647 : : }
648 : :
649 : : /* By default, the value of NUM_THREADS is zero (selected at run time)
650 : : and there is no conditional. */
651 : 15991 : cond = NULL_TREE;
652 : 15991 : val = build_int_cst (unsigned_type_node, 0);
653 : 15991 : flags = build_int_cst (unsigned_type_node, 0);
654 : :
655 : 15991 : c = omp_find_clause (clauses, OMP_CLAUSE_IF);
656 : 15991 : if (c)
657 : 945 : cond = OMP_CLAUSE_IF_EXPR (c);
658 : :
659 : 15991 : c = omp_find_clause (clauses, OMP_CLAUSE_NUM_THREADS);
660 : 15991 : if (c)
661 : : {
662 : 2276 : val = OMP_CLAUSE_NUM_THREADS_EXPR (c);
663 : 2276 : clause_loc = OMP_CLAUSE_LOCATION (c);
664 : : }
665 : : else
666 : 13715 : clause_loc = gimple_location (entry_stmt);
667 : :
668 : 15991 : c = omp_find_clause (clauses, OMP_CLAUSE_PROC_BIND);
669 : 15991 : if (c)
670 : 767 : flags = build_int_cst (unsigned_type_node, OMP_CLAUSE_PROC_BIND_KIND (c));
671 : :
672 : : /* Ensure 'val' is of the correct type. */
673 : 15991 : val = fold_convert_loc (clause_loc, unsigned_type_node, val);
674 : :
675 : : /* If we found the clause 'if (cond)', build either
676 : : (cond != 0) or (cond ? val : 1u). */
677 : 15991 : if (cond)
678 : : {
679 : 945 : cond = gimple_boolify (cond);
680 : :
681 : 945 : if (integer_zerop (val))
682 : 158 : val = fold_build2_loc (clause_loc,
683 : : EQ_EXPR, unsigned_type_node, cond,
684 : 158 : build_int_cst (TREE_TYPE (cond), 0));
685 : : else
686 : : {
687 : 787 : basic_block cond_bb, then_bb, else_bb;
688 : 787 : edge e, e_then, e_else;
689 : 787 : tree tmp_then, tmp_else, tmp_join, tmp_var;
690 : :
691 : 787 : tmp_var = create_tmp_var (TREE_TYPE (val));
692 : 787 : if (gimple_in_ssa_p (cfun))
693 : : {
694 : 0 : tmp_then = make_ssa_name (tmp_var);
695 : 0 : tmp_else = make_ssa_name (tmp_var);
696 : 0 : tmp_join = make_ssa_name (tmp_var);
697 : : }
698 : : else
699 : : {
700 : : tmp_then = tmp_var;
701 : : tmp_else = tmp_var;
702 : : tmp_join = tmp_var;
703 : : }
704 : :
705 : 787 : e = split_block_after_labels (bb);
706 : 787 : cond_bb = e->src;
707 : 787 : bb = e->dest;
708 : 787 : remove_edge (e);
709 : :
710 : 787 : then_bb = create_empty_bb (cond_bb);
711 : 787 : else_bb = create_empty_bb (then_bb);
712 : 787 : set_immediate_dominator (CDI_DOMINATORS, then_bb, cond_bb);
713 : 787 : set_immediate_dominator (CDI_DOMINATORS, else_bb, cond_bb);
714 : :
715 : 787 : stmt = gimple_build_cond_empty (cond);
716 : 787 : gsi = gsi_start_bb (cond_bb);
717 : 787 : gsi_insert_after (&gsi, stmt, GSI_CONTINUE_LINKING);
718 : :
719 : 787 : gsi = gsi_start_bb (then_bb);
720 : 787 : expand_omp_build_assign (&gsi, tmp_then, val, true);
721 : :
722 : 787 : gsi = gsi_start_bb (else_bb);
723 : 787 : expand_omp_build_assign (&gsi, tmp_else,
724 : 787 : build_int_cst (unsigned_type_node, 1),
725 : : true);
726 : :
727 : 787 : make_edge (cond_bb, then_bb, EDGE_TRUE_VALUE);
728 : 787 : make_edge (cond_bb, else_bb, EDGE_FALSE_VALUE);
729 : 787 : add_bb_to_loop (then_bb, cond_bb->loop_father);
730 : 787 : add_bb_to_loop (else_bb, cond_bb->loop_father);
731 : 787 : e_then = make_edge (then_bb, bb, EDGE_FALLTHRU);
732 : 787 : e_else = make_edge (else_bb, bb, EDGE_FALLTHRU);
733 : :
734 : 787 : if (gimple_in_ssa_p (cfun))
735 : : {
736 : 0 : gphi *phi = create_phi_node (tmp_join, bb);
737 : 0 : add_phi_arg (phi, tmp_then, e_then, UNKNOWN_LOCATION);
738 : 0 : add_phi_arg (phi, tmp_else, e_else, UNKNOWN_LOCATION);
739 : : }
740 : :
741 : 787 : val = tmp_join;
742 : : }
743 : :
744 : 945 : gsi = gsi_start_bb (bb);
745 : 945 : val = force_gimple_operand_gsi (&gsi, val, true, NULL_TREE,
746 : : false, GSI_CONTINUE_LINKING);
747 : : }
748 : :
749 : 15991 : gsi = gsi_last_nondebug_bb (bb);
750 : 15991 : t = gimple_omp_parallel_data_arg (entry_stmt);
751 : 15991 : if (t == NULL)
752 : 2349 : t1 = null_pointer_node;
753 : : else
754 : 13642 : t1 = build_fold_addr_expr (t);
755 : 15991 : tree child_fndecl = gimple_omp_parallel_child_fn (entry_stmt);
756 : 15991 : t2 = build_fold_addr_expr (child_fndecl);
757 : :
758 : 17187 : vec_alloc (args, 4 + vec_safe_length (ws_args));
759 : 15991 : args->quick_push (t2);
760 : 15991 : args->quick_push (t1);
761 : 15991 : args->quick_push (val);
762 : 15991 : if (ws_args)
763 : 1196 : args->splice (*ws_args);
764 : 15991 : args->quick_push (flags);
765 : :
766 : 15991 : t = build_call_expr_loc_vec (UNKNOWN_LOCATION,
767 : : builtin_decl_explicit (start_ix), args);
768 : :
769 : 15991 : if (rtmp)
770 : : {
771 : 59 : tree type = TREE_TYPE (OMP_CLAUSE_DECL (rtmp));
772 : 59 : t = build2 (MODIFY_EXPR, type, OMP_CLAUSE_DECL (rtmp),
773 : : fold_convert (type,
774 : : fold_convert (pointer_sized_int_node, t)));
775 : : }
776 : 15991 : force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
777 : : false, GSI_CONTINUE_LINKING);
778 : 15991 : }
779 : :
780 : : /* Build the function call to GOMP_task to actually
781 : : generate the task operation. BB is the block where to insert the code. */
782 : :
783 : : static void
784 : 3777 : expand_task_call (struct omp_region *region, basic_block bb,
785 : : gomp_task *entry_stmt)
786 : : {
787 : 3777 : tree t1, t2, t3;
788 : 3777 : gimple_stmt_iterator gsi;
789 : 3777 : location_t loc = gimple_location (entry_stmt);
790 : :
791 : 3777 : tree clauses = gimple_omp_task_clauses (entry_stmt);
792 : :
793 : 3777 : tree ifc = omp_find_clause (clauses, OMP_CLAUSE_IF);
794 : 3777 : tree untied = omp_find_clause (clauses, OMP_CLAUSE_UNTIED);
795 : 3777 : tree mergeable = omp_find_clause (clauses, OMP_CLAUSE_MERGEABLE);
796 : 3777 : tree depend = omp_find_clause (clauses, OMP_CLAUSE_DEPEND);
797 : 3777 : tree finalc = omp_find_clause (clauses, OMP_CLAUSE_FINAL);
798 : 3777 : tree priority = omp_find_clause (clauses, OMP_CLAUSE_PRIORITY);
799 : 3777 : tree detach = omp_find_clause (clauses, OMP_CLAUSE_DETACH);
800 : :
801 : 7554 : unsigned int iflags
802 : 3777 : = (untied ? GOMP_TASK_FLAG_UNTIED : 0)
803 : 3777 : | (mergeable ? GOMP_TASK_FLAG_MERGEABLE : 0)
804 : 3777 : | (depend ? GOMP_TASK_FLAG_DEPEND : 0);
805 : :
806 : 3777 : bool taskloop_p = gimple_omp_task_taskloop_p (entry_stmt);
807 : 3777 : tree startvar = NULL_TREE, endvar = NULL_TREE, step = NULL_TREE;
808 : 3777 : tree num_tasks = NULL_TREE;
809 : 3777 : bool ull = false;
810 : 3777 : if (taskloop_p)
811 : : {
812 : 1343 : gimple *g = last_nondebug_stmt (region->outer->entry);
813 : 1343 : gcc_assert (gimple_code (g) == GIMPLE_OMP_FOR
814 : : && gimple_omp_for_kind (g) == GF_OMP_FOR_KIND_TASKLOOP);
815 : 1343 : struct omp_for_data fd;
816 : 1343 : omp_extract_for_data (as_a <gomp_for *> (g), &fd, NULL);
817 : 1343 : startvar = omp_find_clause (clauses, OMP_CLAUSE__LOOPTEMP_);
818 : 1343 : endvar = omp_find_clause (OMP_CLAUSE_CHAIN (startvar),
819 : : OMP_CLAUSE__LOOPTEMP_);
820 : 1343 : startvar = OMP_CLAUSE_DECL (startvar);
821 : 1343 : endvar = OMP_CLAUSE_DECL (endvar);
822 : 1343 : step = fold_convert_loc (loc, fd.iter_type, fd.loop.step);
823 : 1343 : if (fd.loop.cond_code == LT_EXPR)
824 : 1291 : iflags |= GOMP_TASK_FLAG_UP;
825 : 1343 : tree tclauses = gimple_omp_for_clauses (g);
826 : 1343 : num_tasks = omp_find_clause (tclauses, OMP_CLAUSE_NUM_TASKS);
827 : 1343 : if (num_tasks)
828 : : {
829 : 182 : if (OMP_CLAUSE_NUM_TASKS_STRICT (num_tasks))
830 : 8 : iflags |= GOMP_TASK_FLAG_STRICT;
831 : 182 : num_tasks = OMP_CLAUSE_NUM_TASKS_EXPR (num_tasks);
832 : : }
833 : : else
834 : : {
835 : 1161 : num_tasks = omp_find_clause (tclauses, OMP_CLAUSE_GRAINSIZE);
836 : 1161 : if (num_tasks)
837 : : {
838 : 230 : iflags |= GOMP_TASK_FLAG_GRAINSIZE;
839 : 230 : if (OMP_CLAUSE_GRAINSIZE_STRICT (num_tasks))
840 : 8 : iflags |= GOMP_TASK_FLAG_STRICT;
841 : 230 : num_tasks = OMP_CLAUSE_GRAINSIZE_EXPR (num_tasks);
842 : : }
843 : : else
844 : 931 : num_tasks = integer_zero_node;
845 : : }
846 : 1343 : num_tasks = fold_convert_loc (loc, long_integer_type_node, num_tasks);
847 : 1343 : if (ifc == NULL_TREE)
848 : 976 : iflags |= GOMP_TASK_FLAG_IF;
849 : 1343 : if (omp_find_clause (tclauses, OMP_CLAUSE_NOGROUP))
850 : 57 : iflags |= GOMP_TASK_FLAG_NOGROUP;
851 : 1343 : ull = fd.iter_type == long_long_unsigned_type_node;
852 : 1343 : if (omp_find_clause (clauses, OMP_CLAUSE_REDUCTION))
853 : 493 : iflags |= GOMP_TASK_FLAG_REDUCTION;
854 : : }
855 : : else
856 : : {
857 : 2434 : if (priority)
858 : 18 : iflags |= GOMP_TASK_FLAG_PRIORITY;
859 : 2434 : if (detach)
860 : 166 : iflags |= GOMP_TASK_FLAG_DETACH;
861 : : }
862 : :
863 : 3777 : tree flags = build_int_cst (unsigned_type_node, iflags);
864 : :
865 : 3777 : tree cond = boolean_true_node;
866 : 3777 : if (ifc)
867 : : {
868 : 480 : if (taskloop_p)
869 : : {
870 : 367 : tree t = gimple_boolify (OMP_CLAUSE_IF_EXPR (ifc));
871 : 367 : t = fold_build3_loc (loc, COND_EXPR, unsigned_type_node, t,
872 : 367 : build_int_cst (unsigned_type_node,
873 : 367 : GOMP_TASK_FLAG_IF),
874 : 367 : build_int_cst (unsigned_type_node, 0));
875 : 367 : flags = fold_build2_loc (loc, PLUS_EXPR, unsigned_type_node,
876 : : flags, t);
877 : : }
878 : : else
879 : 113 : cond = gimple_boolify (OMP_CLAUSE_IF_EXPR (ifc));
880 : : }
881 : :
882 : 3777 : if (finalc)
883 : : {
884 : 406 : tree t = gimple_boolify (OMP_CLAUSE_FINAL_EXPR (finalc));
885 : 406 : t = fold_build3_loc (loc, COND_EXPR, unsigned_type_node, t,
886 : 406 : build_int_cst (unsigned_type_node,
887 : 406 : GOMP_TASK_FLAG_FINAL),
888 : 406 : build_int_cst (unsigned_type_node, 0));
889 : 406 : flags = fold_build2_loc (loc, PLUS_EXPR, unsigned_type_node, flags, t);
890 : : }
891 : 3777 : if (depend)
892 : 1101 : depend = OMP_CLAUSE_DECL (depend);
893 : : else
894 : 2676 : depend = build_int_cst (ptr_type_node, 0);
895 : 3777 : if (priority)
896 : 368 : priority = fold_convert (integer_type_node,
897 : : OMP_CLAUSE_PRIORITY_EXPR (priority));
898 : : else
899 : 3409 : priority = integer_zero_node;
900 : :
901 : 3777 : gsi = gsi_last_nondebug_bb (bb);
902 : :
903 : 7554 : detach = (detach
904 : 3943 : ? build_fold_addr_expr (OMP_CLAUSE_DECL (detach))
905 : : : null_pointer_node);
906 : :
907 : 3777 : tree t = gimple_omp_task_data_arg (entry_stmt);
908 : 3777 : if (t == NULL)
909 : 678 : t2 = null_pointer_node;
910 : : else
911 : 3099 : t2 = build_fold_addr_expr_loc (loc, t);
912 : 3777 : t1 = build_fold_addr_expr_loc (loc, gimple_omp_task_child_fn (entry_stmt));
913 : 3777 : t = gimple_omp_task_copy_fn (entry_stmt);
914 : 3777 : if (t == NULL)
915 : 3259 : t3 = null_pointer_node;
916 : : else
917 : 518 : t3 = build_fold_addr_expr_loc (loc, t);
918 : :
919 : 3777 : if (taskloop_p)
920 : 2686 : t = build_call_expr (ull
921 : 42 : ? builtin_decl_explicit (BUILT_IN_GOMP_TASKLOOP_ULL)
922 : 1301 : : builtin_decl_explicit (BUILT_IN_GOMP_TASKLOOP),
923 : : 11, t1, t2, t3,
924 : : gimple_omp_task_arg_size (entry_stmt),
925 : : gimple_omp_task_arg_align (entry_stmt), flags,
926 : : num_tasks, priority, startvar, endvar, step);
927 : : else
928 : 2434 : t = build_call_expr (builtin_decl_explicit (BUILT_IN_GOMP_TASK),
929 : : 10, t1, t2, t3,
930 : : gimple_omp_task_arg_size (entry_stmt),
931 : : gimple_omp_task_arg_align (entry_stmt), cond, flags,
932 : : depend, priority, detach);
933 : :
934 : 3777 : force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
935 : : false, GSI_CONTINUE_LINKING);
936 : 3777 : }
937 : :
938 : : /* Build the function call to GOMP_taskwait_depend to actually
939 : : generate the taskwait operation. BB is the block where to insert the
940 : : code. */
941 : :
942 : : static void
943 : 78 : expand_taskwait_call (basic_block bb, gomp_task *entry_stmt)
944 : : {
945 : 78 : tree clauses = gimple_omp_task_clauses (entry_stmt);
946 : 78 : tree depend = omp_find_clause (clauses, OMP_CLAUSE_DEPEND);
947 : 78 : if (depend == NULL_TREE)
948 : 0 : return;
949 : :
950 : 78 : depend = OMP_CLAUSE_DECL (depend);
951 : :
952 : 78 : bool nowait = omp_find_clause (clauses, OMP_CLAUSE_NOWAIT) != NULL_TREE;
953 : 78 : gimple_stmt_iterator gsi = gsi_last_nondebug_bb (bb);
954 : 156 : enum built_in_function f = (nowait
955 : 78 : ? BUILT_IN_GOMP_TASKWAIT_DEPEND_NOWAIT
956 : : : BUILT_IN_GOMP_TASKWAIT_DEPEND);
957 : 78 : tree t = build_call_expr (builtin_decl_explicit (f), 1, depend);
958 : :
959 : 78 : force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
960 : : false, GSI_CONTINUE_LINKING);
961 : : }
962 : :
963 : : /* Build the function call to GOMP_teams_reg to actually
964 : : generate the host teams operation. REGION is the teams region
965 : : being expanded. BB is the block where to insert the code. */
966 : :
967 : : static void
968 : 2512 : expand_teams_call (basic_block bb, gomp_teams *entry_stmt)
969 : : {
970 : 2512 : tree clauses = gimple_omp_teams_clauses (entry_stmt);
971 : 2512 : tree num_teams = omp_find_clause (clauses, OMP_CLAUSE_NUM_TEAMS);
972 : 2512 : if (num_teams == NULL_TREE)
973 : 2246 : num_teams = build_int_cst (unsigned_type_node, 0);
974 : : else
975 : : {
976 : 266 : num_teams = OMP_CLAUSE_NUM_TEAMS_UPPER_EXPR (num_teams);
977 : 266 : num_teams = fold_convert (unsigned_type_node, num_teams);
978 : : }
979 : 2512 : tree thread_limit = omp_find_clause (clauses, OMP_CLAUSE_THREAD_LIMIT);
980 : 2512 : if (thread_limit == NULL_TREE)
981 : 2371 : thread_limit = build_int_cst (unsigned_type_node, 0);
982 : : else
983 : : {
984 : 141 : thread_limit = OMP_CLAUSE_THREAD_LIMIT_EXPR (thread_limit);
985 : 141 : thread_limit = fold_convert (unsigned_type_node, thread_limit);
986 : : }
987 : :
988 : 2512 : gimple_stmt_iterator gsi = gsi_last_nondebug_bb (bb);
989 : 2512 : tree t = gimple_omp_teams_data_arg (entry_stmt), t1;
990 : 2512 : if (t == NULL)
991 : 1366 : t1 = null_pointer_node;
992 : : else
993 : 1146 : t1 = build_fold_addr_expr (t);
994 : 2512 : tree child_fndecl = gimple_omp_teams_child_fn (entry_stmt);
995 : 2512 : tree t2 = build_fold_addr_expr (child_fndecl);
996 : :
997 : 2512 : vec<tree, va_gc> *args;
998 : 2512 : vec_alloc (args, 5);
999 : 2512 : args->quick_push (t2);
1000 : 2512 : args->quick_push (t1);
1001 : 2512 : args->quick_push (num_teams);
1002 : 2512 : args->quick_push (thread_limit);
1003 : : /* For future extensibility. */
1004 : 2512 : args->quick_push (build_zero_cst (unsigned_type_node));
1005 : :
1006 : 2512 : t = build_call_expr_loc_vec (UNKNOWN_LOCATION,
1007 : : builtin_decl_explicit (BUILT_IN_GOMP_TEAMS_REG),
1008 : : args);
1009 : :
1010 : 2512 : force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
1011 : : false, GSI_CONTINUE_LINKING);
1012 : 2512 : }
1013 : :
1014 : : /* Chain all the DECLs in LIST by their TREE_CHAIN fields. */
1015 : :
1016 : : static tree
1017 : 41170 : vec2chain (vec<tree, va_gc> *v)
1018 : : {
1019 : 41170 : tree chain = NULL_TREE, t;
1020 : 41170 : unsigned ix;
1021 : :
1022 : 422769 : FOR_EACH_VEC_SAFE_ELT_REVERSE (v, ix, t)
1023 : : {
1024 : 345608 : DECL_CHAIN (t) = chain;
1025 : 345608 : chain = t;
1026 : : }
1027 : :
1028 : 41170 : return chain;
1029 : : }
1030 : :
1031 : : /* Remove barriers in REGION->EXIT's block. Note that this is only
1032 : : valid for GIMPLE_OMP_PARALLEL regions. Since the end of a parallel region
1033 : : is an implicit barrier, any workshare inside the GIMPLE_OMP_PARALLEL that
1034 : : left a barrier at the end of the GIMPLE_OMP_PARALLEL region can now be
1035 : : removed. */
1036 : :
1037 : : static void
1038 : 11543 : remove_exit_barrier (struct omp_region *region)
1039 : : {
1040 : 11543 : gimple_stmt_iterator gsi;
1041 : 11543 : basic_block exit_bb;
1042 : 11543 : edge_iterator ei;
1043 : 11543 : edge e;
1044 : 11543 : gimple *stmt;
1045 : 11543 : int any_addressable_vars = -1;
1046 : :
1047 : 11543 : exit_bb = region->exit;
1048 : :
1049 : : /* If the parallel region doesn't return, we don't have REGION->EXIT
1050 : : block at all. */
1051 : 11543 : if (! exit_bb)
1052 : 1180 : return;
1053 : :
1054 : : /* The last insn in the block will be the parallel's GIMPLE_OMP_RETURN. The
1055 : : workshare's GIMPLE_OMP_RETURN will be in a preceding block. The kinds of
1056 : : statements that can appear in between are extremely limited -- no
1057 : : memory operations at all. Here, we allow nothing at all, so the
1058 : : only thing we allow to precede this GIMPLE_OMP_RETURN is a label. */
1059 : 11516 : gsi = gsi_last_nondebug_bb (exit_bb);
1060 : 11516 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_RETURN);
1061 : 11516 : gsi_prev_nondebug (&gsi);
1062 : 11516 : if (!gsi_end_p (gsi) && gimple_code (gsi_stmt (gsi)) != GIMPLE_LABEL)
1063 : : return;
1064 : :
1065 : 21072 : FOR_EACH_EDGE (e, ei, exit_bb->preds)
1066 : : {
1067 : 10709 : gsi = gsi_last_nondebug_bb (e->src);
1068 : 10709 : if (gsi_end_p (gsi))
1069 : 0 : continue;
1070 : 10709 : stmt = gsi_stmt (gsi);
1071 : 10709 : if (gimple_code (stmt) == GIMPLE_OMP_RETURN
1072 : 10709 : && !gimple_omp_return_nowait_p (stmt))
1073 : : {
1074 : : /* OpenMP 3.0 tasks unfortunately prevent this optimization
1075 : : in many cases. If there could be tasks queued, the barrier
1076 : : might be needed to let the tasks run before some local
1077 : : variable of the parallel that the task uses as shared
1078 : : runs out of scope. The task can be spawned either
1079 : : from within current function (this would be easy to check)
1080 : : or from some function it calls and gets passed an address
1081 : : of such a variable. */
1082 : 969 : if (any_addressable_vars < 0)
1083 : : {
1084 : 969 : gomp_parallel *parallel_stmt
1085 : 969 : = as_a <gomp_parallel *> (last_nondebug_stmt (region->entry));
1086 : 969 : tree child_fun = gimple_omp_parallel_child_fn (parallel_stmt);
1087 : 969 : tree local_decls, block, decl;
1088 : 969 : unsigned ix;
1089 : :
1090 : 969 : any_addressable_vars = 0;
1091 : 7911 : FOR_EACH_LOCAL_DECL (DECL_STRUCT_FUNCTION (child_fun), ix, decl)
1092 : 6560 : if (TREE_ADDRESSABLE (decl))
1093 : : {
1094 : : any_addressable_vars = 1;
1095 : : break;
1096 : : }
1097 : 1306 : for (block = gimple_block (stmt);
1098 : 1306 : !any_addressable_vars
1099 : 1306 : && block
1100 : 1306 : && TREE_CODE (block) == BLOCK;
1101 : 337 : block = BLOCK_SUPERCONTEXT (block))
1102 : : {
1103 : 511 : for (local_decls = BLOCK_VARS (block);
1104 : 1822 : local_decls;
1105 : 1311 : local_decls = DECL_CHAIN (local_decls))
1106 : 1335 : if (TREE_ADDRESSABLE (local_decls))
1107 : : {
1108 : : any_addressable_vars = 1;
1109 : : break;
1110 : : }
1111 : 511 : if (block == gimple_block (parallel_stmt))
1112 : : break;
1113 : : }
1114 : : }
1115 : 969 : if (!any_addressable_vars)
1116 : 437 : gimple_omp_return_set_nowait (stmt);
1117 : : }
1118 : : }
1119 : : }
1120 : :
1121 : : static void
1122 : 65828 : remove_exit_barriers (struct omp_region *region)
1123 : : {
1124 : 65828 : if (region->type == GIMPLE_OMP_PARALLEL)
1125 : 11543 : remove_exit_barrier (region);
1126 : :
1127 : 65828 : if (region->inner)
1128 : : {
1129 : 36673 : region = region->inner;
1130 : 36673 : remove_exit_barriers (region);
1131 : 79253 : while (region->next)
1132 : : {
1133 : 5907 : region = region->next;
1134 : 5907 : remove_exit_barriers (region);
1135 : : }
1136 : : }
1137 : 65828 : }
1138 : :
1139 : : /* Optimize omp_get_thread_num () and omp_get_num_threads ()
1140 : : calls. These can't be declared as const functions, but
1141 : : within one parallel body they are constant, so they can be
1142 : : transformed there into __builtin_omp_get_{thread_num,num_threads} ()
1143 : : which are declared const. Similarly for task body, except
1144 : : that in untied task omp_get_thread_num () can change at any task
1145 : : scheduling point. */
1146 : :
1147 : : static void
1148 : 16798 : optimize_omp_library_calls (gimple *entry_stmt)
1149 : : {
1150 : 16798 : basic_block bb;
1151 : 16798 : gimple_stmt_iterator gsi;
1152 : 16798 : tree thr_num_tree = builtin_decl_explicit (BUILT_IN_OMP_GET_THREAD_NUM);
1153 : 16798 : tree thr_num_id = DECL_ASSEMBLER_NAME (thr_num_tree);
1154 : 16798 : tree num_thr_tree = builtin_decl_explicit (BUILT_IN_OMP_GET_NUM_THREADS);
1155 : 16798 : tree num_thr_id = DECL_ASSEMBLER_NAME (num_thr_tree);
1156 : 16798 : bool untied_task = (gimple_code (entry_stmt) == GIMPLE_OMP_TASK
1157 : 19282 : && omp_find_clause (gimple_omp_task_clauses (entry_stmt),
1158 : 16798 : OMP_CLAUSE_UNTIED) != NULL);
1159 : :
1160 : 293417 : FOR_EACH_BB_FN (bb, cfun)
1161 : 1540645 : for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
1162 : : {
1163 : 987407 : gimple *call = gsi_stmt (gsi);
1164 : 987407 : tree decl;
1165 : :
1166 : 987407 : if (is_gimple_call (call)
1167 : 83414 : && (decl = gimple_call_fndecl (call))
1168 : 76074 : && DECL_EXTERNAL (decl)
1169 : 64394 : && TREE_PUBLIC (decl)
1170 : 1051801 : && DECL_INITIAL (decl) == NULL)
1171 : : {
1172 : 64393 : tree built_in;
1173 : :
1174 : 64393 : if (DECL_NAME (decl) == thr_num_id)
1175 : : {
1176 : : /* In #pragma omp task untied omp_get_thread_num () can change
1177 : : during the execution of the task region. */
1178 : 1304 : if (untied_task)
1179 : 0 : continue;
1180 : 1304 : built_in = builtin_decl_explicit (BUILT_IN_OMP_GET_THREAD_NUM);
1181 : : }
1182 : 63089 : else if (DECL_NAME (decl) == num_thr_id)
1183 : 409 : built_in = builtin_decl_explicit (BUILT_IN_OMP_GET_NUM_THREADS);
1184 : : else
1185 : 62680 : continue;
1186 : :
1187 : 1713 : if (DECL_ASSEMBLER_NAME (decl) != DECL_ASSEMBLER_NAME (built_in)
1188 : 1713 : || gimple_call_num_args (call) != 0)
1189 : 1187 : continue;
1190 : :
1191 : 526 : if (flag_exceptions && !TREE_NOTHROW (decl))
1192 : 0 : continue;
1193 : :
1194 : 526 : if (TREE_CODE (TREE_TYPE (decl)) != FUNCTION_TYPE
1195 : 1052 : || !types_compatible_p (TREE_TYPE (TREE_TYPE (decl)),
1196 : 526 : TREE_TYPE (TREE_TYPE (built_in))))
1197 : 0 : continue;
1198 : :
1199 : 526 : gimple_call_set_fndecl (call, built_in);
1200 : : }
1201 : : }
1202 : 16798 : }
1203 : :
1204 : : /* Callback for expand_omp_build_assign. Return non-NULL if *tp needs to be
1205 : : regimplified. */
1206 : :
1207 : : static tree
1208 : 262361 : expand_omp_regimplify_p (tree *tp, int *walk_subtrees, void *)
1209 : : {
1210 : 262361 : tree t = *tp;
1211 : :
1212 : : /* Any variable with DECL_VALUE_EXPR needs to be regimplified. */
1213 : 262361 : if (VAR_P (t) && DECL_HAS_VALUE_EXPR_P (t))
1214 : : return t;
1215 : :
1216 : 262265 : if (TREE_CODE (t) == ADDR_EXPR)
1217 : 1720 : recompute_tree_invariant_for_addr_expr (t);
1218 : :
1219 : 262265 : *walk_subtrees = !TYPE_P (t) && !DECL_P (t);
1220 : 262265 : return NULL_TREE;
1221 : : }
1222 : :
1223 : : /* Prepend or append TO = FROM assignment before or after *GSI_P. */
1224 : :
1225 : : static void
1226 : 64579 : expand_omp_build_assign (gimple_stmt_iterator *gsi_p, tree to, tree from,
1227 : : bool after)
1228 : : {
1229 : 64579 : bool simple_p = DECL_P (to) && TREE_ADDRESSABLE (to);
1230 : 64579 : from = force_gimple_operand_gsi (gsi_p, from, simple_p, NULL_TREE,
1231 : 64579 : !after, after ? GSI_CONTINUE_LINKING
1232 : : : GSI_SAME_STMT);
1233 : 64579 : gimple *stmt = gimple_build_assign (to, from);
1234 : 64579 : if (after)
1235 : 3489 : gsi_insert_after (gsi_p, stmt, GSI_CONTINUE_LINKING);
1236 : : else
1237 : 61090 : gsi_insert_before (gsi_p, stmt, GSI_SAME_STMT);
1238 : 64579 : if (walk_tree (&from, expand_omp_regimplify_p, NULL, NULL)
1239 : 64579 : || walk_tree (&to, expand_omp_regimplify_p, NULL, NULL))
1240 : : {
1241 : 80 : gimple_stmt_iterator gsi = gsi_for_stmt (stmt);
1242 : 80 : gimple_regimplify_operands (stmt, &gsi);
1243 : : }
1244 : 64579 : }
1245 : :
1246 : : /* Prepend or append LHS CODE RHS condition before or after *GSI_P. */
1247 : :
1248 : : static gcond *
1249 : 8410 : expand_omp_build_cond (gimple_stmt_iterator *gsi_p, enum tree_code code,
1250 : : tree lhs, tree rhs, bool after = false)
1251 : : {
1252 : 8410 : gcond *cond_stmt = gimple_build_cond (code, lhs, rhs, NULL_TREE, NULL_TREE);
1253 : 8410 : if (after)
1254 : 236 : gsi_insert_after (gsi_p, cond_stmt, GSI_CONTINUE_LINKING);
1255 : : else
1256 : 8174 : gsi_insert_before (gsi_p, cond_stmt, GSI_SAME_STMT);
1257 : 8410 : if (walk_tree (gimple_cond_lhs_ptr (cond_stmt), expand_omp_regimplify_p,
1258 : : NULL, NULL)
1259 : 8410 : || walk_tree (gimple_cond_rhs_ptr (cond_stmt), expand_omp_regimplify_p,
1260 : : NULL, NULL))
1261 : : {
1262 : 6 : gimple_stmt_iterator gsi = gsi_for_stmt (cond_stmt);
1263 : 6 : gimple_regimplify_operands (cond_stmt, &gsi);
1264 : : }
1265 : 8410 : return cond_stmt;
1266 : : }
1267 : :
1268 : : /* Expand the OpenMP parallel or task directive starting at REGION. */
1269 : :
1270 : : static void
1271 : 22358 : expand_omp_taskreg (struct omp_region *region)
1272 : : {
1273 : 22358 : basic_block entry_bb, exit_bb, new_bb;
1274 : 22358 : struct function *child_cfun;
1275 : 22358 : tree child_fn, block, t;
1276 : 22358 : gimple_stmt_iterator gsi;
1277 : 22358 : gimple *entry_stmt, *stmt;
1278 : 22358 : edge e;
1279 : 22358 : vec<tree, va_gc> *ws_args;
1280 : :
1281 : 22358 : entry_stmt = last_nondebug_stmt (region->entry);
1282 : 22358 : if (gimple_code (entry_stmt) == GIMPLE_OMP_TASK
1283 : 22358 : && gimple_omp_task_taskwait_p (entry_stmt))
1284 : : {
1285 : 78 : new_bb = region->entry;
1286 : 78 : gsi = gsi_last_nondebug_bb (region->entry);
1287 : 78 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_TASK);
1288 : 78 : gsi_remove (&gsi, true);
1289 : 78 : expand_taskwait_call (new_bb, as_a <gomp_task *> (entry_stmt));
1290 : 78 : return;
1291 : : }
1292 : :
1293 : 22280 : child_fn = gimple_omp_taskreg_child_fn (entry_stmt);
1294 : 22280 : child_cfun = DECL_STRUCT_FUNCTION (child_fn);
1295 : :
1296 : 22280 : entry_bb = region->entry;
1297 : 22280 : if (gimple_code (entry_stmt) == GIMPLE_OMP_TASK)
1298 : 3777 : exit_bb = region->cont;
1299 : : else
1300 : 18503 : exit_bb = region->exit;
1301 : :
1302 : 22280 : if (is_combined_parallel (region))
1303 : 1196 : ws_args = region->ws_args;
1304 : : else
1305 : : ws_args = NULL;
1306 : :
1307 : 22280 : if (child_cfun->cfg)
1308 : : {
1309 : : /* Due to inlining, it may happen that we have already outlined
1310 : : the region, in which case all we need to do is make the
1311 : : sub-graph unreachable and emit the parallel call. */
1312 : 0 : edge entry_succ_e, exit_succ_e;
1313 : :
1314 : 0 : entry_succ_e = single_succ_edge (entry_bb);
1315 : :
1316 : 0 : gsi = gsi_last_nondebug_bb (entry_bb);
1317 : 0 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_PARALLEL
1318 : : || gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_TASK
1319 : : || gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_TEAMS);
1320 : 0 : gsi_remove (&gsi, true);
1321 : :
1322 : 0 : new_bb = entry_bb;
1323 : 0 : if (exit_bb)
1324 : : {
1325 : 0 : exit_succ_e = single_succ_edge (exit_bb);
1326 : 0 : make_edge (new_bb, exit_succ_e->dest, EDGE_FALLTHRU);
1327 : : }
1328 : 0 : remove_edge_and_dominated_blocks (entry_succ_e);
1329 : : }
1330 : : else
1331 : : {
1332 : 22280 : unsigned srcidx, dstidx, num;
1333 : :
1334 : : /* If the parallel region needs data sent from the parent
1335 : : function, then the very first statement (except possible
1336 : : tree profile counter updates) of the parallel body
1337 : : is a copy assignment .OMP_DATA_I = &.OMP_DATA_O. Since
1338 : : &.OMP_DATA_O is passed as an argument to the child function,
1339 : : we need to replace it with the argument as seen by the child
1340 : : function.
1341 : :
1342 : : In most cases, this will end up being the identity assignment
1343 : : .OMP_DATA_I = .OMP_DATA_I. However, if the parallel body had
1344 : : a function call that has been inlined, the original PARM_DECL
1345 : : .OMP_DATA_I may have been converted into a different local
1346 : : variable. In which case, we need to keep the assignment. */
1347 : 22280 : if (gimple_omp_taskreg_data_arg (entry_stmt))
1348 : : {
1349 : 17887 : basic_block entry_succ_bb
1350 : 35774 : = single_succ_p (entry_bb) ? single_succ (entry_bb)
1351 : 3099 : : FALLTHRU_EDGE (entry_bb)->dest;
1352 : 17887 : tree arg;
1353 : 17887 : gimple *parcopy_stmt = NULL;
1354 : :
1355 : 35774 : for (gsi = gsi_start_bb (entry_succ_bb); ; gsi_next (&gsi))
1356 : : {
1357 : 17887 : gimple *stmt;
1358 : :
1359 : 17887 : gcc_assert (!gsi_end_p (gsi));
1360 : 17887 : stmt = gsi_stmt (gsi);
1361 : 17887 : if (gimple_code (stmt) != GIMPLE_ASSIGN)
1362 : 0 : continue;
1363 : :
1364 : 17887 : if (gimple_num_ops (stmt) == 2)
1365 : : {
1366 : 17887 : tree arg = gimple_assign_rhs1 (stmt);
1367 : :
1368 : : /* We're ignore the subcode because we're
1369 : : effectively doing a STRIP_NOPS. */
1370 : :
1371 : 17887 : if (TREE_CODE (arg) == ADDR_EXPR
1372 : 17887 : && (TREE_OPERAND (arg, 0)
1373 : 17887 : == gimple_omp_taskreg_data_arg (entry_stmt)))
1374 : : {
1375 : 17887 : parcopy_stmt = stmt;
1376 : 17887 : break;
1377 : : }
1378 : : }
1379 : : }
1380 : :
1381 : 17887 : gcc_assert (parcopy_stmt != NULL);
1382 : 17887 : arg = DECL_ARGUMENTS (child_fn);
1383 : :
1384 : 17887 : if (!gimple_in_ssa_p (cfun))
1385 : : {
1386 : 17696 : if (gimple_assign_lhs (parcopy_stmt) == arg)
1387 : 17696 : gsi_remove (&gsi, true);
1388 : : else
1389 : : {
1390 : : /* ?? Is setting the subcode really necessary ?? */
1391 : 0 : gimple_omp_set_subcode (parcopy_stmt, TREE_CODE (arg));
1392 : 0 : gimple_assign_set_rhs1 (parcopy_stmt, arg);
1393 : : }
1394 : : }
1395 : : else
1396 : : {
1397 : 191 : tree lhs = gimple_assign_lhs (parcopy_stmt);
1398 : 191 : gcc_assert (SSA_NAME_VAR (lhs) == arg);
1399 : : /* We'd like to set the rhs to the default def in the child_fn,
1400 : : but it's too early to create ssa names in the child_fn.
1401 : : Instead, we set the rhs to the parm. In
1402 : : move_sese_region_to_fn, we introduce a default def for the
1403 : : parm, map the parm to it's default def, and once we encounter
1404 : : this stmt, replace the parm with the default def. */
1405 : 191 : gimple_assign_set_rhs1 (parcopy_stmt, arg);
1406 : 191 : update_stmt (parcopy_stmt);
1407 : : }
1408 : : }
1409 : :
1410 : : /* Declare local variables needed in CHILD_CFUN. */
1411 : 22280 : block = DECL_INITIAL (child_fn);
1412 : 22280 : BLOCK_VARS (block) = vec2chain (child_cfun->local_decls);
1413 : : /* The gimplifier could record temporaries in parallel/task block
1414 : : rather than in containing function's local_decls chain,
1415 : : which would mean cgraph missed finalizing them. Do it now. */
1416 : 250638 : for (t = BLOCK_VARS (block); t; t = DECL_CHAIN (t))
1417 : 228358 : if (VAR_P (t) && TREE_STATIC (t) && !DECL_EXTERNAL (t))
1418 : 0 : varpool_node::finalize_decl (t);
1419 : 22280 : DECL_SAVED_TREE (child_fn) = NULL;
1420 : : /* We'll create a CFG for child_fn, so no gimple body is needed. */
1421 : 22280 : gimple_set_body (child_fn, NULL);
1422 : 22280 : TREE_USED (block) = 1;
1423 : :
1424 : : /* Reset DECL_CONTEXT on function arguments. */
1425 : 44560 : for (t = DECL_ARGUMENTS (child_fn); t; t = DECL_CHAIN (t))
1426 : 22280 : DECL_CONTEXT (t) = child_fn;
1427 : :
1428 : : /* Split ENTRY_BB at GIMPLE_OMP_PARALLEL or GIMPLE_OMP_TASK,
1429 : : so that it can be moved to the child function. */
1430 : 22280 : gsi = gsi_last_nondebug_bb (entry_bb);
1431 : 22280 : stmt = gsi_stmt (gsi);
1432 : 22280 : gcc_assert (stmt && (gimple_code (stmt) == GIMPLE_OMP_PARALLEL
1433 : : || gimple_code (stmt) == GIMPLE_OMP_TASK
1434 : : || gimple_code (stmt) == GIMPLE_OMP_TEAMS));
1435 : 22280 : e = split_block (entry_bb, stmt);
1436 : 22280 : gsi_remove (&gsi, true);
1437 : 22280 : entry_bb = e->dest;
1438 : 22280 : edge e2 = NULL;
1439 : 22280 : if (gimple_code (entry_stmt) != GIMPLE_OMP_TASK)
1440 : 18503 : single_succ_edge (entry_bb)->flags = EDGE_FALLTHRU;
1441 : : else
1442 : : {
1443 : 3777 : e2 = make_edge (e->src, BRANCH_EDGE (entry_bb)->dest, EDGE_ABNORMAL);
1444 : 3777 : gcc_assert (e2->dest == region->exit);
1445 : 3777 : remove_edge (BRANCH_EDGE (entry_bb));
1446 : 3777 : set_immediate_dominator (CDI_DOMINATORS, e2->dest, e->src);
1447 : 3777 : gsi = gsi_last_nondebug_bb (region->exit);
1448 : 3777 : gcc_assert (!gsi_end_p (gsi)
1449 : : && gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_RETURN);
1450 : 3777 : gsi_remove (&gsi, true);
1451 : : }
1452 : :
1453 : : /* Convert GIMPLE_OMP_{RETURN,CONTINUE} into a RETURN_EXPR. */
1454 : 22280 : if (exit_bb)
1455 : : {
1456 : 22236 : gsi = gsi_last_nondebug_bb (exit_bb);
1457 : 40712 : gcc_assert (!gsi_end_p (gsi)
1458 : : && (gimple_code (gsi_stmt (gsi))
1459 : : == (e2 ? GIMPLE_OMP_CONTINUE : GIMPLE_OMP_RETURN)));
1460 : 22236 : stmt = gimple_build_return (NULL);
1461 : 22236 : gsi_insert_after (&gsi, stmt, GSI_SAME_STMT);
1462 : 22236 : gsi_remove (&gsi, true);
1463 : : }
1464 : :
1465 : : /* Move the parallel region into CHILD_CFUN. */
1466 : :
1467 : 22280 : if (gimple_in_ssa_p (cfun))
1468 : : {
1469 : 203 : init_tree_ssa (child_cfun);
1470 : 203 : init_ssa_operands (child_cfun);
1471 : 203 : child_cfun->gimple_df->in_ssa_p = true;
1472 : 203 : block = NULL_TREE;
1473 : : }
1474 : : else
1475 : 22077 : block = gimple_block (entry_stmt);
1476 : :
1477 : 22280 : new_bb = move_sese_region_to_fn (child_cfun, entry_bb, exit_bb, block);
1478 : 22280 : if (exit_bb)
1479 : 22236 : single_succ_edge (new_bb)->flags = EDGE_FALLTHRU;
1480 : 22280 : if (e2)
1481 : : {
1482 : 3777 : basic_block dest_bb = e2->dest;
1483 : 3777 : if (!exit_bb)
1484 : 17 : make_edge (new_bb, dest_bb, EDGE_FALLTHRU);
1485 : 3777 : remove_edge (e2);
1486 : 3777 : set_immediate_dominator (CDI_DOMINATORS, dest_bb, new_bb);
1487 : : }
1488 : : /* When the OMP expansion process cannot guarantee an up-to-date
1489 : : loop tree arrange for the child function to fixup loops. */
1490 : 22280 : if (loops_state_satisfies_p (LOOPS_NEED_FIXUP))
1491 : 22077 : child_cfun->x_current_loops->state |= LOOPS_NEED_FIXUP;
1492 : :
1493 : : /* Remove non-local VAR_DECLs from child_cfun->local_decls list. */
1494 : 22280 : num = vec_safe_length (child_cfun->local_decls);
1495 : 1049168 : for (srcidx = 0, dstidx = 0; srcidx < num; srcidx++)
1496 : : {
1497 : 1026888 : t = (*child_cfun->local_decls)[srcidx];
1498 : 1026888 : if (DECL_CONTEXT (t) == cfun->decl)
1499 : 228358 : continue;
1500 : 798530 : if (srcidx != dstidx)
1501 : 794940 : (*child_cfun->local_decls)[dstidx] = t;
1502 : 798530 : dstidx++;
1503 : : }
1504 : 22280 : if (dstidx != num)
1505 : 20167 : vec_safe_truncate (child_cfun->local_decls, dstidx);
1506 : :
1507 : : /* Inform the callgraph about the new function. */
1508 : 22280 : child_cfun->curr_properties = cfun->curr_properties;
1509 : 22280 : child_cfun->has_simduid_loops |= cfun->has_simduid_loops;
1510 : 22280 : child_cfun->has_force_vectorize_loops |= cfun->has_force_vectorize_loops;
1511 : 22280 : cgraph_node *node = cgraph_node::get_create (child_fn);
1512 : 22280 : node->parallelized_function = 1;
1513 : 22280 : cgraph_node::add_new_function (child_fn, true);
1514 : :
1515 : 22280 : bool need_asm = DECL_ASSEMBLER_NAME_SET_P (current_function_decl)
1516 : 22280 : && !DECL_ASSEMBLER_NAME_SET_P (child_fn);
1517 : :
1518 : : /* Fix the callgraph edges for child_cfun. Those for cfun will be
1519 : : fixed in a following pass. */
1520 : 22280 : push_cfun (child_cfun);
1521 : 22280 : if (need_asm)
1522 : 22077 : assign_assembler_name_if_needed (child_fn);
1523 : :
1524 : 22280 : if (optimize)
1525 : 16798 : optimize_omp_library_calls (entry_stmt);
1526 : 22280 : update_max_bb_count ();
1527 : 22280 : cgraph_edge::rebuild_edges ();
1528 : :
1529 : : /* Some EH regions might become dead, see PR34608. If
1530 : : pass_cleanup_cfg isn't the first pass to happen with the
1531 : : new child, these dead EH edges might cause problems.
1532 : : Clean them up now. */
1533 : 22280 : if (flag_exceptions)
1534 : : {
1535 : 9958 : basic_block bb;
1536 : 9958 : bool changed = false;
1537 : :
1538 : 133493 : FOR_EACH_BB_FN (bb, cfun)
1539 : 123535 : changed |= gimple_purge_dead_eh_edges (bb);
1540 : 9958 : if (changed)
1541 : 0 : cleanup_tree_cfg ();
1542 : : }
1543 : 22280 : if (gimple_in_ssa_p (cfun))
1544 : 203 : update_ssa (TODO_update_ssa);
1545 : 22280 : if (flag_checking && !loops_state_satisfies_p (LOOPS_NEED_FIXUP))
1546 : 203 : verify_loop_structure ();
1547 : 22280 : pop_cfun ();
1548 : :
1549 : 22280 : if (dump_file && !gimple_in_ssa_p (cfun))
1550 : : {
1551 : 20 : omp_any_child_fn_dumped = true;
1552 : 20 : dump_function_header (dump_file, child_fn, dump_flags);
1553 : 20 : dump_function_to_file (child_fn, dump_file, dump_flags);
1554 : : }
1555 : : }
1556 : :
1557 : 22280 : adjust_context_and_scope (region, gimple_block (entry_stmt), child_fn);
1558 : :
1559 : 22280 : if (gimple_code (entry_stmt) == GIMPLE_OMP_PARALLEL)
1560 : 15991 : expand_parallel_call (region, new_bb,
1561 : : as_a <gomp_parallel *> (entry_stmt), ws_args);
1562 : 6289 : else if (gimple_code (entry_stmt) == GIMPLE_OMP_TEAMS)
1563 : 2512 : expand_teams_call (new_bb, as_a <gomp_teams *> (entry_stmt));
1564 : : else
1565 : 3777 : expand_task_call (region, new_bb, as_a <gomp_task *> (entry_stmt));
1566 : : }
1567 : :
1568 : : /* Information about members of an OpenACC collapsed loop nest. */
1569 : :
1570 : : struct oacc_collapse
1571 : : {
1572 : : tree base; /* Base value. */
1573 : : tree iters; /* Number of steps. */
1574 : : tree step; /* Step size. */
1575 : : tree tile; /* Tile increment (if tiled). */
1576 : : tree outer; /* Tile iterator var. */
1577 : : };
1578 : :
1579 : : /* Helper for expand_oacc_for. Determine collapsed loop information.
1580 : : Fill in COUNTS array. Emit any initialization code before GSI.
1581 : : Return the calculated outer loop bound of BOUND_TYPE. */
1582 : :
1583 : : static tree
1584 : 538 : expand_oacc_collapse_init (const struct omp_for_data *fd,
1585 : : gimple_stmt_iterator *gsi,
1586 : : oacc_collapse *counts, tree diff_type,
1587 : : tree bound_type, location_t loc)
1588 : : {
1589 : 538 : tree tiling = fd->tiling;
1590 : 538 : tree total = build_int_cst (bound_type, 1);
1591 : 538 : int ix;
1592 : :
1593 : 538 : gcc_assert (integer_onep (fd->loop.step));
1594 : 538 : gcc_assert (integer_zerop (fd->loop.n1));
1595 : :
1596 : : /* When tiling, the first operand of the tile clause applies to the
1597 : : innermost loop, and we work outwards from there. Seems
1598 : : backwards, but whatever. */
1599 : 1722 : for (ix = fd->collapse; ix--;)
1600 : : {
1601 : 1184 : const omp_for_data_loop *loop = &fd->loops[ix];
1602 : :
1603 : 1184 : tree iter_type = TREE_TYPE (loop->v);
1604 : 1184 : tree plus_type = iter_type;
1605 : :
1606 : 1184 : gcc_assert (loop->cond_code == LT_EXPR || loop->cond_code == GT_EXPR);
1607 : :
1608 : 1184 : if (POINTER_TYPE_P (iter_type))
1609 : 0 : plus_type = sizetype;
1610 : :
1611 : 1184 : if (tiling)
1612 : : {
1613 : 268 : tree num = build_int_cst (integer_type_node, fd->collapse);
1614 : 268 : tree loop_no = build_int_cst (integer_type_node, ix);
1615 : 268 : tree tile = TREE_VALUE (tiling);
1616 : 268 : gcall *call
1617 : 268 : = gimple_build_call_internal (IFN_GOACC_TILE, 5, num, loop_no, tile,
1618 : : /* gwv-outer=*/integer_zero_node,
1619 : : /* gwv-inner=*/integer_zero_node);
1620 : :
1621 : 268 : counts[ix].outer = create_tmp_var (iter_type, ".outer");
1622 : 268 : counts[ix].tile = create_tmp_var (diff_type, ".tile");
1623 : 268 : gimple_call_set_lhs (call, counts[ix].tile);
1624 : 268 : gimple_set_location (call, loc);
1625 : 268 : gsi_insert_before (gsi, call, GSI_SAME_STMT);
1626 : :
1627 : 268 : tiling = TREE_CHAIN (tiling);
1628 : : }
1629 : : else
1630 : : {
1631 : 916 : counts[ix].tile = NULL;
1632 : 916 : counts[ix].outer = loop->v;
1633 : : }
1634 : :
1635 : 1184 : tree b = loop->n1;
1636 : 1184 : tree e = loop->n2;
1637 : 1184 : tree s = loop->step;
1638 : 1184 : bool up = loop->cond_code == LT_EXPR;
1639 : 1232 : tree dir = build_int_cst (diff_type, up ? +1 : -1);
1640 : 1184 : bool negating;
1641 : 1184 : tree expr;
1642 : :
1643 : 1184 : b = force_gimple_operand_gsi (gsi, b, true, NULL_TREE,
1644 : : true, GSI_SAME_STMT);
1645 : 1184 : e = force_gimple_operand_gsi (gsi, e, true, NULL_TREE,
1646 : : true, GSI_SAME_STMT);
1647 : :
1648 : : /* Convert the step, avoiding possible unsigned->signed overflow. */
1649 : 1184 : negating = !up && TYPE_UNSIGNED (TREE_TYPE (s));
1650 : 0 : if (negating)
1651 : 0 : s = fold_build1 (NEGATE_EXPR, TREE_TYPE (s), s);
1652 : 1184 : s = fold_convert (diff_type, s);
1653 : 1184 : if (negating)
1654 : 0 : s = fold_build1 (NEGATE_EXPR, diff_type, s);
1655 : 1184 : s = force_gimple_operand_gsi (gsi, s, true, NULL_TREE,
1656 : : true, GSI_SAME_STMT);
1657 : :
1658 : : /* Determine the range, avoiding possible unsigned->signed overflow. */
1659 : 1184 : negating = !up && TYPE_UNSIGNED (iter_type);
1660 : 2368 : expr = fold_build2 (MINUS_EXPR, plus_type,
1661 : : fold_convert (plus_type, negating ? b : e),
1662 : : fold_convert (plus_type, negating ? e : b));
1663 : 1184 : expr = fold_convert (diff_type, expr);
1664 : 1184 : if (negating)
1665 : 0 : expr = fold_build1 (NEGATE_EXPR, diff_type, expr);
1666 : 1184 : tree range = force_gimple_operand_gsi
1667 : 1184 : (gsi, expr, true, NULL_TREE, true, GSI_SAME_STMT);
1668 : :
1669 : : /* Determine number of iterations. */
1670 : 1184 : expr = fold_build2 (MINUS_EXPR, diff_type, range, dir);
1671 : 1184 : expr = fold_build2 (PLUS_EXPR, diff_type, expr, s);
1672 : 1184 : expr = fold_build2 (TRUNC_DIV_EXPR, diff_type, expr, s);
1673 : :
1674 : 1184 : tree iters = force_gimple_operand_gsi (gsi, expr, true, NULL_TREE,
1675 : : true, GSI_SAME_STMT);
1676 : :
1677 : 1184 : counts[ix].base = b;
1678 : 1184 : counts[ix].iters = iters;
1679 : 1184 : counts[ix].step = s;
1680 : :
1681 : 1184 : total = fold_build2 (MULT_EXPR, bound_type, total,
1682 : : fold_convert (bound_type, iters));
1683 : : }
1684 : :
1685 : 538 : return total;
1686 : : }
1687 : :
1688 : : /* Emit initializers for collapsed loop members. INNER is true if
1689 : : this is for the element loop of a TILE. IVAR is the outer
1690 : : loop iteration variable, from which collapsed loop iteration values
1691 : : are calculated. COUNTS array has been initialized by
1692 : : expand_oacc_collapse_inits. */
1693 : :
1694 : : static void
1695 : 707 : expand_oacc_collapse_vars (const struct omp_for_data *fd, bool inner,
1696 : : gimple_stmt_iterator *gsi,
1697 : : const oacc_collapse *counts, tree ivar,
1698 : : tree diff_type)
1699 : : {
1700 : 707 : tree ivar_type = TREE_TYPE (ivar);
1701 : :
1702 : : /* The most rapidly changing iteration variable is the innermost
1703 : : one. */
1704 : 2159 : for (int ix = fd->collapse; ix--;)
1705 : : {
1706 : 1452 : const omp_for_data_loop *loop = &fd->loops[ix];
1707 : 1452 : const oacc_collapse *collapse = &counts[ix];
1708 : 1452 : tree v = inner ? loop->v : collapse->outer;
1709 : 1452 : tree iter_type = TREE_TYPE (v);
1710 : 1452 : tree plus_type = iter_type;
1711 : 1452 : enum tree_code plus_code = PLUS_EXPR;
1712 : 1452 : tree expr;
1713 : :
1714 : 1452 : if (POINTER_TYPE_P (iter_type))
1715 : : {
1716 : 0 : plus_code = POINTER_PLUS_EXPR;
1717 : 0 : plus_type = sizetype;
1718 : : }
1719 : :
1720 : 1452 : expr = ivar;
1721 : 1452 : if (ix)
1722 : : {
1723 : 745 : tree mod = fold_convert (ivar_type, collapse->iters);
1724 : 745 : ivar = fold_build2 (TRUNC_DIV_EXPR, ivar_type, expr, mod);
1725 : 745 : expr = fold_build2 (TRUNC_MOD_EXPR, ivar_type, expr, mod);
1726 : 745 : ivar = force_gimple_operand_gsi (gsi, ivar, true, NULL_TREE,
1727 : : true, GSI_SAME_STMT);
1728 : : }
1729 : :
1730 : 1452 : expr = fold_build2 (MULT_EXPR, diff_type, fold_convert (diff_type, expr),
1731 : : fold_convert (diff_type, collapse->step));
1732 : 1452 : expr = fold_build2 (plus_code, iter_type,
1733 : : inner ? collapse->outer : collapse->base,
1734 : : fold_convert (plus_type, expr));
1735 : 1452 : expr = force_gimple_operand_gsi (gsi, expr, false, NULL_TREE,
1736 : : true, GSI_SAME_STMT);
1737 : 1452 : gassign *ass = gimple_build_assign (v, expr);
1738 : 1452 : gsi_insert_before (gsi, ass, GSI_SAME_STMT);
1739 : : }
1740 : 707 : }
1741 : :
1742 : : /* Helper function for expand_omp_{for_*,simd}. If this is the outermost
1743 : : of the combined collapse > 1 loop constructs, generate code like:
1744 : : if (__builtin_expect (N32 cond3 N31, 0)) goto ZERO_ITER_BB;
1745 : : if (cond3 is <)
1746 : : adj = STEP3 - 1;
1747 : : else
1748 : : adj = STEP3 + 1;
1749 : : count3 = (adj + N32 - N31) / STEP3;
1750 : : if (__builtin_expect (N22 cond2 N21, 0)) goto ZERO_ITER_BB;
1751 : : if (cond2 is <)
1752 : : adj = STEP2 - 1;
1753 : : else
1754 : : adj = STEP2 + 1;
1755 : : count2 = (adj + N22 - N21) / STEP2;
1756 : : if (__builtin_expect (N12 cond1 N11, 0)) goto ZERO_ITER_BB;
1757 : : if (cond1 is <)
1758 : : adj = STEP1 - 1;
1759 : : else
1760 : : adj = STEP1 + 1;
1761 : : count1 = (adj + N12 - N11) / STEP1;
1762 : : count = count1 * count2 * count3;
1763 : : Furthermore, if ZERO_ITER_BB is NULL, create a BB which does:
1764 : : count = 0;
1765 : : and set ZERO_ITER_BB to that bb. If this isn't the outermost
1766 : : of the combined loop constructs, just initialize COUNTS array
1767 : : from the _looptemp_ clauses. For loop nests with non-rectangular
1768 : : loops, do this only for the rectangular loops. Then pick
1769 : : the loops which reference outer vars in their bound expressions
1770 : : and the loops which they refer to and for this sub-nest compute
1771 : : number of iterations. For triangular loops use Faulhaber's formula,
1772 : : otherwise as a fallback, compute by iterating the loops.
1773 : : If e.g. the sub-nest is
1774 : : for (I = N11; I COND1 N12; I += STEP1)
1775 : : for (J = M21 * I + N21; J COND2 M22 * I + N22; J += STEP2)
1776 : : for (K = M31 * J + N31; K COND3 M32 * J + N32; K += STEP3)
1777 : : do:
1778 : : COUNT = 0;
1779 : : for (tmpi = N11; tmpi COND1 N12; tmpi += STEP1)
1780 : : for (tmpj = M21 * tmpi + N21;
1781 : : tmpj COND2 M22 * tmpi + N22; tmpj += STEP2)
1782 : : {
1783 : : int tmpk1 = M31 * tmpj + N31;
1784 : : int tmpk2 = M32 * tmpj + N32;
1785 : : if (tmpk1 COND3 tmpk2)
1786 : : {
1787 : : if (COND3 is <)
1788 : : adj = STEP3 - 1;
1789 : : else
1790 : : adj = STEP3 + 1;
1791 : : COUNT += (adj + tmpk2 - tmpk1) / STEP3;
1792 : : }
1793 : : }
1794 : : and finally multiply the counts of the rectangular loops not
1795 : : in the sub-nest with COUNT. Also, as counts[fd->last_nonrect]
1796 : : store number of iterations of the loops from fd->first_nonrect
1797 : : to fd->last_nonrect inclusive, i.e. the above COUNT multiplied
1798 : : by the counts of rectangular loops not referenced in any non-rectangular
1799 : : loops sandwitched in between those. */
1800 : :
1801 : : /* NOTE: It *could* be better to moosh all of the BBs together,
1802 : : creating one larger BB with all the computation and the unexpected
1803 : : jump at the end. I.e.
1804 : :
1805 : : bool zero3, zero2, zero1, zero;
1806 : :
1807 : : zero3 = N32 c3 N31;
1808 : : count3 = (N32 - N31) /[cl] STEP3;
1809 : : zero2 = N22 c2 N21;
1810 : : count2 = (N22 - N21) /[cl] STEP2;
1811 : : zero1 = N12 c1 N11;
1812 : : count1 = (N12 - N11) /[cl] STEP1;
1813 : : zero = zero3 || zero2 || zero1;
1814 : : count = count1 * count2 * count3;
1815 : : if (__builtin_expect(zero, false)) goto zero_iter_bb;
1816 : :
1817 : : After all, we expect the zero=false, and thus we expect to have to
1818 : : evaluate all of the comparison expressions, so short-circuiting
1819 : : oughtn't be a win. Since the condition isn't protecting a
1820 : : denominator, we're not concerned about divide-by-zero, so we can
1821 : : fully evaluate count even if a numerator turned out to be wrong.
1822 : :
1823 : : It seems like putting this all together would create much better
1824 : : scheduling opportunities, and less pressure on the chip's branch
1825 : : predictor. */
1826 : :
1827 : : static void
1828 : 10405 : expand_omp_for_init_counts (struct omp_for_data *fd, gimple_stmt_iterator *gsi,
1829 : : basic_block &entry_bb, tree *counts,
1830 : : basic_block &zero_iter1_bb, int &first_zero_iter1,
1831 : : basic_block &zero_iter2_bb, int &first_zero_iter2,
1832 : : basic_block &l2_dom_bb)
1833 : : {
1834 : 10405 : tree t, type = TREE_TYPE (fd->loop.v);
1835 : 10405 : edge e, ne;
1836 : 10405 : int i;
1837 : :
1838 : : /* Collapsed loops need work for expansion into SSA form. */
1839 : 10405 : gcc_assert (!gimple_in_ssa_p (cfun));
1840 : :
1841 : 10405 : if (gimple_omp_for_combined_into_p (fd->for_stmt)
1842 : 10405 : && TREE_CODE (fd->loop.n2) != INTEGER_CST)
1843 : : {
1844 : 2680 : gcc_assert (fd->ordered == 0);
1845 : : /* First two _looptemp_ clauses are for istart/iend, counts[0]
1846 : : isn't supposed to be handled, as the inner loop doesn't
1847 : : use it. */
1848 : 2680 : tree innerc = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
1849 : : OMP_CLAUSE__LOOPTEMP_);
1850 : 2680 : gcc_assert (innerc);
1851 : 10516 : for (i = 0; i < fd->collapse; i++)
1852 : : {
1853 : 7836 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
1854 : : OMP_CLAUSE__LOOPTEMP_);
1855 : 7836 : gcc_assert (innerc);
1856 : 7836 : if (i)
1857 : 5156 : counts[i] = OMP_CLAUSE_DECL (innerc);
1858 : : else
1859 : 2680 : counts[0] = NULL_TREE;
1860 : : }
1861 : 2680 : if (fd->non_rect
1862 : 112 : && fd->last_nonrect == fd->first_nonrect + 1
1863 : 2744 : && !TYPE_UNSIGNED (TREE_TYPE (fd->loops[fd->last_nonrect].v)))
1864 : : {
1865 : : tree c[4];
1866 : 300 : for (i = 0; i < 4; i++)
1867 : : {
1868 : 240 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
1869 : : OMP_CLAUSE__LOOPTEMP_);
1870 : 240 : gcc_assert (innerc);
1871 : 240 : c[i] = OMP_CLAUSE_DECL (innerc);
1872 : : }
1873 : 60 : counts[0] = c[0];
1874 : 60 : fd->first_inner_iterations = c[1];
1875 : 60 : fd->factor = c[2];
1876 : 60 : fd->adjn1 = c[3];
1877 : : }
1878 : 2680 : return;
1879 : : }
1880 : :
1881 : 8618 : for (i = fd->collapse; i < fd->ordered; i++)
1882 : : {
1883 : 893 : tree itype = TREE_TYPE (fd->loops[i].v);
1884 : 893 : counts[i] = NULL_TREE;
1885 : 893 : t = fold_binary (fd->loops[i].cond_code, boolean_type_node,
1886 : : fold_convert (itype, fd->loops[i].n1),
1887 : : fold_convert (itype, fd->loops[i].n2));
1888 : 893 : if (t && integer_zerop (t))
1889 : : {
1890 : 0 : for (i = fd->collapse; i < fd->ordered; i++)
1891 : 0 : counts[i] = build_int_cst (type, 0);
1892 : : break;
1893 : : }
1894 : : }
1895 : : bool rect_count_seen = false;
1896 : 30020 : for (i = 0; i < (fd->ordered ? fd->ordered : fd->collapse); i++)
1897 : : {
1898 : 22295 : tree itype = TREE_TYPE (fd->loops[i].v);
1899 : :
1900 : 22295 : if (i >= fd->collapse && counts[i])
1901 : 0 : continue;
1902 : 22295 : if (fd->non_rect)
1903 : : {
1904 : : /* Skip loops that use outer iterators in their expressions
1905 : : during this phase. */
1906 : 1050 : if (fd->loops[i].m1 || fd->loops[i].m2)
1907 : : {
1908 : 432 : counts[i] = build_zero_cst (type);
1909 : 432 : continue;
1910 : : }
1911 : : }
1912 : 21863 : if ((SSA_VAR_P (fd->loop.n2) || i >= fd->collapse)
1913 : 9499 : && ((t = fold_binary (fd->loops[i].cond_code, boolean_type_node,
1914 : : fold_convert (itype, fd->loops[i].n1),
1915 : : fold_convert (itype, fd->loops[i].n2)))
1916 : 5876 : == NULL_TREE || !integer_onep (t)))
1917 : : {
1918 : 5774 : gcond *cond_stmt;
1919 : 5774 : tree n1, n2;
1920 : 5774 : n1 = fold_convert (itype, unshare_expr (fd->loops[i].n1));
1921 : 5774 : n1 = force_gimple_operand_gsi (gsi, n1, true, NULL_TREE,
1922 : : true, GSI_SAME_STMT);
1923 : 5774 : n2 = fold_convert (itype, unshare_expr (fd->loops[i].n2));
1924 : 5774 : n2 = force_gimple_operand_gsi (gsi, n2, true, NULL_TREE,
1925 : : true, GSI_SAME_STMT);
1926 : 5774 : cond_stmt = expand_omp_build_cond (gsi, fd->loops[i].cond_code,
1927 : : n1, n2);
1928 : 5774 : e = split_block (entry_bb, cond_stmt);
1929 : 11548 : basic_block &zero_iter_bb
1930 : 5774 : = i < fd->collapse ? zero_iter1_bb : zero_iter2_bb;
1931 : 11548 : int &first_zero_iter
1932 : 5774 : = i < fd->collapse ? first_zero_iter1 : first_zero_iter2;
1933 : 5774 : if (zero_iter_bb == NULL)
1934 : : {
1935 : 626 : gassign *assign_stmt;
1936 : 626 : first_zero_iter = i;
1937 : 626 : zero_iter_bb = create_empty_bb (entry_bb);
1938 : 626 : add_bb_to_loop (zero_iter_bb, entry_bb->loop_father);
1939 : 626 : *gsi = gsi_after_labels (zero_iter_bb);
1940 : 626 : if (i < fd->collapse)
1941 : 508 : assign_stmt = gimple_build_assign (fd->loop.n2,
1942 : : build_zero_cst (type));
1943 : : else
1944 : : {
1945 : 118 : counts[i] = create_tmp_reg (type, ".count");
1946 : 118 : assign_stmt
1947 : 118 : = gimple_build_assign (counts[i], build_zero_cst (type));
1948 : : }
1949 : 626 : gsi_insert_before (gsi, assign_stmt, GSI_SAME_STMT);
1950 : 626 : set_immediate_dominator (CDI_DOMINATORS, zero_iter_bb,
1951 : : entry_bb);
1952 : : }
1953 : 5774 : ne = make_edge (entry_bb, zero_iter_bb, EDGE_FALSE_VALUE);
1954 : 5774 : ne->probability = profile_probability::very_unlikely ();
1955 : 5774 : e->flags = EDGE_TRUE_VALUE;
1956 : 5774 : e->probability = ne->probability.invert ();
1957 : 5774 : if (l2_dom_bb == NULL)
1958 : 2584 : l2_dom_bb = entry_bb;
1959 : 5774 : entry_bb = e->dest;
1960 : 5774 : *gsi = gsi_last_nondebug_bb (entry_bb);
1961 : : }
1962 : :
1963 : 21863 : if (POINTER_TYPE_P (itype))
1964 : 1661 : itype = signed_type_for (itype);
1965 : 21863 : t = build_int_cst (itype, (fd->loops[i].cond_code == LT_EXPR
1966 : 26959 : ? -1 : 1));
1967 : 21863 : t = fold_build2 (PLUS_EXPR, itype,
1968 : : fold_convert (itype, fd->loops[i].step), t);
1969 : 21863 : t = fold_build2 (PLUS_EXPR, itype, t,
1970 : : fold_convert (itype, fd->loops[i].n2));
1971 : 21863 : t = fold_build2 (MINUS_EXPR, itype, t,
1972 : : fold_convert (itype, fd->loops[i].n1));
1973 : : /* ?? We could probably use CEIL_DIV_EXPR instead of
1974 : : TRUNC_DIV_EXPR and adjusting by hand. Unless we can't
1975 : : generate the same code in the end because generically we
1976 : : don't know that the values involved must be negative for
1977 : : GT?? */
1978 : 21863 : if (TYPE_UNSIGNED (itype) && fd->loops[i].cond_code == GT_EXPR)
1979 : 2240 : t = fold_build2 (TRUNC_DIV_EXPR, itype,
1980 : : fold_build1 (NEGATE_EXPR, itype, t),
1981 : : fold_build1 (NEGATE_EXPR, itype,
1982 : : fold_convert (itype,
1983 : : fd->loops[i].step)));
1984 : : else
1985 : 19623 : t = fold_build2 (TRUNC_DIV_EXPR, itype, t,
1986 : : fold_convert (itype, fd->loops[i].step));
1987 : 21863 : t = fold_convert (type, t);
1988 : 21863 : if (TREE_CODE (t) == INTEGER_CST)
1989 : 16019 : counts[i] = t;
1990 : : else
1991 : : {
1992 : 5844 : if (i < fd->collapse || i != first_zero_iter2)
1993 : 5726 : counts[i] = create_tmp_reg (type, ".count");
1994 : 5844 : expand_omp_build_assign (gsi, counts[i], t);
1995 : : }
1996 : 21863 : if (SSA_VAR_P (fd->loop.n2) && i < fd->collapse)
1997 : : {
1998 : 8606 : if (fd->non_rect && i >= fd->first_nonrect && i <= fd->last_nonrect)
1999 : 376 : continue;
2000 : 8230 : if (!rect_count_seen)
2001 : : {
2002 : 2988 : t = counts[i];
2003 : 2988 : rect_count_seen = true;
2004 : : }
2005 : : else
2006 : 5242 : t = fold_build2 (MULT_EXPR, type, fd->loop.n2, counts[i]);
2007 : 8230 : expand_omp_build_assign (gsi, fd->loop.n2, t);
2008 : : }
2009 : : }
2010 : 7725 : if (fd->non_rect && SSA_VAR_P (fd->loop.n2))
2011 : : {
2012 : 284 : gcc_assert (fd->last_nonrect != -1);
2013 : :
2014 : 284 : counts[fd->last_nonrect] = create_tmp_reg (type, ".count");
2015 : 284 : expand_omp_build_assign (gsi, counts[fd->last_nonrect],
2016 : : build_zero_cst (type));
2017 : 366 : for (i = fd->first_nonrect + 1; i < fd->last_nonrect; i++)
2018 : 113 : if (fd->loops[i].m1
2019 : 83 : || fd->loops[i].m2
2020 : 82 : || fd->loops[i].non_rect_referenced)
2021 : : break;
2022 : 284 : if (i == fd->last_nonrect
2023 : 253 : && fd->loops[i].outer == fd->last_nonrect - fd->first_nonrect
2024 : 253 : && !POINTER_TYPE_P (TREE_TYPE (fd->loops[i].v))
2025 : 511 : && !TYPE_UNSIGNED (TREE_TYPE (fd->loops[i].v)))
2026 : : {
2027 : 225 : int o = fd->first_nonrect;
2028 : 225 : tree itype = TREE_TYPE (fd->loops[o].v);
2029 : 225 : tree n1o = create_tmp_reg (itype, ".n1o");
2030 : 225 : t = fold_convert (itype, unshare_expr (fd->loops[o].n1));
2031 : 225 : expand_omp_build_assign (gsi, n1o, t);
2032 : 225 : tree n2o = create_tmp_reg (itype, ".n2o");
2033 : 225 : t = fold_convert (itype, unshare_expr (fd->loops[o].n2));
2034 : 225 : expand_omp_build_assign (gsi, n2o, t);
2035 : 225 : if (fd->loops[i].m1 && fd->loops[i].m2)
2036 : 43 : t = fold_build2 (MINUS_EXPR, itype, unshare_expr (fd->loops[i].m2),
2037 : : unshare_expr (fd->loops[i].m1));
2038 : 182 : else if (fd->loops[i].m1)
2039 : 162 : t = fold_build1 (NEGATE_EXPR, itype,
2040 : : unshare_expr (fd->loops[i].m1));
2041 : : else
2042 : 20 : t = unshare_expr (fd->loops[i].m2);
2043 : 225 : tree m2minusm1
2044 : 225 : = force_gimple_operand_gsi (gsi, t, true, NULL_TREE,
2045 : : true, GSI_SAME_STMT);
2046 : :
2047 : 225 : gimple_stmt_iterator gsi2 = *gsi;
2048 : 225 : gsi_prev (&gsi2);
2049 : 225 : e = split_block (entry_bb, gsi_stmt (gsi2));
2050 : 225 : e = split_block (e->dest, (gimple *) NULL);
2051 : 225 : basic_block bb1 = e->src;
2052 : 225 : entry_bb = e->dest;
2053 : 225 : *gsi = gsi_after_labels (entry_bb);
2054 : :
2055 : 225 : gsi2 = gsi_after_labels (bb1);
2056 : 225 : tree ostep = fold_convert (itype, fd->loops[o].step);
2057 : 225 : t = build_int_cst (itype, (fd->loops[o].cond_code
2058 : 241 : == LT_EXPR ? -1 : 1));
2059 : 225 : t = fold_build2 (PLUS_EXPR, itype, ostep, t);
2060 : 225 : t = fold_build2 (PLUS_EXPR, itype, t, n2o);
2061 : 225 : t = fold_build2 (MINUS_EXPR, itype, t, n1o);
2062 : 225 : if (TYPE_UNSIGNED (itype)
2063 : 225 : && fd->loops[o].cond_code == GT_EXPR)
2064 : 0 : t = fold_build2 (TRUNC_DIV_EXPR, itype,
2065 : : fold_build1 (NEGATE_EXPR, itype, t),
2066 : : fold_build1 (NEGATE_EXPR, itype, ostep));
2067 : : else
2068 : 225 : t = fold_build2 (TRUNC_DIV_EXPR, itype, t, ostep);
2069 : 225 : tree outer_niters
2070 : 225 : = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
2071 : : true, GSI_SAME_STMT);
2072 : 225 : t = fold_build2 (MINUS_EXPR, itype, outer_niters,
2073 : : build_one_cst (itype));
2074 : 225 : t = fold_build2 (MULT_EXPR, itype, t, ostep);
2075 : 225 : t = fold_build2 (PLUS_EXPR, itype, n1o, t);
2076 : 225 : tree last = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
2077 : : true, GSI_SAME_STMT);
2078 : 225 : tree n1, n2, n1e, n2e;
2079 : 225 : t = fold_convert (itype, unshare_expr (fd->loops[i].n1));
2080 : 225 : if (fd->loops[i].m1)
2081 : : {
2082 : 205 : n1 = fold_convert (itype, unshare_expr (fd->loops[i].m1));
2083 : 205 : n1 = fold_build2 (MULT_EXPR, itype, n1o, n1);
2084 : 205 : n1 = fold_build2 (PLUS_EXPR, itype, n1, t);
2085 : : }
2086 : : else
2087 : : n1 = t;
2088 : 225 : n1 = force_gimple_operand_gsi (&gsi2, n1, true, NULL_TREE,
2089 : : true, GSI_SAME_STMT);
2090 : 225 : t = fold_convert (itype, unshare_expr (fd->loops[i].n2));
2091 : 225 : if (fd->loops[i].m2)
2092 : : {
2093 : 63 : n2 = fold_convert (itype, unshare_expr (fd->loops[i].m2));
2094 : 63 : n2 = fold_build2 (MULT_EXPR, itype, n1o, n2);
2095 : 63 : n2 = fold_build2 (PLUS_EXPR, itype, n2, t);
2096 : : }
2097 : : else
2098 : : n2 = t;
2099 : 225 : n2 = force_gimple_operand_gsi (&gsi2, n2, true, NULL_TREE,
2100 : : true, GSI_SAME_STMT);
2101 : 225 : t = fold_convert (itype, unshare_expr (fd->loops[i].n1));
2102 : 225 : if (fd->loops[i].m1)
2103 : : {
2104 : 205 : n1e = fold_convert (itype, unshare_expr (fd->loops[i].m1));
2105 : 205 : n1e = fold_build2 (MULT_EXPR, itype, last, n1e);
2106 : 205 : n1e = fold_build2 (PLUS_EXPR, itype, n1e, t);
2107 : : }
2108 : : else
2109 : : n1e = t;
2110 : 225 : n1e = force_gimple_operand_gsi (&gsi2, n1e, true, NULL_TREE,
2111 : : true, GSI_SAME_STMT);
2112 : 225 : t = fold_convert (itype, unshare_expr (fd->loops[i].n2));
2113 : 225 : if (fd->loops[i].m2)
2114 : : {
2115 : 63 : n2e = fold_convert (itype, unshare_expr (fd->loops[i].m2));
2116 : 63 : n2e = fold_build2 (MULT_EXPR, itype, last, n2e);
2117 : 63 : n2e = fold_build2 (PLUS_EXPR, itype, n2e, t);
2118 : : }
2119 : : else
2120 : : n2e = t;
2121 : 225 : n2e = force_gimple_operand_gsi (&gsi2, n2e, true, NULL_TREE,
2122 : : true, GSI_SAME_STMT);
2123 : 225 : gcond *cond_stmt
2124 : 225 : = expand_omp_build_cond (&gsi2, fd->loops[i].cond_code,
2125 : : n1, n2);
2126 : 225 : e = split_block (bb1, cond_stmt);
2127 : 225 : e->flags = EDGE_TRUE_VALUE;
2128 : 225 : e->probability = profile_probability::likely ().guessed ();
2129 : 225 : basic_block bb2 = e->dest;
2130 : 225 : gsi2 = gsi_after_labels (bb2);
2131 : :
2132 : 225 : cond_stmt = expand_omp_build_cond (&gsi2, fd->loops[i].cond_code,
2133 : : n1e, n2e);
2134 : 225 : e = split_block (bb2, cond_stmt);
2135 : 225 : e->flags = EDGE_TRUE_VALUE;
2136 : 225 : e->probability = profile_probability::likely ().guessed ();
2137 : 225 : gsi2 = gsi_after_labels (e->dest);
2138 : :
2139 : 225 : tree step = fold_convert (itype, fd->loops[i].step);
2140 : 225 : t = build_int_cst (itype, (fd->loops[i].cond_code
2141 : 241 : == LT_EXPR ? -1 : 1));
2142 : 225 : t = fold_build2 (PLUS_EXPR, itype, step, t);
2143 : 225 : t = fold_build2 (PLUS_EXPR, itype, t, n2);
2144 : 225 : t = fold_build2 (MINUS_EXPR, itype, t, n1);
2145 : 225 : if (TYPE_UNSIGNED (itype)
2146 : 225 : && fd->loops[i].cond_code == GT_EXPR)
2147 : 0 : t = fold_build2 (TRUNC_DIV_EXPR, itype,
2148 : : fold_build1 (NEGATE_EXPR, itype, t),
2149 : : fold_build1 (NEGATE_EXPR, itype, step));
2150 : : else
2151 : 225 : t = fold_build2 (TRUNC_DIV_EXPR, itype, t, step);
2152 : 225 : tree first_inner_iterations
2153 : 225 : = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
2154 : : true, GSI_SAME_STMT);
2155 : 225 : t = fold_build2 (MULT_EXPR, itype, m2minusm1, ostep);
2156 : 225 : if (TYPE_UNSIGNED (itype)
2157 : 225 : && fd->loops[i].cond_code == GT_EXPR)
2158 : 0 : t = fold_build2 (TRUNC_DIV_EXPR, itype,
2159 : : fold_build1 (NEGATE_EXPR, itype, t),
2160 : : fold_build1 (NEGATE_EXPR, itype, step));
2161 : : else
2162 : 225 : t = fold_build2 (TRUNC_DIV_EXPR, itype, t, step);
2163 : 225 : tree factor
2164 : 225 : = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
2165 : : true, GSI_SAME_STMT);
2166 : 225 : t = fold_build2 (MINUS_EXPR, itype, outer_niters,
2167 : : build_one_cst (itype));
2168 : 225 : t = fold_build2 (MULT_EXPR, itype, t, outer_niters);
2169 : 225 : t = fold_build2 (RSHIFT_EXPR, itype, t, integer_one_node);
2170 : 225 : t = fold_build2 (MULT_EXPR, itype, factor, t);
2171 : 225 : t = fold_build2 (PLUS_EXPR, itype,
2172 : : fold_build2 (MULT_EXPR, itype, outer_niters,
2173 : : first_inner_iterations), t);
2174 : 225 : expand_omp_build_assign (&gsi2, counts[fd->last_nonrect],
2175 : : fold_convert (type, t));
2176 : :
2177 : 225 : basic_block bb3 = create_empty_bb (bb1);
2178 : 225 : add_bb_to_loop (bb3, bb1->loop_father);
2179 : :
2180 : 225 : e = make_edge (bb1, bb3, EDGE_FALSE_VALUE);
2181 : 225 : e->probability = profile_probability::unlikely ().guessed ();
2182 : :
2183 : 225 : gsi2 = gsi_after_labels (bb3);
2184 : 225 : cond_stmt = expand_omp_build_cond (&gsi2, fd->loops[i].cond_code,
2185 : : n1e, n2e);
2186 : 225 : e = split_block (bb3, cond_stmt);
2187 : 225 : e->flags = EDGE_TRUE_VALUE;
2188 : 225 : e->probability = profile_probability::likely ().guessed ();
2189 : 225 : basic_block bb4 = e->dest;
2190 : :
2191 : 225 : ne = make_edge (bb3, entry_bb, EDGE_FALSE_VALUE);
2192 : 225 : ne->probability = e->probability.invert ();
2193 : :
2194 : 225 : basic_block bb5 = create_empty_bb (bb2);
2195 : 225 : add_bb_to_loop (bb5, bb2->loop_father);
2196 : :
2197 : 225 : ne = make_edge (bb2, bb5, EDGE_FALSE_VALUE);
2198 : 225 : ne->probability = profile_probability::unlikely ().guessed ();
2199 : :
2200 : 675 : for (int j = 0; j < 2; j++)
2201 : : {
2202 : 450 : gsi2 = gsi_after_labels (j ? bb5 : bb4);
2203 : 450 : t = fold_build2 (MINUS_EXPR, itype,
2204 : : unshare_expr (fd->loops[i].n1),
2205 : : unshare_expr (fd->loops[i].n2));
2206 : 450 : t = fold_build2 (TRUNC_DIV_EXPR, itype, t, m2minusm1);
2207 : 450 : tree tem
2208 : 450 : = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
2209 : : true, GSI_SAME_STMT);
2210 : 450 : t = fold_build2 (MINUS_EXPR, itype, tem, n1o);
2211 : 450 : t = fold_build2 (TRUNC_MOD_EXPR, itype, t, ostep);
2212 : 450 : t = fold_build2 (MINUS_EXPR, itype, tem, t);
2213 : 450 : tem = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
2214 : : true, GSI_SAME_STMT);
2215 : 450 : t = fold_convert (itype, unshare_expr (fd->loops[i].n1));
2216 : 450 : if (fd->loops[i].m1)
2217 : : {
2218 : 410 : n1 = fold_convert (itype, unshare_expr (fd->loops[i].m1));
2219 : 410 : n1 = fold_build2 (MULT_EXPR, itype, tem, n1);
2220 : 410 : n1 = fold_build2 (PLUS_EXPR, itype, n1, t);
2221 : : }
2222 : : else
2223 : : n1 = t;
2224 : 450 : n1 = force_gimple_operand_gsi (&gsi2, n1, true, NULL_TREE,
2225 : : true, GSI_SAME_STMT);
2226 : 450 : t = fold_convert (itype, unshare_expr (fd->loops[i].n2));
2227 : 450 : if (fd->loops[i].m2)
2228 : : {
2229 : 126 : n2 = fold_convert (itype, unshare_expr (fd->loops[i].m2));
2230 : 126 : n2 = fold_build2 (MULT_EXPR, itype, tem, n2);
2231 : 126 : n2 = fold_build2 (PLUS_EXPR, itype, n2, t);
2232 : : }
2233 : : else
2234 : : n2 = t;
2235 : 450 : n2 = force_gimple_operand_gsi (&gsi2, n2, true, NULL_TREE,
2236 : : true, GSI_SAME_STMT);
2237 : 675 : expand_omp_build_assign (&gsi2, j ? n2o : n1o, tem);
2238 : :
2239 : 450 : cond_stmt = expand_omp_build_cond (&gsi2, fd->loops[i].cond_code,
2240 : : n1, n2);
2241 : 450 : e = split_block (gsi_bb (gsi2), cond_stmt);
2242 : 450 : e->flags = j ? EDGE_TRUE_VALUE : EDGE_FALSE_VALUE;
2243 : 450 : e->probability = profile_probability::unlikely ().guessed ();
2244 : 675 : ne = make_edge (e->src, bb1,
2245 : : j ? EDGE_FALSE_VALUE : EDGE_TRUE_VALUE);
2246 : 450 : ne->probability = e->probability.invert ();
2247 : 450 : gsi2 = gsi_after_labels (e->dest);
2248 : :
2249 : 450 : t = fold_build2 (PLUS_EXPR, itype, tem, ostep);
2250 : 450 : expand_omp_build_assign (&gsi2, j ? n2o : n1o, t);
2251 : :
2252 : 450 : make_edge (e->dest, bb1, EDGE_FALLTHRU);
2253 : : }
2254 : :
2255 : 225 : set_immediate_dominator (CDI_DOMINATORS, bb3, bb1);
2256 : 225 : set_immediate_dominator (CDI_DOMINATORS, bb5, bb2);
2257 : 225 : set_immediate_dominator (CDI_DOMINATORS, entry_bb, bb1);
2258 : :
2259 : 225 : if (fd->first_nonrect + 1 == fd->last_nonrect)
2260 : : {
2261 : 153 : fd->first_inner_iterations = first_inner_iterations;
2262 : 153 : fd->factor = factor;
2263 : 153 : fd->adjn1 = n1o;
2264 : : }
2265 : : }
2266 : : else
2267 : : {
2268 : : /* Fallback implementation. Evaluate the loops with m1/m2
2269 : : non-NULL as well as their outer loops at runtime using temporaries
2270 : : instead of the original iteration variables, and in the
2271 : : body just bump the counter. */
2272 : 59 : gimple_stmt_iterator gsi2 = *gsi;
2273 : 59 : gsi_prev (&gsi2);
2274 : 59 : e = split_block (entry_bb, gsi_stmt (gsi2));
2275 : 59 : e = split_block (e->dest, (gimple *) NULL);
2276 : 59 : basic_block cur_bb = e->src;
2277 : 59 : basic_block next_bb = e->dest;
2278 : 59 : entry_bb = e->dest;
2279 : 59 : *gsi = gsi_after_labels (entry_bb);
2280 : :
2281 : 59 : tree *vs = XALLOCAVEC (tree, fd->last_nonrect);
2282 : 59 : memset (vs, 0, fd->last_nonrect * sizeof (tree));
2283 : :
2284 : 189 : for (i = 0; i <= fd->last_nonrect; i++)
2285 : : {
2286 : 189 : if (fd->loops[i].m1 == NULL_TREE
2287 : 108 : && fd->loops[i].m2 == NULL_TREE
2288 : 99 : && !fd->loops[i].non_rect_referenced)
2289 : 40 : continue;
2290 : :
2291 : 149 : tree itype = TREE_TYPE (fd->loops[i].v);
2292 : :
2293 : 149 : gsi2 = gsi_after_labels (cur_bb);
2294 : 149 : tree n1, n2;
2295 : 149 : t = fold_convert (itype, unshare_expr (fd->loops[i].n1));
2296 : 149 : if (fd->loops[i].m1 == NULL_TREE)
2297 : : n1 = t;
2298 : 81 : else if (POINTER_TYPE_P (itype))
2299 : : {
2300 : 30 : gcc_assert (integer_onep (fd->loops[i].m1));
2301 : 30 : t = unshare_expr (fd->loops[i].n1);
2302 : 30 : n1 = fold_build_pointer_plus (vs[i - fd->loops[i].outer], t);
2303 : : }
2304 : : else
2305 : : {
2306 : 51 : n1 = fold_convert (itype, unshare_expr (fd->loops[i].m1));
2307 : 51 : n1 = fold_build2 (MULT_EXPR, itype,
2308 : : vs[i - fd->loops[i].outer], n1);
2309 : 51 : n1 = fold_build2 (PLUS_EXPR, itype, n1, t);
2310 : : }
2311 : 149 : n1 = force_gimple_operand_gsi (&gsi2, n1, true, NULL_TREE,
2312 : : true, GSI_SAME_STMT);
2313 : 149 : if (i < fd->last_nonrect)
2314 : : {
2315 : 90 : vs[i] = create_tmp_reg (itype, ".it");
2316 : 90 : expand_omp_build_assign (&gsi2, vs[i], n1);
2317 : : }
2318 : 149 : t = fold_convert (itype, unshare_expr (fd->loops[i].n2));
2319 : 149 : if (fd->loops[i].m2 == NULL_TREE)
2320 : : n2 = t;
2321 : 85 : else if (POINTER_TYPE_P (itype))
2322 : : {
2323 : 34 : gcc_assert (integer_onep (fd->loops[i].m2));
2324 : 34 : t = unshare_expr (fd->loops[i].n2);
2325 : 34 : n2 = fold_build_pointer_plus (vs[i - fd->loops[i].outer], t);
2326 : : }
2327 : : else
2328 : : {
2329 : 51 : n2 = fold_convert (itype, unshare_expr (fd->loops[i].m2));
2330 : 51 : n2 = fold_build2 (MULT_EXPR, itype,
2331 : : vs[i - fd->loops[i].outer], n2);
2332 : 51 : n2 = fold_build2 (PLUS_EXPR, itype, n2, t);
2333 : : }
2334 : 149 : n2 = force_gimple_operand_gsi (&gsi2, n2, true, NULL_TREE,
2335 : : true, GSI_SAME_STMT);
2336 : 149 : if (POINTER_TYPE_P (itype))
2337 : 70 : itype = signed_type_for (itype);
2338 : 149 : if (i == fd->last_nonrect)
2339 : : {
2340 : 59 : gcond *cond_stmt
2341 : 59 : = expand_omp_build_cond (&gsi2, fd->loops[i].cond_code,
2342 : : n1, n2);
2343 : 59 : e = split_block (cur_bb, cond_stmt);
2344 : 59 : e->flags = EDGE_TRUE_VALUE;
2345 : 59 : ne = make_edge (cur_bb, next_bb, EDGE_FALSE_VALUE);
2346 : 59 : e->probability = profile_probability::likely ().guessed ();
2347 : 59 : ne->probability = e->probability.invert ();
2348 : 59 : gsi2 = gsi_after_labels (e->dest);
2349 : :
2350 : 59 : t = build_int_cst (itype, (fd->loops[i].cond_code == LT_EXPR
2351 : 79 : ? -1 : 1));
2352 : 59 : t = fold_build2 (PLUS_EXPR, itype,
2353 : : fold_convert (itype, fd->loops[i].step), t);
2354 : 59 : t = fold_build2 (PLUS_EXPR, itype, t,
2355 : : fold_convert (itype, n2));
2356 : 59 : t = fold_build2 (MINUS_EXPR, itype, t,
2357 : : fold_convert (itype, n1));
2358 : 59 : tree step = fold_convert (itype, fd->loops[i].step);
2359 : 59 : if (TYPE_UNSIGNED (itype)
2360 : 59 : && fd->loops[i].cond_code == GT_EXPR)
2361 : 0 : t = fold_build2 (TRUNC_DIV_EXPR, itype,
2362 : : fold_build1 (NEGATE_EXPR, itype, t),
2363 : : fold_build1 (NEGATE_EXPR, itype, step));
2364 : : else
2365 : 59 : t = fold_build2 (TRUNC_DIV_EXPR, itype, t, step);
2366 : 59 : t = fold_convert (type, t);
2367 : 59 : t = fold_build2 (PLUS_EXPR, type,
2368 : : counts[fd->last_nonrect], t);
2369 : 59 : t = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
2370 : : true, GSI_SAME_STMT);
2371 : 59 : expand_omp_build_assign (&gsi2, counts[fd->last_nonrect], t);
2372 : 59 : e = make_edge (e->dest, next_bb, EDGE_FALLTHRU);
2373 : 59 : set_immediate_dominator (CDI_DOMINATORS, next_bb, cur_bb);
2374 : 59 : break;
2375 : : }
2376 : 90 : e = split_block (cur_bb, last_nondebug_stmt (cur_bb));
2377 : :
2378 : 90 : basic_block new_cur_bb = create_empty_bb (cur_bb);
2379 : 90 : add_bb_to_loop (new_cur_bb, cur_bb->loop_father);
2380 : :
2381 : 90 : gsi2 = gsi_after_labels (e->dest);
2382 : 90 : tree step = fold_convert (itype,
2383 : : unshare_expr (fd->loops[i].step));
2384 : 90 : if (POINTER_TYPE_P (TREE_TYPE (vs[i])))
2385 : 38 : t = fold_build_pointer_plus (vs[i], step);
2386 : : else
2387 : 52 : t = fold_build2 (PLUS_EXPR, itype, vs[i], step);
2388 : 90 : t = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
2389 : : true, GSI_SAME_STMT);
2390 : 90 : expand_omp_build_assign (&gsi2, vs[i], t);
2391 : :
2392 : 90 : ne = split_block (e->dest, last_nondebug_stmt (e->dest));
2393 : 90 : gsi2 = gsi_after_labels (ne->dest);
2394 : :
2395 : 90 : expand_omp_build_cond (&gsi2, fd->loops[i].cond_code, vs[i], n2);
2396 : 90 : edge e3, e4;
2397 : 90 : if (next_bb == entry_bb)
2398 : : {
2399 : 59 : e3 = find_edge (ne->dest, next_bb);
2400 : 59 : e3->flags = EDGE_FALSE_VALUE;
2401 : : }
2402 : : else
2403 : 31 : e3 = make_edge (ne->dest, next_bb, EDGE_FALSE_VALUE);
2404 : 90 : e4 = make_edge (ne->dest, new_cur_bb, EDGE_TRUE_VALUE);
2405 : 90 : e4->probability = profile_probability::likely ().guessed ();
2406 : 90 : e3->probability = e4->probability.invert ();
2407 : 90 : basic_block esrc = e->src;
2408 : 90 : make_edge (e->src, ne->dest, EDGE_FALLTHRU);
2409 : 90 : cur_bb = new_cur_bb;
2410 : 90 : basic_block latch_bb = next_bb;
2411 : 90 : next_bb = e->dest;
2412 : 90 : remove_edge (e);
2413 : 90 : set_immediate_dominator (CDI_DOMINATORS, ne->dest, esrc);
2414 : 90 : set_immediate_dominator (CDI_DOMINATORS, latch_bb, ne->dest);
2415 : 90 : set_immediate_dominator (CDI_DOMINATORS, cur_bb, ne->dest);
2416 : : }
2417 : : }
2418 : 284 : t = NULL_TREE;
2419 : 691 : for (i = fd->first_nonrect; i < fd->last_nonrect; i++)
2420 : 407 : if (!fd->loops[i].non_rect_referenced
2421 : 92 : && fd->loops[i].m1 == NULL_TREE
2422 : 92 : && fd->loops[i].m2 == NULL_TREE)
2423 : : {
2424 : 92 : if (t == NULL_TREE)
2425 : 82 : t = counts[i];
2426 : : else
2427 : 10 : t = fold_build2 (MULT_EXPR, type, t, counts[i]);
2428 : : }
2429 : 284 : if (t)
2430 : : {
2431 : 82 : t = fold_build2 (MULT_EXPR, type, counts[fd->last_nonrect], t);
2432 : 82 : expand_omp_build_assign (gsi, counts[fd->last_nonrect], t);
2433 : : }
2434 : 284 : if (!rect_count_seen)
2435 : 186 : t = counts[fd->last_nonrect];
2436 : : else
2437 : 98 : t = fold_build2 (MULT_EXPR, type, fd->loop.n2,
2438 : : counts[fd->last_nonrect]);
2439 : 284 : expand_omp_build_assign (gsi, fd->loop.n2, t);
2440 : 284 : }
2441 : 7441 : else if (fd->non_rect)
2442 : : {
2443 : 117 : tree t = fd->loop.n2;
2444 : 117 : gcc_assert (TREE_CODE (t) == INTEGER_CST);
2445 : : int non_rect_referenced = 0, non_rect = 0;
2446 : 358 : for (i = 0; i < fd->collapse; i++)
2447 : : {
2448 : 240 : if ((i < fd->first_nonrect || i > fd->last_nonrect)
2449 : 246 : && !integer_zerop (counts[i]))
2450 : 6 : t = fold_build2 (TRUNC_DIV_EXPR, type, t, counts[i]);
2451 : 241 : if (fd->loops[i].non_rect_referenced)
2452 : 117 : non_rect_referenced++;
2453 : 241 : if (fd->loops[i].m1 || fd->loops[i].m2)
2454 : 117 : non_rect++;
2455 : : }
2456 : 117 : gcc_assert (non_rect == 1 && non_rect_referenced == 1);
2457 : 117 : counts[fd->last_nonrect] = t;
2458 : : }
2459 : : }
2460 : :
2461 : : /* Helper function for expand_omp_{for_*,simd}. Generate code like:
2462 : : T = V;
2463 : : V3 = N31 + (T % count3) * STEP3;
2464 : : T = T / count3;
2465 : : V2 = N21 + (T % count2) * STEP2;
2466 : : T = T / count2;
2467 : : V1 = N11 + T * STEP1;
2468 : : if this loop doesn't have an inner loop construct combined with it.
2469 : : If it does have an inner loop construct combined with it and the
2470 : : iteration count isn't known constant, store values from counts array
2471 : : into its _looptemp_ temporaries instead.
2472 : : For non-rectangular loops (between fd->first_nonrect and fd->last_nonrect
2473 : : inclusive), use the count of all those loops together, and either
2474 : : find quadratic etc. equation roots, or as a fallback, do:
2475 : : COUNT = 0;
2476 : : for (tmpi = N11; tmpi COND1 N12; tmpi += STEP1)
2477 : : for (tmpj = M21 * tmpi + N21;
2478 : : tmpj COND2 M22 * tmpi + N22; tmpj += STEP2)
2479 : : {
2480 : : int tmpk1 = M31 * tmpj + N31;
2481 : : int tmpk2 = M32 * tmpj + N32;
2482 : : if (tmpk1 COND3 tmpk2)
2483 : : {
2484 : : if (COND3 is <)
2485 : : adj = STEP3 - 1;
2486 : : else
2487 : : adj = STEP3 + 1;
2488 : : int temp = (adj + tmpk2 - tmpk1) / STEP3;
2489 : : if (COUNT + temp > T)
2490 : : {
2491 : : V1 = tmpi;
2492 : : V2 = tmpj;
2493 : : V3 = tmpk1 + (T - COUNT) * STEP3;
2494 : : goto done;
2495 : : }
2496 : : else
2497 : : COUNT += temp;
2498 : : }
2499 : : }
2500 : : done:;
2501 : : but for optional innermost or outermost rectangular loops that aren't
2502 : : referenced by other loop expressions keep doing the division/modulo. */
2503 : :
2504 : : static void
2505 : 10221 : expand_omp_for_init_vars (struct omp_for_data *fd, gimple_stmt_iterator *gsi,
2506 : : tree *counts, tree *nonrect_bounds,
2507 : : gimple *inner_stmt, tree startvar)
2508 : : {
2509 : 10221 : int i;
2510 : 10221 : if (gimple_omp_for_combined_p (fd->for_stmt))
2511 : : {
2512 : : /* If fd->loop.n2 is constant, then no propagation of the counts
2513 : : is needed, they are constant. */
2514 : 4840 : if (TREE_CODE (fd->loop.n2) == INTEGER_CST)
2515 : : return;
2516 : :
2517 : 2680 : tree clauses = gimple_code (inner_stmt) != GIMPLE_OMP_FOR
2518 : 4140 : ? gimple_omp_taskreg_clauses (inner_stmt)
2519 : 1220 : : gimple_omp_for_clauses (inner_stmt);
2520 : : /* First two _looptemp_ clauses are for istart/iend, counts[0]
2521 : : isn't supposed to be handled, as the inner loop doesn't
2522 : : use it. */
2523 : 2680 : tree innerc = omp_find_clause (clauses, OMP_CLAUSE__LOOPTEMP_);
2524 : 2680 : gcc_assert (innerc);
2525 : 2680 : int count = 0;
2526 : 2680 : if (fd->non_rect
2527 : 112 : && fd->last_nonrect == fd->first_nonrect + 1
2528 : 2744 : && !TYPE_UNSIGNED (TREE_TYPE (fd->loops[fd->last_nonrect].v)))
2529 : : count = 4;
2530 : 10756 : for (i = 0; i < fd->collapse + count; i++)
2531 : : {
2532 : 8076 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
2533 : : OMP_CLAUSE__LOOPTEMP_);
2534 : 8076 : gcc_assert (innerc);
2535 : 8076 : if (i)
2536 : : {
2537 : 5396 : tree tem = OMP_CLAUSE_DECL (innerc);
2538 : 5396 : tree t;
2539 : 5396 : if (i < fd->collapse)
2540 : 5156 : t = counts[i];
2541 : : else
2542 : 240 : switch (i - fd->collapse)
2543 : : {
2544 : 60 : case 0: t = counts[0]; break;
2545 : 60 : case 1: t = fd->first_inner_iterations; break;
2546 : 60 : case 2: t = fd->factor; break;
2547 : 60 : case 3: t = fd->adjn1; break;
2548 : 0 : default: gcc_unreachable ();
2549 : : }
2550 : 5396 : t = fold_convert (TREE_TYPE (tem), t);
2551 : 5396 : t = force_gimple_operand_gsi (gsi, t, false, NULL_TREE,
2552 : : false, GSI_CONTINUE_LINKING);
2553 : 5396 : gassign *stmt = gimple_build_assign (tem, t);
2554 : 5396 : gsi_insert_after (gsi, stmt, GSI_CONTINUE_LINKING);
2555 : : }
2556 : : }
2557 : : return;
2558 : : }
2559 : :
2560 : 5381 : tree type = TREE_TYPE (fd->loop.v);
2561 : 5381 : tree tem = create_tmp_reg (type, ".tem");
2562 : 5381 : gassign *stmt = gimple_build_assign (tem, startvar);
2563 : 5381 : gsi_insert_after (gsi, stmt, GSI_CONTINUE_LINKING);
2564 : :
2565 : 20026 : for (i = fd->collapse - 1; i >= 0; i--)
2566 : : {
2567 : 14645 : tree vtype = TREE_TYPE (fd->loops[i].v), itype, t;
2568 : 14645 : itype = vtype;
2569 : 14645 : if (POINTER_TYPE_P (vtype))
2570 : 1649 : itype = signed_type_for (vtype);
2571 : 14645 : if (i != 0 && (i != fd->last_nonrect || fd->first_nonrect))
2572 : 9264 : t = fold_build2 (TRUNC_MOD_EXPR, type, tem, counts[i]);
2573 : : else
2574 : : t = tem;
2575 : 14645 : if (i == fd->last_nonrect)
2576 : : {
2577 : 376 : t = force_gimple_operand_gsi (gsi, t, true, NULL_TREE,
2578 : : false, GSI_CONTINUE_LINKING);
2579 : 376 : tree stopval = t;
2580 : 376 : tree idx = create_tmp_reg (type, ".count");
2581 : 376 : expand_omp_build_assign (gsi, idx,
2582 : : build_zero_cst (type), true);
2583 : 376 : basic_block bb_triang = NULL, bb_triang_dom = NULL;
2584 : 376 : if (fd->first_nonrect + 1 == fd->last_nonrect
2585 : 272 : && (TREE_CODE (fd->loop.n2) == INTEGER_CST
2586 : 181 : || fd->first_inner_iterations)
2587 : 488 : && (optab_handler (sqrt_optab, TYPE_MODE (double_type_node))
2588 : : != CODE_FOR_nothing)
2589 : 620 : && !integer_zerop (fd->loop.n2))
2590 : : {
2591 : 236 : tree outer_n1 = fd->adjn1 ? fd->adjn1 : fd->loops[i - 1].n1;
2592 : 236 : tree itype = TREE_TYPE (fd->loops[i].v);
2593 : 236 : tree first_inner_iterations = fd->first_inner_iterations;
2594 : 236 : tree factor = fd->factor;
2595 : 236 : gcond *cond_stmt
2596 : 236 : = expand_omp_build_cond (gsi, NE_EXPR, factor,
2597 : 236 : build_zero_cst (TREE_TYPE (factor)),
2598 : : true);
2599 : 236 : edge e = split_block (gsi_bb (*gsi), cond_stmt);
2600 : 236 : basic_block bb0 = e->src;
2601 : 236 : e->flags = EDGE_TRUE_VALUE;
2602 : 236 : e->probability = profile_probability::likely ();
2603 : 236 : bb_triang_dom = bb0;
2604 : 236 : *gsi = gsi_after_labels (e->dest);
2605 : 236 : tree slltype = long_long_integer_type_node;
2606 : 236 : tree ulltype = long_long_unsigned_type_node;
2607 : 236 : tree stopvalull = fold_convert (ulltype, stopval);
2608 : 236 : stopvalull
2609 : 236 : = force_gimple_operand_gsi (gsi, stopvalull, true, NULL_TREE,
2610 : : false, GSI_CONTINUE_LINKING);
2611 : 236 : first_inner_iterations
2612 : 236 : = fold_convert (slltype, first_inner_iterations);
2613 : 236 : first_inner_iterations
2614 : 236 : = force_gimple_operand_gsi (gsi, first_inner_iterations, true,
2615 : : NULL_TREE, false,
2616 : : GSI_CONTINUE_LINKING);
2617 : 236 : factor = fold_convert (slltype, factor);
2618 : 236 : factor
2619 : 236 : = force_gimple_operand_gsi (gsi, factor, true, NULL_TREE,
2620 : : false, GSI_CONTINUE_LINKING);
2621 : 236 : tree first_inner_iterationsd
2622 : 236 : = fold_build1 (FLOAT_EXPR, double_type_node,
2623 : : first_inner_iterations);
2624 : 236 : first_inner_iterationsd
2625 : 236 : = force_gimple_operand_gsi (gsi, first_inner_iterationsd, true,
2626 : : NULL_TREE, false,
2627 : : GSI_CONTINUE_LINKING);
2628 : 236 : tree factord = fold_build1 (FLOAT_EXPR, double_type_node,
2629 : : factor);
2630 : 236 : factord = force_gimple_operand_gsi (gsi, factord, true,
2631 : : NULL_TREE, false,
2632 : : GSI_CONTINUE_LINKING);
2633 : 236 : tree stopvald = fold_build1 (FLOAT_EXPR, double_type_node,
2634 : : stopvalull);
2635 : 236 : stopvald = force_gimple_operand_gsi (gsi, stopvald, true,
2636 : : NULL_TREE, false,
2637 : : GSI_CONTINUE_LINKING);
2638 : : /* Temporarily disable flag_rounding_math, values will be
2639 : : decimal numbers divided by 2 and worst case imprecisions
2640 : : due to too large values ought to be caught later by the
2641 : : checks for fallback. */
2642 : 236 : int save_flag_rounding_math = flag_rounding_math;
2643 : 236 : flag_rounding_math = 0;
2644 : 236 : t = fold_build2 (RDIV_EXPR, double_type_node, factord,
2645 : : build_real (double_type_node, dconst2));
2646 : 236 : tree t3 = fold_build2 (MINUS_EXPR, double_type_node,
2647 : : first_inner_iterationsd, t);
2648 : 236 : t3 = force_gimple_operand_gsi (gsi, t3, true, NULL_TREE, false,
2649 : : GSI_CONTINUE_LINKING);
2650 : 236 : t = fold_build2 (MULT_EXPR, double_type_node, factord,
2651 : : build_real (double_type_node, dconst2));
2652 : 236 : t = fold_build2 (MULT_EXPR, double_type_node, t, stopvald);
2653 : 236 : t = fold_build2 (PLUS_EXPR, double_type_node, t,
2654 : : fold_build2 (MULT_EXPR, double_type_node,
2655 : : t3, t3));
2656 : 236 : flag_rounding_math = save_flag_rounding_math;
2657 : 236 : t = force_gimple_operand_gsi (gsi, t, true, NULL_TREE, false,
2658 : : GSI_CONTINUE_LINKING);
2659 : 236 : if (flag_exceptions
2660 : 34 : && cfun->can_throw_non_call_exceptions
2661 : 244 : && operation_could_trap_p (LT_EXPR, true, false, NULL_TREE))
2662 : : {
2663 : 8 : tree tem = fold_build2 (LT_EXPR, boolean_type_node, t,
2664 : : build_zero_cst (double_type_node));
2665 : 8 : tem = force_gimple_operand_gsi (gsi, tem, true, NULL_TREE,
2666 : : false, GSI_CONTINUE_LINKING);
2667 : 8 : cond_stmt = gimple_build_cond (NE_EXPR, tem,
2668 : : boolean_false_node,
2669 : : NULL_TREE, NULL_TREE);
2670 : : }
2671 : : else
2672 : 228 : cond_stmt
2673 : 228 : = gimple_build_cond (LT_EXPR, t,
2674 : : build_zero_cst (double_type_node),
2675 : : NULL_TREE, NULL_TREE);
2676 : 236 : gsi_insert_after (gsi, cond_stmt, GSI_CONTINUE_LINKING);
2677 : 236 : e = split_block (gsi_bb (*gsi), cond_stmt);
2678 : 236 : basic_block bb1 = e->src;
2679 : 236 : e->flags = EDGE_FALSE_VALUE;
2680 : 236 : e->probability = profile_probability::very_likely ();
2681 : 236 : *gsi = gsi_after_labels (e->dest);
2682 : 236 : gcall *call = gimple_build_call_internal (IFN_SQRT, 1, t);
2683 : 236 : tree sqrtr = create_tmp_var (double_type_node);
2684 : 236 : gimple_call_set_lhs (call, sqrtr);
2685 : 236 : gsi_insert_after (gsi, call, GSI_CONTINUE_LINKING);
2686 : 236 : t = fold_build2 (MINUS_EXPR, double_type_node, sqrtr, t3);
2687 : 236 : t = fold_build2 (RDIV_EXPR, double_type_node, t, factord);
2688 : 236 : t = fold_build1 (FIX_TRUNC_EXPR, ulltype, t);
2689 : 236 : tree c = create_tmp_var (ulltype);
2690 : 236 : tree d = create_tmp_var (ulltype);
2691 : 236 : expand_omp_build_assign (gsi, c, t, true);
2692 : 236 : t = fold_build2 (MINUS_EXPR, ulltype, c,
2693 : : build_one_cst (ulltype));
2694 : 236 : t = fold_build2 (MULT_EXPR, ulltype, c, t);
2695 : 236 : t = fold_build2 (RSHIFT_EXPR, ulltype, t, integer_one_node);
2696 : 236 : t = fold_build2 (MULT_EXPR, ulltype,
2697 : : fold_convert (ulltype, fd->factor), t);
2698 : 236 : tree t2
2699 : 236 : = fold_build2 (MULT_EXPR, ulltype, c,
2700 : : fold_convert (ulltype,
2701 : : fd->first_inner_iterations));
2702 : 236 : t = fold_build2 (PLUS_EXPR, ulltype, t, t2);
2703 : 236 : expand_omp_build_assign (gsi, d, t, true);
2704 : 236 : t = fold_build2 (MULT_EXPR, ulltype,
2705 : : fold_convert (ulltype, fd->factor), c);
2706 : 236 : t = fold_build2 (PLUS_EXPR, ulltype,
2707 : : t, fold_convert (ulltype,
2708 : : fd->first_inner_iterations));
2709 : 236 : t2 = force_gimple_operand_gsi (gsi, t, true, NULL_TREE, false,
2710 : : GSI_CONTINUE_LINKING);
2711 : 236 : cond_stmt = gimple_build_cond (GE_EXPR, stopvalull, d,
2712 : : NULL_TREE, NULL_TREE);
2713 : 236 : gsi_insert_after (gsi, cond_stmt, GSI_CONTINUE_LINKING);
2714 : 236 : e = split_block (gsi_bb (*gsi), cond_stmt);
2715 : 236 : basic_block bb2 = e->src;
2716 : 236 : e->flags = EDGE_TRUE_VALUE;
2717 : 236 : e->probability = profile_probability::very_likely ();
2718 : 236 : *gsi = gsi_after_labels (e->dest);
2719 : 236 : t = fold_build2 (PLUS_EXPR, ulltype, d, t2);
2720 : 236 : t = force_gimple_operand_gsi (gsi, t, true, NULL_TREE, false,
2721 : : GSI_CONTINUE_LINKING);
2722 : 236 : cond_stmt = gimple_build_cond (GE_EXPR, stopvalull, t,
2723 : : NULL_TREE, NULL_TREE);
2724 : 236 : gsi_insert_after (gsi, cond_stmt, GSI_CONTINUE_LINKING);
2725 : 236 : e = split_block (gsi_bb (*gsi), cond_stmt);
2726 : 236 : basic_block bb3 = e->src;
2727 : 236 : e->flags = EDGE_FALSE_VALUE;
2728 : 236 : e->probability = profile_probability::very_likely ();
2729 : 236 : *gsi = gsi_after_labels (e->dest);
2730 : 236 : t = fold_convert (itype, c);
2731 : 236 : t = fold_build2 (MULT_EXPR, itype, t, fd->loops[i - 1].step);
2732 : 236 : t = fold_build2 (PLUS_EXPR, itype, outer_n1, t);
2733 : 236 : t = force_gimple_operand_gsi (gsi, t, true, NULL_TREE, false,
2734 : : GSI_CONTINUE_LINKING);
2735 : 236 : expand_omp_build_assign (gsi, fd->loops[i - 1].v, t, true);
2736 : 236 : t2 = fold_build2 (MINUS_EXPR, ulltype, stopvalull, d);
2737 : 236 : t2 = fold_convert (itype, t2);
2738 : 236 : t2 = fold_build2 (MULT_EXPR, itype, t2, fd->loops[i].step);
2739 : 236 : t2 = fold_build2 (PLUS_EXPR, itype, t2, fd->loops[i].n1);
2740 : 236 : if (fd->loops[i].m1)
2741 : : {
2742 : 195 : t = fold_build2 (MULT_EXPR, itype, t, fd->loops[i].m1);
2743 : 195 : t2 = fold_build2 (PLUS_EXPR, itype, t2, t);
2744 : : }
2745 : 236 : expand_omp_build_assign (gsi, fd->loops[i].v, t2, true);
2746 : 236 : e = split_block (gsi_bb (*gsi), gsi_stmt (*gsi));
2747 : 236 : bb_triang = e->src;
2748 : 236 : *gsi = gsi_after_labels (e->dest);
2749 : 236 : remove_edge (e);
2750 : 236 : e = make_edge (bb1, gsi_bb (*gsi), EDGE_TRUE_VALUE);
2751 : 236 : e->probability = profile_probability::very_unlikely ();
2752 : 236 : e = make_edge (bb2, gsi_bb (*gsi), EDGE_FALSE_VALUE);
2753 : 236 : e->probability = profile_probability::very_unlikely ();
2754 : 236 : e = make_edge (bb3, gsi_bb (*gsi), EDGE_TRUE_VALUE);
2755 : 236 : e->probability = profile_probability::very_unlikely ();
2756 : :
2757 : 236 : basic_block bb4 = create_empty_bb (bb0);
2758 : 236 : add_bb_to_loop (bb4, bb0->loop_father);
2759 : 236 : e = make_edge (bb0, bb4, EDGE_FALSE_VALUE);
2760 : 236 : e->probability = profile_probability::unlikely ();
2761 : 236 : make_edge (bb4, gsi_bb (*gsi), EDGE_FALLTHRU);
2762 : 236 : set_immediate_dominator (CDI_DOMINATORS, bb4, bb0);
2763 : 236 : set_immediate_dominator (CDI_DOMINATORS, gsi_bb (*gsi), bb0);
2764 : 236 : gimple_stmt_iterator gsi2 = gsi_after_labels (bb4);
2765 : 236 : t2 = fold_build2 (TRUNC_DIV_EXPR, type,
2766 : : counts[i], counts[i - 1]);
2767 : 236 : t2 = force_gimple_operand_gsi (&gsi2, t2, true, NULL_TREE, false,
2768 : : GSI_CONTINUE_LINKING);
2769 : 236 : t = fold_build2 (TRUNC_MOD_EXPR, type, stopval, t2);
2770 : 236 : t2 = fold_build2 (TRUNC_DIV_EXPR, type, stopval, t2);
2771 : 236 : t = fold_convert (itype, t);
2772 : 236 : t2 = fold_convert (itype, t2);
2773 : 236 : t = fold_build2 (MULT_EXPR, itype, t,
2774 : : fold_convert (itype, fd->loops[i].step));
2775 : 236 : t = fold_build2 (PLUS_EXPR, itype, fd->loops[i].n1, t);
2776 : 236 : t2 = fold_build2 (MULT_EXPR, itype, t2,
2777 : : fold_convert (itype, fd->loops[i - 1].step));
2778 : 236 : t2 = fold_build2 (PLUS_EXPR, itype, fd->loops[i - 1].n1, t2);
2779 : 236 : t2 = force_gimple_operand_gsi (&gsi2, t2, false, NULL_TREE,
2780 : : false, GSI_CONTINUE_LINKING);
2781 : 236 : stmt = gimple_build_assign (fd->loops[i - 1].v, t2);
2782 : 236 : gsi_insert_after (&gsi2, stmt, GSI_CONTINUE_LINKING);
2783 : 236 : if (fd->loops[i].m1)
2784 : : {
2785 : 195 : t2 = fold_build2 (MULT_EXPR, itype, fd->loops[i].m1,
2786 : : fd->loops[i - 1].v);
2787 : 195 : t = fold_build2 (PLUS_EXPR, itype, t, t2);
2788 : : }
2789 : 236 : t = force_gimple_operand_gsi (&gsi2, t, false, NULL_TREE,
2790 : : false, GSI_CONTINUE_LINKING);
2791 : 236 : stmt = gimple_build_assign (fd->loops[i].v, t);
2792 : 236 : gsi_insert_after (&gsi2, stmt, GSI_CONTINUE_LINKING);
2793 : : }
2794 : : /* Fallback implementation. Evaluate the loops in between
2795 : : (inclusive) fd->first_nonrect and fd->last_nonrect at
2796 : : runtime unsing temporaries instead of the original iteration
2797 : : variables, in the body just bump the counter and compare
2798 : : with the desired value. */
2799 : 376 : gimple_stmt_iterator gsi2 = *gsi;
2800 : 376 : basic_block entry_bb = gsi_bb (gsi2);
2801 : 376 : edge e = split_block (entry_bb, gsi_stmt (gsi2));
2802 : 376 : e = split_block (e->dest, (gimple *) NULL);
2803 : 376 : basic_block dom_bb = NULL;
2804 : 376 : basic_block cur_bb = e->src;
2805 : 376 : basic_block next_bb = e->dest;
2806 : 376 : entry_bb = e->dest;
2807 : 376 : *gsi = gsi_after_labels (entry_bb);
2808 : :
2809 : 376 : tree *vs = XALLOCAVEC (tree, fd->last_nonrect);
2810 : 376 : tree n1 = NULL_TREE, n2 = NULL_TREE;
2811 : 376 : memset (vs, 0, fd->last_nonrect * sizeof (tree));
2812 : :
2813 : 876 : for (int j = fd->first_nonrect; j <= fd->last_nonrect; j++)
2814 : : {
2815 : 876 : tree itype = TREE_TYPE (fd->loops[j].v);
2816 : 1752 : bool rect_p = (fd->loops[j].m1 == NULL_TREE
2817 : 527 : && fd->loops[j].m2 == NULL_TREE
2818 : 1345 : && !fd->loops[j].non_rect_referenced);
2819 : 876 : gsi2 = gsi_after_labels (cur_bb);
2820 : 876 : t = fold_convert (itype, unshare_expr (fd->loops[j].n1));
2821 : 876 : if (fd->loops[j].m1 == NULL_TREE)
2822 : 527 : n1 = rect_p ? build_zero_cst (type) : t;
2823 : 349 : else if (POINTER_TYPE_P (itype))
2824 : : {
2825 : 30 : gcc_assert (integer_onep (fd->loops[j].m1));
2826 : 30 : t = unshare_expr (fd->loops[j].n1);
2827 : 30 : n1 = fold_build_pointer_plus (vs[j - fd->loops[j].outer], t);
2828 : : }
2829 : : else
2830 : : {
2831 : 319 : n1 = fold_convert (itype, unshare_expr (fd->loops[j].m1));
2832 : 319 : n1 = fold_build2 (MULT_EXPR, itype,
2833 : : vs[j - fd->loops[j].outer], n1);
2834 : 319 : n1 = fold_build2 (PLUS_EXPR, itype, n1, t);
2835 : : }
2836 : 876 : n1 = force_gimple_operand_gsi (&gsi2, n1, true, NULL_TREE,
2837 : : true, GSI_SAME_STMT);
2838 : 876 : if (j < fd->last_nonrect)
2839 : : {
2840 : 907 : vs[j] = create_tmp_reg (rect_p ? type : itype, ".it");
2841 : 500 : expand_omp_build_assign (&gsi2, vs[j], n1);
2842 : : }
2843 : 876 : t = fold_convert (itype, unshare_expr (fd->loops[j].n2));
2844 : 876 : if (fd->loops[j].m2 == NULL_TREE)
2845 : 646 : n2 = rect_p ? counts[j] : t;
2846 : 230 : else if (POINTER_TYPE_P (itype))
2847 : : {
2848 : 34 : gcc_assert (integer_onep (fd->loops[j].m2));
2849 : 34 : t = unshare_expr (fd->loops[j].n2);
2850 : 34 : n2 = fold_build_pointer_plus (vs[j - fd->loops[j].outer], t);
2851 : : }
2852 : : else
2853 : : {
2854 : 196 : n2 = fold_convert (itype, unshare_expr (fd->loops[j].m2));
2855 : 196 : n2 = fold_build2 (MULT_EXPR, itype,
2856 : : vs[j - fd->loops[j].outer], n2);
2857 : 196 : n2 = fold_build2 (PLUS_EXPR, itype, n2, t);
2858 : : }
2859 : 876 : n2 = force_gimple_operand_gsi (&gsi2, n2, true, NULL_TREE,
2860 : : true, GSI_SAME_STMT);
2861 : 876 : if (POINTER_TYPE_P (itype))
2862 : 74 : itype = signed_type_for (itype);
2863 : 876 : if (j == fd->last_nonrect)
2864 : : {
2865 : 376 : gcond *cond_stmt
2866 : 376 : = expand_omp_build_cond (&gsi2, fd->loops[i].cond_code,
2867 : : n1, n2);
2868 : 376 : e = split_block (cur_bb, cond_stmt);
2869 : 376 : e->flags = EDGE_TRUE_VALUE;
2870 : 376 : edge ne = make_edge (cur_bb, next_bb, EDGE_FALSE_VALUE);
2871 : 376 : e->probability = profile_probability::likely ().guessed ();
2872 : 376 : ne->probability = e->probability.invert ();
2873 : 376 : gsi2 = gsi_after_labels (e->dest);
2874 : :
2875 : 376 : t = build_int_cst (itype, (fd->loops[j].cond_code == LT_EXPR
2876 : 428 : ? -1 : 1));
2877 : 376 : t = fold_build2 (PLUS_EXPR, itype,
2878 : : fold_convert (itype, fd->loops[j].step), t);
2879 : 376 : t = fold_build2 (PLUS_EXPR, itype, t,
2880 : : fold_convert (itype, n2));
2881 : 376 : t = fold_build2 (MINUS_EXPR, itype, t,
2882 : : fold_convert (itype, n1));
2883 : 376 : tree step = fold_convert (itype, fd->loops[j].step);
2884 : 376 : if (TYPE_UNSIGNED (itype)
2885 : 376 : && fd->loops[j].cond_code == GT_EXPR)
2886 : 0 : t = fold_build2 (TRUNC_DIV_EXPR, itype,
2887 : : fold_build1 (NEGATE_EXPR, itype, t),
2888 : : fold_build1 (NEGATE_EXPR, itype, step));
2889 : : else
2890 : 376 : t = fold_build2 (TRUNC_DIV_EXPR, itype, t, step);
2891 : 376 : t = fold_convert (type, t);
2892 : 376 : t = fold_build2 (PLUS_EXPR, type, idx, t);
2893 : 376 : t = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
2894 : : true, GSI_SAME_STMT);
2895 : 376 : e = make_edge (e->dest, next_bb, EDGE_FALLTHRU);
2896 : 376 : set_immediate_dominator (CDI_DOMINATORS, next_bb, cur_bb);
2897 : 376 : cond_stmt
2898 : 376 : = gimple_build_cond (LE_EXPR, t, stopval, NULL_TREE,
2899 : : NULL_TREE);
2900 : 376 : gsi_insert_before (&gsi2, cond_stmt, GSI_SAME_STMT);
2901 : 376 : e = split_block (gsi_bb (gsi2), cond_stmt);
2902 : 376 : e->flags = EDGE_TRUE_VALUE;
2903 : 376 : e->probability = profile_probability::likely ().guessed ();
2904 : 376 : ne = make_edge (e->src, entry_bb, EDGE_FALSE_VALUE);
2905 : 376 : ne->probability = e->probability.invert ();
2906 : 376 : gsi2 = gsi_after_labels (e->dest);
2907 : 376 : expand_omp_build_assign (&gsi2, idx, t);
2908 : 376 : set_immediate_dominator (CDI_DOMINATORS, entry_bb, dom_bb);
2909 : 376 : break;
2910 : : }
2911 : 500 : e = split_block (cur_bb, last_nondebug_stmt (cur_bb));
2912 : :
2913 : 500 : basic_block new_cur_bb = create_empty_bb (cur_bb);
2914 : 500 : add_bb_to_loop (new_cur_bb, cur_bb->loop_father);
2915 : :
2916 : 500 : gsi2 = gsi_after_labels (e->dest);
2917 : 500 : if (rect_p)
2918 : 93 : t = fold_build2 (PLUS_EXPR, type, vs[j],
2919 : : build_one_cst (type));
2920 : : else
2921 : : {
2922 : 407 : tree step
2923 : 407 : = fold_convert (itype, unshare_expr (fd->loops[j].step));
2924 : 407 : if (POINTER_TYPE_P (vtype))
2925 : 38 : t = fold_build_pointer_plus (vs[j], step);
2926 : : else
2927 : 369 : t = fold_build2 (PLUS_EXPR, itype, vs[j], step);
2928 : : }
2929 : 500 : t = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
2930 : : true, GSI_SAME_STMT);
2931 : 500 : expand_omp_build_assign (&gsi2, vs[j], t);
2932 : :
2933 : 500 : edge ne = split_block (e->dest, last_nondebug_stmt (e->dest));
2934 : 500 : gsi2 = gsi_after_labels (ne->dest);
2935 : :
2936 : 500 : gcond *cond_stmt;
2937 : 500 : if (next_bb == entry_bb)
2938 : : /* No need to actually check the outermost condition. */
2939 : 376 : cond_stmt
2940 : 376 : = gimple_build_cond (EQ_EXPR, boolean_true_node,
2941 : : boolean_true_node,
2942 : : NULL_TREE, NULL_TREE);
2943 : : else
2944 : 124 : cond_stmt
2945 : 155 : = gimple_build_cond (rect_p ? LT_EXPR
2946 : 31 : : fd->loops[j].cond_code,
2947 : : vs[j], n2, NULL_TREE, NULL_TREE);
2948 : 500 : gsi_insert_before (&gsi2, cond_stmt, GSI_SAME_STMT);
2949 : 500 : edge e3, e4;
2950 : 500 : if (next_bb == entry_bb)
2951 : : {
2952 : 376 : e3 = find_edge (ne->dest, next_bb);
2953 : 376 : e3->flags = EDGE_FALSE_VALUE;
2954 : 376 : dom_bb = ne->dest;
2955 : : }
2956 : : else
2957 : 124 : e3 = make_edge (ne->dest, next_bb, EDGE_FALSE_VALUE);
2958 : 500 : e4 = make_edge (ne->dest, new_cur_bb, EDGE_TRUE_VALUE);
2959 : 500 : e4->probability = profile_probability::likely ().guessed ();
2960 : 500 : e3->probability = e4->probability.invert ();
2961 : 500 : basic_block esrc = e->src;
2962 : 500 : make_edge (e->src, ne->dest, EDGE_FALLTHRU);
2963 : 500 : cur_bb = new_cur_bb;
2964 : 500 : basic_block latch_bb = next_bb;
2965 : 500 : next_bb = e->dest;
2966 : 500 : remove_edge (e);
2967 : 500 : set_immediate_dominator (CDI_DOMINATORS, ne->dest, esrc);
2968 : 500 : set_immediate_dominator (CDI_DOMINATORS, latch_bb, ne->dest);
2969 : 500 : set_immediate_dominator (CDI_DOMINATORS, cur_bb, ne->dest);
2970 : : }
2971 : 1252 : for (int j = fd->last_nonrect; j >= fd->first_nonrect; j--)
2972 : : {
2973 : 876 : tree vtype = TREE_TYPE (fd->loops[j].v);
2974 : 876 : tree itype = vtype;
2975 : 876 : if (POINTER_TYPE_P (itype))
2976 : 74 : itype = signed_type_for (itype);
2977 : 1752 : bool rect_p = (fd->loops[j].m1 == NULL_TREE
2978 : 527 : && fd->loops[j].m2 == NULL_TREE
2979 : 1345 : && !fd->loops[j].non_rect_referenced);
2980 : 876 : if (j == fd->last_nonrect)
2981 : : {
2982 : 376 : t = fold_build2 (MINUS_EXPR, type, stopval, idx);
2983 : 376 : t = fold_convert (itype, t);
2984 : 376 : tree t2
2985 : 376 : = fold_convert (itype, unshare_expr (fd->loops[j].step));
2986 : 376 : t = fold_build2 (MULT_EXPR, itype, t, t2);
2987 : 376 : if (POINTER_TYPE_P (vtype))
2988 : 32 : t = fold_build_pointer_plus (n1, t);
2989 : : else
2990 : 344 : t = fold_build2 (PLUS_EXPR, itype, n1, t);
2991 : : }
2992 : 500 : else if (rect_p)
2993 : : {
2994 : 93 : t = fold_convert (itype, vs[j]);
2995 : 93 : t = fold_build2 (MULT_EXPR, itype, t,
2996 : : fold_convert (itype, fd->loops[j].step));
2997 : 93 : if (POINTER_TYPE_P (vtype))
2998 : 4 : t = fold_build_pointer_plus (fd->loops[j].n1, t);
2999 : : else
3000 : 89 : t = fold_build2 (PLUS_EXPR, itype, fd->loops[j].n1, t);
3001 : : }
3002 : : else
3003 : 407 : t = vs[j];
3004 : 876 : t = force_gimple_operand_gsi (gsi, t, false,
3005 : : NULL_TREE, true,
3006 : : GSI_SAME_STMT);
3007 : 876 : stmt = gimple_build_assign (fd->loops[j].v, t);
3008 : 876 : gsi_insert_before (gsi, stmt, GSI_SAME_STMT);
3009 : : }
3010 : 376 : if (gsi_end_p (*gsi))
3011 : 752 : *gsi = gsi_last_bb (gsi_bb (*gsi));
3012 : : else
3013 : 0 : gsi_prev (gsi);
3014 : 376 : if (bb_triang)
3015 : : {
3016 : 236 : e = split_block (gsi_bb (*gsi), gsi_stmt (*gsi));
3017 : 236 : make_edge (bb_triang, e->dest, EDGE_FALLTHRU);
3018 : 236 : *gsi = gsi_after_labels (e->dest);
3019 : 236 : if (!gsi_end_p (*gsi))
3020 : 0 : gsi_insert_before (gsi, gimple_build_nop (), GSI_NEW_STMT);
3021 : 236 : set_immediate_dominator (CDI_DOMINATORS, e->dest, bb_triang_dom);
3022 : : }
3023 : : }
3024 : : else
3025 : : {
3026 : 14269 : t = fold_convert (itype, t);
3027 : 14269 : t = fold_build2 (MULT_EXPR, itype, t,
3028 : : fold_convert (itype, fd->loops[i].step));
3029 : 14269 : if (POINTER_TYPE_P (vtype))
3030 : 1617 : t = fold_build_pointer_plus (fd->loops[i].n1, t);
3031 : : else
3032 : 12652 : t = fold_build2 (PLUS_EXPR, itype, fd->loops[i].n1, t);
3033 : 14269 : t = force_gimple_operand_gsi (gsi, t,
3034 : 14269 : DECL_P (fd->loops[i].v)
3035 : 14269 : && TREE_ADDRESSABLE (fd->loops[i].v),
3036 : : NULL_TREE, false,
3037 : : GSI_CONTINUE_LINKING);
3038 : 14269 : stmt = gimple_build_assign (fd->loops[i].v, t);
3039 : 14269 : gsi_insert_after (gsi, stmt, GSI_CONTINUE_LINKING);
3040 : : }
3041 : 14645 : if (i != 0 && (i != fd->last_nonrect || fd->first_nonrect))
3042 : : {
3043 : 9264 : t = fold_build2 (TRUNC_DIV_EXPR, type, tem, counts[i]);
3044 : 9264 : t = force_gimple_operand_gsi (gsi, t, false, NULL_TREE,
3045 : : false, GSI_CONTINUE_LINKING);
3046 : 9264 : stmt = gimple_build_assign (tem, t);
3047 : 9264 : gsi_insert_after (gsi, stmt, GSI_CONTINUE_LINKING);
3048 : : }
3049 : 14645 : if (i == fd->last_nonrect)
3050 : 376 : i = fd->first_nonrect;
3051 : : }
3052 : 5381 : if (fd->non_rect)
3053 : 1351 : for (i = 0; i <= fd->last_nonrect; i++)
3054 : 975 : if (fd->loops[i].m2)
3055 : : {
3056 : 230 : tree itype = TREE_TYPE (fd->loops[i].v);
3057 : :
3058 : 230 : tree t;
3059 : 230 : if (POINTER_TYPE_P (itype))
3060 : : {
3061 : 34 : gcc_assert (integer_onep (fd->loops[i].m2));
3062 : 34 : t = fold_build_pointer_plus (fd->loops[i - fd->loops[i].outer].v,
3063 : : unshare_expr (fd->loops[i].n2));
3064 : : }
3065 : : else
3066 : : {
3067 : 196 : t = fold_convert (itype, unshare_expr (fd->loops[i].m2));
3068 : 196 : t = fold_build2 (MULT_EXPR, itype,
3069 : : fd->loops[i - fd->loops[i].outer].v, t);
3070 : 196 : t = fold_build2 (PLUS_EXPR, itype, t,
3071 : : fold_convert (itype,
3072 : : unshare_expr (fd->loops[i].n2)));
3073 : : }
3074 : 230 : nonrect_bounds[i] = create_tmp_reg (itype, ".bound");
3075 : 230 : t = force_gimple_operand_gsi (gsi, t, false,
3076 : : NULL_TREE, false,
3077 : : GSI_CONTINUE_LINKING);
3078 : 230 : stmt = gimple_build_assign (nonrect_bounds[i], t);
3079 : 230 : gsi_insert_after (gsi, stmt, GSI_CONTINUE_LINKING);
3080 : : }
3081 : : }
3082 : :
3083 : : /* Helper function for expand_omp_for_*. Generate code like:
3084 : : L10:
3085 : : V3 += STEP3;
3086 : : if (V3 cond3 N32) goto BODY_BB; else goto L11;
3087 : : L11:
3088 : : V3 = N31;
3089 : : V2 += STEP2;
3090 : : if (V2 cond2 N22) goto BODY_BB; else goto L12;
3091 : : L12:
3092 : : V2 = N21;
3093 : : V1 += STEP1;
3094 : : goto BODY_BB;
3095 : : For non-rectangular loops, use temporaries stored in nonrect_bounds
3096 : : for the upper bounds if M?2 multiplier is present. Given e.g.
3097 : : for (V1 = N11; V1 cond1 N12; V1 += STEP1)
3098 : : for (V2 = N21; V2 cond2 N22; V2 += STEP2)
3099 : : for (V3 = N31; V3 cond3 N32; V3 += STEP3)
3100 : : for (V4 = N41 + M41 * V2; V4 cond4 N42 + M42 * V2; V4 += STEP4)
3101 : : do:
3102 : : L10:
3103 : : V4 += STEP4;
3104 : : if (V4 cond4 NONRECT_BOUND4) goto BODY_BB; else goto L11;
3105 : : L11:
3106 : : V4 = N41 + M41 * V2; // This can be left out if the loop
3107 : : // refers to the immediate parent loop
3108 : : V3 += STEP3;
3109 : : if (V3 cond3 N32) goto BODY_BB; else goto L12;
3110 : : L12:
3111 : : V3 = N31;
3112 : : V2 += STEP2;
3113 : : if (V2 cond2 N22) goto L120; else goto L13;
3114 : : L120:
3115 : : V4 = N41 + M41 * V2;
3116 : : NONRECT_BOUND4 = N42 + M42 * V2;
3117 : : if (V4 cond4 NONRECT_BOUND4) goto BODY_BB; else goto L12;
3118 : : L13:
3119 : : V2 = N21;
3120 : : V1 += STEP1;
3121 : : goto L120; */
3122 : :
3123 : : static basic_block
3124 : 2582 : extract_omp_for_update_vars (struct omp_for_data *fd, tree *nonrect_bounds,
3125 : : basic_block cont_bb, basic_block body_bb)
3126 : : {
3127 : 2582 : basic_block last_bb, bb, collapse_bb = NULL;
3128 : 2582 : int i;
3129 : 2582 : gimple_stmt_iterator gsi;
3130 : 2582 : edge e;
3131 : 2582 : tree t;
3132 : 2582 : gimple *stmt;
3133 : :
3134 : 2582 : last_bb = cont_bb;
3135 : 9699 : for (i = fd->collapse - 1; i >= 0; i--)
3136 : : {
3137 : 7117 : tree vtype = TREE_TYPE (fd->loops[i].v);
3138 : :
3139 : 7117 : bb = create_empty_bb (last_bb);
3140 : 7117 : add_bb_to_loop (bb, last_bb->loop_father);
3141 : 7117 : gsi = gsi_start_bb (bb);
3142 : :
3143 : 7117 : if (i < fd->collapse - 1)
3144 : : {
3145 : 4535 : e = make_edge (last_bb, bb, EDGE_FALSE_VALUE);
3146 : 4535 : e->probability = profile_probability::guessed_always () / 8;
3147 : :
3148 : 4535 : struct omp_for_data_loop *l = &fd->loops[i + 1];
3149 : 4535 : if (l->m1 == NULL_TREE || l->outer != 1)
3150 : : {
3151 : 4327 : t = l->n1;
3152 : 4327 : if (l->m1)
3153 : : {
3154 : 56 : if (POINTER_TYPE_P (TREE_TYPE (l->v)))
3155 : 3 : t = fold_build_pointer_plus (fd->loops[i + 1 - l->outer].v,
3156 : : t);
3157 : : else
3158 : : {
3159 : 53 : tree t2
3160 : 53 : = fold_build2 (MULT_EXPR, TREE_TYPE (t),
3161 : : fd->loops[i + 1 - l->outer].v, l->m1);
3162 : 53 : t = fold_build2 (PLUS_EXPR, TREE_TYPE (t), t2, t);
3163 : : }
3164 : : }
3165 : 4327 : t = force_gimple_operand_gsi (&gsi, t,
3166 : 4327 : DECL_P (l->v)
3167 : 4327 : && TREE_ADDRESSABLE (l->v),
3168 : : NULL_TREE, false,
3169 : : GSI_CONTINUE_LINKING);
3170 : 4327 : stmt = gimple_build_assign (l->v, t);
3171 : 4327 : gsi_insert_after (&gsi, stmt, GSI_CONTINUE_LINKING);
3172 : : }
3173 : : }
3174 : : else
3175 : : collapse_bb = bb;
3176 : :
3177 : 7117 : set_immediate_dominator (CDI_DOMINATORS, bb, last_bb);
3178 : :
3179 : 7117 : if (POINTER_TYPE_P (vtype))
3180 : 902 : t = fold_build_pointer_plus (fd->loops[i].v, fd->loops[i].step);
3181 : : else
3182 : 6215 : t = fold_build2 (PLUS_EXPR, vtype, fd->loops[i].v, fd->loops[i].step);
3183 : 7117 : t = force_gimple_operand_gsi (&gsi, t,
3184 : 7117 : DECL_P (fd->loops[i].v)
3185 : 7117 : && TREE_ADDRESSABLE (fd->loops[i].v),
3186 : : NULL_TREE, false, GSI_CONTINUE_LINKING);
3187 : 7117 : stmt = gimple_build_assign (fd->loops[i].v, t);
3188 : 7117 : gsi_insert_after (&gsi, stmt, GSI_CONTINUE_LINKING);
3189 : :
3190 : 7117 : if (fd->loops[i].non_rect_referenced)
3191 : : {
3192 : 308 : basic_block update_bb = NULL, prev_bb = NULL;
3193 : 714 : for (int j = i + 1; j <= fd->last_nonrect; j++)
3194 : 406 : if (j - fd->loops[j].outer == i)
3195 : : {
3196 : 308 : tree n1, n2;
3197 : 308 : struct omp_for_data_loop *l = &fd->loops[j];
3198 : 308 : basic_block this_bb = create_empty_bb (last_bb);
3199 : 308 : add_bb_to_loop (this_bb, last_bb->loop_father);
3200 : 308 : gimple_stmt_iterator gsi2 = gsi_start_bb (this_bb);
3201 : 308 : if (prev_bb)
3202 : : {
3203 : 0 : e = make_edge (prev_bb, this_bb, EDGE_TRUE_VALUE);
3204 : 0 : e->probability
3205 : 0 : = profile_probability::guessed_always ().apply_scale (7,
3206 : : 8);
3207 : 0 : set_immediate_dominator (CDI_DOMINATORS, this_bb, prev_bb);
3208 : : }
3209 : 308 : if (l->m1)
3210 : : {
3211 : 264 : if (POINTER_TYPE_P (TREE_TYPE (l->v)))
3212 : 26 : t = fold_build_pointer_plus (fd->loops[i].v, l->n1);
3213 : : else
3214 : : {
3215 : 238 : t = fold_build2 (MULT_EXPR, TREE_TYPE (l->m1), l->m1,
3216 : : fd->loops[i].v);
3217 : 238 : t = fold_build2 (PLUS_EXPR, TREE_TYPE (l->v),
3218 : : t, l->n1);
3219 : : }
3220 : 264 : n1 = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
3221 : : false,
3222 : : GSI_CONTINUE_LINKING);
3223 : 264 : stmt = gimple_build_assign (l->v, n1);
3224 : 264 : gsi_insert_after (&gsi2, stmt, GSI_CONTINUE_LINKING);
3225 : 264 : n1 = l->v;
3226 : : }
3227 : : else
3228 : 44 : n1 = force_gimple_operand_gsi (&gsi2, l->n1, true,
3229 : : NULL_TREE, false,
3230 : : GSI_CONTINUE_LINKING);
3231 : 308 : if (l->m2)
3232 : : {
3233 : 204 : if (POINTER_TYPE_P (TREE_TYPE (l->v)))
3234 : 30 : t = fold_build_pointer_plus (fd->loops[i].v, l->n2);
3235 : : else
3236 : : {
3237 : 174 : t = fold_build2 (MULT_EXPR, TREE_TYPE (l->m2), l->m2,
3238 : : fd->loops[i].v);
3239 : 174 : t = fold_build2 (PLUS_EXPR,
3240 : : TREE_TYPE (nonrect_bounds[j]),
3241 : : t, unshare_expr (l->n2));
3242 : : }
3243 : 204 : n2 = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
3244 : : false,
3245 : : GSI_CONTINUE_LINKING);
3246 : 204 : stmt = gimple_build_assign (nonrect_bounds[j], n2);
3247 : 204 : gsi_insert_after (&gsi2, stmt, GSI_CONTINUE_LINKING);
3248 : 204 : n2 = nonrect_bounds[j];
3249 : : }
3250 : : else
3251 : 104 : n2 = force_gimple_operand_gsi (&gsi2, unshare_expr (l->n2),
3252 : : true, NULL_TREE, false,
3253 : : GSI_CONTINUE_LINKING);
3254 : 308 : gcond *cond_stmt
3255 : 308 : = gimple_build_cond (l->cond_code, n1, n2,
3256 : : NULL_TREE, NULL_TREE);
3257 : 308 : gsi_insert_after (&gsi2, cond_stmt, GSI_CONTINUE_LINKING);
3258 : 308 : if (update_bb == NULL)
3259 : 308 : update_bb = this_bb;
3260 : 308 : e = make_edge (this_bb, bb, EDGE_FALSE_VALUE);
3261 : 308 : e->probability = profile_probability::guessed_always () / 8;
3262 : 308 : if (prev_bb == NULL)
3263 : 308 : set_immediate_dominator (CDI_DOMINATORS, this_bb, bb);
3264 : 308 : prev_bb = this_bb;
3265 : : }
3266 : 308 : e = make_edge (prev_bb, body_bb, EDGE_TRUE_VALUE);
3267 : 308 : e->probability
3268 : 308 : = profile_probability::guessed_always ().apply_scale (7, 8);
3269 : 308 : body_bb = update_bb;
3270 : : }
3271 : :
3272 : 7117 : if (i > 0)
3273 : : {
3274 : 4535 : if (fd->loops[i].m2)
3275 : 204 : t = nonrect_bounds[i];
3276 : : else
3277 : 4331 : t = unshare_expr (fd->loops[i].n2);
3278 : 4535 : t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
3279 : : false, GSI_CONTINUE_LINKING);
3280 : 4535 : tree v = fd->loops[i].v;
3281 : 4535 : if (DECL_P (v) && TREE_ADDRESSABLE (v))
3282 : 0 : v = force_gimple_operand_gsi (&gsi, v, true, NULL_TREE,
3283 : : false, GSI_CONTINUE_LINKING);
3284 : 4535 : t = fold_build2 (fd->loops[i].cond_code, boolean_type_node, v, t);
3285 : 4535 : stmt = gimple_build_cond_empty (t);
3286 : 4535 : gsi_insert_after (&gsi, stmt, GSI_CONTINUE_LINKING);
3287 : 4535 : if (walk_tree (gimple_cond_lhs_ptr (as_a <gcond *> (stmt)),
3288 : : expand_omp_regimplify_p, NULL, NULL)
3289 : 4535 : || walk_tree (gimple_cond_rhs_ptr (as_a <gcond *> (stmt)),
3290 : : expand_omp_regimplify_p, NULL, NULL))
3291 : 4 : gimple_regimplify_operands (stmt, &gsi);
3292 : 4535 : e = make_edge (bb, body_bb, EDGE_TRUE_VALUE);
3293 : 4535 : e->probability = profile_probability::guessed_always ().apply_scale (7, 8);
3294 : : }
3295 : : else
3296 : 2582 : make_edge (bb, body_bb, EDGE_FALLTHRU);
3297 : 7117 : set_immediate_dominator (CDI_DOMINATORS, bb, last_bb);
3298 : 7117 : last_bb = bb;
3299 : : }
3300 : :
3301 : 2582 : return collapse_bb;
3302 : : }
3303 : :
3304 : : /* Expand #pragma omp ordered depend(source). */
3305 : :
3306 : : static void
3307 : 331 : expand_omp_ordered_source (gimple_stmt_iterator *gsi, struct omp_for_data *fd,
3308 : : tree *counts, location_t loc)
3309 : : {
3310 : 662 : enum built_in_function source_ix
3311 : 331 : = fd->iter_type == long_integer_type_node
3312 : 331 : ? BUILT_IN_GOMP_DOACROSS_POST : BUILT_IN_GOMP_DOACROSS_ULL_POST;
3313 : 331 : gimple *g
3314 : 331 : = gimple_build_call (builtin_decl_explicit (source_ix), 1,
3315 : 331 : build_fold_addr_expr (counts[fd->ordered]));
3316 : 331 : gimple_set_location (g, loc);
3317 : 331 : gsi_insert_before (gsi, g, GSI_SAME_STMT);
3318 : 331 : }
3319 : :
3320 : : /* Expand a single depend from #pragma omp ordered depend(sink:...). */
3321 : :
3322 : : static void
3323 : 462 : expand_omp_ordered_sink (gimple_stmt_iterator *gsi, struct omp_for_data *fd,
3324 : : tree *counts, tree c, location_t loc,
3325 : : basic_block cont_bb)
3326 : : {
3327 : 462 : auto_vec<tree, 10> args;
3328 : 924 : enum built_in_function sink_ix
3329 : 462 : = fd->iter_type == long_integer_type_node
3330 : 462 : ? BUILT_IN_GOMP_DOACROSS_WAIT : BUILT_IN_GOMP_DOACROSS_ULL_WAIT;
3331 : 462 : tree t, off, coff = NULL_TREE, deps = OMP_CLAUSE_DECL (c), cond = NULL_TREE;
3332 : 462 : int i;
3333 : 462 : gimple_stmt_iterator gsi2 = *gsi;
3334 : 462 : bool warned_step = false;
3335 : :
3336 : 462 : if (deps == NULL)
3337 : : {
3338 : : /* Handle doacross(sink: omp_cur_iteration - 1). */
3339 : 52 : gsi_prev (&gsi2);
3340 : 52 : edge e1 = split_block (gsi_bb (gsi2), gsi_stmt (gsi2));
3341 : 52 : edge e2 = split_block_after_labels (e1->dest);
3342 : 52 : gsi2 = gsi_after_labels (e1->dest);
3343 : 52 : *gsi = gsi_last_bb (e1->src);
3344 : 52 : gimple_stmt_iterator gsi3 = *gsi;
3345 : :
3346 : 52 : if (counts[fd->collapse - 1])
3347 : : {
3348 : 8 : gcc_assert (fd->collapse == 1);
3349 : 8 : t = counts[fd->collapse - 1];
3350 : : }
3351 : 44 : else if (fd->collapse > 1)
3352 : 28 : t = fd->loop.v;
3353 : : else
3354 : : {
3355 : 16 : t = fold_build2 (MINUS_EXPR, TREE_TYPE (fd->loops[0].v),
3356 : : fd->loops[0].v, fd->loops[0].n1);
3357 : 16 : t = fold_convert (fd->iter_type, t);
3358 : : }
3359 : :
3360 : 52 : t = force_gimple_operand_gsi (gsi, t, true, NULL_TREE,
3361 : : false, GSI_CONTINUE_LINKING);
3362 : 52 : gsi_insert_after (gsi, gimple_build_cond (NE_EXPR, t,
3363 : 52 : build_zero_cst (TREE_TYPE (t)),
3364 : : NULL_TREE, NULL_TREE),
3365 : : GSI_NEW_STMT);
3366 : :
3367 : 52 : t = fold_build2 (PLUS_EXPR, TREE_TYPE (t), t,
3368 : : build_minus_one_cst (TREE_TYPE (t)));
3369 : 52 : t = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
3370 : : true, GSI_SAME_STMT);
3371 : 52 : args.safe_push (t);
3372 : 281 : for (i = fd->collapse; i < fd->ordered; i++)
3373 : : {
3374 : 229 : t = counts[fd->ordered + 2 + (i - fd->collapse)];
3375 : 229 : t = fold_build2 (PLUS_EXPR, TREE_TYPE (t), t,
3376 : : build_minus_one_cst (TREE_TYPE (t)));
3377 : 229 : t = fold_convert (fd->iter_type, t);
3378 : 229 : t = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
3379 : : true, GSI_SAME_STMT);
3380 : 229 : args.safe_push (t);
3381 : : }
3382 : :
3383 : 52 : gimple *g = gimple_build_call_vec (builtin_decl_explicit (sink_ix),
3384 : : args);
3385 : 52 : gimple_set_location (g, loc);
3386 : 52 : gsi_insert_before (&gsi2, g, GSI_SAME_STMT);
3387 : :
3388 : 52 : edge e3 = make_edge (e1->src, e2->dest, EDGE_FALSE_VALUE);
3389 : 52 : e3->probability = profile_probability::guessed_always () / 8;
3390 : 52 : e1->probability = e3->probability.invert ();
3391 : 52 : e1->flags = EDGE_TRUE_VALUE;
3392 : 52 : set_immediate_dominator (CDI_DOMINATORS, e2->dest, e1->src);
3393 : :
3394 : 52 : if (fd->ordered > fd->collapse && cont_bb)
3395 : : {
3396 : 33 : if (counts[fd->ordered + 1] == NULL_TREE)
3397 : 33 : counts[fd->ordered + 1]
3398 : 33 : = create_tmp_var (boolean_type_node, ".first");
3399 : :
3400 : 33 : edge e4;
3401 : 33 : if (gsi_end_p (gsi3))
3402 : 25 : e4 = split_block_after_labels (e1->src);
3403 : : else
3404 : : {
3405 : 8 : gsi_prev (&gsi3);
3406 : 8 : e4 = split_block (gsi_bb (gsi3), gsi_stmt (gsi3));
3407 : : }
3408 : 33 : gsi3 = gsi_last_bb (e4->src);
3409 : :
3410 : 33 : gsi_insert_after (&gsi3,
3411 : 33 : gimple_build_cond (NE_EXPR,
3412 : 33 : counts[fd->ordered + 1],
3413 : : boolean_false_node,
3414 : : NULL_TREE, NULL_TREE),
3415 : : GSI_NEW_STMT);
3416 : :
3417 : 33 : edge e5 = make_edge (e4->src, e2->dest, EDGE_FALSE_VALUE);
3418 : 33 : e4->probability = profile_probability::guessed_always () / 8;
3419 : 33 : e5->probability = e4->probability.invert ();
3420 : 33 : e4->flags = EDGE_TRUE_VALUE;
3421 : 33 : set_immediate_dominator (CDI_DOMINATORS, e2->dest, e4->src);
3422 : : }
3423 : :
3424 : 52 : *gsi = gsi_after_labels (e2->dest);
3425 : 52 : return;
3426 : : }
3427 : 500 : for (i = 0; i < fd->ordered; i++)
3428 : : {
3429 : 498 : tree step = NULL_TREE;
3430 : 498 : off = TREE_PURPOSE (deps);
3431 : 498 : if (TREE_CODE (off) == TRUNC_DIV_EXPR)
3432 : : {
3433 : 83 : step = TREE_OPERAND (off, 1);
3434 : 83 : off = TREE_OPERAND (off, 0);
3435 : : }
3436 : 498 : if (!integer_zerop (off))
3437 : : {
3438 : 408 : gcc_assert (fd->loops[i].cond_code == LT_EXPR
3439 : : || fd->loops[i].cond_code == GT_EXPR);
3440 : 408 : bool forward = fd->loops[i].cond_code == LT_EXPR;
3441 : 408 : if (step)
3442 : : {
3443 : : /* Non-simple Fortran DO loops. If step is variable,
3444 : : we don't know at compile even the direction, so can't
3445 : : warn. */
3446 : 83 : if (TREE_CODE (step) != INTEGER_CST)
3447 : : break;
3448 : 0 : forward = tree_int_cst_sgn (step) != -1;
3449 : : }
3450 : 325 : if (forward ^ OMP_CLAUSE_DOACROSS_SINK_NEGATIVE (deps))
3451 : 17 : warning_at (loc, OPT_Wopenmp,
3452 : : "%qs clause with %<sink%> modifier "
3453 : : "waiting for lexically later iteration",
3454 : 17 : OMP_CLAUSE_DOACROSS_DEPEND (c)
3455 : : ? "depend" : "doacross");
3456 : : break;
3457 : : }
3458 : 90 : deps = TREE_CHAIN (deps);
3459 : : }
3460 : : /* If all offsets corresponding to the collapsed loops are zero,
3461 : : this depend clause can be ignored. FIXME: but there is still a
3462 : : flush needed. We need to emit one __sync_synchronize () for it
3463 : : though (perhaps conditionally)? Solve this together with the
3464 : : conservative dependence folding optimization.
3465 : : if (i >= fd->collapse)
3466 : : return; */
3467 : :
3468 : 410 : deps = OMP_CLAUSE_DECL (c);
3469 : 410 : gsi_prev (&gsi2);
3470 : 410 : edge e1 = split_block (gsi_bb (gsi2), gsi_stmt (gsi2));
3471 : 410 : edge e2 = split_block_after_labels (e1->dest);
3472 : :
3473 : 410 : gsi2 = gsi_after_labels (e1->dest);
3474 : 410 : *gsi = gsi_last_bb (e1->src);
3475 : 2798 : for (i = 0; i < fd->ordered; i++)
3476 : : {
3477 : 2388 : tree itype = TREE_TYPE (fd->loops[i].v);
3478 : 2388 : tree step = NULL_TREE;
3479 : 2388 : tree orig_off = NULL_TREE;
3480 : 2388 : if (POINTER_TYPE_P (itype))
3481 : 9 : itype = sizetype;
3482 : 2388 : if (i)
3483 : 1978 : deps = TREE_CHAIN (deps);
3484 : 2388 : off = TREE_PURPOSE (deps);
3485 : 2388 : if (TREE_CODE (off) == TRUNC_DIV_EXPR)
3486 : : {
3487 : 204 : step = TREE_OPERAND (off, 1);
3488 : 204 : off = TREE_OPERAND (off, 0);
3489 : 204 : gcc_assert (fd->loops[i].cond_code == LT_EXPR
3490 : : && integer_onep (fd->loops[i].step)
3491 : : && !POINTER_TYPE_P (TREE_TYPE (fd->loops[i].v)));
3492 : : }
3493 : 2388 : tree s = fold_convert_loc (loc, itype, step ? step : fd->loops[i].step);
3494 : 2388 : if (step)
3495 : : {
3496 : 204 : off = fold_convert_loc (loc, itype, off);
3497 : 204 : orig_off = off;
3498 : 204 : off = fold_build2_loc (loc, TRUNC_DIV_EXPR, itype, off, s);
3499 : : }
3500 : :
3501 : 2388 : if (integer_zerop (off))
3502 : 1516 : t = boolean_true_node;
3503 : : else
3504 : : {
3505 : 872 : tree a;
3506 : 872 : tree co = fold_convert_loc (loc, itype, off);
3507 : 872 : if (POINTER_TYPE_P (TREE_TYPE (fd->loops[i].v)))
3508 : : {
3509 : 9 : if (OMP_CLAUSE_DOACROSS_SINK_NEGATIVE (deps))
3510 : 0 : co = fold_build1_loc (loc, NEGATE_EXPR, itype, co);
3511 : 9 : a = fold_build2_loc (loc, POINTER_PLUS_EXPR,
3512 : 9 : TREE_TYPE (fd->loops[i].v), fd->loops[i].v,
3513 : : co);
3514 : : }
3515 : 863 : else if (OMP_CLAUSE_DOACROSS_SINK_NEGATIVE (deps))
3516 : 636 : a = fold_build2_loc (loc, MINUS_EXPR, TREE_TYPE (fd->loops[i].v),
3517 : : fd->loops[i].v, co);
3518 : : else
3519 : 227 : a = fold_build2_loc (loc, PLUS_EXPR, TREE_TYPE (fd->loops[i].v),
3520 : : fd->loops[i].v, co);
3521 : 872 : if (step)
3522 : : {
3523 : 204 : tree t1, t2;
3524 : 204 : if (OMP_CLAUSE_DOACROSS_SINK_NEGATIVE (deps))
3525 : 149 : t1 = fold_build2_loc (loc, GE_EXPR, boolean_type_node, a,
3526 : 149 : fd->loops[i].n1);
3527 : : else
3528 : 55 : t1 = fold_build2_loc (loc, LT_EXPR, boolean_type_node, a,
3529 : 55 : fd->loops[i].n2);
3530 : 204 : if (OMP_CLAUSE_DOACROSS_SINK_NEGATIVE (deps))
3531 : 149 : t2 = fold_build2_loc (loc, LT_EXPR, boolean_type_node, a,
3532 : 149 : fd->loops[i].n2);
3533 : : else
3534 : 55 : t2 = fold_build2_loc (loc, GE_EXPR, boolean_type_node, a,
3535 : 55 : fd->loops[i].n1);
3536 : 204 : t = fold_build2_loc (loc, LT_EXPR, boolean_type_node,
3537 : 204 : step, build_int_cst (TREE_TYPE (step), 0));
3538 : 204 : if (TREE_CODE (step) != INTEGER_CST)
3539 : : {
3540 : 204 : t1 = unshare_expr (t1);
3541 : 204 : t1 = force_gimple_operand_gsi (gsi, t1, true, NULL_TREE,
3542 : : false, GSI_CONTINUE_LINKING);
3543 : 204 : t2 = unshare_expr (t2);
3544 : 204 : t2 = force_gimple_operand_gsi (gsi, t2, true, NULL_TREE,
3545 : : false, GSI_CONTINUE_LINKING);
3546 : : }
3547 : 204 : t = fold_build3_loc (loc, COND_EXPR, boolean_type_node,
3548 : : t, t2, t1);
3549 : : }
3550 : 668 : else if (fd->loops[i].cond_code == LT_EXPR)
3551 : : {
3552 : 516 : if (OMP_CLAUSE_DOACROSS_SINK_NEGATIVE (deps))
3553 : 429 : t = fold_build2_loc (loc, GE_EXPR, boolean_type_node, a,
3554 : : fd->loops[i].n1);
3555 : : else
3556 : 87 : t = fold_build2_loc (loc, LT_EXPR, boolean_type_node, a,
3557 : : fd->loops[i].n2);
3558 : : }
3559 : 152 : else if (OMP_CLAUSE_DOACROSS_SINK_NEGATIVE (deps))
3560 : 58 : t = fold_build2_loc (loc, GT_EXPR, boolean_type_node, a,
3561 : : fd->loops[i].n2);
3562 : : else
3563 : 94 : t = fold_build2_loc (loc, LE_EXPR, boolean_type_node, a,
3564 : : fd->loops[i].n1);
3565 : : }
3566 : 2388 : if (cond)
3567 : 1978 : cond = fold_build2_loc (loc, BIT_AND_EXPR, boolean_type_node, cond, t);
3568 : : else
3569 : 410 : cond = t;
3570 : :
3571 : 2388 : off = fold_convert_loc (loc, itype, off);
3572 : :
3573 : 2388 : if (step
3574 : 4403 : || (fd->loops[i].cond_code == LT_EXPR
3575 : 2184 : ? !integer_onep (fd->loops[i].step)
3576 : 169 : : !integer_minus_onep (fd->loops[i].step)))
3577 : : {
3578 : 382 : if (step == NULL_TREE
3579 : 178 : && TYPE_UNSIGNED (itype)
3580 : 393 : && fd->loops[i].cond_code == GT_EXPR)
3581 : 9 : t = fold_build2_loc (loc, TRUNC_MOD_EXPR, itype, off,
3582 : : fold_build1_loc (loc, NEGATE_EXPR, itype,
3583 : : s));
3584 : : else
3585 : 542 : t = fold_build2_loc (loc, TRUNC_MOD_EXPR, itype,
3586 : : orig_off ? orig_off : off, s);
3587 : 382 : t = fold_build2_loc (loc, EQ_EXPR, boolean_type_node, t,
3588 : 382 : build_int_cst (itype, 0));
3589 : 382 : if (integer_zerop (t) && !warned_step)
3590 : : {
3591 : 5 : warning_at (loc, OPT_Wopenmp,
3592 : : "%qs clause with %<sink%> modifier refers to "
3593 : : "iteration never in the iteration space",
3594 : 5 : OMP_CLAUSE_DOACROSS_DEPEND (c)
3595 : : ? "depend" : "doacross");
3596 : 5 : warned_step = true;
3597 : : }
3598 : 382 : cond = fold_build2_loc (loc, BIT_AND_EXPR, boolean_type_node,
3599 : : cond, t);
3600 : : }
3601 : :
3602 : 2388 : if (i <= fd->collapse - 1 && fd->collapse > 1)
3603 : 322 : t = fd->loop.v;
3604 : 2066 : else if (counts[i])
3605 : 166 : t = counts[i];
3606 : : else
3607 : : {
3608 : 1900 : t = fold_build2_loc (loc, MINUS_EXPR, TREE_TYPE (fd->loops[i].v),
3609 : 1900 : fd->loops[i].v, fd->loops[i].n1);
3610 : 1900 : t = fold_convert_loc (loc, fd->iter_type, t);
3611 : : }
3612 : 2388 : if (step)
3613 : : /* We have divided off by step already earlier. */;
3614 : 2184 : else if (TYPE_UNSIGNED (itype) && fd->loops[i].cond_code == GT_EXPR)
3615 : 9 : off = fold_build2_loc (loc, TRUNC_DIV_EXPR, itype, off,
3616 : : fold_build1_loc (loc, NEGATE_EXPR, itype,
3617 : : s));
3618 : : else
3619 : 2175 : off = fold_build2_loc (loc, TRUNC_DIV_EXPR, itype, off, s);
3620 : 2388 : if (OMP_CLAUSE_DOACROSS_SINK_NEGATIVE (deps))
3621 : 636 : off = fold_build1_loc (loc, NEGATE_EXPR, itype, off);
3622 : 2388 : off = fold_convert_loc (loc, fd->iter_type, off);
3623 : 2388 : if (i <= fd->collapse - 1 && fd->collapse > 1)
3624 : : {
3625 : 322 : if (i)
3626 : 161 : off = fold_build2_loc (loc, PLUS_EXPR, fd->iter_type, coff,
3627 : : off);
3628 : 322 : if (i < fd->collapse - 1)
3629 : : {
3630 : 322 : coff = fold_build2_loc (loc, MULT_EXPR, fd->iter_type, off,
3631 : 161 : counts[i]);
3632 : 161 : continue;
3633 : : }
3634 : : }
3635 : 2227 : off = unshare_expr (off);
3636 : 2227 : t = fold_build2_loc (loc, PLUS_EXPR, fd->iter_type, t, off);
3637 : 2227 : t = force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
3638 : : true, GSI_SAME_STMT);
3639 : 2227 : args.safe_push (t);
3640 : : }
3641 : 410 : gimple *g = gimple_build_call_vec (builtin_decl_explicit (sink_ix), args);
3642 : 410 : gimple_set_location (g, loc);
3643 : 410 : gsi_insert_before (&gsi2, g, GSI_SAME_STMT);
3644 : :
3645 : 410 : cond = unshare_expr (cond);
3646 : 410 : cond = force_gimple_operand_gsi (gsi, cond, true, NULL_TREE, false,
3647 : : GSI_CONTINUE_LINKING);
3648 : 410 : gsi_insert_after (gsi, gimple_build_cond_empty (cond), GSI_NEW_STMT);
3649 : 410 : edge e3 = make_edge (e1->src, e2->dest, EDGE_FALSE_VALUE);
3650 : 410 : e3->probability = profile_probability::guessed_always () / 8;
3651 : 410 : e1->probability = e3->probability.invert ();
3652 : 410 : e1->flags = EDGE_TRUE_VALUE;
3653 : 410 : set_immediate_dominator (CDI_DOMINATORS, e2->dest, e1->src);
3654 : :
3655 : 410 : *gsi = gsi_after_labels (e2->dest);
3656 : 462 : }
3657 : :
3658 : : /* Expand all #pragma omp ordered depend(source) and
3659 : : #pragma omp ordered depend(sink:...) constructs in the current
3660 : : #pragma omp for ordered(n) region. */
3661 : :
3662 : : static void
3663 : 331 : expand_omp_ordered_source_sink (struct omp_region *region,
3664 : : struct omp_for_data *fd, tree *counts,
3665 : : basic_block cont_bb)
3666 : : {
3667 : 331 : struct omp_region *inner;
3668 : 331 : int i;
3669 : 1555 : for (i = fd->collapse - 1; i < fd->ordered; i++)
3670 : 1224 : if (i == fd->collapse - 1 && fd->collapse > 1)
3671 : 147 : counts[i] = NULL_TREE;
3672 : 1077 : else if (i >= fd->collapse && !cont_bb)
3673 : 0 : counts[i] = build_zero_cst (fd->iter_type);
3674 : 2146 : else if (!POINTER_TYPE_P (TREE_TYPE (fd->loops[i].v))
3675 : 2146 : && integer_onep (fd->loops[i].step))
3676 : 983 : counts[i] = NULL_TREE;
3677 : : else
3678 : 94 : counts[i] = create_tmp_var (fd->iter_type, ".orditer");
3679 : 331 : tree atype
3680 : 331 : = build_array_type_nelts (fd->iter_type, fd->ordered - fd->collapse + 1);
3681 : 331 : counts[fd->ordered] = create_tmp_var (atype, ".orditera");
3682 : 331 : TREE_ADDRESSABLE (counts[fd->ordered]) = 1;
3683 : 331 : counts[fd->ordered + 1] = NULL_TREE;
3684 : :
3685 : 1603 : for (inner = region->inner; inner; inner = inner->next)
3686 : 1272 : if (inner->type == GIMPLE_OMP_ORDERED)
3687 : : {
3688 : 701 : gomp_ordered *ord_stmt = inner->ord_stmt;
3689 : 701 : gimple_stmt_iterator gsi = gsi_for_stmt (ord_stmt);
3690 : 701 : location_t loc = gimple_location (ord_stmt);
3691 : 701 : tree c;
3692 : 1163 : for (c = gimple_omp_ordered_clauses (ord_stmt);
3693 : 1163 : c; c = OMP_CLAUSE_CHAIN (c))
3694 : 793 : if (OMP_CLAUSE_DOACROSS_KIND (c) == OMP_CLAUSE_DOACROSS_SOURCE)
3695 : : break;
3696 : 701 : if (c)
3697 : 331 : expand_omp_ordered_source (&gsi, fd, counts, loc);
3698 : 1494 : for (c = gimple_omp_ordered_clauses (ord_stmt);
3699 : 1494 : c; c = OMP_CLAUSE_CHAIN (c))
3700 : 793 : if (OMP_CLAUSE_DOACROSS_KIND (c) == OMP_CLAUSE_DOACROSS_SINK)
3701 : 462 : expand_omp_ordered_sink (&gsi, fd, counts, c, loc, cont_bb);
3702 : 701 : gsi_remove (&gsi, true);
3703 : : }
3704 : 331 : }
3705 : :
3706 : : /* Wrap the body into fd->ordered - fd->collapse loops that aren't
3707 : : collapsed. */
3708 : :
3709 : : static basic_block
3710 : 331 : expand_omp_for_ordered_loops (struct omp_for_data *fd, tree *counts,
3711 : : basic_block cont_bb, basic_block body_bb,
3712 : : basic_block l0_bb, bool ordered_lastprivate)
3713 : : {
3714 : 331 : if (fd->ordered == fd->collapse)
3715 : : return cont_bb;
3716 : :
3717 : 171 : if (!cont_bb)
3718 : : {
3719 : 0 : gimple_stmt_iterator gsi = gsi_after_labels (body_bb);
3720 : 0 : for (int i = fd->collapse; i < fd->ordered; i++)
3721 : : {
3722 : 0 : tree type = TREE_TYPE (fd->loops[i].v);
3723 : 0 : tree n1 = fold_convert (type, fd->loops[i].n1);
3724 : 0 : expand_omp_build_assign (&gsi, fd->loops[i].v, n1);
3725 : 0 : tree aref = build4 (ARRAY_REF, fd->iter_type, counts[fd->ordered],
3726 : 0 : size_int (i - fd->collapse + 1),
3727 : : NULL_TREE, NULL_TREE);
3728 : 0 : expand_omp_build_assign (&gsi, aref, build_zero_cst (fd->iter_type));
3729 : : }
3730 : 0 : return NULL;
3731 : : }
3732 : :
3733 : 1064 : for (int i = fd->ordered - 1; i >= fd->collapse; i--)
3734 : : {
3735 : 893 : tree t, type = TREE_TYPE (fd->loops[i].v);
3736 : 893 : gimple_stmt_iterator gsi = gsi_after_labels (body_bb);
3737 : 893 : if (counts[fd->ordered + 1] && i == fd->collapse)
3738 : 33 : expand_omp_build_assign (&gsi, counts[fd->ordered + 1],
3739 : : boolean_true_node);
3740 : 893 : expand_omp_build_assign (&gsi, fd->loops[i].v,
3741 : 893 : fold_convert (type, fd->loops[i].n1));
3742 : 893 : if (counts[i])
3743 : 57 : expand_omp_build_assign (&gsi, counts[i],
3744 : : build_zero_cst (fd->iter_type));
3745 : 893 : tree aref = build4 (ARRAY_REF, fd->iter_type, counts[fd->ordered],
3746 : 893 : size_int (i - fd->collapse + 1),
3747 : : NULL_TREE, NULL_TREE);
3748 : 893 : expand_omp_build_assign (&gsi, aref, build_zero_cst (fd->iter_type));
3749 : 893 : if (!gsi_end_p (gsi))
3750 : 893 : gsi_prev (&gsi);
3751 : : else
3752 : 0 : gsi = gsi_last_bb (body_bb);
3753 : 893 : edge e1 = split_block (body_bb, gsi_stmt (gsi));
3754 : 893 : basic_block new_body = e1->dest;
3755 : 893 : if (body_bb == cont_bb)
3756 : 0 : cont_bb = new_body;
3757 : 893 : edge e2 = NULL;
3758 : 893 : basic_block new_header;
3759 : 893 : if (EDGE_COUNT (cont_bb->preds) > 0)
3760 : : {
3761 : 864 : gsi = gsi_last_bb (cont_bb);
3762 : 864 : if (POINTER_TYPE_P (type))
3763 : 0 : t = fold_build_pointer_plus (fd->loops[i].v, fd->loops[i].step);
3764 : : else
3765 : 864 : t = fold_build2 (PLUS_EXPR, type, fd->loops[i].v,
3766 : : fold_convert (type, fd->loops[i].step));
3767 : 864 : expand_omp_build_assign (&gsi, fd->loops[i].v, t);
3768 : 864 : if (counts[i])
3769 : : {
3770 : 57 : t = fold_build2 (PLUS_EXPR, fd->iter_type, counts[i],
3771 : : build_int_cst (fd->iter_type, 1));
3772 : 57 : expand_omp_build_assign (&gsi, counts[i], t);
3773 : 57 : t = counts[i];
3774 : : }
3775 : : else
3776 : : {
3777 : 807 : t = fold_build2 (MINUS_EXPR, TREE_TYPE (fd->loops[i].v),
3778 : : fd->loops[i].v, fd->loops[i].n1);
3779 : 807 : t = fold_convert (fd->iter_type, t);
3780 : 807 : t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
3781 : : true, GSI_SAME_STMT);
3782 : : }
3783 : 864 : aref = build4 (ARRAY_REF, fd->iter_type, counts[fd->ordered],
3784 : 864 : size_int (i - fd->collapse + 1),
3785 : : NULL_TREE, NULL_TREE);
3786 : 864 : expand_omp_build_assign (&gsi, aref, t);
3787 : 864 : if (counts[fd->ordered + 1] && i == fd->ordered - 1)
3788 : 30 : expand_omp_build_assign (&gsi, counts[fd->ordered + 1],
3789 : : boolean_false_node);
3790 : 864 : gsi_prev (&gsi);
3791 : 864 : e2 = split_block (cont_bb, gsi_stmt (gsi));
3792 : 864 : new_header = e2->dest;
3793 : : }
3794 : : else
3795 : : new_header = cont_bb;
3796 : 893 : gsi = gsi_after_labels (new_header);
3797 : 893 : tree v = force_gimple_operand_gsi (&gsi, fd->loops[i].v, true, NULL_TREE,
3798 : : true, GSI_SAME_STMT);
3799 : 893 : tree n2
3800 : 893 : = force_gimple_operand_gsi (&gsi, fold_convert (type, fd->loops[i].n2),
3801 : : true, NULL_TREE, true, GSI_SAME_STMT);
3802 : 893 : t = build2 (fd->loops[i].cond_code, boolean_type_node, v, n2);
3803 : 893 : gsi_insert_before (&gsi, gimple_build_cond_empty (t), GSI_NEW_STMT);
3804 : 893 : edge e3 = split_block (new_header, gsi_stmt (gsi));
3805 : 893 : cont_bb = e3->dest;
3806 : 893 : remove_edge (e1);
3807 : 893 : make_edge (body_bb, new_header, EDGE_FALLTHRU);
3808 : 893 : e3->flags = EDGE_FALSE_VALUE;
3809 : 893 : e3->probability = profile_probability::guessed_always () / 8;
3810 : 893 : e1 = make_edge (new_header, new_body, EDGE_TRUE_VALUE);
3811 : 893 : e1->probability = e3->probability.invert ();
3812 : :
3813 : 893 : set_immediate_dominator (CDI_DOMINATORS, new_header, body_bb);
3814 : 893 : set_immediate_dominator (CDI_DOMINATORS, new_body, new_header);
3815 : :
3816 : 893 : if (e2)
3817 : : {
3818 : 864 : class loop *loop = alloc_loop ();
3819 : 864 : loop->header = new_header;
3820 : 864 : loop->latch = e2->src;
3821 : 864 : add_loop (loop, l0_bb->loop_father);
3822 : : }
3823 : : }
3824 : :
3825 : : /* If there are any lastprivate clauses and it is possible some loops
3826 : : might have zero iterations, ensure all the decls are initialized,
3827 : : otherwise we could crash evaluating C++ class iterators with lastprivate
3828 : : clauses. */
3829 : : bool need_inits = false;
3830 : 171 : for (int i = fd->collapse; ordered_lastprivate && i < fd->ordered; i++)
3831 : 0 : if (need_inits)
3832 : : {
3833 : 0 : tree type = TREE_TYPE (fd->loops[i].v);
3834 : 0 : gimple_stmt_iterator gsi = gsi_after_labels (body_bb);
3835 : 0 : expand_omp_build_assign (&gsi, fd->loops[i].v,
3836 : : fold_convert (type, fd->loops[i].n1));
3837 : : }
3838 : : else
3839 : : {
3840 : 0 : tree type = TREE_TYPE (fd->loops[i].v);
3841 : 0 : tree this_cond = fold_build2 (fd->loops[i].cond_code,
3842 : : boolean_type_node,
3843 : : fold_convert (type, fd->loops[i].n1),
3844 : : fold_convert (type, fd->loops[i].n2));
3845 : 0 : if (!integer_onep (this_cond))
3846 : 0 : need_inits = true;
3847 : : }
3848 : :
3849 : : return cont_bb;
3850 : : }
3851 : :
3852 : : /* A subroutine of expand_omp_for. Generate code for a parallel
3853 : : loop with any schedule. Given parameters:
3854 : :
3855 : : for (V = N1; V cond N2; V += STEP) BODY;
3856 : :
3857 : : where COND is "<" or ">", we generate pseudocode
3858 : :
3859 : : more = GOMP_loop_foo_start (N1, N2, STEP, CHUNK, &istart0, &iend0);
3860 : : if (more) goto L0; else goto L3;
3861 : : L0:
3862 : : V = istart0;
3863 : : iend = iend0;
3864 : : L1:
3865 : : BODY;
3866 : : V += STEP;
3867 : : if (V cond iend) goto L1; else goto L2;
3868 : : L2:
3869 : : if (GOMP_loop_foo_next (&istart0, &iend0)) goto L0; else goto L3;
3870 : : L3:
3871 : :
3872 : : If this is a combined omp parallel loop, instead of the call to
3873 : : GOMP_loop_foo_start, we call GOMP_loop_foo_next.
3874 : : If this is gimple_omp_for_combined_p loop, then instead of assigning
3875 : : V and iend in L0 we assign the first two _looptemp_ clause decls of the
3876 : : inner GIMPLE_OMP_FOR and V += STEP; and
3877 : : if (V cond iend) goto L1; else goto L2; are removed.
3878 : :
3879 : : For collapsed loops, given parameters:
3880 : : collapse(3)
3881 : : for (V1 = N11; V1 cond1 N12; V1 += STEP1)
3882 : : for (V2 = N21; V2 cond2 N22; V2 += STEP2)
3883 : : for (V3 = N31; V3 cond3 N32; V3 += STEP3)
3884 : : BODY;
3885 : :
3886 : : we generate pseudocode
3887 : :
3888 : : if (__builtin_expect (N32 cond3 N31, 0)) goto Z0;
3889 : : if (cond3 is <)
3890 : : adj = STEP3 - 1;
3891 : : else
3892 : : adj = STEP3 + 1;
3893 : : count3 = (adj + N32 - N31) / STEP3;
3894 : : if (__builtin_expect (N22 cond2 N21, 0)) goto Z0;
3895 : : if (cond2 is <)
3896 : : adj = STEP2 - 1;
3897 : : else
3898 : : adj = STEP2 + 1;
3899 : : count2 = (adj + N22 - N21) / STEP2;
3900 : : if (__builtin_expect (N12 cond1 N11, 0)) goto Z0;
3901 : : if (cond1 is <)
3902 : : adj = STEP1 - 1;
3903 : : else
3904 : : adj = STEP1 + 1;
3905 : : count1 = (adj + N12 - N11) / STEP1;
3906 : : count = count1 * count2 * count3;
3907 : : goto Z1;
3908 : : Z0:
3909 : : count = 0;
3910 : : Z1:
3911 : : more = GOMP_loop_foo_start (0, count, 1, CHUNK, &istart0, &iend0);
3912 : : if (more) goto L0; else goto L3;
3913 : : L0:
3914 : : V = istart0;
3915 : : T = V;
3916 : : V3 = N31 + (T % count3) * STEP3;
3917 : : T = T / count3;
3918 : : V2 = N21 + (T % count2) * STEP2;
3919 : : T = T / count2;
3920 : : V1 = N11 + T * STEP1;
3921 : : iend = iend0;
3922 : : L1:
3923 : : BODY;
3924 : : V += 1;
3925 : : if (V < iend) goto L10; else goto L2;
3926 : : L10:
3927 : : V3 += STEP3;
3928 : : if (V3 cond3 N32) goto L1; else goto L11;
3929 : : L11:
3930 : : V3 = N31;
3931 : : V2 += STEP2;
3932 : : if (V2 cond2 N22) goto L1; else goto L12;
3933 : : L12:
3934 : : V2 = N21;
3935 : : V1 += STEP1;
3936 : : goto L1;
3937 : : L2:
3938 : : if (GOMP_loop_foo_next (&istart0, &iend0)) goto L0; else goto L3;
3939 : : L3:
3940 : :
3941 : : */
3942 : :
3943 : : static void
3944 : 4111 : expand_omp_for_generic (struct omp_region *region,
3945 : : struct omp_for_data *fd,
3946 : : enum built_in_function start_fn,
3947 : : enum built_in_function next_fn,
3948 : : tree sched_arg,
3949 : : gimple *inner_stmt)
3950 : : {
3951 : 4111 : tree type, istart0, iend0, iend;
3952 : 4111 : tree t, vmain, vback, bias = NULL_TREE;
3953 : 4111 : basic_block entry_bb, cont_bb, exit_bb, l0_bb, l1_bb, collapse_bb;
3954 : 4111 : basic_block l2_bb = NULL, l3_bb = NULL;
3955 : 4111 : gimple_stmt_iterator gsi;
3956 : 4111 : gassign *assign_stmt;
3957 : 4111 : bool in_combined_parallel = is_combined_parallel (region);
3958 : 4111 : bool broken_loop = region->cont == NULL;
3959 : 4111 : edge e, ne;
3960 : 4111 : tree *counts = NULL;
3961 : 4111 : int i;
3962 : 4111 : bool ordered_lastprivate = false;
3963 : 4111 : bool offload = is_in_offload_region (region);
3964 : :
3965 : 4111 : gcc_assert (!broken_loop || !in_combined_parallel);
3966 : 4111 : gcc_assert (fd->iter_type == long_integer_type_node
3967 : : || !in_combined_parallel);
3968 : :
3969 : 4111 : entry_bb = region->entry;
3970 : 4111 : cont_bb = region->cont;
3971 : 4111 : collapse_bb = NULL;
3972 : 4111 : gcc_assert (EDGE_COUNT (entry_bb->succs) == 2);
3973 : 4111 : gcc_assert (broken_loop
3974 : : || BRANCH_EDGE (entry_bb)->dest == FALLTHRU_EDGE (cont_bb)->dest);
3975 : 4111 : l0_bb = split_edge (FALLTHRU_EDGE (entry_bb));
3976 : 4111 : l1_bb = single_succ (l0_bb);
3977 : 4111 : if (!broken_loop)
3978 : : {
3979 : 3704 : l2_bb = create_empty_bb (cont_bb);
3980 : 3704 : gcc_assert (BRANCH_EDGE (cont_bb)->dest == l1_bb
3981 : : || (single_succ_edge (BRANCH_EDGE (cont_bb)->dest)->dest
3982 : : == l1_bb));
3983 : 3704 : gcc_assert (EDGE_COUNT (cont_bb->succs) == 2);
3984 : : }
3985 : : else
3986 : : l2_bb = NULL;
3987 : 4111 : l3_bb = BRANCH_EDGE (entry_bb)->dest;
3988 : 4111 : exit_bb = region->exit;
3989 : :
3990 : 4111 : gsi = gsi_last_nondebug_bb (entry_bb);
3991 : :
3992 : 4111 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
3993 : 4111 : if (fd->ordered
3994 : 4111 : && omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
3995 : : OMP_CLAUSE_LASTPRIVATE))
3996 : 4111 : ordered_lastprivate = false;
3997 : 4111 : tree reductions = NULL_TREE;
3998 : 4111 : tree mem = NULL_TREE, cond_var = NULL_TREE, condtemp = NULL_TREE;
3999 : 4111 : tree memv = NULL_TREE;
4000 : 4111 : if (fd->lastprivate_conditional)
4001 : : {
4002 : 46 : tree c = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
4003 : : OMP_CLAUSE__CONDTEMP_);
4004 : 46 : if (fd->have_pointer_condtemp)
4005 : 28 : condtemp = OMP_CLAUSE_DECL (c);
4006 : 46 : c = omp_find_clause (OMP_CLAUSE_CHAIN (c), OMP_CLAUSE__CONDTEMP_);
4007 : 46 : cond_var = OMP_CLAUSE_DECL (c);
4008 : : }
4009 : 4111 : if (sched_arg)
4010 : : {
4011 : 169 : if (fd->have_reductemp)
4012 : : {
4013 : 149 : tree c = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
4014 : : OMP_CLAUSE__REDUCTEMP_);
4015 : 149 : reductions = OMP_CLAUSE_DECL (c);
4016 : 149 : gcc_assert (TREE_CODE (reductions) == SSA_NAME);
4017 : 149 : gimple *g = SSA_NAME_DEF_STMT (reductions);
4018 : 149 : reductions = gimple_assign_rhs1 (g);
4019 : 149 : OMP_CLAUSE_DECL (c) = reductions;
4020 : 149 : entry_bb = gimple_bb (g);
4021 : 149 : edge e = split_block (entry_bb, g);
4022 : 149 : if (region->entry == entry_bb)
4023 : 8 : region->entry = e->dest;
4024 : 298 : gsi = gsi_last_bb (entry_bb);
4025 : : }
4026 : : else
4027 : 20 : reductions = null_pointer_node;
4028 : 169 : if (fd->have_pointer_condtemp)
4029 : : {
4030 : 28 : tree type = TREE_TYPE (condtemp);
4031 : 28 : memv = create_tmp_var (type);
4032 : 28 : TREE_ADDRESSABLE (memv) = 1;
4033 : 28 : unsigned HOST_WIDE_INT sz
4034 : 28 : = tree_to_uhwi (TYPE_SIZE_UNIT (TREE_TYPE (type)));
4035 : 28 : sz *= fd->lastprivate_conditional;
4036 : 28 : expand_omp_build_assign (&gsi, memv, build_int_cst (type, sz),
4037 : : false);
4038 : 28 : mem = build_fold_addr_expr (memv);
4039 : : }
4040 : : else
4041 : 141 : mem = null_pointer_node;
4042 : : }
4043 : 4111 : if (fd->collapse > 1 || fd->ordered)
4044 : : {
4045 : 1665 : int first_zero_iter1 = -1, first_zero_iter2 = -1;
4046 : 1665 : basic_block zero_iter1_bb = NULL, zero_iter2_bb = NULL, l2_dom_bb = NULL;
4047 : :
4048 : 1665 : counts = XALLOCAVEC (tree, fd->ordered
4049 : : ? fd->ordered + 2
4050 : : + (fd->ordered - fd->collapse)
4051 : : : fd->collapse);
4052 : 1665 : expand_omp_for_init_counts (fd, &gsi, entry_bb, counts,
4053 : : zero_iter1_bb, first_zero_iter1,
4054 : : zero_iter2_bb, first_zero_iter2, l2_dom_bb);
4055 : :
4056 : 1665 : if (zero_iter1_bb)
4057 : : {
4058 : : /* Some counts[i] vars might be uninitialized if
4059 : : some loop has zero iterations. But the body shouldn't
4060 : : be executed in that case, so just avoid uninit warnings. */
4061 : 1913 : for (i = first_zero_iter1;
4062 : 1913 : i < (fd->ordered ? fd->ordered : fd->collapse); i++)
4063 : 1502 : if (SSA_VAR_P (counts[i]))
4064 : 950 : suppress_warning (counts[i], OPT_Wuninitialized);
4065 : 411 : gsi_prev (&gsi);
4066 : 411 : e = split_block (entry_bb, gsi_stmt (gsi));
4067 : 411 : entry_bb = e->dest;
4068 : 411 : make_edge (zero_iter1_bb, entry_bb, EDGE_FALLTHRU);
4069 : 411 : gsi = gsi_last_nondebug_bb (entry_bb);
4070 : 411 : set_immediate_dominator (CDI_DOMINATORS, entry_bb,
4071 : : get_immediate_dominator (CDI_DOMINATORS,
4072 : : zero_iter1_bb));
4073 : : }
4074 : 1665 : if (zero_iter2_bb)
4075 : : {
4076 : : /* Some counts[i] vars might be uninitialized if
4077 : : some loop has zero iterations. But the body shouldn't
4078 : : be executed in that case, so just avoid uninit warnings. */
4079 : 394 : for (i = first_zero_iter2; i < fd->ordered; i++)
4080 : 276 : if (SSA_VAR_P (counts[i]))
4081 : 216 : suppress_warning (counts[i], OPT_Wuninitialized);
4082 : 118 : if (zero_iter1_bb)
4083 : 103 : make_edge (zero_iter2_bb, entry_bb, EDGE_FALLTHRU);
4084 : : else
4085 : : {
4086 : 15 : gsi_prev (&gsi);
4087 : 15 : e = split_block (entry_bb, gsi_stmt (gsi));
4088 : 15 : entry_bb = e->dest;
4089 : 15 : make_edge (zero_iter2_bb, entry_bb, EDGE_FALLTHRU);
4090 : 15 : gsi = gsi_last_nondebug_bb (entry_bb);
4091 : 15 : set_immediate_dominator (CDI_DOMINATORS, entry_bb,
4092 : : get_immediate_dominator
4093 : : (CDI_DOMINATORS, zero_iter2_bb));
4094 : : }
4095 : : }
4096 : 1665 : if (fd->collapse == 1)
4097 : : {
4098 : 184 : counts[0] = fd->loop.n2;
4099 : 184 : fd->loop = fd->loops[0];
4100 : : }
4101 : : }
4102 : :
4103 : 4111 : type = TREE_TYPE (fd->loop.v);
4104 : 4111 : istart0 = create_tmp_var (fd->iter_type, ".istart0");
4105 : 4111 : iend0 = create_tmp_var (fd->iter_type, ".iend0");
4106 : 4111 : TREE_ADDRESSABLE (istart0) = 1;
4107 : 4111 : TREE_ADDRESSABLE (iend0) = 1;
4108 : :
4109 : : /* See if we need to bias by LLONG_MIN. */
4110 : 4111 : if (fd->iter_type == long_long_unsigned_type_node
4111 : 778 : && (TREE_CODE (type) == INTEGER_TYPE || TREE_CODE (type) == BITINT_TYPE)
4112 : 530 : && !TYPE_UNSIGNED (type)
4113 : 4111 : && fd->ordered == 0)
4114 : : {
4115 : 0 : tree n1, n2;
4116 : :
4117 : 0 : if (fd->loop.cond_code == LT_EXPR)
4118 : : {
4119 : 0 : n1 = fd->loop.n1;
4120 : 0 : n2 = fold_build2 (PLUS_EXPR, type, fd->loop.n2, fd->loop.step);
4121 : : }
4122 : : else
4123 : : {
4124 : 0 : n1 = fold_build2 (MINUS_EXPR, type, fd->loop.n2, fd->loop.step);
4125 : 0 : n2 = fd->loop.n1;
4126 : : }
4127 : 0 : if (TREE_CODE (n1) != INTEGER_CST
4128 : 0 : || TREE_CODE (n2) != INTEGER_CST
4129 : 0 : || ((tree_int_cst_sgn (n1) < 0) ^ (tree_int_cst_sgn (n2) < 0)))
4130 : 0 : bias = fold_convert (fd->iter_type, TYPE_MIN_VALUE (type));
4131 : : }
4132 : :
4133 : 4111 : gimple_stmt_iterator gsif = gsi;
4134 : 4111 : gsi_prev (&gsif);
4135 : :
4136 : 4111 : tree arr = NULL_TREE;
4137 : 4111 : if (in_combined_parallel)
4138 : : {
4139 : 1084 : gcc_assert (fd->ordered == 0);
4140 : : /* In a combined parallel loop, emit a call to
4141 : : GOMP_loop_foo_next. */
4142 : 1084 : t = build_call_expr (builtin_decl_explicit (next_fn), 2,
4143 : : build_fold_addr_expr (istart0),
4144 : : build_fold_addr_expr (iend0));
4145 : : }
4146 : : else
4147 : : {
4148 : 3027 : tree t0, t1, t2, t3, t4;
4149 : : /* If this is not a combined parallel loop, emit a call to
4150 : : GOMP_loop_foo_start in ENTRY_BB. */
4151 : 3027 : t4 = build_fold_addr_expr (iend0);
4152 : 3027 : t3 = build_fold_addr_expr (istart0);
4153 : 3027 : if (fd->ordered)
4154 : : {
4155 : 662 : t0 = build_int_cst (unsigned_type_node,
4156 : 331 : fd->ordered - fd->collapse + 1);
4157 : 331 : arr = create_tmp_var (build_array_type_nelts (fd->iter_type,
4158 : 331 : fd->ordered
4159 : 331 : - fd->collapse + 1),
4160 : : ".omp_counts");
4161 : 331 : DECL_NAMELESS (arr) = 1;
4162 : 331 : TREE_ADDRESSABLE (arr) = 1;
4163 : 331 : TREE_STATIC (arr) = 1;
4164 : 331 : vec<constructor_elt, va_gc> *v;
4165 : 331 : vec_alloc (v, fd->ordered - fd->collapse + 1);
4166 : 331 : int idx;
4167 : :
4168 : 1555 : for (idx = 0; idx < fd->ordered - fd->collapse + 1; idx++)
4169 : : {
4170 : 1224 : tree c;
4171 : 1224 : if (idx == 0 && fd->collapse > 1)
4172 : 147 : c = fd->loop.n2;
4173 : : else
4174 : 1077 : c = counts[idx + fd->collapse - 1];
4175 : 1224 : tree purpose = size_int (idx);
4176 : 1224 : CONSTRUCTOR_APPEND_ELT (v, purpose, c);
4177 : 1224 : if (TREE_CODE (c) != INTEGER_CST)
4178 : 433 : TREE_STATIC (arr) = 0;
4179 : : }
4180 : :
4181 : 331 : DECL_INITIAL (arr) = build_constructor (TREE_TYPE (arr), v);
4182 : 331 : if (!TREE_STATIC (arr))
4183 : 232 : force_gimple_operand_gsi (&gsi, build1 (DECL_EXPR,
4184 : : void_type_node, arr),
4185 : : true, NULL_TREE, true, GSI_SAME_STMT);
4186 : 331 : t1 = build_fold_addr_expr (arr);
4187 : 331 : t2 = NULL_TREE;
4188 : : }
4189 : : else
4190 : : {
4191 : 2696 : t2 = fold_convert (fd->iter_type, fd->loop.step);
4192 : 2696 : t1 = fd->loop.n2;
4193 : 2696 : t0 = fd->loop.n1;
4194 : 2696 : if (gimple_omp_for_combined_into_p (fd->for_stmt))
4195 : : {
4196 : 1152 : tree innerc
4197 : 1152 : = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
4198 : : OMP_CLAUSE__LOOPTEMP_);
4199 : 1152 : gcc_assert (innerc);
4200 : 1152 : t0 = OMP_CLAUSE_DECL (innerc);
4201 : 1152 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
4202 : : OMP_CLAUSE__LOOPTEMP_);
4203 : 1152 : gcc_assert (innerc);
4204 : 1152 : t1 = OMP_CLAUSE_DECL (innerc);
4205 : : }
4206 : 5280 : if (POINTER_TYPE_P (TREE_TYPE (t0))
4207 : 2696 : && TYPE_PRECISION (TREE_TYPE (t0))
4208 : 112 : != TYPE_PRECISION (fd->iter_type))
4209 : : {
4210 : : /* Avoid casting pointers to integer of a different size. */
4211 : 0 : tree itype = signed_type_for (type);
4212 : 0 : t1 = fold_convert (fd->iter_type, fold_convert (itype, t1));
4213 : 0 : t0 = fold_convert (fd->iter_type, fold_convert (itype, t0));
4214 : : }
4215 : : else
4216 : : {
4217 : 2696 : t1 = fold_convert (fd->iter_type, t1);
4218 : 2696 : t0 = fold_convert (fd->iter_type, t0);
4219 : : }
4220 : 2696 : if (bias)
4221 : : {
4222 : 0 : t1 = fold_build2 (PLUS_EXPR, fd->iter_type, t1, bias);
4223 : 0 : t0 = fold_build2 (PLUS_EXPR, fd->iter_type, t0, bias);
4224 : : }
4225 : : }
4226 : 3027 : if (fd->iter_type == long_integer_type_node || fd->ordered)
4227 : : {
4228 : 2305 : if (fd->chunk_size)
4229 : : {
4230 : 1556 : t = fold_convert (fd->iter_type, fd->chunk_size);
4231 : 1556 : t = omp_adjust_chunk_size (t, fd->simd_schedule, offload);
4232 : 1556 : if (sched_arg)
4233 : : {
4234 : 135 : if (fd->ordered)
4235 : 36 : t = build_call_expr (builtin_decl_explicit (start_fn),
4236 : : 8, t0, t1, sched_arg, t, t3, t4,
4237 : : reductions, mem);
4238 : : else
4239 : 99 : t = build_call_expr (builtin_decl_explicit (start_fn),
4240 : : 9, t0, t1, t2, sched_arg, t, t3, t4,
4241 : : reductions, mem);
4242 : : }
4243 : 1421 : else if (fd->ordered)
4244 : 295 : t = build_call_expr (builtin_decl_explicit (start_fn),
4245 : : 5, t0, t1, t, t3, t4);
4246 : : else
4247 : 1126 : t = build_call_expr (builtin_decl_explicit (start_fn),
4248 : : 6, t0, t1, t2, t, t3, t4);
4249 : : }
4250 : 749 : else if (fd->ordered)
4251 : 0 : t = build_call_expr (builtin_decl_explicit (start_fn),
4252 : : 4, t0, t1, t3, t4);
4253 : : else
4254 : 749 : t = build_call_expr (builtin_decl_explicit (start_fn),
4255 : : 5, t0, t1, t2, t3, t4);
4256 : : }
4257 : : else
4258 : : {
4259 : 722 : tree t5;
4260 : 722 : tree c_bool_type;
4261 : 722 : tree bfn_decl;
4262 : :
4263 : : /* The GOMP_loop_ull_*start functions have additional boolean
4264 : : argument, true for < loops and false for > loops.
4265 : : In Fortran, the C bool type can be different from
4266 : : boolean_type_node. */
4267 : 722 : bfn_decl = builtin_decl_explicit (start_fn);
4268 : 722 : c_bool_type = TREE_TYPE (TREE_TYPE (bfn_decl));
4269 : 722 : t5 = build_int_cst (c_bool_type,
4270 : 942 : fd->loop.cond_code == LT_EXPR ? 1 : 0);
4271 : 722 : if (fd->chunk_size)
4272 : : {
4273 : 390 : tree bfn_decl = builtin_decl_explicit (start_fn);
4274 : 390 : t = fold_convert (fd->iter_type, fd->chunk_size);
4275 : 390 : t = omp_adjust_chunk_size (t, fd->simd_schedule, offload);
4276 : 390 : if (sched_arg)
4277 : 34 : t = build_call_expr (bfn_decl, 10, t5, t0, t1, t2, sched_arg,
4278 : : t, t3, t4, reductions, mem);
4279 : : else
4280 : 356 : t = build_call_expr (bfn_decl, 7, t5, t0, t1, t2, t, t3, t4);
4281 : : }
4282 : : else
4283 : 332 : t = build_call_expr (builtin_decl_explicit (start_fn),
4284 : : 6, t5, t0, t1, t2, t3, t4);
4285 : : }
4286 : : }
4287 : 4111 : if (TREE_TYPE (t) != boolean_type_node)
4288 : 0 : t = fold_build2 (NE_EXPR, boolean_type_node,
4289 : : t, build_int_cst (TREE_TYPE (t), 0));
4290 : 4111 : t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
4291 : : true, GSI_SAME_STMT);
4292 : 4111 : if (arr && !TREE_STATIC (arr))
4293 : : {
4294 : 232 : tree clobber = build_clobber (TREE_TYPE (arr));
4295 : 232 : gsi_insert_before (&gsi, gimple_build_assign (arr, clobber),
4296 : : GSI_SAME_STMT);
4297 : : }
4298 : 4111 : if (fd->have_pointer_condtemp)
4299 : 28 : expand_omp_build_assign (&gsi, condtemp, memv, false);
4300 : 4111 : if (fd->have_reductemp)
4301 : : {
4302 : 149 : gimple *g = gsi_stmt (gsi);
4303 : 149 : gsi_remove (&gsi, true);
4304 : 149 : release_ssa_name (gimple_assign_lhs (g));
4305 : :
4306 : 149 : entry_bb = region->entry;
4307 : 149 : gsi = gsi_last_nondebug_bb (entry_bb);
4308 : :
4309 : 149 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
4310 : : }
4311 : 4111 : gsi_insert_after (&gsi, gimple_build_cond_empty (t), GSI_SAME_STMT);
4312 : :
4313 : : /* Remove the GIMPLE_OMP_FOR statement. */
4314 : 4111 : gsi_remove (&gsi, true);
4315 : :
4316 : 4111 : if (gsi_end_p (gsif))
4317 : 1196 : gsif = gsi_after_labels (gsi_bb (gsif));
4318 : 4111 : gsi_next (&gsif);
4319 : :
4320 : : /* Iteration setup for sequential loop goes in L0_BB. */
4321 : 4111 : tree startvar = fd->loop.v;
4322 : 4111 : tree endvar = NULL_TREE;
4323 : :
4324 : 4111 : if (gimple_omp_for_combined_p (fd->for_stmt))
4325 : : {
4326 : 1389 : gcc_assert (gimple_code (inner_stmt) == GIMPLE_OMP_FOR
4327 : : && gimple_omp_for_kind (inner_stmt)
4328 : : == GF_OMP_FOR_KIND_SIMD);
4329 : 1389 : tree innerc = omp_find_clause (gimple_omp_for_clauses (inner_stmt),
4330 : : OMP_CLAUSE__LOOPTEMP_);
4331 : 1389 : gcc_assert (innerc);
4332 : 1389 : startvar = OMP_CLAUSE_DECL (innerc);
4333 : 1389 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
4334 : : OMP_CLAUSE__LOOPTEMP_);
4335 : 1389 : gcc_assert (innerc);
4336 : 1389 : endvar = OMP_CLAUSE_DECL (innerc);
4337 : : }
4338 : :
4339 : 4111 : gsi = gsi_start_bb (l0_bb);
4340 : 4111 : t = istart0;
4341 : 4111 : if (fd->ordered && fd->collapse == 1)
4342 : 184 : t = fold_build2 (MULT_EXPR, fd->iter_type, t,
4343 : : fold_convert (fd->iter_type, fd->loop.step));
4344 : 3927 : else if (bias)
4345 : 0 : t = fold_build2 (MINUS_EXPR, fd->iter_type, t, bias);
4346 : 4111 : if (fd->ordered && fd->collapse == 1)
4347 : : {
4348 : 184 : if (POINTER_TYPE_P (TREE_TYPE (startvar)))
4349 : 8 : t = fold_build2 (POINTER_PLUS_EXPR, TREE_TYPE (startvar),
4350 : : fd->loop.n1, fold_convert (sizetype, t));
4351 : : else
4352 : : {
4353 : 176 : t = fold_convert (TREE_TYPE (startvar), t);
4354 : 176 : t = fold_build2 (PLUS_EXPR, TREE_TYPE (startvar),
4355 : : fd->loop.n1, t);
4356 : : }
4357 : : }
4358 : : else
4359 : : {
4360 : 3927 : if (POINTER_TYPE_P (TREE_TYPE (startvar)))
4361 : 240 : t = fold_convert (signed_type_for (TREE_TYPE (startvar)), t);
4362 : 3927 : t = fold_convert (TREE_TYPE (startvar), t);
4363 : : }
4364 : 4111 : t = force_gimple_operand_gsi (&gsi, t,
4365 : 4111 : DECL_P (startvar)
4366 : 4111 : && TREE_ADDRESSABLE (startvar),
4367 : : NULL_TREE, false, GSI_CONTINUE_LINKING);
4368 : 4111 : assign_stmt = gimple_build_assign (startvar, t);
4369 : 4111 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
4370 : 4111 : if (cond_var)
4371 : : {
4372 : 46 : tree itype = TREE_TYPE (cond_var);
4373 : : /* For lastprivate(conditional:) itervar, we need some iteration
4374 : : counter that starts at unsigned non-zero and increases.
4375 : : Prefer as few IVs as possible, so if we can use startvar
4376 : : itself, use that, or startvar + constant (those would be
4377 : : incremented with step), and as last resort use the s0 + 1
4378 : : incremented by 1. */
4379 : 46 : if ((fd->ordered && fd->collapse == 1)
4380 : 46 : || bias
4381 : 46 : || POINTER_TYPE_P (type)
4382 : 46 : || TREE_CODE (fd->loop.n1) != INTEGER_CST
4383 : 40 : || fd->loop.cond_code != LT_EXPR)
4384 : 6 : t = fold_build2 (PLUS_EXPR, itype, fold_convert (itype, istart0),
4385 : : build_int_cst (itype, 1));
4386 : 40 : else if (tree_int_cst_sgn (fd->loop.n1) == 1)
4387 : 9 : t = fold_convert (itype, t);
4388 : : else
4389 : : {
4390 : 31 : tree c = fold_convert (itype, fd->loop.n1);
4391 : 31 : c = fold_build2 (MINUS_EXPR, itype, build_int_cst (itype, 1), c);
4392 : 31 : t = fold_build2 (PLUS_EXPR, itype, fold_convert (itype, t), c);
4393 : : }
4394 : 46 : t = force_gimple_operand_gsi (&gsi, t, false,
4395 : : NULL_TREE, false, GSI_CONTINUE_LINKING);
4396 : 46 : assign_stmt = gimple_build_assign (cond_var, t);
4397 : 46 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
4398 : : }
4399 : :
4400 : 4111 : t = iend0;
4401 : 4111 : if (fd->ordered && fd->collapse == 1)
4402 : 184 : t = fold_build2 (MULT_EXPR, fd->iter_type, t,
4403 : : fold_convert (fd->iter_type, fd->loop.step));
4404 : 3927 : else if (bias)
4405 : 0 : t = fold_build2 (MINUS_EXPR, fd->iter_type, t, bias);
4406 : 4111 : if (fd->ordered && fd->collapse == 1)
4407 : : {
4408 : 184 : if (POINTER_TYPE_P (TREE_TYPE (startvar)))
4409 : 8 : t = fold_build2 (POINTER_PLUS_EXPR, TREE_TYPE (startvar),
4410 : : fd->loop.n1, fold_convert (sizetype, t));
4411 : : else
4412 : : {
4413 : 176 : t = fold_convert (TREE_TYPE (startvar), t);
4414 : 176 : t = fold_build2 (PLUS_EXPR, TREE_TYPE (startvar),
4415 : : fd->loop.n1, t);
4416 : : }
4417 : : }
4418 : : else
4419 : : {
4420 : 3927 : if (POINTER_TYPE_P (TREE_TYPE (startvar)))
4421 : 240 : t = fold_convert (signed_type_for (TREE_TYPE (startvar)), t);
4422 : 3927 : t = fold_convert (TREE_TYPE (startvar), t);
4423 : : }
4424 : 4111 : iend = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
4425 : : false, GSI_CONTINUE_LINKING);
4426 : 4111 : if (endvar)
4427 : : {
4428 : 1389 : assign_stmt = gimple_build_assign (endvar, iend);
4429 : 1389 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
4430 : 1389 : if (useless_type_conversion_p (TREE_TYPE (fd->loop.v), TREE_TYPE (iend)))
4431 : 857 : assign_stmt = gimple_build_assign (fd->loop.v, iend);
4432 : : else
4433 : 532 : assign_stmt = gimple_build_assign (fd->loop.v, NOP_EXPR, iend);
4434 : 1389 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
4435 : : }
4436 : : /* Handle linear clause adjustments. */
4437 : 4111 : tree itercnt = NULL_TREE;
4438 : 4111 : if (gimple_omp_for_kind (fd->for_stmt) == GF_OMP_FOR_KIND_FOR)
4439 : 26944 : for (tree c = gimple_omp_for_clauses (fd->for_stmt);
4440 : 26944 : c; c = OMP_CLAUSE_CHAIN (c))
4441 : 22833 : if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LINEAR
4442 : 22833 : && !OMP_CLAUSE_LINEAR_NO_COPYIN (c))
4443 : : {
4444 : 72 : tree d = OMP_CLAUSE_DECL (c);
4445 : 72 : tree t = d, a, dest;
4446 : 72 : if (omp_privatize_by_reference (t))
4447 : 2 : t = build_simple_mem_ref_loc (OMP_CLAUSE_LOCATION (c), t);
4448 : 72 : tree type = TREE_TYPE (t);
4449 : 72 : if (POINTER_TYPE_P (type))
4450 : 0 : type = sizetype;
4451 : 72 : dest = unshare_expr (t);
4452 : 72 : tree v = create_tmp_var (TREE_TYPE (t), NULL);
4453 : 72 : expand_omp_build_assign (&gsif, v, t);
4454 : 72 : if (itercnt == NULL_TREE)
4455 : : {
4456 : 72 : itercnt = startvar;
4457 : 72 : tree n1 = fd->loop.n1;
4458 : 72 : if (POINTER_TYPE_P (TREE_TYPE (itercnt)))
4459 : : {
4460 : 0 : itercnt
4461 : 0 : = fold_convert (signed_type_for (TREE_TYPE (itercnt)),
4462 : : itercnt);
4463 : 0 : n1 = fold_convert (TREE_TYPE (itercnt), n1);
4464 : : }
4465 : 72 : itercnt = fold_build2 (MINUS_EXPR, TREE_TYPE (itercnt),
4466 : : itercnt, n1);
4467 : 72 : itercnt = fold_build2 (EXACT_DIV_EXPR, TREE_TYPE (itercnt),
4468 : : itercnt, fd->loop.step);
4469 : 72 : itercnt = force_gimple_operand_gsi (&gsi, itercnt, true,
4470 : : NULL_TREE, false,
4471 : : GSI_CONTINUE_LINKING);
4472 : : }
4473 : 72 : a = fold_build2 (MULT_EXPR, type,
4474 : : fold_convert (type, itercnt),
4475 : : fold_convert (type, OMP_CLAUSE_LINEAR_STEP (c)));
4476 : 72 : t = fold_build2 (type == TREE_TYPE (t) ? PLUS_EXPR
4477 : : : POINTER_PLUS_EXPR, TREE_TYPE (t), v, a);
4478 : 72 : t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
4479 : : false, GSI_CONTINUE_LINKING);
4480 : 72 : expand_omp_build_assign (&gsi, dest, t, true);
4481 : : }
4482 : 4111 : if (fd->collapse > 1)
4483 : 1481 : expand_omp_for_init_vars (fd, &gsi, counts, NULL, inner_stmt, startvar);
4484 : :
4485 : 4111 : if (fd->ordered)
4486 : : {
4487 : : /* Until now, counts array contained number of iterations or
4488 : : variable containing it for ith loop. From now on, we usually need
4489 : : those counts only for collapsed loops, and only for the 2nd
4490 : : till the last collapsed one. Move those one element earlier,
4491 : : we'll use counts[fd->collapse - 1] for the first source/sink
4492 : : iteration counter and so on and counts[fd->ordered]
4493 : : as the array holding the current counter values for
4494 : : depend(source). For doacross(sink:omp_cur_iteration - 1) we need
4495 : : the counts from fd->collapse to fd->ordered - 1; make a copy of
4496 : : those to counts[fd->ordered + 2] and onwards.
4497 : : counts[fd->ordered + 1] can be a flag whether it is the first
4498 : : iteration with a new collapsed counter (used only if
4499 : : fd->ordered > fd->collapse). */
4500 : 331 : if (fd->ordered > fd->collapse)
4501 : 171 : memcpy (counts + fd->ordered + 2, counts + fd->collapse,
4502 : 171 : (fd->ordered - fd->collapse) * sizeof (counts[0]));
4503 : 331 : if (fd->collapse > 1)
4504 : 147 : memmove (counts, counts + 1, (fd->collapse - 1) * sizeof (counts[0]));
4505 : 331 : if (broken_loop)
4506 : : {
4507 : : int i;
4508 : 41 : for (i = fd->collapse; i < fd->ordered; i++)
4509 : : {
4510 : 33 : tree type = TREE_TYPE (fd->loops[i].v);
4511 : 33 : tree this_cond
4512 : 33 : = fold_build2 (fd->loops[i].cond_code, boolean_type_node,
4513 : : fold_convert (type, fd->loops[i].n1),
4514 : : fold_convert (type, fd->loops[i].n2));
4515 : 33 : if (!integer_onep (this_cond))
4516 : : break;
4517 : : }
4518 : 37 : if (i < fd->ordered)
4519 : : {
4520 : 29 : if (entry_bb->loop_father != l0_bb->loop_father)
4521 : : {
4522 : 4 : remove_bb_from_loops (l0_bb);
4523 : 4 : add_bb_to_loop (l0_bb, entry_bb->loop_father);
4524 : 4 : gcc_assert (single_succ (l0_bb) == l1_bb);
4525 : : }
4526 : 29 : cont_bb
4527 : 29 : = create_empty_bb (EXIT_BLOCK_PTR_FOR_FN (cfun)->prev_bb);
4528 : 29 : add_bb_to_loop (cont_bb, l0_bb->loop_father);
4529 : 29 : gimple_stmt_iterator gsi = gsi_after_labels (cont_bb);
4530 : 29 : gimple *g = gimple_build_omp_continue (fd->loop.v, fd->loop.v);
4531 : 29 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
4532 : 29 : make_edge (cont_bb, l3_bb, EDGE_FALLTHRU);
4533 : 29 : make_edge (cont_bb, l1_bb, 0);
4534 : 29 : l2_bb = create_empty_bb (cont_bb);
4535 : 29 : broken_loop = false;
4536 : : }
4537 : : }
4538 : 331 : expand_omp_ordered_source_sink (region, fd, counts, cont_bb);
4539 : 331 : cont_bb = expand_omp_for_ordered_loops (fd, counts, cont_bb, l1_bb,
4540 : : l0_bb, ordered_lastprivate);
4541 : 331 : if (counts[fd->collapse - 1])
4542 : : {
4543 : 37 : gcc_assert (fd->collapse == 1);
4544 : 37 : gsi = gsi_last_bb (l0_bb);
4545 : 37 : expand_omp_build_assign (&gsi, counts[fd->collapse - 1],
4546 : : istart0, true);
4547 : 37 : if (cont_bb)
4548 : : {
4549 : 33 : gsi = gsi_last_bb (cont_bb);
4550 : 33 : t = fold_build2 (PLUS_EXPR, fd->iter_type,
4551 : : counts[fd->collapse - 1],
4552 : : build_int_cst (fd->iter_type, 1));
4553 : 33 : expand_omp_build_assign (&gsi, counts[fd->collapse - 1], t);
4554 : 66 : tree aref = build4 (ARRAY_REF, fd->iter_type,
4555 : 33 : counts[fd->ordered], size_zero_node,
4556 : : NULL_TREE, NULL_TREE);
4557 : 33 : expand_omp_build_assign (&gsi, aref, counts[fd->collapse - 1]);
4558 : : }
4559 : 37 : t = counts[fd->collapse - 1];
4560 : : }
4561 : 294 : else if (fd->collapse > 1)
4562 : 147 : t = fd->loop.v;
4563 : : else
4564 : : {
4565 : 147 : t = fold_build2 (MINUS_EXPR, TREE_TYPE (fd->loops[0].v),
4566 : : fd->loops[0].v, fd->loops[0].n1);
4567 : 147 : t = fold_convert (fd->iter_type, t);
4568 : : }
4569 : 331 : gsi = gsi_last_bb (l0_bb);
4570 : 331 : tree aref = build4 (ARRAY_REF, fd->iter_type, counts[fd->ordered],
4571 : : size_zero_node, NULL_TREE, NULL_TREE);
4572 : 331 : t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
4573 : : false, GSI_CONTINUE_LINKING);
4574 : 331 : expand_omp_build_assign (&gsi, aref, t, true);
4575 : : }
4576 : :
4577 : 4111 : if (!broken_loop)
4578 : : {
4579 : : /* Code to control the increment and predicate for the sequential
4580 : : loop goes in the CONT_BB. */
4581 : 3733 : gsi = gsi_last_nondebug_bb (cont_bb);
4582 : 3733 : gomp_continue *cont_stmt = as_a <gomp_continue *> (gsi_stmt (gsi));
4583 : 3733 : gcc_assert (gimple_code (cont_stmt) == GIMPLE_OMP_CONTINUE);
4584 : 3733 : vmain = gimple_omp_continue_control_use (cont_stmt);
4585 : 3733 : vback = gimple_omp_continue_control_def (cont_stmt);
4586 : :
4587 : 3733 : if (cond_var)
4588 : : {
4589 : 46 : tree itype = TREE_TYPE (cond_var);
4590 : 46 : tree t2;
4591 : 46 : if ((fd->ordered && fd->collapse == 1)
4592 : 46 : || bias
4593 : 46 : || POINTER_TYPE_P (type)
4594 : 46 : || TREE_CODE (fd->loop.n1) != INTEGER_CST
4595 : 40 : || fd->loop.cond_code != LT_EXPR)
4596 : 6 : t2 = build_int_cst (itype, 1);
4597 : : else
4598 : 40 : t2 = fold_convert (itype, fd->loop.step);
4599 : 46 : t2 = fold_build2 (PLUS_EXPR, itype, cond_var, t2);
4600 : 46 : t2 = force_gimple_operand_gsi (&gsi, t2, false,
4601 : : NULL_TREE, true, GSI_SAME_STMT);
4602 : 46 : assign_stmt = gimple_build_assign (cond_var, t2);
4603 : 46 : gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
4604 : : }
4605 : :
4606 : 3733 : if (!gimple_omp_for_combined_p (fd->for_stmt))
4607 : : {
4608 : 2344 : if (POINTER_TYPE_P (type))
4609 : 160 : t = fold_build_pointer_plus (vmain, fd->loop.step);
4610 : : else
4611 : 2184 : t = fold_build2 (PLUS_EXPR, type, vmain, fd->loop.step);
4612 : 2344 : t = force_gimple_operand_gsi (&gsi, t,
4613 : 2344 : DECL_P (vback)
4614 : 2344 : && TREE_ADDRESSABLE (vback),
4615 : : NULL_TREE, true, GSI_SAME_STMT);
4616 : 2344 : assign_stmt = gimple_build_assign (vback, t);
4617 : 2344 : gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
4618 : :
4619 : 2344 : if (fd->ordered && counts[fd->collapse - 1] == NULL_TREE)
4620 : : {
4621 : 290 : tree tem;
4622 : 290 : if (fd->collapse > 1)
4623 : 143 : tem = fd->loop.v;
4624 : : else
4625 : : {
4626 : 147 : tem = fold_build2 (MINUS_EXPR, TREE_TYPE (fd->loops[0].v),
4627 : : fd->loops[0].v, fd->loops[0].n1);
4628 : 147 : tem = fold_convert (fd->iter_type, tem);
4629 : : }
4630 : 580 : tree aref = build4 (ARRAY_REF, fd->iter_type,
4631 : 290 : counts[fd->ordered], size_zero_node,
4632 : : NULL_TREE, NULL_TREE);
4633 : 290 : tem = force_gimple_operand_gsi (&gsi, tem, true, NULL_TREE,
4634 : : true, GSI_SAME_STMT);
4635 : 290 : expand_omp_build_assign (&gsi, aref, tem);
4636 : : }
4637 : :
4638 : 2344 : t = build2 (fd->loop.cond_code, boolean_type_node,
4639 : 2344 : DECL_P (vback) && TREE_ADDRESSABLE (vback) ? t : vback,
4640 : : iend);
4641 : 2344 : gcond *cond_stmt = gimple_build_cond_empty (t);
4642 : 2344 : gsi_insert_before (&gsi, cond_stmt, GSI_SAME_STMT);
4643 : : }
4644 : :
4645 : : /* Remove GIMPLE_OMP_CONTINUE. */
4646 : 3733 : gsi_remove (&gsi, true);
4647 : :
4648 : 3733 : if (fd->collapse > 1 && !gimple_omp_for_combined_p (fd->for_stmt))
4649 : 681 : collapse_bb = extract_omp_for_update_vars (fd, NULL, cont_bb, l1_bb);
4650 : :
4651 : : /* Emit code to get the next parallel iteration in L2_BB. */
4652 : 3733 : gsi = gsi_start_bb (l2_bb);
4653 : :
4654 : 3733 : t = build_call_expr (builtin_decl_explicit (next_fn), 2,
4655 : : build_fold_addr_expr (istart0),
4656 : : build_fold_addr_expr (iend0));
4657 : 3733 : t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
4658 : : false, GSI_CONTINUE_LINKING);
4659 : 3733 : if (TREE_TYPE (t) != boolean_type_node)
4660 : 0 : t = fold_build2 (NE_EXPR, boolean_type_node,
4661 : : t, build_int_cst (TREE_TYPE (t), 0));
4662 : 3733 : gcond *cond_stmt = gimple_build_cond_empty (t);
4663 : 3733 : gsi_insert_after (&gsi, cond_stmt, GSI_CONTINUE_LINKING);
4664 : : }
4665 : :
4666 : : /* Add the loop cleanup function. */
4667 : 4111 : gsi = gsi_last_nondebug_bb (exit_bb);
4668 : 4111 : if (gimple_omp_return_nowait_p (gsi_stmt (gsi)))
4669 : 3046 : t = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END_NOWAIT);
4670 : 1065 : else if (gimple_omp_return_lhs (gsi_stmt (gsi)))
4671 : 2 : t = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END_CANCEL);
4672 : : else
4673 : 1063 : t = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END);
4674 : 4111 : gcall *call_stmt = gimple_build_call (t, 0);
4675 : 4111 : if (fd->ordered)
4676 : : {
4677 : 331 : tree arr = counts[fd->ordered];
4678 : 331 : tree clobber = build_clobber (TREE_TYPE (arr));
4679 : 331 : gsi_insert_after (&gsi, gimple_build_assign (arr, clobber),
4680 : : GSI_SAME_STMT);
4681 : : }
4682 : 4111 : if (gimple_omp_return_lhs (gsi_stmt (gsi)))
4683 : : {
4684 : 2 : gimple_call_set_lhs (call_stmt, gimple_omp_return_lhs (gsi_stmt (gsi)));
4685 : 2 : if (fd->have_reductemp)
4686 : : {
4687 : 0 : gimple *g = gimple_build_assign (reductions, NOP_EXPR,
4688 : : gimple_call_lhs (call_stmt));
4689 : 0 : gsi_insert_after (&gsi, g, GSI_SAME_STMT);
4690 : : }
4691 : : }
4692 : 4111 : gsi_insert_after (&gsi, call_stmt, GSI_SAME_STMT);
4693 : 4111 : gsi_remove (&gsi, true);
4694 : :
4695 : : /* Connect the new blocks. */
4696 : 4111 : find_edge (entry_bb, l0_bb)->flags = EDGE_TRUE_VALUE;
4697 : 4111 : find_edge (entry_bb, l3_bb)->flags = EDGE_FALSE_VALUE;
4698 : :
4699 : 4111 : if (!broken_loop)
4700 : : {
4701 : 3733 : gimple_seq phis;
4702 : :
4703 : 3733 : e = find_edge (cont_bb, l3_bb);
4704 : 3733 : ne = make_edge (l2_bb, l3_bb, EDGE_FALSE_VALUE);
4705 : :
4706 : 3733 : phis = phi_nodes (l3_bb);
4707 : 3753 : for (gsi = gsi_start (phis); !gsi_end_p (gsi); gsi_next (&gsi))
4708 : : {
4709 : 10 : gimple *phi = gsi_stmt (gsi);
4710 : 10 : SET_USE (PHI_ARG_DEF_PTR_FROM_EDGE (phi, ne),
4711 : : PHI_ARG_DEF_FROM_EDGE (phi, e));
4712 : : }
4713 : 3733 : remove_edge (e);
4714 : :
4715 : 3733 : make_edge (cont_bb, l2_bb, EDGE_FALSE_VALUE);
4716 : 3733 : e = find_edge (cont_bb, l1_bb);
4717 : 3733 : if (e == NULL)
4718 : : {
4719 : 12 : e = BRANCH_EDGE (cont_bb);
4720 : 12 : gcc_assert (single_succ (e->dest) == l1_bb);
4721 : : }
4722 : 3733 : if (gimple_omp_for_combined_p (fd->for_stmt))
4723 : : {
4724 : 1389 : remove_edge (e);
4725 : 1389 : e = NULL;
4726 : : }
4727 : 2344 : else if (fd->collapse > 1)
4728 : : {
4729 : 681 : remove_edge (e);
4730 : 681 : e = make_edge (cont_bb, collapse_bb, EDGE_TRUE_VALUE);
4731 : : }
4732 : : else
4733 : 1663 : e->flags = EDGE_TRUE_VALUE;
4734 : 3733 : if (e)
4735 : : {
4736 : 2344 : e->probability = profile_probability::guessed_always ().apply_scale (7, 8);
4737 : 2344 : find_edge (cont_bb, l2_bb)->probability = e->probability.invert ();
4738 : : }
4739 : : else
4740 : : {
4741 : 1389 : e = find_edge (cont_bb, l2_bb);
4742 : 1389 : e->flags = EDGE_FALLTHRU;
4743 : : }
4744 : 3733 : make_edge (l2_bb, l0_bb, EDGE_TRUE_VALUE);
4745 : :
4746 : 3733 : if (gimple_in_ssa_p (cfun))
4747 : : {
4748 : : /* Add phis to the outer loop that connect to the phis in the inner,
4749 : : original loop, and move the loop entry value of the inner phi to
4750 : : the loop entry value of the outer phi. */
4751 : 12 : gphi_iterator psi;
4752 : 22 : for (psi = gsi_start_phis (l3_bb); !gsi_end_p (psi); gsi_next (&psi))
4753 : : {
4754 : 10 : location_t locus;
4755 : 10 : gphi *nphi;
4756 : 10 : gphi *exit_phi = psi.phi ();
4757 : :
4758 : 20 : if (virtual_operand_p (gimple_phi_result (exit_phi)))
4759 : 5 : continue;
4760 : :
4761 : 5 : edge l2_to_l3 = find_edge (l2_bb, l3_bb);
4762 : 5 : tree exit_res = PHI_ARG_DEF_FROM_EDGE (exit_phi, l2_to_l3);
4763 : :
4764 : 5 : basic_block latch = BRANCH_EDGE (cont_bb)->dest;
4765 : 5 : edge latch_to_l1 = find_edge (latch, l1_bb);
4766 : 5 : gphi *inner_phi
4767 : 5 : = find_phi_with_arg_on_edge (exit_res, latch_to_l1);
4768 : :
4769 : 5 : tree t = gimple_phi_result (exit_phi);
4770 : 5 : tree new_res = copy_ssa_name (t, NULL);
4771 : 5 : nphi = create_phi_node (new_res, l0_bb);
4772 : :
4773 : 5 : edge l0_to_l1 = find_edge (l0_bb, l1_bb);
4774 : 5 : t = PHI_ARG_DEF_FROM_EDGE (inner_phi, l0_to_l1);
4775 : 5 : locus = gimple_phi_arg_location_from_edge (inner_phi, l0_to_l1);
4776 : 5 : edge entry_to_l0 = find_edge (entry_bb, l0_bb);
4777 : 5 : add_phi_arg (nphi, t, entry_to_l0, locus);
4778 : :
4779 : 5 : edge l2_to_l0 = find_edge (l2_bb, l0_bb);
4780 : 5 : add_phi_arg (nphi, exit_res, l2_to_l0, UNKNOWN_LOCATION);
4781 : :
4782 : 5 : add_phi_arg (inner_phi, new_res, l0_to_l1, UNKNOWN_LOCATION);
4783 : : }
4784 : : }
4785 : :
4786 : 3733 : set_immediate_dominator (CDI_DOMINATORS, l2_bb,
4787 : : recompute_dominator (CDI_DOMINATORS, l2_bb));
4788 : 3733 : set_immediate_dominator (CDI_DOMINATORS, l3_bb,
4789 : : recompute_dominator (CDI_DOMINATORS, l3_bb));
4790 : 3733 : set_immediate_dominator (CDI_DOMINATORS, l0_bb,
4791 : : recompute_dominator (CDI_DOMINATORS, l0_bb));
4792 : 3733 : set_immediate_dominator (CDI_DOMINATORS, l1_bb,
4793 : : recompute_dominator (CDI_DOMINATORS, l1_bb));
4794 : :
4795 : : /* We enter expand_omp_for_generic with a loop. This original loop may
4796 : : have its own loop struct, or it may be part of an outer loop struct
4797 : : (which may be the fake loop). */
4798 : 3733 : class loop *outer_loop = entry_bb->loop_father;
4799 : 3733 : bool orig_loop_has_loop_struct = l1_bb->loop_father != outer_loop;
4800 : :
4801 : 3733 : add_bb_to_loop (l2_bb, outer_loop);
4802 : :
4803 : : /* We've added a new loop around the original loop. Allocate the
4804 : : corresponding loop struct. */
4805 : 3733 : class loop *new_loop = alloc_loop ();
4806 : 3733 : new_loop->header = l0_bb;
4807 : 3733 : new_loop->latch = l2_bb;
4808 : 3733 : add_loop (new_loop, outer_loop);
4809 : :
4810 : : /* Allocate a loop structure for the original loop unless we already
4811 : : had one. */
4812 : 3733 : if (!orig_loop_has_loop_struct
4813 : 3733 : && !gimple_omp_for_combined_p (fd->for_stmt))
4814 : : {
4815 : 2328 : class loop *orig_loop = alloc_loop ();
4816 : 2328 : orig_loop->header = l1_bb;
4817 : : /* The loop may have multiple latches. */
4818 : 2328 : add_loop (orig_loop, new_loop);
4819 : : }
4820 : : }
4821 : 4111 : }
4822 : :
4823 : : /* Helper function for expand_omp_for_static_nochunk. If PTR is NULL,
4824 : : compute needed allocation size. If !ALLOC of team allocations,
4825 : : if ALLOC of thread allocation. SZ is the initial needed size for
4826 : : other purposes, ALLOC_ALIGN guaranteed alignment of allocation in bytes,
4827 : : CNT number of elements of each array, for !ALLOC this is
4828 : : omp_get_num_threads (), for ALLOC number of iterations handled by the
4829 : : current thread. If PTR is non-NULL, it is the start of the allocation
4830 : : and this routine shall assign to OMP_CLAUSE_DECL (c) of those _scantemp_
4831 : : clauses pointers to the corresponding arrays. */
4832 : :
4833 : : static tree
4834 : 692 : expand_omp_scantemp_alloc (tree clauses, tree ptr, unsigned HOST_WIDE_INT sz,
4835 : : unsigned HOST_WIDE_INT alloc_align, tree cnt,
4836 : : gimple_stmt_iterator *gsi, bool alloc)
4837 : : {
4838 : 692 : tree eltsz = NULL_TREE;
4839 : 692 : unsigned HOST_WIDE_INT preval = 0;
4840 : 692 : if (ptr && sz)
4841 : 5 : ptr = fold_build2 (POINTER_PLUS_EXPR, TREE_TYPE (ptr),
4842 : : ptr, size_int (sz));
4843 : 5720 : for (tree c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
4844 : 5028 : if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE__SCANTEMP_
4845 : 3024 : && !OMP_CLAUSE__SCANTEMP__CONTROL (c)
4846 : 6668 : && (!OMP_CLAUSE__SCANTEMP__ALLOC (c)) != alloc)
4847 : : {
4848 : 820 : tree pointee_type = TREE_TYPE (TREE_TYPE (OMP_CLAUSE_DECL (c)));
4849 : 820 : unsigned HOST_WIDE_INT al = TYPE_ALIGN_UNIT (pointee_type);
4850 : 820 : if (tree_fits_uhwi_p (TYPE_SIZE_UNIT (pointee_type)))
4851 : : {
4852 : 820 : unsigned HOST_WIDE_INT szl
4853 : 820 : = tree_to_uhwi (TYPE_SIZE_UNIT (pointee_type));
4854 : 820 : szl = least_bit_hwi (szl);
4855 : 820 : if (szl)
4856 : 820 : al = MIN (al, szl);
4857 : : }
4858 : 820 : if (ptr == NULL_TREE)
4859 : : {
4860 : 410 : if (eltsz == NULL_TREE)
4861 : 346 : eltsz = TYPE_SIZE_UNIT (pointee_type);
4862 : : else
4863 : 64 : eltsz = size_binop (PLUS_EXPR, eltsz,
4864 : : TYPE_SIZE_UNIT (pointee_type));
4865 : : }
4866 : 820 : if (preval == 0 && al <= alloc_align)
4867 : : {
4868 : 692 : unsigned HOST_WIDE_INT diff = ROUND_UP (sz, al) - sz;
4869 : 692 : sz += diff;
4870 : 692 : if (diff && ptr)
4871 : 0 : ptr = fold_build2 (POINTER_PLUS_EXPR, TREE_TYPE (ptr),
4872 : : ptr, size_int (diff));
4873 : : }
4874 : 128 : else if (al > preval)
4875 : : {
4876 : 32 : if (ptr)
4877 : : {
4878 : 16 : ptr = fold_convert (pointer_sized_int_node, ptr);
4879 : 16 : ptr = fold_build2 (PLUS_EXPR, pointer_sized_int_node, ptr,
4880 : : build_int_cst (pointer_sized_int_node,
4881 : : al - 1));
4882 : 16 : ptr = fold_build2 (BIT_AND_EXPR, pointer_sized_int_node, ptr,
4883 : : build_int_cst (pointer_sized_int_node,
4884 : : -(HOST_WIDE_INT) al));
4885 : 16 : ptr = fold_convert (ptr_type_node, ptr);
4886 : : }
4887 : : else
4888 : 16 : sz += al - 1;
4889 : : }
4890 : 820 : if (tree_fits_uhwi_p (TYPE_SIZE_UNIT (pointee_type)))
4891 : : preval = al;
4892 : : else
4893 : 0 : preval = 1;
4894 : 820 : if (ptr)
4895 : : {
4896 : 410 : expand_omp_build_assign (gsi, OMP_CLAUSE_DECL (c), ptr, false);
4897 : 410 : ptr = OMP_CLAUSE_DECL (c);
4898 : 410 : ptr = fold_build2 (POINTER_PLUS_EXPR, TREE_TYPE (ptr), ptr,
4899 : : size_binop (MULT_EXPR, cnt,
4900 : : TYPE_SIZE_UNIT (pointee_type)));
4901 : : }
4902 : : }
4903 : :
4904 : 692 : if (ptr == NULL_TREE)
4905 : : {
4906 : 346 : eltsz = size_binop (MULT_EXPR, eltsz, cnt);
4907 : 346 : if (sz)
4908 : 13 : eltsz = size_binop (PLUS_EXPR, eltsz, size_int (sz));
4909 : 346 : return eltsz;
4910 : : }
4911 : : else
4912 : : return ptr;
4913 : : }
4914 : :
4915 : : /* Return the last _looptemp_ clause if one has been created for
4916 : : lastprivate on distribute parallel for{, simd} or taskloop.
4917 : : FD is the loop data and INNERC should be the second _looptemp_
4918 : : clause (the one holding the end of the range).
4919 : : This is followed by collapse - 1 _looptemp_ clauses for the
4920 : : counts[1] and up, and for triangular loops followed by 4
4921 : : further _looptemp_ clauses (one for counts[0], one first_inner_iterations,
4922 : : one factor and one adjn1). After this there is optionally one
4923 : : _looptemp_ clause that this function returns. */
4924 : :
4925 : : static tree
4926 : 1628 : find_lastprivate_looptemp (struct omp_for_data *fd, tree innerc)
4927 : : {
4928 : 1628 : gcc_assert (innerc);
4929 : 1628 : int count = fd->collapse - 1;
4930 : 1628 : if (fd->non_rect
4931 : 24 : && fd->last_nonrect == fd->first_nonrect + 1
4932 : 1640 : && !TYPE_UNSIGNED (TREE_TYPE (fd->loops[fd->last_nonrect].v)))
4933 : 12 : count += 4;
4934 : 4799 : for (int i = 0; i < count; i++)
4935 : : {
4936 : 3171 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
4937 : : OMP_CLAUSE__LOOPTEMP_);
4938 : 3171 : gcc_assert (innerc);
4939 : : }
4940 : 1628 : return omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
4941 : 1628 : OMP_CLAUSE__LOOPTEMP_);
4942 : : }
4943 : :
4944 : : /* A subroutine of expand_omp_for. Generate code for a parallel
4945 : : loop with static schedule and no specified chunk size. Given
4946 : : parameters:
4947 : :
4948 : : for (V = N1; V cond N2; V += STEP) BODY;
4949 : :
4950 : : where COND is "<" or ">", we generate pseudocode
4951 : :
4952 : : if ((__typeof (V)) -1 > 0 && N2 cond N1) goto L2;
4953 : : if (cond is <)
4954 : : adj = STEP - 1;
4955 : : else
4956 : : adj = STEP + 1;
4957 : : if ((__typeof (V)) -1 > 0 && cond is >)
4958 : : n = -(adj + N2 - N1) / -STEP;
4959 : : else
4960 : : n = (adj + N2 - N1) / STEP;
4961 : : q = n / nthreads;
4962 : : tt = n % nthreads;
4963 : : if (threadid < tt) goto L3; else goto L4;
4964 : : L3:
4965 : : tt = 0;
4966 : : q = q + 1;
4967 : : L4:
4968 : : s0 = q * threadid + tt;
4969 : : e0 = s0 + q;
4970 : : V = s0 * STEP + N1;
4971 : : if (s0 >= e0) goto L2; else goto L0;
4972 : : L0:
4973 : : e = e0 * STEP + N1;
4974 : : L1:
4975 : : BODY;
4976 : : V += STEP;
4977 : : if (V cond e) goto L1;
4978 : : L2:
4979 : : */
4980 : :
4981 : : static void
4982 : 13642 : expand_omp_for_static_nochunk (struct omp_region *region,
4983 : : struct omp_for_data *fd,
4984 : : gimple *inner_stmt)
4985 : : {
4986 : 13642 : tree n, q, s0, e0, e, t, tt, nthreads = NULL_TREE, threadid;
4987 : 13642 : tree type, itype, vmain, vback;
4988 : 13642 : basic_block entry_bb, second_bb, third_bb, exit_bb, seq_start_bb;
4989 : 13642 : basic_block body_bb, cont_bb, collapse_bb = NULL;
4990 : 13642 : basic_block fin_bb, fourth_bb = NULL, fifth_bb = NULL, sixth_bb = NULL;
4991 : 13642 : basic_block exit1_bb = NULL, exit2_bb = NULL, exit3_bb = NULL;
4992 : 13642 : gimple_stmt_iterator gsi, gsip;
4993 : 13642 : edge ep;
4994 : 13642 : bool broken_loop = region->cont == NULL;
4995 : 13642 : tree *counts = NULL;
4996 : 13642 : tree n1, n2, step;
4997 : 13642 : tree reductions = NULL_TREE;
4998 : 13642 : tree cond_var = NULL_TREE, condtemp = NULL_TREE;
4999 : :
5000 : 13642 : itype = type = TREE_TYPE (fd->loop.v);
5001 : 13642 : if (POINTER_TYPE_P (type))
5002 : 606 : itype = signed_type_for (type);
5003 : :
5004 : 13642 : entry_bb = region->entry;
5005 : 13642 : cont_bb = region->cont;
5006 : 13642 : gcc_assert (EDGE_COUNT (entry_bb->succs) == 2);
5007 : 13642 : fin_bb = BRANCH_EDGE (entry_bb)->dest;
5008 : 13642 : gcc_assert (broken_loop
5009 : : || (fin_bb == FALLTHRU_EDGE (cont_bb)->dest));
5010 : 13642 : seq_start_bb = split_edge (FALLTHRU_EDGE (entry_bb));
5011 : 13642 : body_bb = single_succ (seq_start_bb);
5012 : 13642 : if (!broken_loop)
5013 : : {
5014 : 13146 : gcc_assert (BRANCH_EDGE (cont_bb)->dest == body_bb
5015 : : || single_succ (BRANCH_EDGE (cont_bb)->dest) == body_bb);
5016 : 13146 : gcc_assert (EDGE_COUNT (cont_bb->succs) == 2);
5017 : : }
5018 : 13642 : exit_bb = region->exit;
5019 : :
5020 : : /* Iteration space partitioning goes in ENTRY_BB. */
5021 : 13642 : gsi = gsi_last_nondebug_bb (entry_bb);
5022 : 13642 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
5023 : 13642 : gsip = gsi;
5024 : 13642 : gsi_prev (&gsip);
5025 : :
5026 : 13642 : if (fd->collapse > 1)
5027 : : {
5028 : 3887 : int first_zero_iter = -1, dummy = -1;
5029 : 3887 : basic_block l2_dom_bb = NULL, dummy_bb = NULL;
5030 : :
5031 : 3887 : counts = XALLOCAVEC (tree, fd->collapse);
5032 : 3887 : expand_omp_for_init_counts (fd, &gsi, entry_bb, counts,
5033 : : fin_bb, first_zero_iter,
5034 : : dummy_bb, dummy, l2_dom_bb);
5035 : 3887 : t = NULL_TREE;
5036 : : }
5037 : 9755 : else if (gimple_omp_for_combined_into_p (fd->for_stmt))
5038 : 1972 : t = integer_one_node;
5039 : : else
5040 : 7783 : t = fold_binary (fd->loop.cond_code, boolean_type_node,
5041 : : fold_convert (type, fd->loop.n1),
5042 : : fold_convert (type, fd->loop.n2));
5043 : 13642 : if (fd->collapse == 1
5044 : 9755 : && TYPE_UNSIGNED (type)
5045 : 15650 : && (t == NULL_TREE || !integer_onep (t)))
5046 : : {
5047 : 518 : n1 = fold_convert (type, unshare_expr (fd->loop.n1));
5048 : 518 : n1 = force_gimple_operand_gsi (&gsi, n1, true, NULL_TREE,
5049 : : true, GSI_SAME_STMT);
5050 : 518 : n2 = fold_convert (type, unshare_expr (fd->loop.n2));
5051 : 518 : n2 = force_gimple_operand_gsi (&gsi, n2, true, NULL_TREE,
5052 : : true, GSI_SAME_STMT);
5053 : 518 : gcond *cond_stmt = expand_omp_build_cond (&gsi, fd->loop.cond_code,
5054 : : n1, n2);
5055 : 518 : ep = split_block (entry_bb, cond_stmt);
5056 : 518 : ep->flags = EDGE_TRUE_VALUE;
5057 : 518 : entry_bb = ep->dest;
5058 : 518 : ep->probability = profile_probability::very_likely ();
5059 : 518 : ep = make_edge (ep->src, fin_bb, EDGE_FALSE_VALUE);
5060 : 518 : ep->probability = profile_probability::very_unlikely ();
5061 : 518 : if (gimple_in_ssa_p (cfun))
5062 : : {
5063 : 20 : int dest_idx = find_edge (entry_bb, fin_bb)->dest_idx;
5064 : 20 : for (gphi_iterator gpi = gsi_start_phis (fin_bb);
5065 : 42 : !gsi_end_p (gpi); gsi_next (&gpi))
5066 : : {
5067 : 22 : gphi *phi = gpi.phi ();
5068 : 22 : add_phi_arg (phi, gimple_phi_arg_def (phi, dest_idx),
5069 : : ep, UNKNOWN_LOCATION);
5070 : : }
5071 : : }
5072 : 1036 : gsi = gsi_last_bb (entry_bb);
5073 : : }
5074 : :
5075 : 13642 : if (fd->lastprivate_conditional)
5076 : : {
5077 : 108 : tree clauses = gimple_omp_for_clauses (fd->for_stmt);
5078 : 108 : tree c = omp_find_clause (clauses, OMP_CLAUSE__CONDTEMP_);
5079 : 108 : if (fd->have_pointer_condtemp)
5080 : 38 : condtemp = OMP_CLAUSE_DECL (c);
5081 : 108 : c = omp_find_clause (OMP_CLAUSE_CHAIN (c), OMP_CLAUSE__CONDTEMP_);
5082 : 108 : cond_var = OMP_CLAUSE_DECL (c);
5083 : : }
5084 : 13642 : if (fd->have_reductemp
5085 : : /* For scan, we don't want to reinitialize condtemp before the
5086 : : second loop. */
5087 : 13589 : || (fd->have_pointer_condtemp && !fd->have_scantemp)
5088 : 13571 : || fd->have_nonctrl_scantemp)
5089 : : {
5090 : 244 : tree t1 = build_int_cst (long_integer_type_node, 0);
5091 : 244 : tree t2 = build_int_cst (long_integer_type_node, 1);
5092 : 488 : tree t3 = build_int_cstu (long_integer_type_node,
5093 : 244 : (HOST_WIDE_INT_1U << 31) + 1);
5094 : 244 : tree clauses = gimple_omp_for_clauses (fd->for_stmt);
5095 : 244 : gimple_stmt_iterator gsi2 = gsi_none ();
5096 : 244 : gimple *g = NULL;
5097 : 244 : tree mem = null_pointer_node, memv = NULL_TREE;
5098 : 244 : unsigned HOST_WIDE_INT condtemp_sz = 0;
5099 : 244 : unsigned HOST_WIDE_INT alloc_align = 0;
5100 : 244 : if (fd->have_reductemp)
5101 : : {
5102 : 53 : gcc_assert (!fd->have_nonctrl_scantemp);
5103 : 53 : tree c = omp_find_clause (clauses, OMP_CLAUSE__REDUCTEMP_);
5104 : 53 : reductions = OMP_CLAUSE_DECL (c);
5105 : 53 : gcc_assert (TREE_CODE (reductions) == SSA_NAME);
5106 : 53 : g = SSA_NAME_DEF_STMT (reductions);
5107 : 53 : reductions = gimple_assign_rhs1 (g);
5108 : 53 : OMP_CLAUSE_DECL (c) = reductions;
5109 : 53 : gsi2 = gsi_for_stmt (g);
5110 : : }
5111 : : else
5112 : : {
5113 : 191 : if (gsi_end_p (gsip))
5114 : 0 : gsi2 = gsi_after_labels (region->entry);
5115 : : else
5116 : 191 : gsi2 = gsip;
5117 : : reductions = null_pointer_node;
5118 : : }
5119 : 244 : if (fd->have_pointer_condtemp || fd->have_nonctrl_scantemp)
5120 : : {
5121 : 201 : tree type;
5122 : 201 : if (fd->have_pointer_condtemp)
5123 : 33 : type = TREE_TYPE (condtemp);
5124 : : else
5125 : 168 : type = ptr_type_node;
5126 : 201 : memv = create_tmp_var (type);
5127 : 201 : TREE_ADDRESSABLE (memv) = 1;
5128 : 201 : unsigned HOST_WIDE_INT sz = 0;
5129 : 201 : tree size = NULL_TREE;
5130 : 201 : if (fd->have_pointer_condtemp)
5131 : : {
5132 : 33 : sz = tree_to_uhwi (TYPE_SIZE_UNIT (TREE_TYPE (type)));
5133 : 33 : sz *= fd->lastprivate_conditional;
5134 : 33 : condtemp_sz = sz;
5135 : : }
5136 : 201 : if (fd->have_nonctrl_scantemp)
5137 : : {
5138 : 173 : nthreads = builtin_decl_explicit (BUILT_IN_OMP_GET_NUM_THREADS);
5139 : 173 : gimple *g = gimple_build_call (nthreads, 0);
5140 : 173 : nthreads = create_tmp_var (integer_type_node);
5141 : 173 : gimple_call_set_lhs (g, nthreads);
5142 : 173 : gsi_insert_before (&gsi2, g, GSI_SAME_STMT);
5143 : 173 : nthreads = fold_convert (sizetype, nthreads);
5144 : 173 : alloc_align = TYPE_ALIGN_UNIT (long_long_integer_type_node);
5145 : 173 : size = expand_omp_scantemp_alloc (clauses, NULL_TREE, sz,
5146 : : alloc_align, nthreads, NULL,
5147 : : false);
5148 : 173 : size = fold_convert (type, size);
5149 : : }
5150 : : else
5151 : 28 : size = build_int_cst (type, sz);
5152 : 201 : expand_omp_build_assign (&gsi2, memv, size, false);
5153 : 201 : mem = build_fold_addr_expr (memv);
5154 : : }
5155 : 244 : tree t
5156 : 244 : = build_call_expr (builtin_decl_explicit (BUILT_IN_GOMP_LOOP_START),
5157 : : 9, t1, t2, t2, t3, t1, null_pointer_node,
5158 : : null_pointer_node, reductions, mem);
5159 : 244 : force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
5160 : : true, GSI_SAME_STMT);
5161 : 244 : if (fd->have_pointer_condtemp)
5162 : 33 : expand_omp_build_assign (&gsi2, condtemp, memv, false);
5163 : 244 : if (fd->have_nonctrl_scantemp)
5164 : : {
5165 : 173 : tree ptr = fd->have_pointer_condtemp ? condtemp : memv;
5166 : 173 : expand_omp_scantemp_alloc (clauses, ptr, condtemp_sz,
5167 : : alloc_align, nthreads, &gsi2, false);
5168 : : }
5169 : 244 : if (fd->have_reductemp)
5170 : : {
5171 : 53 : gsi_remove (&gsi2, true);
5172 : 53 : release_ssa_name (gimple_assign_lhs (g));
5173 : : }
5174 : : }
5175 : 13642 : switch (gimple_omp_for_kind (fd->for_stmt))
5176 : : {
5177 : 9157 : case GF_OMP_FOR_KIND_FOR:
5178 : 9157 : nthreads = builtin_decl_explicit (BUILT_IN_OMP_GET_NUM_THREADS);
5179 : 9157 : threadid = builtin_decl_explicit (BUILT_IN_OMP_GET_THREAD_NUM);
5180 : 9157 : break;
5181 : 4485 : case GF_OMP_FOR_KIND_DISTRIBUTE:
5182 : 4485 : nthreads = builtin_decl_explicit (BUILT_IN_OMP_GET_NUM_TEAMS);
5183 : 4485 : threadid = builtin_decl_explicit (BUILT_IN_OMP_GET_TEAM_NUM);
5184 : 4485 : break;
5185 : 0 : default:
5186 : 0 : gcc_unreachable ();
5187 : : }
5188 : 13642 : nthreads = build_call_expr (nthreads, 0);
5189 : 13642 : nthreads = fold_convert (itype, nthreads);
5190 : 13642 : nthreads = force_gimple_operand_gsi (&gsi, nthreads, true, NULL_TREE,
5191 : : true, GSI_SAME_STMT);
5192 : 13642 : threadid = build_call_expr (threadid, 0);
5193 : 13642 : threadid = fold_convert (itype, threadid);
5194 : 13642 : threadid = force_gimple_operand_gsi (&gsi, threadid, true, NULL_TREE,
5195 : : true, GSI_SAME_STMT);
5196 : :
5197 : 13642 : n1 = fd->loop.n1;
5198 : 13642 : n2 = fd->loop.n2;
5199 : 13642 : step = fd->loop.step;
5200 : 13642 : if (gimple_omp_for_combined_into_p (fd->for_stmt))
5201 : : {
5202 : 3003 : tree innerc = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
5203 : : OMP_CLAUSE__LOOPTEMP_);
5204 : 3003 : gcc_assert (innerc);
5205 : 3003 : n1 = OMP_CLAUSE_DECL (innerc);
5206 : 3003 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
5207 : : OMP_CLAUSE__LOOPTEMP_);
5208 : 3003 : gcc_assert (innerc);
5209 : 3003 : n2 = OMP_CLAUSE_DECL (innerc);
5210 : : }
5211 : 13642 : n1 = force_gimple_operand_gsi (&gsi, fold_convert (type, n1),
5212 : : true, NULL_TREE, true, GSI_SAME_STMT);
5213 : 13642 : n2 = force_gimple_operand_gsi (&gsi, fold_convert (itype, n2),
5214 : : true, NULL_TREE, true, GSI_SAME_STMT);
5215 : 13642 : step = force_gimple_operand_gsi (&gsi, fold_convert (itype, step),
5216 : : true, NULL_TREE, true, GSI_SAME_STMT);
5217 : :
5218 : 14661 : t = build_int_cst (itype, (fd->loop.cond_code == LT_EXPR ? -1 : 1));
5219 : 13642 : t = fold_build2 (PLUS_EXPR, itype, step, t);
5220 : 13642 : t = fold_build2 (PLUS_EXPR, itype, t, n2);
5221 : 13642 : t = fold_build2 (MINUS_EXPR, itype, t, fold_convert (itype, n1));
5222 : 13642 : if (TYPE_UNSIGNED (itype) && fd->loop.cond_code == GT_EXPR)
5223 : 414 : t = fold_build2 (TRUNC_DIV_EXPR, itype,
5224 : : fold_build1 (NEGATE_EXPR, itype, t),
5225 : : fold_build1 (NEGATE_EXPR, itype, step));
5226 : : else
5227 : 13228 : t = fold_build2 (TRUNC_DIV_EXPR, itype, t, step);
5228 : 13642 : t = fold_convert (itype, t);
5229 : 13642 : n = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE, true, GSI_SAME_STMT);
5230 : :
5231 : 13642 : q = create_tmp_reg (itype, "q");
5232 : 13642 : t = fold_build2 (TRUNC_DIV_EXPR, itype, n, nthreads);
5233 : 13642 : t = force_gimple_operand_gsi (&gsi, t, false, NULL_TREE, true, GSI_SAME_STMT);
5234 : 13642 : gsi_insert_before (&gsi, gimple_build_assign (q, t), GSI_SAME_STMT);
5235 : :
5236 : 13642 : tt = create_tmp_reg (itype, "tt");
5237 : 13642 : t = fold_build2 (TRUNC_MOD_EXPR, itype, n, nthreads);
5238 : 13642 : t = force_gimple_operand_gsi (&gsi, t, false, NULL_TREE, true, GSI_SAME_STMT);
5239 : 13642 : gsi_insert_before (&gsi, gimple_build_assign (tt, t), GSI_SAME_STMT);
5240 : :
5241 : 13642 : t = build2 (LT_EXPR, boolean_type_node, threadid, tt);
5242 : 13642 : gcond *cond_stmt = gimple_build_cond_empty (t);
5243 : 13642 : gsi_insert_before (&gsi, cond_stmt, GSI_SAME_STMT);
5244 : :
5245 : 13642 : second_bb = split_block (entry_bb, cond_stmt)->dest;
5246 : 13642 : gsi = gsi_last_nondebug_bb (second_bb);
5247 : 13642 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
5248 : :
5249 : 13642 : gsi_insert_before (&gsi, gimple_build_assign (tt, build_int_cst (itype, 0)),
5250 : : GSI_SAME_STMT);
5251 : 13642 : gassign *assign_stmt
5252 : 13642 : = gimple_build_assign (q, PLUS_EXPR, q, build_int_cst (itype, 1));
5253 : 13642 : gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
5254 : :
5255 : 13642 : third_bb = split_block (second_bb, assign_stmt)->dest;
5256 : 13642 : gsi = gsi_last_nondebug_bb (third_bb);
5257 : 13642 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
5258 : :
5259 : 13642 : if (fd->have_nonctrl_scantemp)
5260 : : {
5261 : 173 : tree clauses = gimple_omp_for_clauses (fd->for_stmt);
5262 : 173 : tree controlp = NULL_TREE, controlb = NULL_TREE;
5263 : 756 : for (tree c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
5264 : 756 : if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE__SCANTEMP_
5265 : 756 : && OMP_CLAUSE__SCANTEMP__CONTROL (c))
5266 : : {
5267 : 346 : if (TREE_TYPE (OMP_CLAUSE_DECL (c)) == boolean_type_node)
5268 : 173 : controlb = OMP_CLAUSE_DECL (c);
5269 : : else
5270 : 173 : controlp = OMP_CLAUSE_DECL (c);
5271 : 346 : if (controlb && controlp)
5272 : : break;
5273 : : }
5274 : 173 : gcc_assert (controlp && controlb);
5275 : 173 : tree cnt = create_tmp_var (sizetype);
5276 : 173 : gimple *g = gimple_build_assign (cnt, NOP_EXPR, q);
5277 : 173 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
5278 : 173 : unsigned HOST_WIDE_INT alloc_align = TYPE_ALIGN_UNIT (ptr_type_node);
5279 : 173 : tree sz = expand_omp_scantemp_alloc (clauses, NULL_TREE, 0,
5280 : : alloc_align, cnt, NULL, true);
5281 : 173 : tree size = create_tmp_var (sizetype);
5282 : 173 : expand_omp_build_assign (&gsi, size, sz, false);
5283 : 173 : tree cmp = fold_build2 (GT_EXPR, boolean_type_node,
5284 : : size, size_int (16384));
5285 : 173 : expand_omp_build_assign (&gsi, controlb, cmp);
5286 : 173 : g = gimple_build_cond (NE_EXPR, controlb, boolean_false_node,
5287 : : NULL_TREE, NULL_TREE);
5288 : 173 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
5289 : 173 : fourth_bb = split_block (third_bb, g)->dest;
5290 : 173 : gsi = gsi_last_nondebug_bb (fourth_bb);
5291 : : /* FIXME: Once we have allocators, this should use allocator. */
5292 : 173 : g = gimple_build_call (builtin_decl_explicit (BUILT_IN_MALLOC), 1, size);
5293 : 173 : gimple_call_set_lhs (g, controlp);
5294 : 173 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
5295 : 173 : expand_omp_scantemp_alloc (clauses, controlp, 0, alloc_align, cnt,
5296 : : &gsi, true);
5297 : 173 : gsi_prev (&gsi);
5298 : 173 : g = gsi_stmt (gsi);
5299 : 173 : fifth_bb = split_block (fourth_bb, g)->dest;
5300 : 173 : gsi = gsi_last_nondebug_bb (fifth_bb);
5301 : :
5302 : 346 : g = gimple_build_call (builtin_decl_implicit (BUILT_IN_STACK_SAVE), 0);
5303 : 173 : gimple_call_set_lhs (g, controlp);
5304 : 173 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
5305 : 173 : tree alloca_decl = builtin_decl_explicit (BUILT_IN_ALLOCA_WITH_ALIGN);
5306 : 1430 : for (tree c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
5307 : 1257 : if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE__SCANTEMP_
5308 : 1257 : && OMP_CLAUSE__SCANTEMP__ALLOC (c))
5309 : : {
5310 : 205 : tree tmp = create_tmp_var (sizetype);
5311 : 205 : tree pointee_type = TREE_TYPE (TREE_TYPE (OMP_CLAUSE_DECL (c)));
5312 : 205 : g = gimple_build_assign (tmp, MULT_EXPR, cnt,
5313 : 205 : TYPE_SIZE_UNIT (pointee_type));
5314 : 205 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
5315 : 205 : g = gimple_build_call (alloca_decl, 2, tmp,
5316 : 205 : size_int (TYPE_ALIGN (pointee_type)));
5317 : 205 : gimple_call_set_lhs (g, OMP_CLAUSE_DECL (c));
5318 : 205 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
5319 : : }
5320 : :
5321 : 173 : sixth_bb = split_block (fifth_bb, g)->dest;
5322 : 173 : gsi = gsi_last_nondebug_bb (sixth_bb);
5323 : : }
5324 : :
5325 : 13642 : t = build2 (MULT_EXPR, itype, q, threadid);
5326 : 13642 : t = build2 (PLUS_EXPR, itype, t, tt);
5327 : 13642 : s0 = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE, true, GSI_SAME_STMT);
5328 : :
5329 : 13642 : t = fold_build2 (PLUS_EXPR, itype, s0, q);
5330 : 13642 : e0 = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE, true, GSI_SAME_STMT);
5331 : :
5332 : 13642 : t = build2 (GE_EXPR, boolean_type_node, s0, e0);
5333 : 13642 : gsi_insert_before (&gsi, gimple_build_cond_empty (t), GSI_SAME_STMT);
5334 : :
5335 : : /* Remove the GIMPLE_OMP_FOR statement. */
5336 : 13642 : gsi_remove (&gsi, true);
5337 : :
5338 : : /* Setup code for sequential iteration goes in SEQ_START_BB. */
5339 : 13642 : gsi = gsi_start_bb (seq_start_bb);
5340 : :
5341 : 13642 : tree startvar = fd->loop.v;
5342 : 13642 : tree endvar = NULL_TREE;
5343 : :
5344 : 13642 : if (gimple_omp_for_combined_p (fd->for_stmt))
5345 : : {
5346 : 6992 : tree clauses = gimple_code (inner_stmt) == GIMPLE_OMP_PARALLEL
5347 : 10476 : ? gimple_omp_parallel_clauses (inner_stmt)
5348 : 3508 : : gimple_omp_for_clauses (inner_stmt);
5349 : 6992 : tree innerc = omp_find_clause (clauses, OMP_CLAUSE__LOOPTEMP_);
5350 : 6992 : gcc_assert (innerc);
5351 : 6992 : startvar = OMP_CLAUSE_DECL (innerc);
5352 : 6992 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
5353 : : OMP_CLAUSE__LOOPTEMP_);
5354 : 6992 : gcc_assert (innerc);
5355 : 6992 : endvar = OMP_CLAUSE_DECL (innerc);
5356 : 2284 : if (fd->collapse > 1 && TREE_CODE (fd->loop.n2) != INTEGER_CST
5357 : 8302 : && gimple_omp_for_kind (fd->for_stmt) == GF_OMP_FOR_KIND_DISTRIBUTE)
5358 : : {
5359 : 823 : innerc = find_lastprivate_looptemp (fd, innerc);
5360 : 823 : if (innerc)
5361 : : {
5362 : : /* If needed (distribute parallel for with lastprivate),
5363 : : propagate down the total number of iterations. */
5364 : 371 : tree t = fold_convert (TREE_TYPE (OMP_CLAUSE_DECL (innerc)),
5365 : : fd->loop.n2);
5366 : 371 : t = force_gimple_operand_gsi (&gsi, t, false, NULL_TREE, false,
5367 : : GSI_CONTINUE_LINKING);
5368 : 371 : assign_stmt = gimple_build_assign (OMP_CLAUSE_DECL (innerc), t);
5369 : 371 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
5370 : : }
5371 : : }
5372 : : }
5373 : 13642 : t = fold_convert (itype, s0);
5374 : 13642 : t = fold_build2 (MULT_EXPR, itype, t, step);
5375 : 13642 : if (POINTER_TYPE_P (type))
5376 : : {
5377 : 606 : t = fold_build_pointer_plus (n1, t);
5378 : 670 : if (!POINTER_TYPE_P (TREE_TYPE (startvar))
5379 : 670 : && TYPE_PRECISION (TREE_TYPE (startvar)) > TYPE_PRECISION (type))
5380 : 0 : t = fold_convert (signed_type_for (type), t);
5381 : : }
5382 : : else
5383 : 13036 : t = fold_build2 (PLUS_EXPR, type, t, n1);
5384 : 13642 : t = fold_convert (TREE_TYPE (startvar), t);
5385 : 13642 : t = force_gimple_operand_gsi (&gsi, t,
5386 : 13642 : DECL_P (startvar)
5387 : 13642 : && TREE_ADDRESSABLE (startvar),
5388 : : NULL_TREE, false, GSI_CONTINUE_LINKING);
5389 : 13642 : assign_stmt = gimple_build_assign (startvar, t);
5390 : 13642 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
5391 : 13642 : if (cond_var)
5392 : : {
5393 : 108 : tree itype = TREE_TYPE (cond_var);
5394 : : /* For lastprivate(conditional:) itervar, we need some iteration
5395 : : counter that starts at unsigned non-zero and increases.
5396 : : Prefer as few IVs as possible, so if we can use startvar
5397 : : itself, use that, or startvar + constant (those would be
5398 : : incremented with step), and as last resort use the s0 + 1
5399 : : incremented by 1. */
5400 : 108 : if (POINTER_TYPE_P (type)
5401 : 108 : || TREE_CODE (n1) != INTEGER_CST
5402 : 102 : || fd->loop.cond_code != LT_EXPR)
5403 : 6 : t = fold_build2 (PLUS_EXPR, itype, fold_convert (itype, s0),
5404 : : build_int_cst (itype, 1));
5405 : 102 : else if (tree_int_cst_sgn (n1) == 1)
5406 : 12 : t = fold_convert (itype, t);
5407 : : else
5408 : : {
5409 : 90 : tree c = fold_convert (itype, n1);
5410 : 90 : c = fold_build2 (MINUS_EXPR, itype, build_int_cst (itype, 1), c);
5411 : 90 : t = fold_build2 (PLUS_EXPR, itype, fold_convert (itype, t), c);
5412 : : }
5413 : 108 : t = force_gimple_operand_gsi (&gsi, t, false,
5414 : : NULL_TREE, false, GSI_CONTINUE_LINKING);
5415 : 108 : assign_stmt = gimple_build_assign (cond_var, t);
5416 : 108 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
5417 : : }
5418 : :
5419 : 13642 : t = fold_convert (itype, e0);
5420 : 13642 : t = fold_build2 (MULT_EXPR, itype, t, step);
5421 : 13642 : if (POINTER_TYPE_P (type))
5422 : : {
5423 : 606 : t = fold_build_pointer_plus (n1, t);
5424 : 670 : if (!POINTER_TYPE_P (TREE_TYPE (startvar))
5425 : 670 : && TYPE_PRECISION (TREE_TYPE (startvar)) > TYPE_PRECISION (type))
5426 : 0 : t = fold_convert (signed_type_for (type), t);
5427 : : }
5428 : : else
5429 : 13036 : t = fold_build2 (PLUS_EXPR, type, t, n1);
5430 : 13642 : t = fold_convert (TREE_TYPE (startvar), t);
5431 : 13642 : e = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
5432 : : false, GSI_CONTINUE_LINKING);
5433 : 13642 : if (endvar)
5434 : : {
5435 : 6992 : assign_stmt = gimple_build_assign (endvar, e);
5436 : 6992 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
5437 : 6992 : if (useless_type_conversion_p (TREE_TYPE (fd->loop.v), TREE_TYPE (e)))
5438 : 6223 : assign_stmt = gimple_build_assign (fd->loop.v, e);
5439 : : else
5440 : 769 : assign_stmt = gimple_build_assign (fd->loop.v, NOP_EXPR, e);
5441 : 6992 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
5442 : : }
5443 : : /* Handle linear clause adjustments. */
5444 : 13642 : tree itercnt = NULL_TREE;
5445 : 13642 : tree *nonrect_bounds = NULL;
5446 : 13642 : if (gimple_omp_for_kind (fd->for_stmt) == GF_OMP_FOR_KIND_FOR)
5447 : 44280 : for (tree c = gimple_omp_for_clauses (fd->for_stmt);
5448 : 44280 : c; c = OMP_CLAUSE_CHAIN (c))
5449 : 35123 : if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LINEAR
5450 : 35123 : && !OMP_CLAUSE_LINEAR_NO_COPYIN (c))
5451 : : {
5452 : 87 : tree d = OMP_CLAUSE_DECL (c);
5453 : 87 : tree t = d, a, dest;
5454 : 87 : if (omp_privatize_by_reference (t))
5455 : 13 : t = build_simple_mem_ref_loc (OMP_CLAUSE_LOCATION (c), t);
5456 : 87 : if (itercnt == NULL_TREE)
5457 : : {
5458 : 87 : if (gimple_omp_for_combined_into_p (fd->for_stmt))
5459 : : {
5460 : 0 : itercnt = fold_build2 (MINUS_EXPR, itype,
5461 : : fold_convert (itype, n1),
5462 : : fold_convert (itype, fd->loop.n1));
5463 : 0 : itercnt = fold_build2 (EXACT_DIV_EXPR, itype, itercnt, step);
5464 : 0 : itercnt = fold_build2 (PLUS_EXPR, itype, itercnt, s0);
5465 : 0 : itercnt = force_gimple_operand_gsi (&gsi, itercnt, true,
5466 : : NULL_TREE, false,
5467 : : GSI_CONTINUE_LINKING);
5468 : : }
5469 : : else
5470 : : itercnt = s0;
5471 : : }
5472 : 87 : tree type = TREE_TYPE (t);
5473 : 87 : if (POINTER_TYPE_P (type))
5474 : 0 : type = sizetype;
5475 : 87 : a = fold_build2 (MULT_EXPR, type,
5476 : : fold_convert (type, itercnt),
5477 : : fold_convert (type, OMP_CLAUSE_LINEAR_STEP (c)));
5478 : 87 : dest = unshare_expr (t);
5479 : 87 : t = fold_build2 (type == TREE_TYPE (t) ? PLUS_EXPR
5480 : : : POINTER_PLUS_EXPR, TREE_TYPE (t), t, a);
5481 : 87 : t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
5482 : : false, GSI_CONTINUE_LINKING);
5483 : 87 : expand_omp_build_assign (&gsi, dest, t, true);
5484 : : }
5485 : 13642 : if (fd->collapse > 1)
5486 : : {
5487 : 3887 : if (fd->non_rect)
5488 : : {
5489 : 376 : nonrect_bounds = XALLOCAVEC (tree, fd->last_nonrect + 1);
5490 : 376 : memset (nonrect_bounds, 0, sizeof (tree) * (fd->last_nonrect + 1));
5491 : : }
5492 : 3887 : expand_omp_for_init_vars (fd, &gsi, counts, nonrect_bounds, inner_stmt,
5493 : : startvar);
5494 : : }
5495 : :
5496 : 13642 : if (!broken_loop)
5497 : : {
5498 : : /* The code controlling the sequential loop replaces the
5499 : : GIMPLE_OMP_CONTINUE. */
5500 : 13146 : gsi = gsi_last_nondebug_bb (cont_bb);
5501 : 13146 : gomp_continue *cont_stmt = as_a <gomp_continue *> (gsi_stmt (gsi));
5502 : 13146 : gcc_assert (gimple_code (cont_stmt) == GIMPLE_OMP_CONTINUE);
5503 : 13146 : vmain = gimple_omp_continue_control_use (cont_stmt);
5504 : 13146 : vback = gimple_omp_continue_control_def (cont_stmt);
5505 : :
5506 : 13146 : if (cond_var)
5507 : : {
5508 : 108 : tree itype = TREE_TYPE (cond_var);
5509 : 108 : tree t2;
5510 : 108 : if (POINTER_TYPE_P (type)
5511 : 108 : || TREE_CODE (n1) != INTEGER_CST
5512 : 102 : || fd->loop.cond_code != LT_EXPR)
5513 : 6 : t2 = build_int_cst (itype, 1);
5514 : : else
5515 : 102 : t2 = fold_convert (itype, step);
5516 : 108 : t2 = fold_build2 (PLUS_EXPR, itype, cond_var, t2);
5517 : 108 : t2 = force_gimple_operand_gsi (&gsi, t2, false,
5518 : : NULL_TREE, true, GSI_SAME_STMT);
5519 : 108 : assign_stmt = gimple_build_assign (cond_var, t2);
5520 : 108 : gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
5521 : : }
5522 : :
5523 : 13146 : if (!gimple_omp_for_combined_p (fd->for_stmt))
5524 : : {
5525 : 6154 : if (POINTER_TYPE_P (type))
5526 : 316 : t = fold_build_pointer_plus (vmain, step);
5527 : : else
5528 : 5838 : t = fold_build2 (PLUS_EXPR, type, vmain, step);
5529 : 6154 : t = force_gimple_operand_gsi (&gsi, t,
5530 : 6154 : DECL_P (vback)
5531 : 6154 : && TREE_ADDRESSABLE (vback),
5532 : : NULL_TREE, true, GSI_SAME_STMT);
5533 : 6154 : assign_stmt = gimple_build_assign (vback, t);
5534 : 6154 : gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
5535 : :
5536 : 6154 : t = build2 (fd->loop.cond_code, boolean_type_node,
5537 : 6154 : DECL_P (vback) && TREE_ADDRESSABLE (vback)
5538 : : ? t : vback, e);
5539 : 6154 : gsi_insert_before (&gsi, gimple_build_cond_empty (t), GSI_SAME_STMT);
5540 : : }
5541 : :
5542 : : /* Remove the GIMPLE_OMP_CONTINUE statement. */
5543 : 13146 : gsi_remove (&gsi, true);
5544 : :
5545 : 13146 : if (fd->collapse > 1 && !gimple_omp_for_combined_p (fd->for_stmt))
5546 : 1375 : collapse_bb = extract_omp_for_update_vars (fd, nonrect_bounds,
5547 : : cont_bb, body_bb);
5548 : : }
5549 : :
5550 : : /* Replace the GIMPLE_OMP_RETURN with a barrier, or nothing. */
5551 : 13642 : gsi = gsi_last_nondebug_bb (exit_bb);
5552 : 13642 : if (!gimple_omp_return_nowait_p (gsi_stmt (gsi)))
5553 : : {
5554 : 2353 : t = gimple_omp_return_lhs (gsi_stmt (gsi));
5555 : 2353 : if (fd->have_reductemp
5556 : 2300 : || ((fd->have_pointer_condtemp || fd->have_scantemp)
5557 : 66 : && !fd->have_nonctrl_scantemp))
5558 : : {
5559 : 119 : tree fn;
5560 : 119 : if (t)
5561 : 4 : fn = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END_CANCEL);
5562 : : else
5563 : 115 : fn = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END);
5564 : 119 : gcall *g = gimple_build_call (fn, 0);
5565 : 119 : if (t)
5566 : : {
5567 : 4 : gimple_call_set_lhs (g, t);
5568 : 4 : if (fd->have_reductemp)
5569 : 4 : gsi_insert_after (&gsi, gimple_build_assign (reductions,
5570 : : NOP_EXPR, t),
5571 : : GSI_SAME_STMT);
5572 : : }
5573 : 119 : gsi_insert_after (&gsi, g, GSI_SAME_STMT);
5574 : 119 : }
5575 : : else
5576 : 2234 : gsi_insert_after (&gsi, omp_build_barrier (t), GSI_SAME_STMT);
5577 : : }
5578 : 11289 : else if ((fd->have_pointer_condtemp || fd->have_scantemp)
5579 : 298 : && !fd->have_nonctrl_scantemp)
5580 : : {
5581 : 125 : tree fn = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END_NOWAIT);
5582 : 125 : gcall *g = gimple_build_call (fn, 0);
5583 : 125 : gsi_insert_after (&gsi, g, GSI_SAME_STMT);
5584 : : }
5585 : 13642 : if (fd->have_scantemp && !fd->have_nonctrl_scantemp)
5586 : : {
5587 : 173 : tree clauses = gimple_omp_for_clauses (fd->for_stmt);
5588 : 173 : tree controlp = NULL_TREE, controlb = NULL_TREE;
5589 : 346 : for (tree c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
5590 : 346 : if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE__SCANTEMP_
5591 : 346 : && OMP_CLAUSE__SCANTEMP__CONTROL (c))
5592 : : {
5593 : 346 : if (TREE_TYPE (OMP_CLAUSE_DECL (c)) == boolean_type_node)
5594 : 173 : controlb = OMP_CLAUSE_DECL (c);
5595 : : else
5596 : 173 : controlp = OMP_CLAUSE_DECL (c);
5597 : 346 : if (controlb && controlp)
5598 : : break;
5599 : : }
5600 : 173 : gcc_assert (controlp && controlb);
5601 : 173 : gimple *g = gimple_build_cond (NE_EXPR, controlb, boolean_false_node,
5602 : : NULL_TREE, NULL_TREE);
5603 : 173 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
5604 : 173 : exit1_bb = split_block (exit_bb, g)->dest;
5605 : 173 : gsi = gsi_after_labels (exit1_bb);
5606 : 173 : g = gimple_build_call (builtin_decl_explicit (BUILT_IN_FREE), 1,
5607 : : controlp);
5608 : 173 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
5609 : 173 : exit2_bb = split_block (exit1_bb, g)->dest;
5610 : 173 : gsi = gsi_after_labels (exit2_bb);
5611 : 346 : g = gimple_build_call (builtin_decl_implicit (BUILT_IN_STACK_RESTORE), 1,
5612 : : controlp);
5613 : 173 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
5614 : 173 : exit3_bb = split_block (exit2_bb, g)->dest;
5615 : 173 : gsi = gsi_after_labels (exit3_bb);
5616 : : }
5617 : 13642 : gsi_remove (&gsi, true);
5618 : :
5619 : : /* Connect all the blocks. */
5620 : 13642 : ep = make_edge (entry_bb, third_bb, EDGE_FALSE_VALUE);
5621 : 13642 : ep->probability = profile_probability::guessed_always ().apply_scale (3, 4);
5622 : 13642 : ep = find_edge (entry_bb, second_bb);
5623 : 13642 : ep->flags = EDGE_TRUE_VALUE;
5624 : 13642 : ep->probability = profile_probability::guessed_always () / 4;
5625 : 13642 : if (fourth_bb)
5626 : : {
5627 : 173 : ep = make_edge (third_bb, fifth_bb, EDGE_FALSE_VALUE);
5628 : 173 : ep->probability = profile_probability::guessed_always () / 2;
5629 : 173 : ep = find_edge (third_bb, fourth_bb);
5630 : 173 : ep->flags = EDGE_TRUE_VALUE;
5631 : 173 : ep->probability = profile_probability::guessed_always () / 2;
5632 : 173 : ep = find_edge (fourth_bb, fifth_bb);
5633 : 173 : redirect_edge_and_branch (ep, sixth_bb);
5634 : : }
5635 : : else
5636 : : sixth_bb = third_bb;
5637 : 13642 : find_edge (sixth_bb, seq_start_bb)->flags = EDGE_FALSE_VALUE;
5638 : 13642 : find_edge (sixth_bb, fin_bb)->flags = EDGE_TRUE_VALUE;
5639 : 13642 : if (exit1_bb)
5640 : : {
5641 : 173 : ep = make_edge (exit_bb, exit2_bb, EDGE_FALSE_VALUE);
5642 : 173 : ep->probability = profile_probability::guessed_always () / 2;
5643 : 173 : ep = find_edge (exit_bb, exit1_bb);
5644 : 173 : ep->flags = EDGE_TRUE_VALUE;
5645 : 173 : ep->probability = profile_probability::guessed_always () / 2;
5646 : 173 : ep = find_edge (exit1_bb, exit2_bb);
5647 : 173 : redirect_edge_and_branch (ep, exit3_bb);
5648 : : }
5649 : :
5650 : 13642 : if (!broken_loop)
5651 : : {
5652 : 13146 : ep = find_edge (cont_bb, body_bb);
5653 : 13146 : if (ep == NULL)
5654 : : {
5655 : 179 : ep = BRANCH_EDGE (cont_bb);
5656 : 179 : gcc_assert (single_succ (ep->dest) == body_bb);
5657 : : }
5658 : 13146 : if (gimple_omp_for_combined_p (fd->for_stmt))
5659 : : {
5660 : 6992 : remove_edge (ep);
5661 : 6992 : ep = NULL;
5662 : : }
5663 : 6154 : else if (fd->collapse > 1)
5664 : : {
5665 : 1375 : remove_edge (ep);
5666 : 1375 : ep = make_edge (cont_bb, collapse_bb, EDGE_TRUE_VALUE);
5667 : : }
5668 : : else
5669 : 4779 : ep->flags = EDGE_TRUE_VALUE;
5670 : 24917 : find_edge (cont_bb, fin_bb)->flags
5671 : 14521 : = ep ? EDGE_FALSE_VALUE : EDGE_FALLTHRU;
5672 : : }
5673 : :
5674 : 13642 : set_immediate_dominator (CDI_DOMINATORS, second_bb, entry_bb);
5675 : 13642 : set_immediate_dominator (CDI_DOMINATORS, third_bb, entry_bb);
5676 : 13642 : if (fourth_bb)
5677 : : {
5678 : 173 : set_immediate_dominator (CDI_DOMINATORS, fifth_bb, third_bb);
5679 : 173 : set_immediate_dominator (CDI_DOMINATORS, sixth_bb, third_bb);
5680 : : }
5681 : 13642 : set_immediate_dominator (CDI_DOMINATORS, seq_start_bb, sixth_bb);
5682 : :
5683 : 13642 : set_immediate_dominator (CDI_DOMINATORS, body_bb,
5684 : : recompute_dominator (CDI_DOMINATORS, body_bb));
5685 : 13642 : set_immediate_dominator (CDI_DOMINATORS, fin_bb,
5686 : : recompute_dominator (CDI_DOMINATORS, fin_bb));
5687 : 13642 : if (exit1_bb)
5688 : : {
5689 : 173 : set_immediate_dominator (CDI_DOMINATORS, exit2_bb, exit_bb);
5690 : 173 : set_immediate_dominator (CDI_DOMINATORS, exit3_bb, exit_bb);
5691 : : }
5692 : :
5693 : 13642 : class loop *loop = body_bb->loop_father;
5694 : 13642 : if (loop != entry_bb->loop_father)
5695 : : {
5696 : 341 : gcc_assert (broken_loop || loop->header == body_bb);
5697 : 179 : gcc_assert (broken_loop
5698 : : || loop->latch == region->cont
5699 : : || single_pred (loop->latch) == region->cont);
5700 : 341 : return;
5701 : : }
5702 : :
5703 : 13301 : if (!broken_loop && !gimple_omp_for_combined_p (fd->for_stmt))
5704 : : {
5705 : 5975 : loop = alloc_loop ();
5706 : 5975 : loop->header = body_bb;
5707 : 5975 : if (collapse_bb == NULL)
5708 : 4600 : loop->latch = cont_bb;
5709 : 5975 : add_loop (loop, body_bb->loop_father);
5710 : : }
5711 : : }
5712 : :
5713 : : /* Return phi in E->DEST with ARG on edge E. */
5714 : :
5715 : : static gphi *
5716 : 14 : find_phi_with_arg_on_edge (tree arg, edge e)
5717 : : {
5718 : 14 : basic_block bb = e->dest;
5719 : :
5720 : 14 : for (gphi_iterator gpi = gsi_start_phis (bb);
5721 : 14 : !gsi_end_p (gpi);
5722 : 0 : gsi_next (&gpi))
5723 : : {
5724 : 14 : gphi *phi = gpi.phi ();
5725 : 14 : if (PHI_ARG_DEF_FROM_EDGE (phi, e) == arg)
5726 : 14 : return phi;
5727 : : }
5728 : :
5729 : 0 : return NULL;
5730 : : }
5731 : :
5732 : : /* A subroutine of expand_omp_for. Generate code for a parallel
5733 : : loop with static schedule and a specified chunk size. Given
5734 : : parameters:
5735 : :
5736 : : for (V = N1; V cond N2; V += STEP) BODY;
5737 : :
5738 : : where COND is "<" or ">", we generate pseudocode
5739 : :
5740 : : if ((__typeof (V)) -1 > 0 && N2 cond N1) goto L2;
5741 : : if (cond is <)
5742 : : adj = STEP - 1;
5743 : : else
5744 : : adj = STEP + 1;
5745 : : if ((__typeof (V)) -1 > 0 && cond is >)
5746 : : n = -(adj + N2 - N1) / -STEP;
5747 : : else
5748 : : n = (adj + N2 - N1) / STEP;
5749 : : trip = 0;
5750 : : V = threadid * CHUNK * STEP + N1; -- this extra definition of V is
5751 : : here so that V is defined
5752 : : if the loop is not entered
5753 : : L0:
5754 : : s0 = (trip * nthreads + threadid) * CHUNK;
5755 : : e0 = min (s0 + CHUNK, n);
5756 : : if (s0 < n) goto L1; else goto L4;
5757 : : L1:
5758 : : V = s0 * STEP + N1;
5759 : : e = e0 * STEP + N1;
5760 : : L2:
5761 : : BODY;
5762 : : V += STEP;
5763 : : if (V cond e) goto L2; else goto L3;
5764 : : L3:
5765 : : trip += 1;
5766 : : goto L0;
5767 : : L4:
5768 : : */
5769 : :
5770 : : static void
5771 : 5811 : expand_omp_for_static_chunk (struct omp_region *region,
5772 : : struct omp_for_data *fd, gimple *inner_stmt)
5773 : : {
5774 : 5811 : tree n, s0, e0, e, t;
5775 : 5811 : tree trip_var, trip_init, trip_main, trip_back, nthreads, threadid;
5776 : 5811 : tree type, itype, vmain, vback, vextra;
5777 : 5811 : basic_block entry_bb, exit_bb, body_bb, seq_start_bb, iter_part_bb;
5778 : 5811 : basic_block trip_update_bb = NULL, cont_bb, collapse_bb = NULL, fin_bb;
5779 : 5811 : gimple_stmt_iterator gsi, gsip;
5780 : 5811 : edge se;
5781 : 5811 : bool broken_loop = region->cont == NULL;
5782 : 5811 : tree *counts = NULL;
5783 : 5811 : tree n1, n2, step;
5784 : 5811 : tree reductions = NULL_TREE;
5785 : 5811 : tree cond_var = NULL_TREE, condtemp = NULL_TREE;
5786 : :
5787 : 5811 : itype = type = TREE_TYPE (fd->loop.v);
5788 : 5811 : if (POINTER_TYPE_P (type))
5789 : 312 : itype = signed_type_for (type);
5790 : :
5791 : 5811 : entry_bb = region->entry;
5792 : 5811 : se = split_block (entry_bb, last_nondebug_stmt (entry_bb));
5793 : 5811 : entry_bb = se->src;
5794 : 5811 : iter_part_bb = se->dest;
5795 : 5811 : cont_bb = region->cont;
5796 : 5811 : gcc_assert (EDGE_COUNT (iter_part_bb->succs) == 2);
5797 : 5811 : fin_bb = BRANCH_EDGE (iter_part_bb)->dest;
5798 : 5811 : gcc_assert (broken_loop
5799 : : || fin_bb == FALLTHRU_EDGE (cont_bb)->dest);
5800 : 5811 : seq_start_bb = split_edge (FALLTHRU_EDGE (iter_part_bb));
5801 : 5811 : body_bb = single_succ (seq_start_bb);
5802 : 5811 : if (!broken_loop)
5803 : : {
5804 : 5554 : gcc_assert (BRANCH_EDGE (cont_bb)->dest == body_bb
5805 : : || single_succ (BRANCH_EDGE (cont_bb)->dest) == body_bb);
5806 : 5554 : gcc_assert (EDGE_COUNT (cont_bb->succs) == 2);
5807 : 5554 : trip_update_bb = split_edge (FALLTHRU_EDGE (cont_bb));
5808 : : }
5809 : 5811 : exit_bb = region->exit;
5810 : :
5811 : : /* Trip and adjustment setup goes in ENTRY_BB. */
5812 : 5811 : gsi = gsi_last_nondebug_bb (entry_bb);
5813 : 5811 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
5814 : 5811 : gsip = gsi;
5815 : 5811 : gsi_prev (&gsip);
5816 : :
5817 : 5811 : if (fd->collapse > 1)
5818 : : {
5819 : 2228 : int first_zero_iter = -1, dummy = -1;
5820 : 2228 : basic_block l2_dom_bb = NULL, dummy_bb = NULL;
5821 : :
5822 : 2228 : counts = XALLOCAVEC (tree, fd->collapse);
5823 : 2228 : expand_omp_for_init_counts (fd, &gsi, entry_bb, counts,
5824 : : fin_bb, first_zero_iter,
5825 : : dummy_bb, dummy, l2_dom_bb);
5826 : 2228 : t = NULL_TREE;
5827 : : }
5828 : 3583 : else if (gimple_omp_for_combined_into_p (fd->for_stmt))
5829 : 813 : t = integer_one_node;
5830 : : else
5831 : 2770 : t = fold_binary (fd->loop.cond_code, boolean_type_node,
5832 : : fold_convert (type, fd->loop.n1),
5833 : : fold_convert (type, fd->loop.n2));
5834 : 5811 : if (fd->collapse == 1
5835 : 3583 : && TYPE_UNSIGNED (type)
5836 : 6994 : && (t == NULL_TREE || !integer_onep (t)))
5837 : : {
5838 : 232 : n1 = fold_convert (type, unshare_expr (fd->loop.n1));
5839 : 232 : n1 = force_gimple_operand_gsi (&gsi, n1, true, NULL_TREE,
5840 : : true, GSI_SAME_STMT);
5841 : 232 : n2 = fold_convert (type, unshare_expr (fd->loop.n2));
5842 : 232 : n2 = force_gimple_operand_gsi (&gsi, n2, true, NULL_TREE,
5843 : : true, GSI_SAME_STMT);
5844 : 232 : gcond *cond_stmt = expand_omp_build_cond (&gsi, fd->loop.cond_code,
5845 : : n1, n2);
5846 : 232 : se = split_block (entry_bb, cond_stmt);
5847 : 232 : se->flags = EDGE_TRUE_VALUE;
5848 : 232 : entry_bb = se->dest;
5849 : 232 : se->probability = profile_probability::very_likely ();
5850 : 232 : se = make_edge (se->src, fin_bb, EDGE_FALSE_VALUE);
5851 : 232 : se->probability = profile_probability::very_unlikely ();
5852 : 232 : if (gimple_in_ssa_p (cfun))
5853 : : {
5854 : 1 : int dest_idx = find_edge (iter_part_bb, fin_bb)->dest_idx;
5855 : 1 : for (gphi_iterator gpi = gsi_start_phis (fin_bb);
5856 : 2 : !gsi_end_p (gpi); gsi_next (&gpi))
5857 : : {
5858 : 1 : gphi *phi = gpi.phi ();
5859 : 1 : add_phi_arg (phi, gimple_phi_arg_def (phi, dest_idx),
5860 : : se, UNKNOWN_LOCATION);
5861 : : }
5862 : : }
5863 : 464 : gsi = gsi_last_bb (entry_bb);
5864 : : }
5865 : :
5866 : 5811 : if (fd->lastprivate_conditional)
5867 : : {
5868 : 49 : tree clauses = gimple_omp_for_clauses (fd->for_stmt);
5869 : 49 : tree c = omp_find_clause (clauses, OMP_CLAUSE__CONDTEMP_);
5870 : 49 : if (fd->have_pointer_condtemp)
5871 : 29 : condtemp = OMP_CLAUSE_DECL (c);
5872 : 49 : c = omp_find_clause (OMP_CLAUSE_CHAIN (c), OMP_CLAUSE__CONDTEMP_);
5873 : 49 : cond_var = OMP_CLAUSE_DECL (c);
5874 : : }
5875 : 5811 : if (fd->have_reductemp || fd->have_pointer_condtemp)
5876 : : {
5877 : 44 : tree t1 = build_int_cst (long_integer_type_node, 0);
5878 : 44 : tree t2 = build_int_cst (long_integer_type_node, 1);
5879 : 88 : tree t3 = build_int_cstu (long_integer_type_node,
5880 : 44 : (HOST_WIDE_INT_1U << 31) + 1);
5881 : 44 : tree clauses = gimple_omp_for_clauses (fd->for_stmt);
5882 : 44 : gimple_stmt_iterator gsi2 = gsi_none ();
5883 : 44 : gimple *g = NULL;
5884 : 44 : tree mem = null_pointer_node, memv = NULL_TREE;
5885 : 44 : if (fd->have_reductemp)
5886 : : {
5887 : 25 : tree c = omp_find_clause (clauses, OMP_CLAUSE__REDUCTEMP_);
5888 : 25 : reductions = OMP_CLAUSE_DECL (c);
5889 : 25 : gcc_assert (TREE_CODE (reductions) == SSA_NAME);
5890 : 25 : g = SSA_NAME_DEF_STMT (reductions);
5891 : 25 : reductions = gimple_assign_rhs1 (g);
5892 : 25 : OMP_CLAUSE_DECL (c) = reductions;
5893 : 25 : gsi2 = gsi_for_stmt (g);
5894 : : }
5895 : : else
5896 : : {
5897 : 19 : if (gsi_end_p (gsip))
5898 : 0 : gsi2 = gsi_after_labels (region->entry);
5899 : : else
5900 : 19 : gsi2 = gsip;
5901 : : reductions = null_pointer_node;
5902 : : }
5903 : 44 : if (fd->have_pointer_condtemp)
5904 : : {
5905 : 29 : tree type = TREE_TYPE (condtemp);
5906 : 29 : memv = create_tmp_var (type);
5907 : 29 : TREE_ADDRESSABLE (memv) = 1;
5908 : 29 : unsigned HOST_WIDE_INT sz
5909 : 29 : = tree_to_uhwi (TYPE_SIZE_UNIT (TREE_TYPE (type)));
5910 : 29 : sz *= fd->lastprivate_conditional;
5911 : 29 : expand_omp_build_assign (&gsi2, memv, build_int_cst (type, sz),
5912 : : false);
5913 : 29 : mem = build_fold_addr_expr (memv);
5914 : : }
5915 : 44 : tree t
5916 : 44 : = build_call_expr (builtin_decl_explicit (BUILT_IN_GOMP_LOOP_START),
5917 : : 9, t1, t2, t2, t3, t1, null_pointer_node,
5918 : : null_pointer_node, reductions, mem);
5919 : 44 : force_gimple_operand_gsi (&gsi2, t, true, NULL_TREE,
5920 : : true, GSI_SAME_STMT);
5921 : 44 : if (fd->have_pointer_condtemp)
5922 : 29 : expand_omp_build_assign (&gsi2, condtemp, memv, false);
5923 : 44 : if (fd->have_reductemp)
5924 : : {
5925 : 25 : gsi_remove (&gsi2, true);
5926 : 25 : release_ssa_name (gimple_assign_lhs (g));
5927 : : }
5928 : : }
5929 : 5811 : switch (gimple_omp_for_kind (fd->for_stmt))
5930 : : {
5931 : 2357 : case GF_OMP_FOR_KIND_FOR:
5932 : 2357 : nthreads = builtin_decl_explicit (BUILT_IN_OMP_GET_NUM_THREADS);
5933 : 2357 : threadid = builtin_decl_explicit (BUILT_IN_OMP_GET_THREAD_NUM);
5934 : 2357 : break;
5935 : 3454 : case GF_OMP_FOR_KIND_DISTRIBUTE:
5936 : 3454 : nthreads = builtin_decl_explicit (BUILT_IN_OMP_GET_NUM_TEAMS);
5937 : 3454 : threadid = builtin_decl_explicit (BUILT_IN_OMP_GET_TEAM_NUM);
5938 : 3454 : break;
5939 : 0 : default:
5940 : 0 : gcc_unreachable ();
5941 : : }
5942 : 5811 : nthreads = build_call_expr (nthreads, 0);
5943 : 5811 : nthreads = fold_convert (itype, nthreads);
5944 : 5811 : nthreads = force_gimple_operand_gsi (&gsi, nthreads, true, NULL_TREE,
5945 : : true, GSI_SAME_STMT);
5946 : 5811 : threadid = build_call_expr (threadid, 0);
5947 : 5811 : threadid = fold_convert (itype, threadid);
5948 : 5811 : threadid = force_gimple_operand_gsi (&gsi, threadid, true, NULL_TREE,
5949 : : true, GSI_SAME_STMT);
5950 : :
5951 : 5811 : n1 = fd->loop.n1;
5952 : 5811 : n2 = fd->loop.n2;
5953 : 5811 : step = fd->loop.step;
5954 : 5811 : if (gimple_omp_for_combined_into_p (fd->for_stmt))
5955 : : {
5956 : 1301 : tree innerc = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
5957 : : OMP_CLAUSE__LOOPTEMP_);
5958 : 1301 : gcc_assert (innerc);
5959 : 1301 : n1 = OMP_CLAUSE_DECL (innerc);
5960 : 1301 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
5961 : : OMP_CLAUSE__LOOPTEMP_);
5962 : 1301 : gcc_assert (innerc);
5963 : 1301 : n2 = OMP_CLAUSE_DECL (innerc);
5964 : : }
5965 : 5811 : n1 = force_gimple_operand_gsi (&gsi, fold_convert (type, n1),
5966 : : true, NULL_TREE, true, GSI_SAME_STMT);
5967 : 5811 : n2 = force_gimple_operand_gsi (&gsi, fold_convert (itype, n2),
5968 : : true, NULL_TREE, true, GSI_SAME_STMT);
5969 : 5811 : step = force_gimple_operand_gsi (&gsi, fold_convert (itype, step),
5970 : : true, NULL_TREE, true, GSI_SAME_STMT);
5971 : 5811 : tree chunk_size = fold_convert (itype, fd->chunk_size);
5972 : 5811 : chunk_size = omp_adjust_chunk_size (chunk_size, fd->simd_schedule,
5973 : 5811 : is_in_offload_region (region));
5974 : 5811 : chunk_size
5975 : 5811 : = force_gimple_operand_gsi (&gsi, chunk_size, true, NULL_TREE, true,
5976 : : GSI_SAME_STMT);
5977 : :
5978 : 6417 : t = build_int_cst (itype, (fd->loop.cond_code == LT_EXPR ? -1 : 1));
5979 : 5811 : t = fold_build2 (PLUS_EXPR, itype, step, t);
5980 : 5811 : t = fold_build2 (PLUS_EXPR, itype, t, n2);
5981 : 5811 : t = fold_build2 (MINUS_EXPR, itype, t, fold_convert (itype, n1));
5982 : 5811 : if (TYPE_UNSIGNED (itype) && fd->loop.cond_code == GT_EXPR)
5983 : 284 : t = fold_build2 (TRUNC_DIV_EXPR, itype,
5984 : : fold_build1 (NEGATE_EXPR, itype, t),
5985 : : fold_build1 (NEGATE_EXPR, itype, step));
5986 : : else
5987 : 5527 : t = fold_build2 (TRUNC_DIV_EXPR, itype, t, step);
5988 : 5811 : t = fold_convert (itype, t);
5989 : 5811 : n = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
5990 : : true, GSI_SAME_STMT);
5991 : :
5992 : 5811 : trip_var = create_tmp_reg (itype, ".trip");
5993 : 5811 : if (gimple_in_ssa_p (cfun))
5994 : : {
5995 : 12 : trip_init = make_ssa_name (trip_var);
5996 : 12 : trip_main = make_ssa_name (trip_var);
5997 : 12 : trip_back = make_ssa_name (trip_var);
5998 : : }
5999 : : else
6000 : : {
6001 : : trip_init = trip_var;
6002 : : trip_main = trip_var;
6003 : : trip_back = trip_var;
6004 : : }
6005 : :
6006 : 5811 : gassign *assign_stmt
6007 : 5811 : = gimple_build_assign (trip_init, build_int_cst (itype, 0));
6008 : 5811 : gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
6009 : :
6010 : 5811 : t = fold_build2 (MULT_EXPR, itype, threadid, chunk_size);
6011 : 5811 : t = fold_build2 (MULT_EXPR, itype, t, step);
6012 : 5811 : if (POINTER_TYPE_P (type))
6013 : 312 : t = fold_build_pointer_plus (n1, t);
6014 : : else
6015 : 5499 : t = fold_build2 (PLUS_EXPR, type, t, n1);
6016 : 5811 : vextra = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
6017 : : true, GSI_SAME_STMT);
6018 : :
6019 : : /* Remove the GIMPLE_OMP_FOR. */
6020 : 5811 : gsi_remove (&gsi, true);
6021 : :
6022 : 5811 : gimple_stmt_iterator gsif = gsi;
6023 : :
6024 : : /* Iteration space partitioning goes in ITER_PART_BB. */
6025 : 5811 : gsi = gsi_last_bb (iter_part_bb);
6026 : :
6027 : 5811 : t = fold_build2 (MULT_EXPR, itype, trip_main, nthreads);
6028 : 5811 : t = fold_build2 (PLUS_EXPR, itype, t, threadid);
6029 : 5811 : t = fold_build2 (MULT_EXPR, itype, t, chunk_size);
6030 : 5811 : s0 = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
6031 : : false, GSI_CONTINUE_LINKING);
6032 : :
6033 : 5811 : t = fold_build2 (PLUS_EXPR, itype, s0, chunk_size);
6034 : 5811 : t = fold_build2 (MIN_EXPR, itype, t, n);
6035 : 5811 : e0 = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
6036 : : false, GSI_CONTINUE_LINKING);
6037 : :
6038 : 5811 : t = build2 (LT_EXPR, boolean_type_node, s0, n);
6039 : 5811 : gsi_insert_after (&gsi, gimple_build_cond_empty (t), GSI_CONTINUE_LINKING);
6040 : :
6041 : : /* Setup code for sequential iteration goes in SEQ_START_BB. */
6042 : 5811 : gsi = gsi_start_bb (seq_start_bb);
6043 : :
6044 : 5811 : tree startvar = fd->loop.v;
6045 : 5811 : tree endvar = NULL_TREE;
6046 : :
6047 : 5811 : if (gimple_omp_for_combined_p (fd->for_stmt))
6048 : : {
6049 : 4202 : tree clauses = gimple_code (inner_stmt) == GIMPLE_OMP_PARALLEL
6050 : 6943 : ? gimple_omp_parallel_clauses (inner_stmt)
6051 : 1461 : : gimple_omp_for_clauses (inner_stmt);
6052 : 4202 : tree innerc = omp_find_clause (clauses, OMP_CLAUSE__LOOPTEMP_);
6053 : 4202 : gcc_assert (innerc);
6054 : 4202 : startvar = OMP_CLAUSE_DECL (innerc);
6055 : 4202 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
6056 : : OMP_CLAUSE__LOOPTEMP_);
6057 : 4202 : gcc_assert (innerc);
6058 : 4202 : endvar = OMP_CLAUSE_DECL (innerc);
6059 : 1663 : if (fd->collapse > 1 && TREE_CODE (fd->loop.n2) != INTEGER_CST
6060 : 5087 : && gimple_omp_for_kind (fd->for_stmt) == GF_OMP_FOR_KIND_DISTRIBUTE)
6061 : : {
6062 : 704 : innerc = find_lastprivate_looptemp (fd, innerc);
6063 : 704 : if (innerc)
6064 : : {
6065 : : /* If needed (distribute parallel for with lastprivate),
6066 : : propagate down the total number of iterations. */
6067 : 320 : tree t = fold_convert (TREE_TYPE (OMP_CLAUSE_DECL (innerc)),
6068 : : fd->loop.n2);
6069 : 320 : t = force_gimple_operand_gsi (&gsi, t, false, NULL_TREE, false,
6070 : : GSI_CONTINUE_LINKING);
6071 : 320 : assign_stmt = gimple_build_assign (OMP_CLAUSE_DECL (innerc), t);
6072 : 320 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
6073 : : }
6074 : : }
6075 : : }
6076 : :
6077 : 5811 : t = fold_convert (itype, s0);
6078 : 5811 : t = fold_build2 (MULT_EXPR, itype, t, step);
6079 : 5811 : if (POINTER_TYPE_P (type))
6080 : : {
6081 : 312 : t = fold_build_pointer_plus (n1, t);
6082 : 376 : if (!POINTER_TYPE_P (TREE_TYPE (startvar))
6083 : 376 : && TYPE_PRECISION (TREE_TYPE (startvar)) > TYPE_PRECISION (type))
6084 : 0 : t = fold_convert (signed_type_for (type), t);
6085 : : }
6086 : : else
6087 : 5499 : t = fold_build2 (PLUS_EXPR, type, t, n1);
6088 : 5811 : t = fold_convert (TREE_TYPE (startvar), t);
6089 : 5811 : t = force_gimple_operand_gsi (&gsi, t,
6090 : 5811 : DECL_P (startvar)
6091 : 5811 : && TREE_ADDRESSABLE (startvar),
6092 : : NULL_TREE, false, GSI_CONTINUE_LINKING);
6093 : 5811 : assign_stmt = gimple_build_assign (startvar, t);
6094 : 5811 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
6095 : 5811 : if (cond_var)
6096 : : {
6097 : 49 : tree itype = TREE_TYPE (cond_var);
6098 : : /* For lastprivate(conditional:) itervar, we need some iteration
6099 : : counter that starts at unsigned non-zero and increases.
6100 : : Prefer as few IVs as possible, so if we can use startvar
6101 : : itself, use that, or startvar + constant (those would be
6102 : : incremented with step), and as last resort use the s0 + 1
6103 : : incremented by 1. */
6104 : 49 : if (POINTER_TYPE_P (type)
6105 : 49 : || TREE_CODE (n1) != INTEGER_CST
6106 : 43 : || fd->loop.cond_code != LT_EXPR)
6107 : 6 : t = fold_build2 (PLUS_EXPR, itype, fold_convert (itype, s0),
6108 : : build_int_cst (itype, 1));
6109 : 43 : else if (tree_int_cst_sgn (n1) == 1)
6110 : 21 : t = fold_convert (itype, t);
6111 : : else
6112 : : {
6113 : 22 : tree c = fold_convert (itype, n1);
6114 : 22 : c = fold_build2 (MINUS_EXPR, itype, build_int_cst (itype, 1), c);
6115 : 22 : t = fold_build2 (PLUS_EXPR, itype, fold_convert (itype, t), c);
6116 : : }
6117 : 49 : t = force_gimple_operand_gsi (&gsi, t, false,
6118 : : NULL_TREE, false, GSI_CONTINUE_LINKING);
6119 : 49 : assign_stmt = gimple_build_assign (cond_var, t);
6120 : 49 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
6121 : : }
6122 : :
6123 : 5811 : t = fold_convert (itype, e0);
6124 : 5811 : t = fold_build2 (MULT_EXPR, itype, t, step);
6125 : 5811 : if (POINTER_TYPE_P (type))
6126 : : {
6127 : 312 : t = fold_build_pointer_plus (n1, t);
6128 : 376 : if (!POINTER_TYPE_P (TREE_TYPE (startvar))
6129 : 376 : && TYPE_PRECISION (TREE_TYPE (startvar)) > TYPE_PRECISION (type))
6130 : 0 : t = fold_convert (signed_type_for (type), t);
6131 : : }
6132 : : else
6133 : 5499 : t = fold_build2 (PLUS_EXPR, type, t, n1);
6134 : 5811 : t = fold_convert (TREE_TYPE (startvar), t);
6135 : 5811 : e = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
6136 : : false, GSI_CONTINUE_LINKING);
6137 : 5811 : if (endvar)
6138 : : {
6139 : 4202 : assign_stmt = gimple_build_assign (endvar, e);
6140 : 4202 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
6141 : 4202 : if (useless_type_conversion_p (TREE_TYPE (fd->loop.v), TREE_TYPE (e)))
6142 : 3434 : assign_stmt = gimple_build_assign (fd->loop.v, e);
6143 : : else
6144 : 768 : assign_stmt = gimple_build_assign (fd->loop.v, NOP_EXPR, e);
6145 : 4202 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
6146 : : }
6147 : : /* Handle linear clause adjustments. */
6148 : 5811 : tree itercnt = NULL_TREE, itercntbias = NULL_TREE;
6149 : 5811 : if (gimple_omp_for_kind (fd->for_stmt) == GF_OMP_FOR_KIND_FOR)
6150 : 15766 : for (tree c = gimple_omp_for_clauses (fd->for_stmt);
6151 : 15766 : c; c = OMP_CLAUSE_CHAIN (c))
6152 : 13409 : if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LINEAR
6153 : 13409 : && !OMP_CLAUSE_LINEAR_NO_COPYIN (c))
6154 : : {
6155 : 68 : tree d = OMP_CLAUSE_DECL (c);
6156 : 68 : tree t = d, a, dest;
6157 : 68 : if (omp_privatize_by_reference (t))
6158 : 3 : t = build_simple_mem_ref_loc (OMP_CLAUSE_LOCATION (c), t);
6159 : 68 : tree type = TREE_TYPE (t);
6160 : 68 : if (POINTER_TYPE_P (type))
6161 : 0 : type = sizetype;
6162 : 68 : dest = unshare_expr (t);
6163 : 68 : tree v = create_tmp_var (TREE_TYPE (t), NULL);
6164 : 68 : expand_omp_build_assign (&gsif, v, t);
6165 : 68 : if (itercnt == NULL_TREE)
6166 : : {
6167 : 68 : if (gimple_omp_for_combined_into_p (fd->for_stmt))
6168 : : {
6169 : 0 : itercntbias
6170 : 0 : = fold_build2 (MINUS_EXPR, itype, fold_convert (itype, n1),
6171 : : fold_convert (itype, fd->loop.n1));
6172 : 0 : itercntbias = fold_build2 (EXACT_DIV_EXPR, itype,
6173 : : itercntbias, step);
6174 : 0 : itercntbias
6175 : 0 : = force_gimple_operand_gsi (&gsif, itercntbias, true,
6176 : : NULL_TREE, true,
6177 : : GSI_SAME_STMT);
6178 : 0 : itercnt = fold_build2 (PLUS_EXPR, itype, itercntbias, s0);
6179 : 0 : itercnt = force_gimple_operand_gsi (&gsi, itercnt, true,
6180 : : NULL_TREE, false,
6181 : : GSI_CONTINUE_LINKING);
6182 : : }
6183 : : else
6184 : : itercnt = s0;
6185 : : }
6186 : 68 : a = fold_build2 (MULT_EXPR, type,
6187 : : fold_convert (type, itercnt),
6188 : : fold_convert (type, OMP_CLAUSE_LINEAR_STEP (c)));
6189 : 68 : t = fold_build2 (type == TREE_TYPE (t) ? PLUS_EXPR
6190 : : : POINTER_PLUS_EXPR, TREE_TYPE (t), v, a);
6191 : 68 : t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
6192 : : false, GSI_CONTINUE_LINKING);
6193 : 68 : expand_omp_build_assign (&gsi, dest, t, true);
6194 : : }
6195 : 5811 : if (fd->collapse > 1)
6196 : 2228 : expand_omp_for_init_vars (fd, &gsi, counts, NULL, inner_stmt, startvar);
6197 : :
6198 : 5811 : if (!broken_loop)
6199 : : {
6200 : : /* The code controlling the sequential loop goes in CONT_BB,
6201 : : replacing the GIMPLE_OMP_CONTINUE. */
6202 : 5554 : gsi = gsi_last_nondebug_bb (cont_bb);
6203 : 5554 : gomp_continue *cont_stmt = as_a <gomp_continue *> (gsi_stmt (gsi));
6204 : 5554 : vmain = gimple_omp_continue_control_use (cont_stmt);
6205 : 5554 : vback = gimple_omp_continue_control_def (cont_stmt);
6206 : :
6207 : 5554 : if (cond_var)
6208 : : {
6209 : 49 : tree itype = TREE_TYPE (cond_var);
6210 : 49 : tree t2;
6211 : 49 : if (POINTER_TYPE_P (type)
6212 : 49 : || TREE_CODE (n1) != INTEGER_CST
6213 : 43 : || fd->loop.cond_code != LT_EXPR)
6214 : 6 : t2 = build_int_cst (itype, 1);
6215 : : else
6216 : 43 : t2 = fold_convert (itype, step);
6217 : 49 : t2 = fold_build2 (PLUS_EXPR, itype, cond_var, t2);
6218 : 49 : t2 = force_gimple_operand_gsi (&gsi, t2, false,
6219 : : NULL_TREE, true, GSI_SAME_STMT);
6220 : 49 : assign_stmt = gimple_build_assign (cond_var, t2);
6221 : 49 : gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
6222 : : }
6223 : :
6224 : 5554 : if (!gimple_omp_for_combined_p (fd->for_stmt))
6225 : : {
6226 : 1352 : if (POINTER_TYPE_P (type))
6227 : 92 : t = fold_build_pointer_plus (vmain, step);
6228 : : else
6229 : 1260 : t = fold_build2 (PLUS_EXPR, type, vmain, step);
6230 : 1352 : if (DECL_P (vback) && TREE_ADDRESSABLE (vback))
6231 : 0 : t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
6232 : : true, GSI_SAME_STMT);
6233 : 1352 : assign_stmt = gimple_build_assign (vback, t);
6234 : 1352 : gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
6235 : :
6236 : 1352 : if (tree_int_cst_equal (fd->chunk_size, integer_one_node))
6237 : 94 : t = build2 (EQ_EXPR, boolean_type_node,
6238 : 94 : build_int_cst (itype, 0),
6239 : 94 : build_int_cst (itype, 1));
6240 : : else
6241 : 1258 : t = build2 (fd->loop.cond_code, boolean_type_node,
6242 : 1258 : DECL_P (vback) && TREE_ADDRESSABLE (vback)
6243 : : ? t : vback, e);
6244 : 1352 : gsi_insert_before (&gsi, gimple_build_cond_empty (t), GSI_SAME_STMT);
6245 : : }
6246 : :
6247 : : /* Remove GIMPLE_OMP_CONTINUE. */
6248 : 5554 : gsi_remove (&gsi, true);
6249 : :
6250 : 5554 : if (fd->collapse > 1 && !gimple_omp_for_combined_p (fd->for_stmt))
6251 : 445 : collapse_bb = extract_omp_for_update_vars (fd, NULL, cont_bb, body_bb);
6252 : :
6253 : : /* Trip update code goes into TRIP_UPDATE_BB. */
6254 : 5554 : gsi = gsi_start_bb (trip_update_bb);
6255 : :
6256 : 5554 : t = build_int_cst (itype, 1);
6257 : 5554 : t = build2 (PLUS_EXPR, itype, trip_main, t);
6258 : 5554 : assign_stmt = gimple_build_assign (trip_back, t);
6259 : 5554 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
6260 : : }
6261 : :
6262 : : /* Replace the GIMPLE_OMP_RETURN with a barrier, or nothing. */
6263 : 5811 : gsi = gsi_last_nondebug_bb (exit_bb);
6264 : 5811 : if (!gimple_omp_return_nowait_p (gsi_stmt (gsi)))
6265 : : {
6266 : 296 : t = gimple_omp_return_lhs (gsi_stmt (gsi));
6267 : 296 : if (fd->have_reductemp || fd->have_pointer_condtemp)
6268 : : {
6269 : 35 : tree fn;
6270 : 35 : if (t)
6271 : 0 : fn = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END_CANCEL);
6272 : : else
6273 : 35 : fn = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END);
6274 : 35 : gcall *g = gimple_build_call (fn, 0);
6275 : 35 : if (t)
6276 : : {
6277 : 0 : gimple_call_set_lhs (g, t);
6278 : 0 : if (fd->have_reductemp)
6279 : 0 : gsi_insert_after (&gsi, gimple_build_assign (reductions,
6280 : : NOP_EXPR, t),
6281 : : GSI_SAME_STMT);
6282 : : }
6283 : 35 : gsi_insert_after (&gsi, g, GSI_SAME_STMT);
6284 : 35 : }
6285 : : else
6286 : 261 : gsi_insert_after (&gsi, omp_build_barrier (t), GSI_SAME_STMT);
6287 : : }
6288 : 5515 : else if (fd->have_pointer_condtemp)
6289 : : {
6290 : 9 : tree fn = builtin_decl_explicit (BUILT_IN_GOMP_LOOP_END_NOWAIT);
6291 : 9 : gcall *g = gimple_build_call (fn, 0);
6292 : 9 : gsi_insert_after (&gsi, g, GSI_SAME_STMT);
6293 : : }
6294 : 5811 : gsi_remove (&gsi, true);
6295 : :
6296 : : /* Connect the new blocks. */
6297 : 5811 : find_edge (iter_part_bb, seq_start_bb)->flags = EDGE_TRUE_VALUE;
6298 : 5811 : find_edge (iter_part_bb, fin_bb)->flags = EDGE_FALSE_VALUE;
6299 : :
6300 : 5811 : if (!broken_loop)
6301 : : {
6302 : 5554 : se = find_edge (cont_bb, body_bb);
6303 : 5554 : if (se == NULL)
6304 : : {
6305 : 12 : se = BRANCH_EDGE (cont_bb);
6306 : 12 : gcc_assert (single_succ (se->dest) == body_bb);
6307 : : }
6308 : 5554 : if (gimple_omp_for_combined_p (fd->for_stmt))
6309 : : {
6310 : 4202 : remove_edge (se);
6311 : 4202 : se = NULL;
6312 : : }
6313 : 1352 : else if (fd->collapse > 1)
6314 : : {
6315 : 445 : remove_edge (se);
6316 : 445 : se = make_edge (cont_bb, collapse_bb, EDGE_TRUE_VALUE);
6317 : : }
6318 : : else
6319 : 907 : se->flags = EDGE_TRUE_VALUE;
6320 : 10663 : find_edge (cont_bb, trip_update_bb)->flags
6321 : 445 : = se ? EDGE_FALSE_VALUE : EDGE_FALLTHRU;
6322 : :
6323 : 5554 : redirect_edge_and_branch (single_succ_edge (trip_update_bb),
6324 : : iter_part_bb);
6325 : : }
6326 : :
6327 : 5811 : if (gimple_in_ssa_p (cfun))
6328 : : {
6329 : 12 : gphi_iterator psi;
6330 : 12 : gphi *phi;
6331 : 12 : edge re, ene;
6332 : 12 : edge_var_map *vm;
6333 : 12 : size_t i;
6334 : :
6335 : 12 : gcc_assert (fd->collapse == 1 && !broken_loop);
6336 : :
6337 : : /* When we redirect the edge from trip_update_bb to iter_part_bb, we
6338 : : remove arguments of the phi nodes in fin_bb. We need to create
6339 : : appropriate phi nodes in iter_part_bb instead. */
6340 : 12 : se = find_edge (iter_part_bb, fin_bb);
6341 : 12 : re = single_succ_edge (trip_update_bb);
6342 : 12 : vec<edge_var_map> *head = redirect_edge_var_map_vector (re);
6343 : 12 : ene = single_succ_edge (entry_bb);
6344 : :
6345 : 12 : psi = gsi_start_phis (fin_bb);
6346 : 21 : for (i = 0; !gsi_end_p (psi) && head->iterate (i, &vm);
6347 : 9 : gsi_next (&psi), ++i)
6348 : : {
6349 : 9 : gphi *nphi;
6350 : 9 : location_t locus;
6351 : :
6352 : 9 : phi = psi.phi ();
6353 : 9 : if (operand_equal_p (gimple_phi_arg_def (phi, 0),
6354 : 9 : redirect_edge_var_map_def (vm), 0))
6355 : 0 : continue;
6356 : :
6357 : 9 : t = gimple_phi_result (phi);
6358 : 9 : gcc_assert (t == redirect_edge_var_map_result (vm));
6359 : :
6360 : 9 : if (!single_pred_p (fin_bb))
6361 : 1 : t = copy_ssa_name (t, phi);
6362 : :
6363 : 9 : nphi = create_phi_node (t, iter_part_bb);
6364 : :
6365 : 9 : t = PHI_ARG_DEF_FROM_EDGE (phi, se);
6366 : 9 : locus = gimple_phi_arg_location_from_edge (phi, se);
6367 : :
6368 : : /* A special case -- fd->loop.v is not yet computed in
6369 : : iter_part_bb, we need to use vextra instead. */
6370 : 9 : if (t == fd->loop.v)
6371 : 0 : t = vextra;
6372 : 9 : add_phi_arg (nphi, t, ene, locus);
6373 : 9 : locus = redirect_edge_var_map_location (vm);
6374 : 9 : tree back_arg = redirect_edge_var_map_def (vm);
6375 : 9 : add_phi_arg (nphi, back_arg, re, locus);
6376 : 9 : edge ce = find_edge (cont_bb, body_bb);
6377 : 9 : if (ce == NULL)
6378 : : {
6379 : 9 : ce = BRANCH_EDGE (cont_bb);
6380 : 9 : gcc_assert (single_succ (ce->dest) == body_bb);
6381 : : ce = single_succ_edge (ce->dest);
6382 : : }
6383 : 9 : gphi *inner_loop_phi = find_phi_with_arg_on_edge (back_arg, ce);
6384 : 9 : gcc_assert (inner_loop_phi != NULL);
6385 : 9 : add_phi_arg (inner_loop_phi, gimple_phi_result (nphi),
6386 : : find_edge (seq_start_bb, body_bb), locus);
6387 : :
6388 : 9 : if (!single_pred_p (fin_bb))
6389 : 1 : add_phi_arg (phi, gimple_phi_result (nphi), se, locus);
6390 : : }
6391 : 21 : gcc_assert (gsi_end_p (psi) && (head == NULL || i == head->length ()));
6392 : 12 : redirect_edge_var_map_clear (re);
6393 : 12 : if (single_pred_p (fin_bb))
6394 : 27 : while (1)
6395 : : {
6396 : 19 : psi = gsi_start_phis (fin_bb);
6397 : 19 : if (gsi_end_p (psi))
6398 : : break;
6399 : 8 : remove_phi_node (&psi, false);
6400 : : }
6401 : :
6402 : : /* Make phi node for trip. */
6403 : 12 : phi = create_phi_node (trip_main, iter_part_bb);
6404 : 12 : add_phi_arg (phi, trip_back, single_succ_edge (trip_update_bb),
6405 : : UNKNOWN_LOCATION);
6406 : 12 : add_phi_arg (phi, trip_init, single_succ_edge (entry_bb),
6407 : : UNKNOWN_LOCATION);
6408 : : }
6409 : :
6410 : 5811 : if (!broken_loop)
6411 : 5554 : set_immediate_dominator (CDI_DOMINATORS, trip_update_bb, cont_bb);
6412 : 5811 : set_immediate_dominator (CDI_DOMINATORS, iter_part_bb,
6413 : : recompute_dominator (CDI_DOMINATORS, iter_part_bb));
6414 : 5811 : set_immediate_dominator (CDI_DOMINATORS, fin_bb,
6415 : : recompute_dominator (CDI_DOMINATORS, fin_bb));
6416 : 5811 : set_immediate_dominator (CDI_DOMINATORS, seq_start_bb,
6417 : : recompute_dominator (CDI_DOMINATORS, seq_start_bb));
6418 : 5811 : set_immediate_dominator (CDI_DOMINATORS, body_bb,
6419 : : recompute_dominator (CDI_DOMINATORS, body_bb));
6420 : :
6421 : 5811 : if (!broken_loop)
6422 : : {
6423 : 5554 : class loop *loop = body_bb->loop_father;
6424 : 5554 : class loop *trip_loop = alloc_loop ();
6425 : 5554 : trip_loop->header = iter_part_bb;
6426 : 5554 : trip_loop->latch = trip_update_bb;
6427 : 5554 : add_loop (trip_loop, iter_part_bb->loop_father);
6428 : :
6429 : 5554 : if (loop != entry_bb->loop_father)
6430 : : {
6431 : 12 : gcc_assert (loop->header == body_bb);
6432 : 12 : gcc_assert (loop->latch == region->cont
6433 : : || single_pred (loop->latch) == region->cont);
6434 : 12 : trip_loop->inner = loop;
6435 : 12 : return;
6436 : : }
6437 : :
6438 : 5542 : if (!gimple_omp_for_combined_p (fd->for_stmt))
6439 : : {
6440 : 1340 : loop = alloc_loop ();
6441 : 1340 : loop->header = body_bb;
6442 : 1340 : if (collapse_bb == NULL)
6443 : 895 : loop->latch = cont_bb;
6444 : 1340 : add_loop (loop, trip_loop);
6445 : : }
6446 : : }
6447 : : }
6448 : :
6449 : : /* A subroutine of expand_omp_for. Generate code for a simd non-worksharing
6450 : : loop. Given parameters:
6451 : :
6452 : : for (V = N1; V cond N2; V += STEP) BODY;
6453 : :
6454 : : where COND is "<" or ">", we generate pseudocode
6455 : :
6456 : : V = N1;
6457 : : goto L1;
6458 : : L0:
6459 : : BODY;
6460 : : V += STEP;
6461 : : L1:
6462 : : if (V cond N2) goto L0; else goto L2;
6463 : : L2:
6464 : :
6465 : : For collapsed loops, emit the outer loops as scalar
6466 : : and only try to vectorize the innermost loop. */
6467 : :
6468 : : static void
6469 : 9330 : expand_omp_simd (struct omp_region *region, struct omp_for_data *fd)
6470 : : {
6471 : 9330 : tree type, t;
6472 : 9330 : basic_block entry_bb, cont_bb, exit_bb, l0_bb, l1_bb, l2_bb, l2_dom_bb;
6473 : 9330 : gimple_stmt_iterator gsi;
6474 : 9330 : gimple *stmt;
6475 : 9330 : gcond *cond_stmt;
6476 : 9330 : bool broken_loop = region->cont == NULL;
6477 : 9330 : edge e, ne;
6478 : 9330 : tree *counts = NULL;
6479 : 9330 : int i;
6480 : 9330 : int safelen_int = INT_MAX;
6481 : 9330 : bool dont_vectorize = false;
6482 : 9330 : tree safelen = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
6483 : : OMP_CLAUSE_SAFELEN);
6484 : 9330 : tree simduid = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
6485 : : OMP_CLAUSE__SIMDUID_);
6486 : 9330 : tree ifc = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
6487 : : OMP_CLAUSE_IF);
6488 : 9330 : tree simdlen = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
6489 : : OMP_CLAUSE_SIMDLEN);
6490 : 9330 : tree condtemp = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
6491 : : OMP_CLAUSE__CONDTEMP_);
6492 : 9330 : tree n1, n2;
6493 : 9407 : tree cond_var = condtemp ? OMP_CLAUSE_DECL (condtemp) : NULL_TREE;
6494 : :
6495 : 9330 : if (safelen)
6496 : : {
6497 : 5349 : poly_uint64 val;
6498 : 5349 : safelen = OMP_CLAUSE_SAFELEN_EXPR (safelen);
6499 : 5349 : if (!poly_int_tree_p (safelen, &val))
6500 : : safelen_int = 0;
6501 : : else
6502 : 5334 : safelen_int = MIN (constant_lower_bound (val), INT_MAX);
6503 : 5334 : if (safelen_int == 1)
6504 : 1778 : safelen_int = 0;
6505 : : }
6506 : 759 : if ((ifc && integer_zerop (OMP_CLAUSE_IF_EXPR (ifc)))
6507 : 9965 : || (simdlen && integer_onep (OMP_CLAUSE_SIMDLEN_EXPR (simdlen))))
6508 : : {
6509 : : safelen_int = 0;
6510 : : dont_vectorize = true;
6511 : : }
6512 : 9330 : type = TREE_TYPE (fd->loop.v);
6513 : 9330 : entry_bb = region->entry;
6514 : 9330 : cont_bb = region->cont;
6515 : 9330 : gcc_assert (EDGE_COUNT (entry_bb->succs) == 2);
6516 : 9330 : gcc_assert (broken_loop
6517 : : || BRANCH_EDGE (entry_bb)->dest == FALLTHRU_EDGE (cont_bb)->dest);
6518 : 9330 : l0_bb = FALLTHRU_EDGE (entry_bb)->dest;
6519 : 9330 : if (!broken_loop)
6520 : : {
6521 : 8258 : gcc_assert (BRANCH_EDGE (cont_bb)->dest == l0_bb);
6522 : 8258 : gcc_assert (EDGE_COUNT (cont_bb->succs) == 2);
6523 : 8258 : l1_bb = split_block (cont_bb, last_nondebug_stmt (cont_bb))->dest;
6524 : 8258 : l2_bb = BRANCH_EDGE (entry_bb)->dest;
6525 : : }
6526 : : else
6527 : : {
6528 : 1072 : BRANCH_EDGE (entry_bb)->flags &= ~EDGE_ABNORMAL;
6529 : 1072 : l1_bb = split_edge (BRANCH_EDGE (entry_bb));
6530 : 1072 : l2_bb = single_succ (l1_bb);
6531 : : }
6532 : 9330 : exit_bb = region->exit;
6533 : 9330 : l2_dom_bb = NULL;
6534 : :
6535 : 9330 : gsi = gsi_last_nondebug_bb (entry_bb);
6536 : :
6537 : 9330 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
6538 : : /* Not needed in SSA form right now. */
6539 : 9330 : gcc_assert (!gimple_in_ssa_p (cfun));
6540 : 9330 : if (fd->collapse > 1
6541 : 9330 : && (gimple_omp_for_combined_into_p (fd->for_stmt)
6542 : 494 : || broken_loop))
6543 : : {
6544 : 2263 : int first_zero_iter = -1, dummy = -1;
6545 : 2263 : basic_block zero_iter_bb = l2_bb, dummy_bb = NULL;
6546 : :
6547 : 2263 : counts = XALLOCAVEC (tree, fd->collapse);
6548 : 2263 : expand_omp_for_init_counts (fd, &gsi, entry_bb, counts,
6549 : : zero_iter_bb, first_zero_iter,
6550 : : dummy_bb, dummy, l2_dom_bb);
6551 : : }
6552 : 9330 : if (l2_dom_bb == NULL)
6553 : 9322 : l2_dom_bb = l1_bb;
6554 : :
6555 : 9330 : n1 = fd->loop.n1;
6556 : 9330 : n2 = fd->loop.n2;
6557 : 9330 : if (gimple_omp_for_combined_into_p (fd->for_stmt))
6558 : : {
6559 : 6975 : tree innerc = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
6560 : : OMP_CLAUSE__LOOPTEMP_);
6561 : 6975 : gcc_assert (innerc);
6562 : 6975 : n1 = OMP_CLAUSE_DECL (innerc);
6563 : 6975 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
6564 : : OMP_CLAUSE__LOOPTEMP_);
6565 : 6975 : gcc_assert (innerc);
6566 : 6975 : n2 = OMP_CLAUSE_DECL (innerc);
6567 : : }
6568 : 9330 : tree step = fd->loop.step;
6569 : 9330 : tree orig_step = step; /* May be different from step if is_simt. */
6570 : :
6571 : 9330 : bool is_simt = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
6572 : 9330 : OMP_CLAUSE__SIMT_);
6573 : 9330 : if (is_simt)
6574 : : {
6575 : 0 : cfun->curr_properties &= ~PROP_gimple_lomp_dev;
6576 : 0 : is_simt = safelen_int > 1;
6577 : : }
6578 : 9330 : tree simt_lane = NULL_TREE, simt_maxlane = NULL_TREE;
6579 : 9330 : if (is_simt)
6580 : : {
6581 : 0 : simt_lane = create_tmp_var (unsigned_type_node);
6582 : 0 : gimple *g = gimple_build_call_internal (IFN_GOMP_SIMT_LANE, 0);
6583 : 0 : gimple_call_set_lhs (g, simt_lane);
6584 : 0 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
6585 : 0 : tree offset = fold_build2 (MULT_EXPR, TREE_TYPE (step), step,
6586 : : fold_convert (TREE_TYPE (step), simt_lane));
6587 : 0 : n1 = fold_convert (type, n1);
6588 : 0 : if (POINTER_TYPE_P (type))
6589 : 0 : n1 = fold_build_pointer_plus (n1, offset);
6590 : : else
6591 : 0 : n1 = fold_build2 (PLUS_EXPR, type, n1, fold_convert (type, offset));
6592 : :
6593 : : /* Collapsed loops not handled for SIMT yet: limit to one lane only. */
6594 : 0 : if (fd->collapse > 1)
6595 : 0 : simt_maxlane = build_one_cst (unsigned_type_node);
6596 : 0 : else if (safelen_int < omp_max_simt_vf ())
6597 : 0 : simt_maxlane = build_int_cst (unsigned_type_node, safelen_int);
6598 : 0 : tree vf
6599 : 0 : = build_call_expr_internal_loc (UNKNOWN_LOCATION, IFN_GOMP_SIMT_VF,
6600 : : unsigned_type_node, 0);
6601 : 0 : if (simt_maxlane)
6602 : 0 : vf = fold_build2 (MIN_EXPR, unsigned_type_node, vf, simt_maxlane);
6603 : 0 : vf = fold_convert (TREE_TYPE (step), vf);
6604 : 0 : step = fold_build2 (MULT_EXPR, TREE_TYPE (step), step, vf);
6605 : : }
6606 : :
6607 : 9330 : tree n2var = NULL_TREE;
6608 : 9330 : tree n2v = NULL_TREE;
6609 : 9330 : tree *nonrect_bounds = NULL;
6610 : 9330 : tree min_arg1 = NULL_TREE, min_arg2 = NULL_TREE;
6611 : 9330 : if (fd->collapse > 1)
6612 : : {
6613 : 2737 : if (broken_loop || gimple_omp_for_combined_into_p (fd->for_stmt))
6614 : : {
6615 : 2263 : if (fd->non_rect)
6616 : : {
6617 : 99 : nonrect_bounds = XALLOCAVEC (tree, fd->last_nonrect + 1);
6618 : 99 : memset (nonrect_bounds, 0,
6619 : : sizeof (tree) * (fd->last_nonrect + 1));
6620 : : }
6621 : 2263 : expand_omp_build_assign (&gsi, fd->loop.v, fold_convert (type, n1));
6622 : 2263 : gcc_assert (entry_bb == gsi_bb (gsi));
6623 : 2263 : gcc_assert (fd->for_stmt == gsi_stmt (gsi));
6624 : 2263 : gsi_prev (&gsi);
6625 : 2263 : entry_bb = split_block (entry_bb, gsi_stmt (gsi))->dest;
6626 : 2263 : expand_omp_for_init_vars (fd, &gsi, counts, nonrect_bounds,
6627 : : NULL, n1);
6628 : 2263 : gsi = gsi_for_stmt (fd->for_stmt);
6629 : : }
6630 : 2737 : if (broken_loop)
6631 : : ;
6632 : 2201 : else if (gimple_omp_for_combined_into_p (fd->for_stmt))
6633 : : {
6634 : : /* Compute in n2var the limit for the first innermost loop,
6635 : : i.e. fd->loop.v + MIN (n2 - fd->loop.v, cnt)
6636 : : where cnt is how many iterations would the loop have if
6637 : : all further iterations were assigned to the current task. */
6638 : 1727 : n2var = create_tmp_var (type);
6639 : 1727 : i = fd->collapse - 1;
6640 : 1727 : tree itype = TREE_TYPE (fd->loops[i].v);
6641 : 1727 : if (POINTER_TYPE_P (itype))
6642 : 266 : itype = signed_type_for (itype);
6643 : 1727 : t = build_int_cst (itype, (fd->loops[i].cond_code == LT_EXPR
6644 : 2497 : ? -1 : 1));
6645 : 1727 : t = fold_build2 (PLUS_EXPR, itype,
6646 : : fold_convert (itype, fd->loops[i].step), t);
6647 : 1727 : t = fold_build2 (PLUS_EXPR, itype, t,
6648 : : fold_convert (itype, fd->loops[i].n2));
6649 : 1727 : if (fd->loops[i].m2)
6650 : : {
6651 : 26 : tree t2 = fold_convert (itype,
6652 : : fd->loops[i - fd->loops[i].outer].v);
6653 : 26 : tree t3 = fold_convert (itype, fd->loops[i].m2);
6654 : 26 : t2 = fold_build2 (MULT_EXPR, TREE_TYPE (t), t2, t3);
6655 : 26 : t = fold_build2 (PLUS_EXPR, itype, t, t2);
6656 : : }
6657 : 1727 : t = fold_build2 (MINUS_EXPR, itype, t,
6658 : : fold_convert (itype, fd->loops[i].v));
6659 : 1727 : if (TYPE_UNSIGNED (itype) && fd->loops[i].cond_code == GT_EXPR)
6660 : 256 : t = fold_build2 (TRUNC_DIV_EXPR, itype,
6661 : : fold_build1 (NEGATE_EXPR, itype, t),
6662 : : fold_build1 (NEGATE_EXPR, itype,
6663 : : fold_convert (itype,
6664 : : fd->loops[i].step)));
6665 : : else
6666 : 1471 : t = fold_build2 (TRUNC_DIV_EXPR, itype, t,
6667 : : fold_convert (itype, fd->loops[i].step));
6668 : 1727 : t = fold_convert (type, t);
6669 : 1727 : tree t2 = fold_build2 (MINUS_EXPR, type, n2, n1);
6670 : 1727 : min_arg1 = create_tmp_var (type);
6671 : 1727 : expand_omp_build_assign (&gsi, min_arg1, t2);
6672 : 1727 : min_arg2 = create_tmp_var (type);
6673 : 1727 : expand_omp_build_assign (&gsi, min_arg2, t);
6674 : : }
6675 : : else
6676 : : {
6677 : 474 : if (TREE_CODE (n2) == INTEGER_CST)
6678 : : {
6679 : : /* Indicate for lastprivate handling that at least one iteration
6680 : : has been performed, without wasting runtime. */
6681 : 136 : if (integer_nonzerop (n2))
6682 : 128 : expand_omp_build_assign (&gsi, fd->loop.v,
6683 : : fold_convert (type, n2));
6684 : : else
6685 : : /* Indicate that no iteration has been performed. */
6686 : 8 : expand_omp_build_assign (&gsi, fd->loop.v,
6687 : : build_one_cst (type));
6688 : : }
6689 : : else
6690 : : {
6691 : 338 : expand_omp_build_assign (&gsi, fd->loop.v,
6692 : : build_zero_cst (type));
6693 : 338 : expand_omp_build_assign (&gsi, n2, build_one_cst (type));
6694 : : }
6695 : 474 : for (i = 0; i < fd->collapse; i++)
6696 : : {
6697 : 474 : t = fold_convert (TREE_TYPE (fd->loops[i].v), fd->loops[i].n1);
6698 : 474 : if (fd->loops[i].m1)
6699 : : {
6700 : 0 : tree t2
6701 : 0 : = fold_convert (TREE_TYPE (t),
6702 : : fd->loops[i - fd->loops[i].outer].v);
6703 : 0 : tree t3 = fold_convert (TREE_TYPE (t), fd->loops[i].m1);
6704 : 0 : t2 = fold_build2 (MULT_EXPR, TREE_TYPE (t), t2, t3);
6705 : 0 : t = fold_build2 (PLUS_EXPR, TREE_TYPE (t), t, t2);
6706 : : }
6707 : 474 : expand_omp_build_assign (&gsi, fd->loops[i].v, t);
6708 : : /* For normal non-combined collapsed loops just initialize
6709 : : the outermost iterator in the entry_bb. */
6710 : 474 : if (!broken_loop)
6711 : : break;
6712 : : }
6713 : : }
6714 : : }
6715 : : else
6716 : 6593 : expand_omp_build_assign (&gsi, fd->loop.v, fold_convert (type, n1));
6717 : 9330 : tree altv = NULL_TREE, altn2 = NULL_TREE;
6718 : 9330 : if (fd->collapse == 1
6719 : 6593 : && !broken_loop
6720 : 6057 : && TREE_CODE (orig_step) != INTEGER_CST)
6721 : : {
6722 : : /* The vectorizer currently punts on loops with non-constant steps
6723 : : for the main IV (can't compute number of iterations and gives up
6724 : : because of that). As for OpenMP loops it is always possible to
6725 : : compute the number of iterations upfront, use an alternate IV
6726 : : as the loop iterator:
6727 : : altn2 = n1 < n2 ? (n2 - n1 + step - 1) / step : 0;
6728 : : for (i = n1, altv = 0; altv < altn2; altv++, i += step) */
6729 : 176 : altv = create_tmp_var (unsigned_type_for (TREE_TYPE (fd->loops[0].v)));
6730 : 176 : expand_omp_build_assign (&gsi, altv, build_zero_cst (TREE_TYPE (altv)));
6731 : 176 : tree itype = TREE_TYPE (fd->loop.v);
6732 : 176 : if (POINTER_TYPE_P (itype))
6733 : 0 : itype = signed_type_for (itype);
6734 : 334 : t = build_int_cst (itype, (fd->loop.cond_code == LT_EXPR ? -1 : 1));
6735 : 176 : t = fold_build2 (PLUS_EXPR, itype,
6736 : : fold_convert (itype, step), t);
6737 : 176 : t = fold_build2 (PLUS_EXPR, itype, t, fold_convert (itype, n2));
6738 : 176 : t = fold_build2 (MINUS_EXPR, itype, t,
6739 : : fold_convert (itype, fd->loop.v));
6740 : 176 : if (TYPE_UNSIGNED (itype) && fd->loop.cond_code == GT_EXPR)
6741 : 0 : t = fold_build2 (TRUNC_DIV_EXPR, itype,
6742 : : fold_build1 (NEGATE_EXPR, itype, t),
6743 : : fold_build1 (NEGATE_EXPR, itype,
6744 : : fold_convert (itype, step)));
6745 : : else
6746 : 176 : t = fold_build2 (TRUNC_DIV_EXPR, itype, t,
6747 : : fold_convert (itype, step));
6748 : 176 : t = fold_convert (TREE_TYPE (altv), t);
6749 : 176 : altn2 = create_tmp_var (TREE_TYPE (altv));
6750 : 176 : expand_omp_build_assign (&gsi, altn2, t);
6751 : 176 : tree t2 = fold_convert (TREE_TYPE (fd->loop.v), n2);
6752 : 176 : t2 = fold_build2 (fd->loop.cond_code, boolean_type_node, fd->loop.v, t2);
6753 : 176 : t2 = force_gimple_operand_gsi (&gsi, t2, true, NULL_TREE,
6754 : : true, GSI_SAME_STMT);
6755 : 176 : gassign *g = gimple_build_assign (altn2, COND_EXPR, t2, altn2,
6756 : 176 : build_zero_cst (TREE_TYPE (altv)));
6757 : 176 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
6758 : 176 : }
6759 : 9154 : else if (fd->collapse > 1
6760 : 2737 : && !broken_loop
6761 : 2201 : && !gimple_omp_for_combined_into_p (fd->for_stmt)
6762 : 9628 : && TREE_CODE (fd->loops[fd->collapse - 1].step) != INTEGER_CST)
6763 : : {
6764 : 22 : altv = create_tmp_var (unsigned_type_for (TREE_TYPE (fd->loops[0].v)));
6765 : 22 : altn2 = create_tmp_var (TREE_TYPE (altv));
6766 : : }
6767 : 9330 : if (cond_var)
6768 : : {
6769 : 77 : if (POINTER_TYPE_P (type)
6770 : 77 : || TREE_CODE (n1) != INTEGER_CST
6771 : 15 : || fd->loop.cond_code != LT_EXPR
6772 : 92 : || tree_int_cst_sgn (n1) != 1)
6773 : 72 : expand_omp_build_assign (&gsi, cond_var,
6774 : 72 : build_one_cst (TREE_TYPE (cond_var)));
6775 : : else
6776 : 5 : expand_omp_build_assign (&gsi, cond_var,
6777 : 5 : fold_convert (TREE_TYPE (cond_var), n1));
6778 : : }
6779 : :
6780 : : /* Remove the GIMPLE_OMP_FOR statement. */
6781 : 9330 : gsi_remove (&gsi, true);
6782 : :
6783 : 9330 : if (!broken_loop)
6784 : : {
6785 : : /* Code to control the increment goes in the CONT_BB. */
6786 : 8258 : gsi = gsi_last_nondebug_bb (cont_bb);
6787 : 8258 : stmt = gsi_stmt (gsi);
6788 : 8258 : gcc_assert (gimple_code (stmt) == GIMPLE_OMP_CONTINUE);
6789 : :
6790 : 8258 : if (fd->collapse == 1
6791 : 8258 : || gimple_omp_for_combined_into_p (fd->for_stmt))
6792 : : {
6793 : 7784 : if (POINTER_TYPE_P (type))
6794 : 286 : t = fold_build_pointer_plus (fd->loop.v, step);
6795 : : else
6796 : 7498 : t = fold_build2 (PLUS_EXPR, type, fd->loop.v, step);
6797 : 7784 : expand_omp_build_assign (&gsi, fd->loop.v, t);
6798 : : }
6799 : 474 : else if (TREE_CODE (n2) != INTEGER_CST)
6800 : 338 : expand_omp_build_assign (&gsi, fd->loop.v, build_one_cst (type));
6801 : 8258 : if (altv)
6802 : : {
6803 : 198 : t = fold_build2 (PLUS_EXPR, TREE_TYPE (altv), altv,
6804 : : build_one_cst (TREE_TYPE (altv)));
6805 : 198 : expand_omp_build_assign (&gsi, altv, t);
6806 : : }
6807 : :
6808 : 8258 : if (fd->collapse > 1)
6809 : : {
6810 : 2201 : i = fd->collapse - 1;
6811 : 2201 : if (POINTER_TYPE_P (TREE_TYPE (fd->loops[i].v)))
6812 : 280 : t = fold_build_pointer_plus (fd->loops[i].v, fd->loops[i].step);
6813 : : else
6814 : : {
6815 : 1921 : t = fold_convert (TREE_TYPE (fd->loops[i].v),
6816 : : fd->loops[i].step);
6817 : 1921 : t = fold_build2 (PLUS_EXPR, TREE_TYPE (fd->loops[i].v),
6818 : : fd->loops[i].v, t);
6819 : : }
6820 : 2201 : expand_omp_build_assign (&gsi, fd->loops[i].v, t);
6821 : : }
6822 : 8258 : if (cond_var)
6823 : : {
6824 : 77 : if (POINTER_TYPE_P (type)
6825 : 77 : || TREE_CODE (n1) != INTEGER_CST
6826 : 15 : || fd->loop.cond_code != LT_EXPR
6827 : 92 : || tree_int_cst_sgn (n1) != 1)
6828 : 72 : t = fold_build2 (PLUS_EXPR, TREE_TYPE (cond_var), cond_var,
6829 : : build_one_cst (TREE_TYPE (cond_var)));
6830 : : else
6831 : 5 : t = fold_build2 (PLUS_EXPR, TREE_TYPE (cond_var), cond_var,
6832 : : fold_convert (TREE_TYPE (cond_var), step));
6833 : 77 : expand_omp_build_assign (&gsi, cond_var, t);
6834 : : }
6835 : :
6836 : : /* Remove GIMPLE_OMP_CONTINUE. */
6837 : 8258 : gsi_remove (&gsi, true);
6838 : : }
6839 : :
6840 : : /* Emit the condition in L1_BB. */
6841 : 9330 : gsi = gsi_start_bb (l1_bb);
6842 : :
6843 : 9330 : if (altv)
6844 : 198 : t = build2 (LT_EXPR, boolean_type_node, altv, altn2);
6845 : 9132 : else if (fd->collapse > 1
6846 : 2715 : && !gimple_omp_for_combined_into_p (fd->for_stmt)
6847 : 9604 : && !broken_loop)
6848 : : {
6849 : 452 : i = fd->collapse - 1;
6850 : 452 : tree itype = TREE_TYPE (fd->loops[i].v);
6851 : 452 : if (fd->loops[i].m2)
6852 : 203 : t = n2v = create_tmp_var (itype);
6853 : : else
6854 : 249 : t = fold_convert (itype, unshare_expr (fd->loops[i].n2));
6855 : 452 : t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
6856 : : false, GSI_CONTINUE_LINKING);
6857 : 452 : tree v = fd->loops[i].v;
6858 : 452 : if (DECL_P (v) && TREE_ADDRESSABLE (v))
6859 : 0 : v = force_gimple_operand_gsi (&gsi, v, true, NULL_TREE,
6860 : : false, GSI_CONTINUE_LINKING);
6861 : 452 : t = build2 (fd->loops[i].cond_code, boolean_type_node, v, t);
6862 : : }
6863 : : else
6864 : : {
6865 : 8680 : if (fd->collapse > 1 && !broken_loop)
6866 : : t = n2var;
6867 : : else
6868 : 6953 : t = fold_convert (type, unshare_expr (n2));
6869 : 8680 : t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
6870 : : false, GSI_CONTINUE_LINKING);
6871 : 8680 : tree v = fd->loop.v;
6872 : 8680 : if (DECL_P (v) && TREE_ADDRESSABLE (v))
6873 : 0 : v = force_gimple_operand_gsi (&gsi, v, true, NULL_TREE,
6874 : : false, GSI_CONTINUE_LINKING);
6875 : 8680 : t = build2 (fd->loop.cond_code, boolean_type_node, v, t);
6876 : : }
6877 : 9330 : cond_stmt = gimple_build_cond_empty (t);
6878 : 9330 : gsi_insert_after (&gsi, cond_stmt, GSI_CONTINUE_LINKING);
6879 : 9330 : if (walk_tree (gimple_cond_lhs_ptr (cond_stmt), expand_omp_regimplify_p,
6880 : : NULL, NULL)
6881 : 9330 : || walk_tree (gimple_cond_rhs_ptr (cond_stmt), expand_omp_regimplify_p,
6882 : : NULL, NULL))
6883 : : {
6884 : 0 : gsi = gsi_for_stmt (cond_stmt);
6885 : 0 : gimple_regimplify_operands (cond_stmt, &gsi);
6886 : : }
6887 : :
6888 : : /* Add 'V -= STEP * (SIMT_VF - 1)' after the loop. */
6889 : 9330 : if (is_simt)
6890 : : {
6891 : 0 : gsi = gsi_start_bb (l2_bb);
6892 : 0 : step = fold_build2 (MINUS_EXPR, TREE_TYPE (step), orig_step, step);
6893 : 0 : if (POINTER_TYPE_P (type))
6894 : 0 : t = fold_build_pointer_plus (fd->loop.v, step);
6895 : : else
6896 : 0 : t = fold_build2 (PLUS_EXPR, type, fd->loop.v, step);
6897 : 0 : expand_omp_build_assign (&gsi, fd->loop.v, t);
6898 : : }
6899 : :
6900 : : /* Remove GIMPLE_OMP_RETURN. */
6901 : 9330 : gsi = gsi_last_nondebug_bb (exit_bb);
6902 : 9330 : gsi_remove (&gsi, true);
6903 : :
6904 : : /* Connect the new blocks. */
6905 : 9330 : remove_edge (FALLTHRU_EDGE (entry_bb));
6906 : :
6907 : 9330 : if (!broken_loop)
6908 : : {
6909 : 8258 : remove_edge (BRANCH_EDGE (entry_bb));
6910 : 8258 : make_edge (entry_bb, l1_bb, EDGE_FALLTHRU);
6911 : :
6912 : 8258 : e = BRANCH_EDGE (l1_bb);
6913 : 8258 : ne = FALLTHRU_EDGE (l1_bb);
6914 : 8258 : e->flags = EDGE_TRUE_VALUE;
6915 : : }
6916 : : else
6917 : : {
6918 : 1072 : single_succ_edge (entry_bb)->flags = EDGE_FALLTHRU;
6919 : :
6920 : 1072 : ne = single_succ_edge (l1_bb);
6921 : 1072 : e = make_edge (l1_bb, l0_bb, EDGE_TRUE_VALUE);
6922 : :
6923 : : }
6924 : 9330 : ne->flags = EDGE_FALSE_VALUE;
6925 : 9330 : e->probability = profile_probability::guessed_always ().apply_scale (7, 8);
6926 : 9330 : ne->probability = e->probability.invert ();
6927 : :
6928 : 9330 : set_immediate_dominator (CDI_DOMINATORS, l1_bb, entry_bb);
6929 : 9330 : set_immediate_dominator (CDI_DOMINATORS, l0_bb, l1_bb);
6930 : :
6931 : 9330 : if (simt_maxlane)
6932 : : {
6933 : 0 : cond_stmt = gimple_build_cond (LT_EXPR, simt_lane, simt_maxlane,
6934 : : NULL_TREE, NULL_TREE);
6935 : 0 : gsi = gsi_last_bb (entry_bb);
6936 : 0 : gsi_insert_after (&gsi, cond_stmt, GSI_NEW_STMT);
6937 : 0 : make_edge (entry_bb, l2_bb, EDGE_FALSE_VALUE);
6938 : 0 : FALLTHRU_EDGE (entry_bb)->flags = EDGE_TRUE_VALUE;
6939 : 0 : FALLTHRU_EDGE (entry_bb)->probability
6940 : 0 : = profile_probability::guessed_always ().apply_scale (7, 8);
6941 : 0 : BRANCH_EDGE (entry_bb)->probability
6942 : 0 : = FALLTHRU_EDGE (entry_bb)->probability.invert ();
6943 : 0 : l2_dom_bb = entry_bb;
6944 : : }
6945 : 9330 : set_immediate_dominator (CDI_DOMINATORS, l2_bb, l2_dom_bb);
6946 : :
6947 : 9330 : if (!broken_loop && fd->collapse > 1)
6948 : : {
6949 : 2201 : basic_block last_bb = l1_bb;
6950 : 2201 : basic_block init_bb = NULL;
6951 : 6075 : for (i = fd->collapse - 2; i >= 0; i--)
6952 : : {
6953 : 3874 : tree nextn2v = NULL_TREE;
6954 : 3874 : if (EDGE_SUCC (last_bb, 0)->flags & EDGE_FALSE_VALUE)
6955 : : e = EDGE_SUCC (last_bb, 0);
6956 : : else
6957 : 2201 : e = EDGE_SUCC (last_bb, 1);
6958 : 3874 : basic_block bb = split_edge (e);
6959 : 3874 : if (POINTER_TYPE_P (TREE_TYPE (fd->loops[i].v)))
6960 : 553 : t = fold_build_pointer_plus (fd->loops[i].v, fd->loops[i].step);
6961 : : else
6962 : : {
6963 : 3321 : t = fold_convert (TREE_TYPE (fd->loops[i].v),
6964 : : fd->loops[i].step);
6965 : 3321 : t = fold_build2 (PLUS_EXPR, TREE_TYPE (fd->loops[i].v),
6966 : : fd->loops[i].v, t);
6967 : : }
6968 : 3874 : gsi = gsi_after_labels (bb);
6969 : 3874 : expand_omp_build_assign (&gsi, fd->loops[i].v, t);
6970 : :
6971 : 3874 : bb = split_block (bb, last_nondebug_stmt (bb))->dest;
6972 : 3874 : gsi = gsi_start_bb (bb);
6973 : 3874 : tree itype = TREE_TYPE (fd->loops[i].v);
6974 : 3874 : if (fd->loops[i].m2)
6975 : 0 : t = nextn2v = create_tmp_var (itype);
6976 : : else
6977 : 3874 : t = fold_convert (itype, unshare_expr (fd->loops[i].n2));
6978 : 3874 : t = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
6979 : : false, GSI_CONTINUE_LINKING);
6980 : 3874 : tree v = fd->loops[i].v;
6981 : 3874 : if (DECL_P (v) && TREE_ADDRESSABLE (v))
6982 : 0 : v = force_gimple_operand_gsi (&gsi, v, true, NULL_TREE,
6983 : : false, GSI_CONTINUE_LINKING);
6984 : 3874 : t = build2 (fd->loops[i].cond_code, boolean_type_node, v, t);
6985 : 3874 : cond_stmt = gimple_build_cond_empty (t);
6986 : 3874 : gsi_insert_after (&gsi, cond_stmt, GSI_CONTINUE_LINKING);
6987 : 3874 : if (walk_tree (gimple_cond_lhs_ptr (cond_stmt),
6988 : : expand_omp_regimplify_p, NULL, NULL)
6989 : 3874 : || walk_tree (gimple_cond_rhs_ptr (cond_stmt),
6990 : : expand_omp_regimplify_p, NULL, NULL))
6991 : : {
6992 : 6 : gsi = gsi_for_stmt (cond_stmt);
6993 : 6 : gimple_regimplify_operands (cond_stmt, &gsi);
6994 : : }
6995 : 3874 : ne = single_succ_edge (bb);
6996 : 3874 : ne->flags = EDGE_FALSE_VALUE;
6997 : :
6998 : 3874 : init_bb = create_empty_bb (bb);
6999 : 3874 : set_immediate_dominator (CDI_DOMINATORS, init_bb, bb);
7000 : 3874 : add_bb_to_loop (init_bb, bb->loop_father);
7001 : 3874 : e = make_edge (bb, init_bb, EDGE_TRUE_VALUE);
7002 : 3874 : e->probability
7003 : 3874 : = profile_probability::guessed_always ().apply_scale (7, 8);
7004 : 3874 : ne->probability = e->probability.invert ();
7005 : :
7006 : 3874 : gsi = gsi_after_labels (init_bb);
7007 : 3874 : if (fd->loops[i + 1].m1)
7008 : : {
7009 : 242 : tree t2 = fold_convert (TREE_TYPE (fd->loops[i + 1].v),
7010 : : fd->loops[i + 1
7011 : : - fd->loops[i + 1].outer].v);
7012 : 242 : if (POINTER_TYPE_P (TREE_TYPE (t2)))
7013 : 6 : t = fold_build_pointer_plus (t2, fd->loops[i + 1].n1);
7014 : : else
7015 : : {
7016 : 236 : t = fold_convert (TREE_TYPE (fd->loops[i + 1].v),
7017 : : fd->loops[i + 1].n1);
7018 : 236 : tree t3 = fold_convert (TREE_TYPE (t), fd->loops[i + 1].m1);
7019 : 236 : t2 = fold_build2 (MULT_EXPR, TREE_TYPE (t), t2, t3);
7020 : 236 : t = fold_build2 (PLUS_EXPR, TREE_TYPE (t), t, t2);
7021 : : }
7022 : : }
7023 : : else
7024 : 3632 : t = fold_convert (TREE_TYPE (fd->loops[i + 1].v),
7025 : : fd->loops[i + 1].n1);
7026 : 3874 : expand_omp_build_assign (&gsi, fd->loops[i + 1].v, t);
7027 : 3874 : if (fd->loops[i + 1].m2)
7028 : : {
7029 : 241 : if (i + 2 == fd->collapse && (n2var || altv))
7030 : : {
7031 : 38 : gcc_assert (n2v == NULL_TREE);
7032 : 38 : n2v = create_tmp_var (TREE_TYPE (fd->loops[i + 1].v));
7033 : : }
7034 : 241 : tree t2 = fold_convert (TREE_TYPE (fd->loops[i + 1].v),
7035 : : fd->loops[i + 1
7036 : : - fd->loops[i + 1].outer].v);
7037 : 241 : if (POINTER_TYPE_P (TREE_TYPE (t2)))
7038 : 6 : t = fold_build_pointer_plus (t2, fd->loops[i + 1].n2);
7039 : : else
7040 : : {
7041 : 235 : t = fold_convert (TREE_TYPE (fd->loops[i + 1].v),
7042 : : fd->loops[i + 1].n2);
7043 : 235 : tree t3 = fold_convert (TREE_TYPE (t), fd->loops[i + 1].m2);
7044 : 235 : t2 = fold_build2 (MULT_EXPR, TREE_TYPE (t), t2, t3);
7045 : 235 : t = fold_build2 (PLUS_EXPR, TREE_TYPE (t), t, t2);
7046 : : }
7047 : 241 : expand_omp_build_assign (&gsi, n2v, t);
7048 : : }
7049 : 3874 : if (i + 2 == fd->collapse && n2var)
7050 : : {
7051 : : /* For composite simd, n2 is the first iteration the current
7052 : : task shouldn't already handle, so we effectively want to use
7053 : : for (V3 = N31; V < N2 && V3 < N32; V++, V3 += STEP3)
7054 : : as the vectorized loop. Except the vectorizer will not
7055 : : vectorize that, so instead compute N2VAR as
7056 : : N2VAR = V + MIN (N2 - V, COUNTS3) and use
7057 : : for (V3 = N31; V < N2VAR; V++, V3 += STEP3)
7058 : : as the loop to vectorize. */
7059 : 1727 : tree t2 = fold_build2 (MINUS_EXPR, type, n2, fd->loop.v);
7060 : 1727 : if (fd->loops[i + 1].m1 || fd->loops[i + 1].m2)
7061 : : {
7062 : 99 : tree itype = TREE_TYPE (fd->loops[i].v);
7063 : 99 : if (POINTER_TYPE_P (itype))
7064 : 4 : itype = signed_type_for (itype);
7065 : 99 : t = build_int_cst (itype, (fd->loops[i + 1].cond_code
7066 : 99 : == LT_EXPR ? -1 : 1));
7067 : 99 : t = fold_build2 (PLUS_EXPR, itype,
7068 : : fold_convert (itype,
7069 : : fd->loops[i + 1].step), t);
7070 : 99 : if (fd->loops[i + 1].m2 == NULL_TREE)
7071 : 73 : t = fold_build2 (PLUS_EXPR, itype, t,
7072 : : fold_convert (itype,
7073 : : fd->loops[i + 1].n2));
7074 : 26 : else if (POINTER_TYPE_P (TREE_TYPE (n2v)))
7075 : : {
7076 : 4 : t = fold_build_pointer_plus (n2v, t);
7077 : 4 : t = fold_convert (itype, t);
7078 : : }
7079 : : else
7080 : 22 : t = fold_build2 (PLUS_EXPR, itype, t, n2v);
7081 : 99 : t = fold_build2 (MINUS_EXPR, itype, t,
7082 : : fold_convert (itype, fd->loops[i + 1].v));
7083 : 99 : tree step = fold_convert (itype, fd->loops[i + 1].step);
7084 : 99 : if (TYPE_UNSIGNED (itype)
7085 : 99 : && fd->loops[i + 1].cond_code == GT_EXPR)
7086 : 0 : t = fold_build2 (TRUNC_DIV_EXPR, itype,
7087 : : fold_build1 (NEGATE_EXPR, itype, t),
7088 : : fold_build1 (NEGATE_EXPR, itype, step));
7089 : : else
7090 : 99 : t = fold_build2 (TRUNC_DIV_EXPR, itype, t, step);
7091 : 99 : t = fold_convert (type, t);
7092 : 99 : }
7093 : : else
7094 : 1628 : t = counts[i + 1];
7095 : 1727 : expand_omp_build_assign (&gsi, min_arg1, t2);
7096 : 1727 : expand_omp_build_assign (&gsi, min_arg2, t);
7097 : 1727 : e = split_block (init_bb, last_nondebug_stmt (init_bb));
7098 : 1727 : gsi = gsi_after_labels (e->dest);
7099 : 1727 : init_bb = e->dest;
7100 : 1727 : remove_edge (FALLTHRU_EDGE (entry_bb));
7101 : 1727 : make_edge (entry_bb, init_bb, EDGE_FALLTHRU);
7102 : 1727 : set_immediate_dominator (CDI_DOMINATORS, init_bb, entry_bb);
7103 : 1727 : set_immediate_dominator (CDI_DOMINATORS, l1_bb, init_bb);
7104 : 1727 : t = fold_build2 (MIN_EXPR, type, min_arg1, min_arg2);
7105 : 1727 : t = fold_build2 (PLUS_EXPR, type, fd->loop.v, t);
7106 : 1727 : expand_omp_build_assign (&gsi, n2var, t);
7107 : : }
7108 : 3874 : if (i + 2 == fd->collapse && altv)
7109 : : {
7110 : : /* The vectorizer currently punts on loops with non-constant
7111 : : steps for the main IV (can't compute number of iterations
7112 : : and gives up because of that). As for OpenMP loops it is
7113 : : always possible to compute the number of iterations upfront,
7114 : : use an alternate IV as the loop iterator. */
7115 : 22 : expand_omp_build_assign (&gsi, altv,
7116 : 22 : build_zero_cst (TREE_TYPE (altv)));
7117 : 22 : tree itype = TREE_TYPE (fd->loops[i + 1].v);
7118 : 22 : if (POINTER_TYPE_P (itype))
7119 : 0 : itype = signed_type_for (itype);
7120 : 22 : t = build_int_cst (itype, (fd->loops[i + 1].cond_code == LT_EXPR
7121 : 26 : ? -1 : 1));
7122 : 22 : t = fold_build2 (PLUS_EXPR, itype,
7123 : : fold_convert (itype, fd->loops[i + 1].step), t);
7124 : 22 : t = fold_build2 (PLUS_EXPR, itype, t,
7125 : : fold_convert (itype,
7126 : : fd->loops[i + 1].m2
7127 : : ? n2v : fd->loops[i + 1].n2));
7128 : 22 : t = fold_build2 (MINUS_EXPR, itype, t,
7129 : : fold_convert (itype, fd->loops[i + 1].v));
7130 : 22 : tree step = fold_convert (itype, fd->loops[i + 1].step);
7131 : 22 : if (TYPE_UNSIGNED (itype)
7132 : 22 : && fd->loops[i + 1].cond_code == GT_EXPR)
7133 : 0 : t = fold_build2 (TRUNC_DIV_EXPR, itype,
7134 : : fold_build1 (NEGATE_EXPR, itype, t),
7135 : : fold_build1 (NEGATE_EXPR, itype, step));
7136 : : else
7137 : 22 : t = fold_build2 (TRUNC_DIV_EXPR, itype, t, step);
7138 : 22 : t = fold_convert (TREE_TYPE (altv), t);
7139 : 22 : expand_omp_build_assign (&gsi, altn2, t);
7140 : 22 : tree t2 = fold_convert (TREE_TYPE (fd->loops[i + 1].v),
7141 : : fd->loops[i + 1].m2
7142 : : ? n2v : fd->loops[i + 1].n2);
7143 : 22 : t2 = fold_build2 (fd->loops[i + 1].cond_code, boolean_type_node,
7144 : : fd->loops[i + 1].v, t2);
7145 : 22 : t2 = force_gimple_operand_gsi (&gsi, t2, true, NULL_TREE,
7146 : : true, GSI_SAME_STMT);
7147 : 22 : gassign *g
7148 : 22 : = gimple_build_assign (altn2, COND_EXPR, t2, altn2,
7149 : 22 : build_zero_cst (TREE_TYPE (altv)));
7150 : 22 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
7151 : : }
7152 : 3874 : n2v = nextn2v;
7153 : :
7154 : 3874 : make_edge (init_bb, last_bb, EDGE_FALLTHRU);
7155 : 3874 : if (!gimple_omp_for_combined_into_p (fd->for_stmt))
7156 : : {
7157 : 785 : e = find_edge (entry_bb, last_bb);
7158 : 785 : redirect_edge_succ (e, bb);
7159 : 785 : set_immediate_dominator (CDI_DOMINATORS, bb, entry_bb);
7160 : 785 : set_immediate_dominator (CDI_DOMINATORS, last_bb, init_bb);
7161 : : }
7162 : :
7163 : 3874 : last_bb = bb;
7164 : : }
7165 : : }
7166 : 9330 : if (!broken_loop)
7167 : : {
7168 : 8258 : class loop *loop = alloc_loop ();
7169 : 8258 : loop->header = l1_bb;
7170 : 8258 : loop->latch = cont_bb;
7171 : 8258 : add_loop (loop, l1_bb->loop_father);
7172 : 8258 : loop->safelen = safelen_int;
7173 : 8258 : if (simduid)
7174 : : {
7175 : 3480 : loop->simduid = OMP_CLAUSE__SIMDUID__DECL (simduid);
7176 : 3480 : cfun->has_simduid_loops = true;
7177 : : }
7178 : : /* If not -fno-tree-loop-vectorize, hint that we want to vectorize
7179 : : the loop. */
7180 : 8258 : if ((flag_tree_loop_vectorize
7181 : 3257 : || !OPTION_SET_P (flag_tree_loop_vectorize))
7182 : 8258 : && flag_tree_loop_optimize
7183 : 8257 : && loop->safelen > 1)
7184 : : {
7185 : 6479 : loop->force_vectorize = true;
7186 : 6479 : if (simdlen && tree_fits_uhwi_p (OMP_CLAUSE_SIMDLEN_EXPR (simdlen)))
7187 : : {
7188 : 60 : unsigned HOST_WIDE_INT v
7189 : 60 : = tree_to_uhwi (OMP_CLAUSE_SIMDLEN_EXPR (simdlen));
7190 : 60 : if (v < INT_MAX && v <= (unsigned HOST_WIDE_INT) loop->safelen)
7191 : 60 : loop->simdlen = v;
7192 : : }
7193 : 6479 : cfun->has_force_vectorize_loops = true;
7194 : 6479 : }
7195 : 1779 : else if (dont_vectorize)
7196 : 234 : loop->dont_vectorize = true;
7197 : : }
7198 : 1072 : else if (simduid)
7199 : 532 : cfun->has_simduid_loops = true;
7200 : 9330 : }
7201 : :
7202 : : /* Taskloop construct is represented after gimplification with
7203 : : two GIMPLE_OMP_FOR constructs with GIMPLE_OMP_TASK sandwiched
7204 : : in between them. This routine expands the outer GIMPLE_OMP_FOR,
7205 : : which should just compute all the needed loop temporaries
7206 : : for GIMPLE_OMP_TASK. */
7207 : :
7208 : : static void
7209 : 1343 : expand_omp_taskloop_for_outer (struct omp_region *region,
7210 : : struct omp_for_data *fd,
7211 : : gimple *inner_stmt)
7212 : : {
7213 : 1343 : tree type, bias = NULL_TREE;
7214 : 1343 : basic_block entry_bb, cont_bb, exit_bb;
7215 : 1343 : gimple_stmt_iterator gsi;
7216 : 1343 : gassign *assign_stmt;
7217 : 1343 : tree *counts = NULL;
7218 : 1343 : int i;
7219 : :
7220 : 1343 : gcc_assert (inner_stmt);
7221 : 1343 : gcc_assert (region->cont);
7222 : 1343 : gcc_assert (gimple_code (inner_stmt) == GIMPLE_OMP_TASK
7223 : : && gimple_omp_task_taskloop_p (inner_stmt));
7224 : 1343 : type = TREE_TYPE (fd->loop.v);
7225 : :
7226 : : /* See if we need to bias by LLONG_MIN. */
7227 : 1343 : if (fd->iter_type == long_long_unsigned_type_node
7228 : 42 : && (TREE_CODE (type) == INTEGER_TYPE || TREE_CODE (type) == BITINT_TYPE)
7229 : 1371 : && !TYPE_UNSIGNED (type))
7230 : : {
7231 : 0 : tree n1, n2;
7232 : :
7233 : 0 : if (fd->loop.cond_code == LT_EXPR)
7234 : : {
7235 : 0 : n1 = fd->loop.n1;
7236 : 0 : n2 = fold_build2 (PLUS_EXPR, type, fd->loop.n2, fd->loop.step);
7237 : : }
7238 : : else
7239 : : {
7240 : 0 : n1 = fold_build2 (MINUS_EXPR, type, fd->loop.n2, fd->loop.step);
7241 : 0 : n2 = fd->loop.n1;
7242 : : }
7243 : 0 : if (TREE_CODE (n1) != INTEGER_CST
7244 : 0 : || TREE_CODE (n2) != INTEGER_CST
7245 : 0 : || ((tree_int_cst_sgn (n1) < 0) ^ (tree_int_cst_sgn (n2) < 0)))
7246 : 0 : bias = fold_convert (fd->iter_type, TYPE_MIN_VALUE (type));
7247 : : }
7248 : :
7249 : 1343 : entry_bb = region->entry;
7250 : 1343 : cont_bb = region->cont;
7251 : 1343 : gcc_assert (EDGE_COUNT (entry_bb->succs) == 2);
7252 : 1343 : gcc_assert (BRANCH_EDGE (entry_bb)->dest == FALLTHRU_EDGE (cont_bb)->dest);
7253 : 1343 : exit_bb = region->exit;
7254 : :
7255 : 1343 : gsi = gsi_last_nondebug_bb (entry_bb);
7256 : 1343 : gimple *for_stmt = gsi_stmt (gsi);
7257 : 1343 : gcc_assert (gimple_code (for_stmt) == GIMPLE_OMP_FOR);
7258 : 1343 : if (fd->collapse > 1)
7259 : : {
7260 : 181 : int first_zero_iter = -1, dummy = -1;
7261 : 181 : basic_block zero_iter_bb = NULL, dummy_bb = NULL, l2_dom_bb = NULL;
7262 : :
7263 : 181 : counts = XALLOCAVEC (tree, fd->collapse);
7264 : 181 : expand_omp_for_init_counts (fd, &gsi, entry_bb, counts,
7265 : : zero_iter_bb, first_zero_iter,
7266 : : dummy_bb, dummy, l2_dom_bb);
7267 : :
7268 : 181 : if (zero_iter_bb)
7269 : : {
7270 : : /* Some counts[i] vars might be uninitialized if
7271 : : some loop has zero iterations. But the body shouldn't
7272 : : be executed in that case, so just avoid uninit warnings. */
7273 : 336 : for (i = first_zero_iter; i < fd->collapse; i++)
7274 : 239 : if (SSA_VAR_P (counts[i]))
7275 : 226 : suppress_warning (counts[i], OPT_Wuninitialized);
7276 : 97 : gsi_prev (&gsi);
7277 : 97 : edge e = split_block (entry_bb, gsi_stmt (gsi));
7278 : 97 : entry_bb = e->dest;
7279 : 97 : make_edge (zero_iter_bb, entry_bb, EDGE_FALLTHRU);
7280 : 97 : gsi = gsi_last_bb (entry_bb);
7281 : 97 : set_immediate_dominator (CDI_DOMINATORS, entry_bb,
7282 : : get_immediate_dominator (CDI_DOMINATORS,
7283 : : zero_iter_bb));
7284 : : }
7285 : : }
7286 : :
7287 : 1343 : tree t0, t1;
7288 : 1343 : t1 = fd->loop.n2;
7289 : 1343 : t0 = fd->loop.n1;
7290 : 2672 : if (POINTER_TYPE_P (TREE_TYPE (t0))
7291 : 1343 : && TYPE_PRECISION (TREE_TYPE (t0))
7292 : 14 : != TYPE_PRECISION (fd->iter_type))
7293 : : {
7294 : : /* Avoid casting pointers to integer of a different size. */
7295 : 0 : tree itype = signed_type_for (type);
7296 : 0 : t1 = fold_convert (fd->iter_type, fold_convert (itype, t1));
7297 : 0 : t0 = fold_convert (fd->iter_type, fold_convert (itype, t0));
7298 : : }
7299 : : else
7300 : : {
7301 : 1343 : t1 = fold_convert (fd->iter_type, t1);
7302 : 1343 : t0 = fold_convert (fd->iter_type, t0);
7303 : : }
7304 : 1343 : if (bias)
7305 : : {
7306 : 0 : t1 = fold_build2 (PLUS_EXPR, fd->iter_type, t1, bias);
7307 : 0 : t0 = fold_build2 (PLUS_EXPR, fd->iter_type, t0, bias);
7308 : : }
7309 : :
7310 : 1343 : tree innerc = omp_find_clause (gimple_omp_task_clauses (inner_stmt),
7311 : : OMP_CLAUSE__LOOPTEMP_);
7312 : 1343 : gcc_assert (innerc);
7313 : 1343 : tree startvar = OMP_CLAUSE_DECL (innerc);
7314 : 1343 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc), OMP_CLAUSE__LOOPTEMP_);
7315 : 1343 : gcc_assert (innerc);
7316 : 1343 : tree endvar = OMP_CLAUSE_DECL (innerc);
7317 : 1343 : if (fd->collapse > 1 && TREE_CODE (fd->loop.n2) != INTEGER_CST)
7318 : : {
7319 : 101 : innerc = find_lastprivate_looptemp (fd, innerc);
7320 : 101 : if (innerc)
7321 : : {
7322 : : /* If needed (inner taskloop has lastprivate clause), propagate
7323 : : down the total number of iterations. */
7324 : 31 : tree t = force_gimple_operand_gsi (&gsi, fd->loop.n2, false,
7325 : : NULL_TREE, false,
7326 : : GSI_CONTINUE_LINKING);
7327 : 31 : assign_stmt = gimple_build_assign (OMP_CLAUSE_DECL (innerc), t);
7328 : 31 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
7329 : : }
7330 : : }
7331 : :
7332 : 1343 : t0 = force_gimple_operand_gsi (&gsi, t0, false, NULL_TREE, false,
7333 : : GSI_CONTINUE_LINKING);
7334 : 1343 : assign_stmt = gimple_build_assign (startvar, t0);
7335 : 1343 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
7336 : :
7337 : 1343 : t1 = force_gimple_operand_gsi (&gsi, t1, false, NULL_TREE, false,
7338 : : GSI_CONTINUE_LINKING);
7339 : 1343 : assign_stmt = gimple_build_assign (endvar, t1);
7340 : 1343 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
7341 : 1343 : if (fd->collapse > 1)
7342 : 181 : expand_omp_for_init_vars (fd, &gsi, counts, NULL, inner_stmt, startvar);
7343 : :
7344 : : /* Remove the GIMPLE_OMP_FOR statement. */
7345 : 1343 : gsi = gsi_for_stmt (for_stmt);
7346 : 1343 : gsi_remove (&gsi, true);
7347 : :
7348 : 1343 : gsi = gsi_last_nondebug_bb (cont_bb);
7349 : 1343 : gsi_remove (&gsi, true);
7350 : :
7351 : 1343 : gsi = gsi_last_nondebug_bb (exit_bb);
7352 : 1343 : gsi_remove (&gsi, true);
7353 : :
7354 : 1343 : FALLTHRU_EDGE (entry_bb)->probability = profile_probability::always ();
7355 : 1343 : remove_edge (BRANCH_EDGE (entry_bb));
7356 : 1343 : FALLTHRU_EDGE (cont_bb)->probability = profile_probability::always ();
7357 : 1343 : remove_edge (BRANCH_EDGE (cont_bb));
7358 : 1343 : set_immediate_dominator (CDI_DOMINATORS, exit_bb, cont_bb);
7359 : 1343 : set_immediate_dominator (CDI_DOMINATORS, region->entry,
7360 : : recompute_dominator (CDI_DOMINATORS, region->entry));
7361 : 1343 : }
7362 : :
7363 : : /* Taskloop construct is represented after gimplification with
7364 : : two GIMPLE_OMP_FOR constructs with GIMPLE_OMP_TASK sandwiched
7365 : : in between them. This routine expands the inner GIMPLE_OMP_FOR.
7366 : : GOMP_taskloop{,_ull} function arranges for each task to be given just
7367 : : a single range of iterations. */
7368 : :
7369 : : static void
7370 : 1343 : expand_omp_taskloop_for_inner (struct omp_region *region,
7371 : : struct omp_for_data *fd,
7372 : : gimple *inner_stmt)
7373 : : {
7374 : 1343 : tree e, t, type, itype, vmain, vback, bias = NULL_TREE;
7375 : 1343 : basic_block entry_bb, exit_bb, body_bb, cont_bb, collapse_bb = NULL;
7376 : 1343 : basic_block fin_bb;
7377 : 1343 : gimple_stmt_iterator gsi;
7378 : 1343 : edge ep;
7379 : 1343 : bool broken_loop = region->cont == NULL;
7380 : 1343 : tree *counts = NULL;
7381 : 1343 : tree n1, n2, step;
7382 : :
7383 : 1343 : itype = type = TREE_TYPE (fd->loop.v);
7384 : 1343 : if (POINTER_TYPE_P (type))
7385 : 14 : itype = signed_type_for (type);
7386 : :
7387 : : /* See if we need to bias by LLONG_MIN. */
7388 : 1343 : if (fd->iter_type == long_long_unsigned_type_node
7389 : 42 : && (TREE_CODE (type) == INTEGER_TYPE || TREE_CODE (type) == BITINT_TYPE)
7390 : 1371 : && !TYPE_UNSIGNED (type))
7391 : : {
7392 : 0 : tree n1, n2;
7393 : :
7394 : 0 : if (fd->loop.cond_code == LT_EXPR)
7395 : : {
7396 : 0 : n1 = fd->loop.n1;
7397 : 0 : n2 = fold_build2 (PLUS_EXPR, type, fd->loop.n2, fd->loop.step);
7398 : : }
7399 : : else
7400 : : {
7401 : 0 : n1 = fold_build2 (MINUS_EXPR, type, fd->loop.n2, fd->loop.step);
7402 : 0 : n2 = fd->loop.n1;
7403 : : }
7404 : 0 : if (TREE_CODE (n1) != INTEGER_CST
7405 : 0 : || TREE_CODE (n2) != INTEGER_CST
7406 : 0 : || ((tree_int_cst_sgn (n1) < 0) ^ (tree_int_cst_sgn (n2) < 0)))
7407 : 0 : bias = fold_convert (fd->iter_type, TYPE_MIN_VALUE (type));
7408 : : }
7409 : :
7410 : 1343 : entry_bb = region->entry;
7411 : 1343 : cont_bb = region->cont;
7412 : 1343 : gcc_assert (EDGE_COUNT (entry_bb->succs) == 2);
7413 : 1343 : fin_bb = BRANCH_EDGE (entry_bb)->dest;
7414 : 1343 : gcc_assert (broken_loop
7415 : : || (fin_bb == FALLTHRU_EDGE (cont_bb)->dest));
7416 : 1343 : body_bb = FALLTHRU_EDGE (entry_bb)->dest;
7417 : 1343 : if (!broken_loop)
7418 : : {
7419 : 1327 : gcc_assert (BRANCH_EDGE (cont_bb)->dest == body_bb);
7420 : 1327 : gcc_assert (EDGE_COUNT (cont_bb->succs) == 2);
7421 : : }
7422 : 1343 : exit_bb = region->exit;
7423 : :
7424 : : /* Iteration space partitioning goes in ENTRY_BB. */
7425 : 1343 : gsi = gsi_last_nondebug_bb (entry_bb);
7426 : 1343 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_FOR);
7427 : :
7428 : 1343 : if (fd->collapse > 1)
7429 : : {
7430 : 181 : int first_zero_iter = -1, dummy = -1;
7431 : 181 : basic_block l2_dom_bb = NULL, dummy_bb = NULL;
7432 : :
7433 : 181 : counts = XALLOCAVEC (tree, fd->collapse);
7434 : 181 : expand_omp_for_init_counts (fd, &gsi, entry_bb, counts,
7435 : : fin_bb, first_zero_iter,
7436 : : dummy_bb, dummy, l2_dom_bb);
7437 : 181 : t = NULL_TREE;
7438 : : }
7439 : : else
7440 : 1343 : t = integer_one_node;
7441 : :
7442 : 1343 : step = fd->loop.step;
7443 : 1343 : tree innerc = omp_find_clause (gimple_omp_for_clauses (fd->for_stmt),
7444 : : OMP_CLAUSE__LOOPTEMP_);
7445 : 1343 : gcc_assert (innerc);
7446 : 1343 : n1 = OMP_CLAUSE_DECL (innerc);
7447 : 1343 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc), OMP_CLAUSE__LOOPTEMP_);
7448 : 1343 : gcc_assert (innerc);
7449 : 1343 : n2 = OMP_CLAUSE_DECL (innerc);
7450 : 1343 : if (bias)
7451 : : {
7452 : 0 : n1 = fold_build2 (PLUS_EXPR, fd->iter_type, n1, bias);
7453 : 0 : n2 = fold_build2 (PLUS_EXPR, fd->iter_type, n2, bias);
7454 : : }
7455 : 1343 : n1 = force_gimple_operand_gsi (&gsi, fold_convert (type, n1),
7456 : : true, NULL_TREE, true, GSI_SAME_STMT);
7457 : 1343 : n2 = force_gimple_operand_gsi (&gsi, fold_convert (itype, n2),
7458 : : true, NULL_TREE, true, GSI_SAME_STMT);
7459 : 1343 : step = force_gimple_operand_gsi (&gsi, fold_convert (itype, step),
7460 : : true, NULL_TREE, true, GSI_SAME_STMT);
7461 : :
7462 : 1343 : tree startvar = fd->loop.v;
7463 : 1343 : tree endvar = NULL_TREE;
7464 : :
7465 : 1343 : if (gimple_omp_for_combined_p (fd->for_stmt))
7466 : : {
7467 : 617 : tree clauses = gimple_omp_for_clauses (inner_stmt);
7468 : 617 : tree innerc = omp_find_clause (clauses, OMP_CLAUSE__LOOPTEMP_);
7469 : 617 : gcc_assert (innerc);
7470 : 617 : startvar = OMP_CLAUSE_DECL (innerc);
7471 : 617 : innerc = omp_find_clause (OMP_CLAUSE_CHAIN (innerc),
7472 : : OMP_CLAUSE__LOOPTEMP_);
7473 : 617 : gcc_assert (innerc);
7474 : 617 : endvar = OMP_CLAUSE_DECL (innerc);
7475 : : }
7476 : 1343 : t = fold_convert (TREE_TYPE (startvar), n1);
7477 : 1343 : t = force_gimple_operand_gsi (&gsi, t,
7478 : 1343 : DECL_P (startvar)
7479 : 1343 : && TREE_ADDRESSABLE (startvar),
7480 : : NULL_TREE, false, GSI_CONTINUE_LINKING);
7481 : 1343 : gimple *assign_stmt = gimple_build_assign (startvar, t);
7482 : 1343 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
7483 : :
7484 : 1343 : t = fold_convert (TREE_TYPE (startvar), n2);
7485 : 1343 : e = force_gimple_operand_gsi (&gsi, t, true, NULL_TREE,
7486 : : false, GSI_CONTINUE_LINKING);
7487 : 1343 : if (endvar)
7488 : : {
7489 : 617 : assign_stmt = gimple_build_assign (endvar, e);
7490 : 617 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
7491 : 617 : if (useless_type_conversion_p (TREE_TYPE (fd->loop.v), TREE_TYPE (e)))
7492 : 529 : assign_stmt = gimple_build_assign (fd->loop.v, e);
7493 : : else
7494 : 88 : assign_stmt = gimple_build_assign (fd->loop.v, NOP_EXPR, e);
7495 : 617 : gsi_insert_after (&gsi, assign_stmt, GSI_CONTINUE_LINKING);
7496 : : }
7497 : :
7498 : 1343 : tree *nonrect_bounds = NULL;
7499 : 1343 : if (fd->collapse > 1)
7500 : : {
7501 : 181 : if (fd->non_rect)
7502 : : {
7503 : 19 : nonrect_bounds = XALLOCAVEC (tree, fd->last_nonrect + 1);
7504 : 19 : memset (nonrect_bounds, 0, sizeof (tree) * (fd->last_nonrect + 1));
7505 : : }
7506 : 181 : gcc_assert (gsi_bb (gsi) == entry_bb);
7507 : 181 : expand_omp_for_init_vars (fd, &gsi, counts, nonrect_bounds, inner_stmt,
7508 : : startvar);
7509 : 181 : entry_bb = gsi_bb (gsi);
7510 : : }
7511 : :
7512 : 1343 : if (!broken_loop)
7513 : : {
7514 : : /* The code controlling the sequential loop replaces the
7515 : : GIMPLE_OMP_CONTINUE. */
7516 : 1327 : gsi = gsi_last_nondebug_bb (cont_bb);
7517 : 1327 : gomp_continue *cont_stmt = as_a <gomp_continue *> (gsi_stmt (gsi));
7518 : 1327 : gcc_assert (gimple_code (cont_stmt) == GIMPLE_OMP_CONTINUE);
7519 : 1327 : vmain = gimple_omp_continue_control_use (cont_stmt);
7520 : 1327 : vback = gimple_omp_continue_control_def (cont_stmt);
7521 : :
7522 : 1327 : if (!gimple_omp_for_combined_p (fd->for_stmt))
7523 : : {
7524 : 710 : if (POINTER_TYPE_P (type))
7525 : 8 : t = fold_build_pointer_plus (vmain, step);
7526 : : else
7527 : 702 : t = fold_build2 (PLUS_EXPR, type, vmain, step);
7528 : 710 : t = force_gimple_operand_gsi (&gsi, t,
7529 : 710 : DECL_P (vback)
7530 : 710 : && TREE_ADDRESSABLE (vback),
7531 : : NULL_TREE, true, GSI_SAME_STMT);
7532 : 710 : assign_stmt = gimple_build_assign (vback, t);
7533 : 710 : gsi_insert_before (&gsi, assign_stmt, GSI_SAME_STMT);
7534 : :
7535 : 710 : t = build2 (fd->loop.cond_code, boolean_type_node,
7536 : 710 : DECL_P (vback) && TREE_ADDRESSABLE (vback)
7537 : : ? t : vback, e);
7538 : 710 : gsi_insert_before (&gsi, gimple_build_cond_empty (t), GSI_SAME_STMT);
7539 : : }
7540 : :
7541 : : /* Remove the GIMPLE_OMP_CONTINUE statement. */
7542 : 1327 : gsi_remove (&gsi, true);
7543 : :
7544 : 1327 : if (fd->collapse > 1 && !gimple_omp_for_combined_p (fd->for_stmt))
7545 : 81 : collapse_bb = extract_omp_for_update_vars (fd, nonrect_bounds,
7546 : : cont_bb, body_bb);
7547 : : }
7548 : :
7549 : : /* Remove the GIMPLE_OMP_FOR statement. */
7550 : 1343 : gsi = gsi_for_stmt (fd->for_stmt);
7551 : 1343 : gsi_remove (&gsi, true);
7552 : :
7553 : : /* Remove the GIMPLE_OMP_RETURN statement. */
7554 : 1343 : gsi = gsi_last_nondebug_bb (exit_bb);
7555 : 1343 : gsi_remove (&gsi, true);
7556 : :
7557 : 1343 : FALLTHRU_EDGE (entry_bb)->probability = profile_probability::always ();
7558 : 1343 : if (!broken_loop)
7559 : 1327 : remove_edge (BRANCH_EDGE (entry_bb));
7560 : : else
7561 : : {
7562 : 16 : remove_edge_and_dominated_blocks (BRANCH_EDGE (entry_bb));
7563 : 16 : region->outer->cont = NULL;
7564 : : }
7565 : :
7566 : : /* Connect all the blocks. */
7567 : 1343 : if (!broken_loop)
7568 : : {
7569 : 1327 : ep = find_edge (cont_bb, body_bb);
7570 : 1327 : if (gimple_omp_for_combined_p (fd->for_stmt))
7571 : : {
7572 : 617 : remove_edge (ep);
7573 : 617 : ep = NULL;
7574 : : }
7575 : 710 : else if (fd->collapse > 1)
7576 : : {
7577 : 81 : remove_edge (ep);
7578 : 81 : ep = make_edge (cont_bb, collapse_bb, EDGE_TRUE_VALUE);
7579 : : }
7580 : : else
7581 : 629 : ep->flags = EDGE_TRUE_VALUE;
7582 : 2573 : find_edge (cont_bb, fin_bb)->flags
7583 : 1408 : = ep ? EDGE_FALSE_VALUE : EDGE_FALLTHRU;
7584 : : }
7585 : :
7586 : 1343 : set_immediate_dominator (CDI_DOMINATORS, body_bb,
7587 : : recompute_dominator (CDI_DOMINATORS, body_bb));
7588 : 1343 : if (!broken_loop)
7589 : 1327 : set_immediate_dominator (CDI_DOMINATORS, fin_bb,
7590 : : recompute_dominator (CDI_DOMINATORS, fin_bb));
7591 : :
7592 : 1327 : if (!broken_loop && !gimple_omp_for_combined_p (fd->for_stmt))
7593 : : {
7594 : 710 : class loop *loop = alloc_loop ();
7595 : 710 : loop->header = body_bb;
7596 : 710 : if (collapse_bb == NULL)
7597 : 629 : loop->latch = cont_bb;
7598 : 710 : add_loop (loop, body_bb->loop_father);
7599 : : }
7600 : 1343 : }
7601 : :
7602 : : /* A subroutine of expand_omp_for. Generate code for an OpenACC
7603 : : partitioned loop. The lowering here is abstracted, in that the
7604 : : loop parameters are passed through internal functions, which are
7605 : : further lowered by oacc_device_lower, once we get to the target
7606 : : compiler. The loop is of the form:
7607 : :
7608 : : for (V = B; V LTGT E; V += S) {BODY}
7609 : :
7610 : : where LTGT is < or >. We may have a specified chunking size, CHUNKING
7611 : : (constant 0 for no chunking) and we will have a GWV partitioning
7612 : : mask, specifying dimensions over which the loop is to be
7613 : : partitioned (see note below). We generate code that looks like
7614 : : (this ignores tiling):
7615 : :
7616 : : <entry_bb> [incoming FALL->body, BRANCH->exit]
7617 : : typedef signedintify (typeof (V)) T; // underlying signed integral type
7618 : : T range = E - B;
7619 : : T chunk_no = 0;
7620 : : T DIR = LTGT == '<' ? +1 : -1;
7621 : : T chunk_max = GOACC_LOOP_CHUNK (dir, range, S, CHUNK_SIZE, GWV);
7622 : : T step = GOACC_LOOP_STEP (dir, range, S, CHUNK_SIZE, GWV);
7623 : :
7624 : : <head_bb> [created by splitting end of entry_bb]
7625 : : T offset = GOACC_LOOP_OFFSET (dir, range, S, CHUNK_SIZE, GWV, chunk_no);
7626 : : T bound = GOACC_LOOP_BOUND (dir, range, S, CHUNK_SIZE, GWV, offset);
7627 : : if (!(offset LTGT bound)) goto bottom_bb;
7628 : :
7629 : : <body_bb> [incoming]
7630 : : V = B + offset;
7631 : : {BODY}
7632 : :
7633 : : <cont_bb> [incoming, may == body_bb FALL->exit_bb, BRANCH->body_bb]
7634 : : offset += step;
7635 : : if (offset LTGT bound) goto body_bb; [*]
7636 : :
7637 : : <bottom_bb> [created by splitting start of exit_bb] insert BRANCH->head_bb
7638 : : chunk_no++;
7639 : : if (chunk < chunk_max) goto head_bb;
7640 : :
7641 : : <exit_bb> [incoming]
7642 : : V = B + ((range -/+ 1) / S +/- 1) * S [*]
7643 : :
7644 : : [*] Needed if V live at end of loop. */
7645 : :
7646 : : static void
7647 : 9986 : expand_oacc_for (struct omp_region *region, struct omp_for_data *fd)
7648 : : {
7649 : 9986 : bool is_oacc_kernels_parallelized
7650 : 9986 : = (lookup_attribute ("oacc kernels parallelized",
7651 : 9986 : DECL_ATTRIBUTES (current_function_decl)) != NULL);
7652 : 9986 : {
7653 : 9986 : bool is_oacc_kernels
7654 : 9986 : = (lookup_attribute ("oacc kernels",
7655 : 9986 : DECL_ATTRIBUTES (current_function_decl)) != NULL);
7656 : 9986 : if (is_oacc_kernels_parallelized)
7657 : 388 : gcc_checking_assert (is_oacc_kernels);
7658 : : }
7659 : 19972 : gcc_assert (gimple_in_ssa_p (cfun) == is_oacc_kernels_parallelized);
7660 : : /* In the following, some of the 'gimple_in_ssa_p (cfun)' conditionals are
7661 : : for SSA specifics, and some are for 'parloops' OpenACC
7662 : : 'kernels'-parallelized specifics. */
7663 : :
7664 : 9986 : tree v = fd->loop.v;
7665 : 9986 : enum tree_code cond_code = fd->loop.cond_code;
7666 : 9986 : enum tree_code plus_code = PLUS_EXPR;
7667 : :
7668 : 9986 : tree chunk_size = integer_minus_one_node;
7669 : 9986 : tree gwv = integer_zero_node;
7670 : 9986 : tree iter_type = TREE_TYPE (v);
7671 : 9986 : tree diff_type = iter_type;
7672 : 9986 : tree plus_type = iter_type;
7673 : 9986 : struct oacc_collapse *counts = NULL;
7674 : :
7675 : 9986 : gcc_checking_assert (gimple_omp_for_kind (fd->for_stmt)
7676 : : == GF_OMP_FOR_KIND_OACC_LOOP);
7677 : 9986 : gcc_assert (!gimple_omp_for_combined_into_p (fd->for_stmt));
7678 : 9986 : gcc_assert (cond_code == LT_EXPR || cond_code == GT_EXPR);
7679 : :
7680 : 9986 : if (POINTER_TYPE_P (iter_type))
7681 : : {
7682 : 52 : plus_code = POINTER_PLUS_EXPR;
7683 : 52 : plus_type = sizetype;
7684 : : }
7685 : 20618 : for (int ix = fd->collapse; ix--;)
7686 : : {
7687 : 10632 : tree diff_type2 = TREE_TYPE (fd->loops[ix].step);
7688 : 10632 : if (TYPE_PRECISION (diff_type) < TYPE_PRECISION (diff_type2))
7689 : 0 : diff_type = diff_type2;
7690 : : }
7691 : 9986 : if (POINTER_TYPE_P (diff_type) || TYPE_UNSIGNED (diff_type))
7692 : 946 : diff_type = signed_type_for (diff_type);
7693 : 9986 : if (TYPE_PRECISION (diff_type) < TYPE_PRECISION (integer_type_node))
7694 : 23 : diff_type = integer_type_node;
7695 : :
7696 : 9986 : basic_block entry_bb = region->entry; /* BB ending in OMP_FOR */
7697 : 9986 : basic_block exit_bb = region->exit; /* BB ending in OMP_RETURN */
7698 : 9986 : basic_block cont_bb = region->cont; /* BB ending in OMP_CONTINUE */
7699 : 9986 : basic_block bottom_bb = NULL;
7700 : :
7701 : : /* entry_bb has two successors; the branch edge is to the exit
7702 : : block, fallthrough edge to body. */
7703 : 9986 : gcc_assert (EDGE_COUNT (entry_bb->succs) == 2
7704 : : && BRANCH_EDGE (entry_bb)->dest == exit_bb);
7705 : :
7706 : : /* If cont_bb non-NULL, it has 2 successors. The branch successor is
7707 : : body_bb, or to a block whose only successor is the body_bb. Its
7708 : : fallthrough successor is the final block (same as the branch
7709 : : successor of the entry_bb). */
7710 : 9986 : if (cont_bb)
7711 : : {
7712 : 9947 : basic_block body_bb = FALLTHRU_EDGE (entry_bb)->dest;
7713 : 9947 : basic_block bed = BRANCH_EDGE (cont_bb)->dest;
7714 : :
7715 : 9947 : gcc_assert (FALLTHRU_EDGE (cont_bb)->dest == exit_bb);
7716 : 9947 : gcc_assert (bed == body_bb || single_succ_edge (bed)->dest == body_bb);
7717 : : }
7718 : : else
7719 : 39 : gcc_assert (!gimple_in_ssa_p (cfun));
7720 : :
7721 : : /* The exit block only has entry_bb and cont_bb as predecessors. */
7722 : 20011 : gcc_assert (EDGE_COUNT (exit_bb->preds) == 1 + (cont_bb != NULL));
7723 : :
7724 : 9986 : tree chunk_no;
7725 : 9986 : tree chunk_max = NULL_TREE;
7726 : 9986 : tree bound, offset;
7727 : 9986 : tree step = create_tmp_var (diff_type, ".step");
7728 : 9986 : bool up = cond_code == LT_EXPR;
7729 : 10146 : tree dir = build_int_cst (diff_type, up ? +1 : -1);
7730 : 9986 : bool chunking = !gimple_in_ssa_p (cfun);
7731 : 9986 : bool negating;
7732 : :
7733 : : /* Tiling vars. */
7734 : 9986 : tree tile_size = NULL_TREE;
7735 : 9986 : tree element_s = NULL_TREE;
7736 : 9986 : tree e_bound = NULL_TREE, e_offset = NULL_TREE, e_step = NULL_TREE;
7737 : 9986 : basic_block elem_body_bb = NULL;
7738 : 9986 : basic_block elem_cont_bb = NULL;
7739 : :
7740 : : /* SSA instances. */
7741 : 9986 : tree offset_incr = NULL_TREE;
7742 : 9986 : tree offset_init = NULL_TREE;
7743 : :
7744 : 9986 : gimple_stmt_iterator gsi;
7745 : 9986 : gassign *ass;
7746 : 9986 : gcall *call;
7747 : 9986 : gimple *stmt;
7748 : 9986 : tree expr;
7749 : 9986 : location_t loc;
7750 : 9986 : edge split, be, fte;
7751 : :
7752 : : /* Split the end of entry_bb to create head_bb. */
7753 : 9986 : split = split_block (entry_bb, last_nondebug_stmt (entry_bb));
7754 : 9986 : basic_block head_bb = split->dest;
7755 : 9986 : entry_bb = split->src;
7756 : :
7757 : : /* Chunk setup goes at end of entry_bb, replacing the omp_for. */
7758 : 9986 : gsi = gsi_last_nondebug_bb (entry_bb);
7759 : 9986 : gomp_for *for_stmt = as_a <gomp_for *> (gsi_stmt (gsi));
7760 : 9986 : loc = gimple_location (for_stmt);
7761 : :
7762 : 9986 : if (gimple_in_ssa_p (cfun))
7763 : : {
7764 : 388 : offset_init = gimple_omp_for_index (for_stmt, 0);
7765 : 388 : gcc_assert (integer_zerop (fd->loop.n1));
7766 : : /* The SSA parallelizer does gang parallelism. */
7767 : 388 : gwv = build_int_cst (integer_type_node, GOMP_DIM_MASK (GOMP_DIM_GANG));
7768 : : }
7769 : :
7770 : 9986 : if (fd->collapse > 1 || fd->tiling)
7771 : : {
7772 : 1076 : gcc_assert (!gimple_in_ssa_p (cfun) && up);
7773 : 538 : counts = XALLOCAVEC (struct oacc_collapse, fd->collapse);
7774 : 538 : tree total = expand_oacc_collapse_init (fd, &gsi, counts, diff_type,
7775 : 538 : TREE_TYPE (fd->loop.n2), loc);
7776 : :
7777 : 538 : if (SSA_VAR_P (fd->loop.n2))
7778 : : {
7779 : 101 : total = force_gimple_operand_gsi (&gsi, total, false, NULL_TREE,
7780 : : true, GSI_SAME_STMT);
7781 : 101 : ass = gimple_build_assign (fd->loop.n2, total);
7782 : 101 : gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
7783 : : }
7784 : : }
7785 : :
7786 : 9986 : tree b = fd->loop.n1;
7787 : 9986 : tree e = fd->loop.n2;
7788 : 9986 : tree s = fd->loop.step;
7789 : :
7790 : 9986 : b = force_gimple_operand_gsi (&gsi, b, true, NULL_TREE, true, GSI_SAME_STMT);
7791 : 9986 : e = force_gimple_operand_gsi (&gsi, e, true, NULL_TREE, true, GSI_SAME_STMT);
7792 : :
7793 : : /* Convert the step, avoiding possible unsigned->signed overflow. */
7794 : 9986 : negating = !up && TYPE_UNSIGNED (TREE_TYPE (s));
7795 : 32 : if (negating)
7796 : 32 : s = fold_build1 (NEGATE_EXPR, TREE_TYPE (s), s);
7797 : 9986 : s = fold_convert (diff_type, s);
7798 : 9986 : if (negating)
7799 : 32 : s = fold_build1 (NEGATE_EXPR, diff_type, s);
7800 : 9986 : s = force_gimple_operand_gsi (&gsi, s, true, NULL_TREE, true, GSI_SAME_STMT);
7801 : :
7802 : 9986 : if (!chunking)
7803 : 388 : chunk_size = integer_zero_node;
7804 : 9986 : expr = fold_convert (diff_type, chunk_size);
7805 : 9986 : chunk_size = force_gimple_operand_gsi (&gsi, expr, true,
7806 : : NULL_TREE, true, GSI_SAME_STMT);
7807 : :
7808 : 9986 : if (fd->tiling)
7809 : : {
7810 : : /* Determine the tile size and element step,
7811 : : modify the outer loop step size. */
7812 : 169 : tile_size = create_tmp_var (diff_type, ".tile_size");
7813 : 169 : expr = build_int_cst (diff_type, 1);
7814 : 437 : for (int ix = 0; ix < fd->collapse; ix++)
7815 : 268 : expr = fold_build2 (MULT_EXPR, diff_type, counts[ix].tile, expr);
7816 : 169 : expr = force_gimple_operand_gsi (&gsi, expr, true,
7817 : : NULL_TREE, true, GSI_SAME_STMT);
7818 : 169 : ass = gimple_build_assign (tile_size, expr);
7819 : 169 : gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
7820 : :
7821 : 169 : element_s = create_tmp_var (diff_type, ".element_s");
7822 : 169 : ass = gimple_build_assign (element_s, s);
7823 : 169 : gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
7824 : :
7825 : 169 : expr = fold_build2 (MULT_EXPR, diff_type, s, tile_size);
7826 : 169 : s = force_gimple_operand_gsi (&gsi, expr, true,
7827 : : NULL_TREE, true, GSI_SAME_STMT);
7828 : : }
7829 : :
7830 : : /* Determine the range, avoiding possible unsigned->signed overflow. */
7831 : 9986 : negating = !up && TYPE_UNSIGNED (iter_type);
7832 : 19924 : expr = fold_build2 (MINUS_EXPR, plus_type,
7833 : : fold_convert (plus_type, negating ? b : e),
7834 : : fold_convert (plus_type, negating ? e : b));
7835 : 9986 : expr = fold_convert (diff_type, expr);
7836 : 9986 : if (negating)
7837 : 48 : expr = fold_build1 (NEGATE_EXPR, diff_type, expr);
7838 : 9986 : tree range = force_gimple_operand_gsi (&gsi, expr, true,
7839 : : NULL_TREE, true, GSI_SAME_STMT);
7840 : :
7841 : 9986 : chunk_no = build_int_cst (diff_type, 0);
7842 : 9986 : if (chunking)
7843 : : {
7844 : 9598 : gcc_assert (!gimple_in_ssa_p (cfun));
7845 : :
7846 : 9598 : expr = chunk_no;
7847 : 9598 : chunk_max = create_tmp_var (diff_type, ".chunk_max");
7848 : 9598 : chunk_no = create_tmp_var (diff_type, ".chunk_no");
7849 : :
7850 : 9598 : ass = gimple_build_assign (chunk_no, expr);
7851 : 9598 : gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
7852 : :
7853 : 9598 : call = gimple_build_call_internal (IFN_GOACC_LOOP, 6,
7854 : 9598 : build_int_cst (integer_type_node,
7855 : 9598 : IFN_GOACC_LOOP_CHUNKS),
7856 : : dir, range, s, chunk_size, gwv);
7857 : 9598 : gimple_call_set_lhs (call, chunk_max);
7858 : 9598 : gimple_set_location (call, loc);
7859 : 9598 : gsi_insert_before (&gsi, call, GSI_SAME_STMT);
7860 : : }
7861 : : else
7862 : : chunk_size = chunk_no;
7863 : :
7864 : 9986 : call = gimple_build_call_internal (IFN_GOACC_LOOP, 6,
7865 : 9986 : build_int_cst (integer_type_node,
7866 : 9986 : IFN_GOACC_LOOP_STEP),
7867 : : dir, range, s, chunk_size, gwv);
7868 : 9986 : gimple_call_set_lhs (call, step);
7869 : 9986 : gimple_set_location (call, loc);
7870 : 9986 : gsi_insert_before (&gsi, call, GSI_SAME_STMT);
7871 : :
7872 : : /* Remove the GIMPLE_OMP_FOR. */
7873 : 9986 : gsi_remove (&gsi, true);
7874 : :
7875 : : /* Fixup edges from head_bb. */
7876 : 9986 : be = BRANCH_EDGE (head_bb);
7877 : 9986 : fte = FALLTHRU_EDGE (head_bb);
7878 : 9986 : be->flags |= EDGE_FALSE_VALUE;
7879 : 9986 : fte->flags ^= EDGE_FALLTHRU | EDGE_TRUE_VALUE;
7880 : :
7881 : 9986 : basic_block body_bb = fte->dest;
7882 : :
7883 : 9986 : if (gimple_in_ssa_p (cfun))
7884 : : {
7885 : 388 : gsi = gsi_last_nondebug_bb (cont_bb);
7886 : 388 : gomp_continue *cont_stmt = as_a <gomp_continue *> (gsi_stmt (gsi));
7887 : :
7888 : 388 : offset = gimple_omp_continue_control_use (cont_stmt);
7889 : 388 : offset_incr = gimple_omp_continue_control_def (cont_stmt);
7890 : : }
7891 : : else
7892 : : {
7893 : 9598 : offset = create_tmp_var (diff_type, ".offset");
7894 : 9598 : offset_init = offset_incr = offset;
7895 : : }
7896 : 9986 : bound = create_tmp_var (TREE_TYPE (offset), ".bound");
7897 : :
7898 : : /* Loop offset & bound go into head_bb. */
7899 : 9986 : gsi = gsi_start_bb (head_bb);
7900 : :
7901 : 9986 : call = gimple_build_call_internal (IFN_GOACC_LOOP, 7,
7902 : 9986 : build_int_cst (integer_type_node,
7903 : 9986 : IFN_GOACC_LOOP_OFFSET),
7904 : : dir, range, s,
7905 : : chunk_size, gwv, chunk_no);
7906 : 9986 : gimple_call_set_lhs (call, offset_init);
7907 : 9986 : gimple_set_location (call, loc);
7908 : 9986 : gsi_insert_after (&gsi, call, GSI_CONTINUE_LINKING);
7909 : :
7910 : 9986 : call = gimple_build_call_internal (IFN_GOACC_LOOP, 7,
7911 : 9986 : build_int_cst (integer_type_node,
7912 : 9986 : IFN_GOACC_LOOP_BOUND),
7913 : : dir, range, s,
7914 : : chunk_size, gwv, offset_init);
7915 : 9986 : gimple_call_set_lhs (call, bound);
7916 : 9986 : gimple_set_location (call, loc);
7917 : 9986 : gsi_insert_after (&gsi, call, GSI_CONTINUE_LINKING);
7918 : :
7919 : 9986 : expr = build2 (cond_code, boolean_type_node, offset_init, bound);
7920 : 9986 : gsi_insert_after (&gsi, gimple_build_cond_empty (expr),
7921 : : GSI_CONTINUE_LINKING);
7922 : :
7923 : : /* V assignment goes into body_bb. */
7924 : 9986 : if (!gimple_in_ssa_p (cfun))
7925 : : {
7926 : 9598 : gsi = gsi_start_bb (body_bb);
7927 : :
7928 : 9598 : expr = build2 (plus_code, iter_type, b,
7929 : : fold_convert (plus_type, offset));
7930 : 9598 : expr = force_gimple_operand_gsi (&gsi, expr, false, NULL_TREE,
7931 : : true, GSI_SAME_STMT);
7932 : 9598 : ass = gimple_build_assign (v, expr);
7933 : 9598 : gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
7934 : :
7935 : 9598 : if (fd->collapse > 1 || fd->tiling)
7936 : 538 : expand_oacc_collapse_vars (fd, false, &gsi, counts, v, diff_type);
7937 : :
7938 : 9598 : if (fd->tiling)
7939 : : {
7940 : : /* Determine the range of the element loop -- usually simply
7941 : : the tile_size, but could be smaller if the final
7942 : : iteration of the outer loop is a partial tile. */
7943 : 169 : tree e_range = create_tmp_var (diff_type, ".e_range");
7944 : :
7945 : 169 : expr = build2 (MIN_EXPR, diff_type,
7946 : : build2 (MINUS_EXPR, diff_type, bound, offset),
7947 : : build2 (MULT_EXPR, diff_type, tile_size,
7948 : : element_s));
7949 : 169 : expr = force_gimple_operand_gsi (&gsi, expr, false, NULL_TREE,
7950 : : true, GSI_SAME_STMT);
7951 : 169 : ass = gimple_build_assign (e_range, expr);
7952 : 169 : gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
7953 : :
7954 : : /* Determine bound, offset & step of inner loop. */
7955 : 169 : e_bound = create_tmp_var (diff_type, ".e_bound");
7956 : 169 : e_offset = create_tmp_var (diff_type, ".e_offset");
7957 : 169 : e_step = create_tmp_var (diff_type, ".e_step");
7958 : :
7959 : : /* Mark these as element loops. */
7960 : 169 : tree t, e_gwv = integer_minus_one_node;
7961 : 169 : tree chunk = build_int_cst (diff_type, 0); /* Never chunked. */
7962 : :
7963 : 169 : t = build_int_cst (integer_type_node, IFN_GOACC_LOOP_OFFSET);
7964 : 169 : call = gimple_build_call_internal (IFN_GOACC_LOOP, 7, t, dir, e_range,
7965 : : element_s, chunk, e_gwv, chunk);
7966 : 169 : gimple_call_set_lhs (call, e_offset);
7967 : 169 : gimple_set_location (call, loc);
7968 : 169 : gsi_insert_before (&gsi, call, GSI_SAME_STMT);
7969 : :
7970 : 169 : t = build_int_cst (integer_type_node, IFN_GOACC_LOOP_BOUND);
7971 : 169 : call = gimple_build_call_internal (IFN_GOACC_LOOP, 7, t, dir, e_range,
7972 : : element_s, chunk, e_gwv, e_offset);
7973 : 169 : gimple_call_set_lhs (call, e_bound);
7974 : 169 : gimple_set_location (call, loc);
7975 : 169 : gsi_insert_before (&gsi, call, GSI_SAME_STMT);
7976 : :
7977 : 169 : t = build_int_cst (integer_type_node, IFN_GOACC_LOOP_STEP);
7978 : 169 : call = gimple_build_call_internal (IFN_GOACC_LOOP, 6, t, dir, e_range,
7979 : : element_s, chunk, e_gwv);
7980 : 169 : gimple_call_set_lhs (call, e_step);
7981 : 169 : gimple_set_location (call, loc);
7982 : 169 : gsi_insert_before (&gsi, call, GSI_SAME_STMT);
7983 : :
7984 : : /* Add test and split block. */
7985 : 169 : expr = build2 (cond_code, boolean_type_node, e_offset, e_bound);
7986 : 169 : stmt = gimple_build_cond_empty (expr);
7987 : 169 : gsi_insert_before (&gsi, stmt, GSI_SAME_STMT);
7988 : 169 : split = split_block (body_bb, stmt);
7989 : 169 : elem_body_bb = split->dest;
7990 : 169 : if (cont_bb == body_bb)
7991 : 138 : cont_bb = elem_body_bb;
7992 : 169 : body_bb = split->src;
7993 : :
7994 : 169 : split->flags ^= EDGE_FALLTHRU | EDGE_TRUE_VALUE;
7995 : :
7996 : : /* Add a dummy exit for the tiled block when cont_bb is missing. */
7997 : 169 : if (cont_bb == NULL)
7998 : : {
7999 : 5 : edge e = make_edge (body_bb, exit_bb, EDGE_FALSE_VALUE);
8000 : 5 : e->probability = profile_probability::even ();
8001 : 5 : split->probability = profile_probability::even ();
8002 : : }
8003 : :
8004 : : /* Initialize the user's loop vars. */
8005 : 169 : gsi = gsi_start_bb (elem_body_bb);
8006 : 169 : expand_oacc_collapse_vars (fd, true, &gsi, counts, e_offset,
8007 : : diff_type);
8008 : : }
8009 : : }
8010 : :
8011 : : /* Loop increment goes into cont_bb. If this is not a loop, we
8012 : : will have spawned threads as if it was, and each one will
8013 : : execute one iteration. The specification is not explicit about
8014 : : whether such constructs are ill-formed or not, and they can
8015 : : occur, especially when noreturn routines are involved. */
8016 : 9986 : if (cont_bb)
8017 : : {
8018 : 9947 : gsi = gsi_last_nondebug_bb (cont_bb);
8019 : 9947 : gomp_continue *cont_stmt = as_a <gomp_continue *> (gsi_stmt (gsi));
8020 : 9947 : loc = gimple_location (cont_stmt);
8021 : :
8022 : 9947 : if (fd->tiling)
8023 : : {
8024 : : /* Insert element loop increment and test. */
8025 : 164 : expr = build2 (PLUS_EXPR, diff_type, e_offset, e_step);
8026 : 164 : expr = force_gimple_operand_gsi (&gsi, expr, false, NULL_TREE,
8027 : : true, GSI_SAME_STMT);
8028 : 164 : ass = gimple_build_assign (e_offset, expr);
8029 : 164 : gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
8030 : 164 : expr = build2 (cond_code, boolean_type_node, e_offset, e_bound);
8031 : :
8032 : 164 : stmt = gimple_build_cond_empty (expr);
8033 : 164 : gsi_insert_before (&gsi, stmt, GSI_SAME_STMT);
8034 : 164 : split = split_block (cont_bb, stmt);
8035 : 164 : elem_cont_bb = split->src;
8036 : 164 : cont_bb = split->dest;
8037 : :
8038 : 164 : split->flags ^= EDGE_FALLTHRU | EDGE_FALSE_VALUE;
8039 : 164 : split->probability = profile_probability::unlikely ().guessed ();
8040 : 164 : edge latch_edge
8041 : 164 : = make_edge (elem_cont_bb, elem_body_bb, EDGE_TRUE_VALUE);
8042 : 164 : latch_edge->probability = profile_probability::likely ().guessed ();
8043 : :
8044 : 164 : edge skip_edge = make_edge (body_bb, cont_bb, EDGE_FALSE_VALUE);
8045 : 164 : skip_edge->probability = profile_probability::unlikely ().guessed ();
8046 : 164 : edge loop_entry_edge = EDGE_SUCC (body_bb, 1 - skip_edge->dest_idx);
8047 : 164 : loop_entry_edge->probability
8048 : 164 : = profile_probability::likely ().guessed ();
8049 : :
8050 : 164 : gsi = gsi_for_stmt (cont_stmt);
8051 : : }
8052 : :
8053 : : /* Increment offset. */
8054 : 9947 : if (gimple_in_ssa_p (cfun))
8055 : 388 : expr = build2 (plus_code, iter_type, offset,
8056 : : fold_convert (plus_type, step));
8057 : : else
8058 : 9559 : expr = build2 (PLUS_EXPR, diff_type, offset, step);
8059 : 9947 : expr = force_gimple_operand_gsi (&gsi, expr, false, NULL_TREE,
8060 : : true, GSI_SAME_STMT);
8061 : 9947 : ass = gimple_build_assign (offset_incr, expr);
8062 : 9947 : gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
8063 : 9947 : expr = build2 (cond_code, boolean_type_node, offset_incr, bound);
8064 : 9947 : gsi_insert_before (&gsi, gimple_build_cond_empty (expr), GSI_SAME_STMT);
8065 : :
8066 : : /* Remove the GIMPLE_OMP_CONTINUE. */
8067 : 9947 : gsi_remove (&gsi, true);
8068 : :
8069 : : /* Fixup edges from cont_bb. */
8070 : 9947 : be = BRANCH_EDGE (cont_bb);
8071 : 9947 : fte = FALLTHRU_EDGE (cont_bb);
8072 : 9947 : be->flags |= EDGE_TRUE_VALUE;
8073 : 9947 : fte->flags ^= EDGE_FALLTHRU | EDGE_FALSE_VALUE;
8074 : :
8075 : 9947 : if (chunking)
8076 : : {
8077 : : /* Split the beginning of exit_bb to make bottom_bb. We
8078 : : need to insert a nop at the start, because splitting is
8079 : : after a stmt, not before. */
8080 : 9559 : gsi = gsi_start_bb (exit_bb);
8081 : 9559 : stmt = gimple_build_nop ();
8082 : 9559 : gsi_insert_before (&gsi, stmt, GSI_SAME_STMT);
8083 : 9559 : split = split_block (exit_bb, stmt);
8084 : 9559 : bottom_bb = split->src;
8085 : 9559 : exit_bb = split->dest;
8086 : 9559 : gsi = gsi_last_bb (bottom_bb);
8087 : :
8088 : : /* Chunk increment and test goes into bottom_bb. */
8089 : 9559 : expr = build2 (PLUS_EXPR, diff_type, chunk_no,
8090 : 9559 : build_int_cst (diff_type, 1));
8091 : 9559 : ass = gimple_build_assign (chunk_no, expr);
8092 : 9559 : gsi_insert_after (&gsi, ass, GSI_CONTINUE_LINKING);
8093 : :
8094 : : /* Chunk test at end of bottom_bb. */
8095 : 9559 : expr = build2 (LT_EXPR, boolean_type_node, chunk_no, chunk_max);
8096 : 9559 : gsi_insert_after (&gsi, gimple_build_cond_empty (expr),
8097 : : GSI_CONTINUE_LINKING);
8098 : :
8099 : : /* Fixup edges from bottom_bb. */
8100 : 9559 : split->flags ^= EDGE_FALLTHRU | EDGE_FALSE_VALUE;
8101 : 9559 : split->probability = profile_probability::unlikely ().guessed ();
8102 : 9559 : edge latch_edge = make_edge (bottom_bb, head_bb, EDGE_TRUE_VALUE);
8103 : 9559 : latch_edge->probability = profile_probability::likely ().guessed ();
8104 : : }
8105 : : }
8106 : :
8107 : 9986 : gsi = gsi_last_nondebug_bb (exit_bb);
8108 : 9986 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_RETURN);
8109 : 9986 : loc = gimple_location (gsi_stmt (gsi));
8110 : :
8111 : 9986 : if (!gimple_in_ssa_p (cfun))
8112 : : {
8113 : : /* Insert the final value of V, in case it is live. This is the
8114 : : value for the only thread that survives past the join. */
8115 : 9598 : expr = fold_build2 (MINUS_EXPR, diff_type, range, dir);
8116 : 9598 : expr = fold_build2 (PLUS_EXPR, diff_type, expr, s);
8117 : 9598 : expr = fold_build2 (TRUNC_DIV_EXPR, diff_type, expr, s);
8118 : 9598 : expr = fold_build2 (MULT_EXPR, diff_type, expr, s);
8119 : 9598 : expr = build2 (plus_code, iter_type, b, fold_convert (plus_type, expr));
8120 : 9598 : expr = force_gimple_operand_gsi (&gsi, expr, false, NULL_TREE,
8121 : : true, GSI_SAME_STMT);
8122 : 9598 : ass = gimple_build_assign (v, expr);
8123 : 9598 : gsi_insert_before (&gsi, ass, GSI_SAME_STMT);
8124 : : }
8125 : :
8126 : : /* Remove the OMP_RETURN. */
8127 : 9986 : gsi_remove (&gsi, true);
8128 : :
8129 : 9986 : if (cont_bb)
8130 : : {
8131 : : /* We now have one, two or three nested loops. Update the loop
8132 : : structures. */
8133 : 9947 : class loop *parent = entry_bb->loop_father;
8134 : 9947 : class loop *body = body_bb->loop_father;
8135 : :
8136 : 9947 : if (chunking)
8137 : : {
8138 : 9559 : class loop *chunk_loop = alloc_loop ();
8139 : 9559 : chunk_loop->header = head_bb;
8140 : 9559 : chunk_loop->latch = bottom_bb;
8141 : 9559 : add_loop (chunk_loop, parent);
8142 : 9559 : parent = chunk_loop;
8143 : : }
8144 : 388 : else if (parent != body)
8145 : : {
8146 : 388 : gcc_assert (body->header == body_bb);
8147 : 388 : gcc_assert (body->latch == cont_bb
8148 : : || single_pred (body->latch) == cont_bb);
8149 : : parent = NULL;
8150 : : }
8151 : :
8152 : 9559 : if (parent)
8153 : : {
8154 : 9559 : class loop *body_loop = alloc_loop ();
8155 : 9559 : body_loop->header = body_bb;
8156 : 9559 : body_loop->latch = cont_bb;
8157 : 9559 : add_loop (body_loop, parent);
8158 : :
8159 : 9559 : if (fd->tiling)
8160 : : {
8161 : : /* Insert tiling's element loop. */
8162 : 164 : class loop *inner_loop = alloc_loop ();
8163 : 164 : inner_loop->header = elem_body_bb;
8164 : 164 : inner_loop->latch = elem_cont_bb;
8165 : 164 : add_loop (inner_loop, body_loop);
8166 : : }
8167 : : }
8168 : : }
8169 : 9986 : }
8170 : :
8171 : : /* Expand the OMP loop defined by REGION. */
8172 : :
8173 : : static void
8174 : 45566 : expand_omp_for (struct omp_region *region, gimple *inner_stmt)
8175 : : {
8176 : 45566 : struct omp_for_data fd;
8177 : 45566 : struct omp_for_data_loop *loops;
8178 : :
8179 : 45566 : loops = XALLOCAVEC (struct omp_for_data_loop,
8180 : : gimple_omp_for_collapse
8181 : : (last_nondebug_stmt (region->entry)));
8182 : 45566 : omp_extract_for_data (as_a <gomp_for *> (last_nondebug_stmt (region->entry)),
8183 : : &fd, loops);
8184 : 45566 : region->sched_kind = fd.sched_kind;
8185 : 45566 : region->sched_modifiers = fd.sched_modifiers;
8186 : 45566 : region->has_lastprivate_conditional = fd.lastprivate_conditional != 0;
8187 : 45566 : if (fd.non_rect && !gimple_omp_for_combined_into_p (fd.for_stmt))
8188 : : {
8189 : 2344 : for (int i = fd.first_nonrect; i <= fd.last_nonrect; i++)
8190 : 1644 : if ((loops[i].m1 || loops[i].m2)
8191 : 731 : && (loops[i].m1 == NULL_TREE
8192 : 506 : || TREE_CODE (loops[i].m1) == INTEGER_CST)
8193 : 612 : && (loops[i].m2 == NULL_TREE
8194 : 343 : || TREE_CODE (loops[i].m2) == INTEGER_CST)
8195 : 596 : && TREE_CODE (loops[i].step) == INTEGER_CST
8196 : 586 : && TREE_CODE (loops[i - loops[i].outer].step) == INTEGER_CST)
8197 : : {
8198 : 586 : tree t;
8199 : 586 : tree itype = TREE_TYPE (loops[i].v);
8200 : 586 : if (loops[i].m1 && loops[i].m2)
8201 : 108 : t = fold_build2 (MINUS_EXPR, itype, loops[i].m2, loops[i].m1);
8202 : 478 : else if (loops[i].m1)
8203 : 267 : t = fold_build1 (NEGATE_EXPR, itype, loops[i].m1);
8204 : : else
8205 : : t = loops[i].m2;
8206 : 586 : t = fold_build2 (MULT_EXPR, itype, t,
8207 : : fold_convert (itype,
8208 : : loops[i - loops[i].outer].step));
8209 : 586 : if (TYPE_UNSIGNED (itype) && loops[i].cond_code == GT_EXPR)
8210 : 3 : t = fold_build2 (TRUNC_MOD_EXPR, itype,
8211 : : fold_build1 (NEGATE_EXPR, itype, t),
8212 : : fold_build1 (NEGATE_EXPR, itype,
8213 : : fold_convert (itype,
8214 : : loops[i].step)));
8215 : : else
8216 : 583 : t = fold_build2 (TRUNC_MOD_EXPR, itype, t,
8217 : : fold_convert (itype, loops[i].step));
8218 : 586 : if (integer_nonzerop (t))
8219 : 8 : error_at (gimple_location (fd.for_stmt),
8220 : : "invalid OpenMP non-rectangular loop step; "
8221 : : "%<(%E - %E) * %E%> is not a multiple of loop %d "
8222 : : "step %qE",
8223 : 8 : loops[i].m2 ? loops[i].m2 : integer_zero_node,
8224 : 8 : loops[i].m1 ? loops[i].m1 : integer_zero_node,
8225 : 8 : loops[i - loops[i].outer].step, i + 1,
8226 : : loops[i].step);
8227 : : }
8228 : : }
8229 : :
8230 : 45566 : gcc_assert (EDGE_COUNT (region->entry->succs) == 2);
8231 : 45566 : BRANCH_EDGE (region->entry)->flags &= ~EDGE_ABNORMAL;
8232 : 45566 : FALLTHRU_EDGE (region->entry)->flags &= ~EDGE_ABNORMAL;
8233 : 45566 : if (region->cont)
8234 : : {
8235 : 43279 : gcc_assert (EDGE_COUNT (region->cont->succs) == 2);
8236 : 43279 : BRANCH_EDGE (region->cont)->flags &= ~EDGE_ABNORMAL;
8237 : 43279 : FALLTHRU_EDGE (region->cont)->flags &= ~EDGE_ABNORMAL;
8238 : : }
8239 : : else
8240 : : /* If there isn't a continue then this is a degerate case where
8241 : : the introduction of abnormal edges during lowering will prevent
8242 : : original loops from being detected. Fix that up. */
8243 : 2287 : loops_state_set (LOOPS_NEED_FIXUP);
8244 : :
8245 : 45566 : if (gimple_omp_for_kind (fd.for_stmt) == GF_OMP_FOR_KIND_SIMD)
8246 : 9330 : expand_omp_simd (region, &fd);
8247 : 36236 : else if (gimple_omp_for_kind (fd.for_stmt) == GF_OMP_FOR_KIND_OACC_LOOP)
8248 : : {
8249 : 9986 : gcc_assert (!inner_stmt && !fd.non_rect);
8250 : 9986 : expand_oacc_for (region, &fd);
8251 : : }
8252 : 26250 : else if (gimple_omp_for_kind (fd.for_stmt) == GF_OMP_FOR_KIND_TASKLOOP)
8253 : : {
8254 : 2686 : if (gimple_omp_for_combined_into_p (fd.for_stmt))
8255 : 1343 : expand_omp_taskloop_for_inner (region, &fd, inner_stmt);
8256 : : else
8257 : 1343 : expand_omp_taskloop_for_outer (region, &fd, inner_stmt);
8258 : : }
8259 : 23564 : else if (fd.sched_kind == OMP_CLAUSE_SCHEDULE_STATIC
8260 : 19900 : && !fd.have_ordered)
8261 : : {
8262 : 19453 : if (fd.chunk_size == NULL)
8263 : 13642 : expand_omp_for_static_nochunk (region, &fd, inner_stmt);
8264 : : else
8265 : 5811 : expand_omp_for_static_chunk (region, &fd, inner_stmt);
8266 : : }
8267 : : else
8268 : : {
8269 : 4111 : int fn_index, start_ix, next_ix;
8270 : 4111 : unsigned HOST_WIDE_INT sched = 0;
8271 : 4111 : tree sched_arg = NULL_TREE;
8272 : :
8273 : 4111 : gcc_assert (gimple_omp_for_kind (fd.for_stmt)
8274 : : == GF_OMP_FOR_KIND_FOR && !fd.non_rect);
8275 : 4111 : if (fd.chunk_size == NULL
8276 : 1665 : && fd.sched_kind == OMP_CLAUSE_SCHEDULE_STATIC)
8277 : 0 : fd.chunk_size = integer_zero_node;
8278 : 4111 : switch (fd.sched_kind)
8279 : : {
8280 : 1665 : case OMP_CLAUSE_SCHEDULE_RUNTIME:
8281 : 1665 : if ((fd.sched_modifiers & OMP_CLAUSE_SCHEDULE_NONMONOTONIC) != 0
8282 : 28 : && fd.lastprivate_conditional == 0)
8283 : : {
8284 : 28 : gcc_assert (!fd.have_ordered);
8285 : : fn_index = 6;
8286 : : sched = 4;
8287 : : }
8288 : 1637 : else if ((fd.sched_modifiers & OMP_CLAUSE_SCHEDULE_MONOTONIC) == 0
8289 : 1605 : && !fd.have_ordered
8290 : 1561 : && fd.lastprivate_conditional == 0)
8291 : : fn_index = 7;
8292 : : else
8293 : : {
8294 : 87 : fn_index = 3;
8295 : 87 : sched = (HOST_WIDE_INT_1U << 31);
8296 : : }
8297 : : break;
8298 : 1999 : case OMP_CLAUSE_SCHEDULE_DYNAMIC:
8299 : 1999 : case OMP_CLAUSE_SCHEDULE_GUIDED:
8300 : 1999 : if ((fd.sched_modifiers & OMP_CLAUSE_SCHEDULE_MONOTONIC) == 0
8301 : 1943 : && !fd.have_ordered
8302 : 1780 : && fd.lastprivate_conditional == 0)
8303 : : {
8304 : 1753 : fn_index = 3 + fd.sched_kind;
8305 : 1753 : sched = (fd.sched_kind == OMP_CLAUSE_SCHEDULE_GUIDED) + 2;
8306 : : break;
8307 : : }
8308 : 246 : fn_index = fd.sched_kind;
8309 : 246 : sched = (fd.sched_kind == OMP_CLAUSE_SCHEDULE_GUIDED) + 2;
8310 : 246 : sched += (HOST_WIDE_INT_1U << 31);
8311 : 246 : break;
8312 : 447 : case OMP_CLAUSE_SCHEDULE_STATIC:
8313 : 447 : gcc_assert (fd.have_ordered);
8314 : : fn_index = 0;
8315 : : sched = (HOST_WIDE_INT_1U << 31) + 1;
8316 : : break;
8317 : 0 : default:
8318 : 0 : gcc_unreachable ();
8319 : : }
8320 : 4111 : if (!fd.ordered)
8321 : 3780 : fn_index += fd.have_ordered * 8;
8322 : 4111 : if (fd.ordered)
8323 : 331 : start_ix = ((int)BUILT_IN_GOMP_LOOP_DOACROSS_STATIC_START) + fn_index;
8324 : : else
8325 : 3780 : start_ix = ((int)BUILT_IN_GOMP_LOOP_STATIC_START) + fn_index;
8326 : 4111 : next_ix = ((int)BUILT_IN_GOMP_LOOP_STATIC_NEXT) + fn_index;
8327 : 4111 : if (fd.have_reductemp || fd.have_pointer_condtemp)
8328 : : {
8329 : 169 : if (fd.ordered)
8330 : : start_ix = (int)BUILT_IN_GOMP_LOOP_DOACROSS_START;
8331 : 133 : else if (fd.have_ordered)
8332 : : start_ix = (int)BUILT_IN_GOMP_LOOP_ORDERED_START;
8333 : : else
8334 : 95 : start_ix = (int)BUILT_IN_GOMP_LOOP_START;
8335 : 169 : sched_arg = build_int_cstu (long_integer_type_node, sched);
8336 : 169 : if (!fd.chunk_size)
8337 : 38 : fd.chunk_size = integer_zero_node;
8338 : : }
8339 : 4111 : if (fd.iter_type == long_long_unsigned_type_node)
8340 : : {
8341 : 778 : start_ix += ((int)BUILT_IN_GOMP_LOOP_ULL_STATIC_START
8342 : : - (int)BUILT_IN_GOMP_LOOP_STATIC_START);
8343 : 778 : next_ix += ((int)BUILT_IN_GOMP_LOOP_ULL_STATIC_NEXT
8344 : : - (int)BUILT_IN_GOMP_LOOP_STATIC_NEXT);
8345 : : }
8346 : 4111 : expand_omp_for_generic (region, &fd, (enum built_in_function) start_ix,
8347 : : (enum built_in_function) next_ix, sched_arg,
8348 : : inner_stmt);
8349 : : }
8350 : 45566 : }
8351 : :
8352 : : /* Expand code for an OpenMP sections directive. In pseudo code, we generate
8353 : :
8354 : : v = GOMP_sections_start (n);
8355 : : L0:
8356 : : switch (v)
8357 : : {
8358 : : case 0:
8359 : : goto L2;
8360 : : case 1:
8361 : : section 1;
8362 : : goto L1;
8363 : : case 2:
8364 : : ...
8365 : : case n:
8366 : : ...
8367 : : default:
8368 : : abort ();
8369 : : }
8370 : : L1:
8371 : : v = GOMP_sections_next ();
8372 : : goto L0;
8373 : : L2:
8374 : : reduction;
8375 : :
8376 : : If this is a combined parallel sections, replace the call to
8377 : : GOMP_sections_start with call to GOMP_sections_next. */
8378 : :
8379 : : static void
8380 : 378 : expand_omp_sections (struct omp_region *region)
8381 : : {
8382 : 378 : tree t, u, vin = NULL, vmain, vnext, l2;
8383 : 378 : unsigned len;
8384 : 378 : basic_block entry_bb, l0_bb, l1_bb, l2_bb, default_bb;
8385 : 378 : gimple_stmt_iterator si, switch_si;
8386 : 378 : gomp_sections *sections_stmt;
8387 : 378 : gimple *stmt;
8388 : 378 : gomp_continue *cont;
8389 : 378 : edge_iterator ei;
8390 : 378 : edge e;
8391 : 378 : struct omp_region *inner;
8392 : 378 : unsigned i, casei;
8393 : 378 : bool exit_reachable = region->cont != NULL;
8394 : :
8395 : 378 : gcc_assert (region->exit != NULL);
8396 : 378 : entry_bb = region->entry;
8397 : 378 : l0_bb = single_succ (entry_bb);
8398 : 378 : l1_bb = region->cont;
8399 : 378 : l2_bb = region->exit;
8400 : 719 : if (single_pred_p (l2_bb) && single_pred (l2_bb) == l0_bb)
8401 : 314 : l2 = gimple_block_label (l2_bb);
8402 : : else
8403 : : {
8404 : : /* This can happen if there are reductions. */
8405 : 64 : len = EDGE_COUNT (l0_bb->succs);
8406 : 64 : gcc_assert (len > 0);
8407 : 64 : e = EDGE_SUCC (l0_bb, len - 1);
8408 : 64 : si = gsi_last_nondebug_bb (e->dest);
8409 : 64 : l2 = NULL_TREE;
8410 : 64 : if (gsi_end_p (si)
8411 : 64 : || gimple_code (gsi_stmt (si)) != GIMPLE_OMP_SECTION)
8412 : 64 : l2 = gimple_block_label (e->dest);
8413 : : else
8414 : 0 : FOR_EACH_EDGE (e, ei, l0_bb->succs)
8415 : : {
8416 : 0 : si = gsi_last_nondebug_bb (e->dest);
8417 : 0 : if (gsi_end_p (si)
8418 : 0 : || gimple_code (gsi_stmt (si)) != GIMPLE_OMP_SECTION)
8419 : : {
8420 : 0 : l2 = gimple_block_label (e->dest);
8421 : 0 : break;
8422 : : }
8423 : : }
8424 : : }
8425 : 378 : if (exit_reachable)
8426 : 332 : default_bb = create_empty_bb (l1_bb->prev_bb);
8427 : : else
8428 : 46 : default_bb = create_empty_bb (l0_bb);
8429 : :
8430 : : /* We will build a switch() with enough cases for all the
8431 : : GIMPLE_OMP_SECTION regions, a '0' case to handle the end of more work
8432 : : and a default case to abort if something goes wrong. */
8433 : 378 : len = EDGE_COUNT (l0_bb->succs);
8434 : :
8435 : : /* Use vec::quick_push on label_vec throughout, since we know the size
8436 : : in advance. */
8437 : 378 : auto_vec<tree> label_vec (len);
8438 : :
8439 : : /* The call to GOMP_sections_start goes in ENTRY_BB, replacing the
8440 : : GIMPLE_OMP_SECTIONS statement. */
8441 : 378 : si = gsi_last_nondebug_bb (entry_bb);
8442 : 378 : sections_stmt = as_a <gomp_sections *> (gsi_stmt (si));
8443 : 378 : gcc_assert (gimple_code (sections_stmt) == GIMPLE_OMP_SECTIONS);
8444 : 378 : vin = gimple_omp_sections_control (sections_stmt);
8445 : 378 : tree clauses = gimple_omp_sections_clauses (sections_stmt);
8446 : 378 : tree reductmp = omp_find_clause (clauses, OMP_CLAUSE__REDUCTEMP_);
8447 : 378 : tree condtmp = omp_find_clause (clauses, OMP_CLAUSE__CONDTEMP_);
8448 : 378 : tree cond_var = NULL_TREE;
8449 : 378 : if (reductmp || condtmp)
8450 : : {
8451 : 18 : tree reductions = null_pointer_node, mem = null_pointer_node;
8452 : 18 : tree memv = NULL_TREE, condtemp = NULL_TREE;
8453 : 18 : gimple_stmt_iterator gsi = gsi_none ();
8454 : 18 : gimple *g = NULL;
8455 : 18 : if (reductmp)
8456 : : {
8457 : 8 : reductions = OMP_CLAUSE_DECL (reductmp);
8458 : 8 : gcc_assert (TREE_CODE (reductions) == SSA_NAME);
8459 : 8 : g = SSA_NAME_DEF_STMT (reductions);
8460 : 8 : reductions = gimple_assign_rhs1 (g);
8461 : 8 : OMP_CLAUSE_DECL (reductmp) = reductions;
8462 : 8 : gsi = gsi_for_stmt (g);
8463 : : }
8464 : : else
8465 : 10 : gsi = si;
8466 : 18 : if (condtmp)
8467 : : {
8468 : 12 : condtemp = OMP_CLAUSE_DECL (condtmp);
8469 : 12 : tree c = omp_find_clause (OMP_CLAUSE_CHAIN (condtmp),
8470 : : OMP_CLAUSE__CONDTEMP_);
8471 : 12 : cond_var = OMP_CLAUSE_DECL (c);
8472 : 12 : tree type = TREE_TYPE (condtemp);
8473 : 12 : memv = create_tmp_var (type);
8474 : 12 : TREE_ADDRESSABLE (memv) = 1;
8475 : 12 : unsigned cnt = 0;
8476 : 74 : for (c = clauses; c; c = OMP_CLAUSE_CHAIN (c))
8477 : 62 : if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_LASTPRIVATE
8478 : 62 : && OMP_CLAUSE_LASTPRIVATE_CONDITIONAL (c))
8479 : 24 : ++cnt;
8480 : 12 : unsigned HOST_WIDE_INT sz
8481 : 12 : = tree_to_uhwi (TYPE_SIZE_UNIT (TREE_TYPE (type))) * cnt;
8482 : 12 : expand_omp_build_assign (&gsi, memv, build_int_cst (type, sz),
8483 : : false);
8484 : 12 : mem = build_fold_addr_expr (memv);
8485 : : }
8486 : 18 : t = build_int_cst (unsigned_type_node, len - 1);
8487 : 18 : u = builtin_decl_explicit (BUILT_IN_GOMP_SECTIONS2_START);
8488 : 18 : stmt = gimple_build_call (u, 3, t, reductions, mem);
8489 : 18 : gimple_call_set_lhs (stmt, vin);
8490 : 18 : gsi_insert_before (&gsi, stmt, GSI_SAME_STMT);
8491 : 18 : if (condtmp)
8492 : : {
8493 : 12 : expand_omp_build_assign (&gsi, condtemp, memv, false);
8494 : 12 : tree t = build2 (PLUS_EXPR, TREE_TYPE (cond_var),
8495 : 12 : vin, build_one_cst (TREE_TYPE (cond_var)));
8496 : 12 : expand_omp_build_assign (&gsi, cond_var, t, false);
8497 : : }
8498 : 18 : if (reductmp)
8499 : : {
8500 : 8 : gsi_remove (&gsi, true);
8501 : 8 : release_ssa_name (gimple_assign_lhs (g));
8502 : : }
8503 : : }
8504 : 360 : else if (!is_combined_parallel (region))
8505 : : {
8506 : : /* If we are not inside a combined parallel+sections region,
8507 : : call GOMP_sections_start. */
8508 : 248 : t = build_int_cst (unsigned_type_node, len - 1);
8509 : 248 : u = builtin_decl_explicit (BUILT_IN_GOMP_SECTIONS_START);
8510 : 248 : stmt = gimple_build_call (u, 1, t);
8511 : : }
8512 : : else
8513 : : {
8514 : : /* Otherwise, call GOMP_sections_next. */
8515 : 112 : u = builtin_decl_explicit (BUILT_IN_GOMP_SECTIONS_NEXT);
8516 : 112 : stmt = gimple_build_call (u, 0);
8517 : : }
8518 : 378 : if (!reductmp && !condtmp)
8519 : : {
8520 : 360 : gimple_call_set_lhs (stmt, vin);
8521 : 360 : gsi_insert_after (&si, stmt, GSI_SAME_STMT);
8522 : : }
8523 : 378 : gsi_remove (&si, true);
8524 : :
8525 : : /* The switch() statement replacing GIMPLE_OMP_SECTIONS_SWITCH goes in
8526 : : L0_BB. */
8527 : 378 : switch_si = gsi_last_nondebug_bb (l0_bb);
8528 : 378 : gcc_assert (gimple_code (gsi_stmt (switch_si)) == GIMPLE_OMP_SECTIONS_SWITCH);
8529 : 378 : if (exit_reachable)
8530 : : {
8531 : 332 : cont = as_a <gomp_continue *> (last_nondebug_stmt (l1_bb));
8532 : 332 : gcc_assert (gimple_code (cont) == GIMPLE_OMP_CONTINUE);
8533 : 332 : vmain = gimple_omp_continue_control_use (cont);
8534 : 332 : vnext = gimple_omp_continue_control_def (cont);
8535 : : }
8536 : : else
8537 : : {
8538 : : vmain = vin;
8539 : : vnext = NULL_TREE;
8540 : : }
8541 : :
8542 : 378 : t = build_case_label (build_int_cst (unsigned_type_node, 0), NULL, l2);
8543 : 378 : label_vec.quick_push (t);
8544 : 378 : i = 1;
8545 : :
8546 : : /* Convert each GIMPLE_OMP_SECTION into a CASE_LABEL_EXPR. */
8547 : 378 : for (inner = region->inner, casei = 1;
8548 : 1260 : inner;
8549 : 882 : inner = inner->next, i++, casei++)
8550 : : {
8551 : 882 : basic_block s_entry_bb, s_exit_bb;
8552 : :
8553 : : /* Skip optional reduction region. */
8554 : 882 : if (inner->type == GIMPLE_OMP_ATOMIC_LOAD)
8555 : : {
8556 : 27 : --i;
8557 : 27 : --casei;
8558 : 27 : continue;
8559 : : }
8560 : :
8561 : 855 : s_entry_bb = inner->entry;
8562 : 855 : s_exit_bb = inner->exit;
8563 : :
8564 : 855 : t = gimple_block_label (s_entry_bb);
8565 : 855 : u = build_int_cst (unsigned_type_node, casei);
8566 : 855 : u = build_case_label (u, NULL, t);
8567 : 855 : label_vec.quick_push (u);
8568 : :
8569 : 855 : si = gsi_last_nondebug_bb (s_entry_bb);
8570 : 855 : gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_SECTION);
8571 : 855 : gcc_assert (i < len || gimple_omp_section_last_p (gsi_stmt (si)));
8572 : 855 : gsi_remove (&si, true);
8573 : 855 : single_succ_edge (s_entry_bb)->flags = EDGE_FALLTHRU;
8574 : :
8575 : 855 : if (s_exit_bb == NULL)
8576 : 122 : continue;
8577 : :
8578 : 733 : si = gsi_last_nondebug_bb (s_exit_bb);
8579 : 733 : gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_RETURN);
8580 : 733 : gsi_remove (&si, true);
8581 : :
8582 : 733 : single_succ_edge (s_exit_bb)->flags = EDGE_FALLTHRU;
8583 : : }
8584 : :
8585 : : /* Error handling code goes in DEFAULT_BB. */
8586 : 378 : t = gimple_block_label (default_bb);
8587 : 378 : u = build_case_label (NULL, NULL, t);
8588 : 378 : make_edge (l0_bb, default_bb, 0);
8589 : 378 : add_bb_to_loop (default_bb, current_loops->tree_root);
8590 : :
8591 : 378 : stmt = gimple_build_switch (vmain, u, label_vec);
8592 : 378 : gsi_insert_after (&switch_si, stmt, GSI_SAME_STMT);
8593 : 378 : gsi_remove (&switch_si, true);
8594 : :
8595 : 378 : si = gsi_start_bb (default_bb);
8596 : 378 : stmt = gimple_build_call (builtin_decl_explicit (BUILT_IN_TRAP), 0);
8597 : 378 : gsi_insert_after (&si, stmt, GSI_CONTINUE_LINKING);
8598 : :
8599 : 378 : if (exit_reachable)
8600 : : {
8601 : 332 : tree bfn_decl;
8602 : :
8603 : : /* Code to get the next section goes in L1_BB. */
8604 : 332 : si = gsi_last_nondebug_bb (l1_bb);
8605 : 332 : gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_CONTINUE);
8606 : :
8607 : 332 : bfn_decl = builtin_decl_explicit (BUILT_IN_GOMP_SECTIONS_NEXT);
8608 : 332 : stmt = gimple_build_call (bfn_decl, 0);
8609 : 332 : gimple_call_set_lhs (stmt, vnext);
8610 : 332 : gsi_insert_before (&si, stmt, GSI_SAME_STMT);
8611 : 332 : if (cond_var)
8612 : : {
8613 : 12 : tree t = build2 (PLUS_EXPR, TREE_TYPE (cond_var),
8614 : 12 : vnext, build_one_cst (TREE_TYPE (cond_var)));
8615 : 12 : expand_omp_build_assign (&si, cond_var, t, false);
8616 : : }
8617 : 332 : gsi_remove (&si, true);
8618 : :
8619 : 332 : single_succ_edge (l1_bb)->flags = EDGE_FALLTHRU;
8620 : : }
8621 : :
8622 : : /* Cleanup function replaces GIMPLE_OMP_RETURN in EXIT_BB. */
8623 : 378 : si = gsi_last_nondebug_bb (l2_bb);
8624 : 378 : if (gimple_omp_return_nowait_p (gsi_stmt (si)))
8625 : 251 : t = builtin_decl_explicit (BUILT_IN_GOMP_SECTIONS_END_NOWAIT);
8626 : 127 : else if (gimple_omp_return_lhs (gsi_stmt (si)))
8627 : 0 : t = builtin_decl_explicit (BUILT_IN_GOMP_SECTIONS_END_CANCEL);
8628 : : else
8629 : 127 : t = builtin_decl_explicit (BUILT_IN_GOMP_SECTIONS_END);
8630 : 378 : stmt = gimple_build_call (t, 0);
8631 : 378 : if (gimple_omp_return_lhs (gsi_stmt (si)))
8632 : 0 : gimple_call_set_lhs (stmt, gimple_omp_return_lhs (gsi_stmt (si)));
8633 : 378 : gsi_insert_after (&si, stmt, GSI_SAME_STMT);
8634 : 378 : gsi_remove (&si, true);
8635 : :
8636 : 378 : set_immediate_dominator (CDI_DOMINATORS, default_bb, l0_bb);
8637 : 378 : }
8638 : :
8639 : : /* Expand code for an OpenMP single or scope directive. We've already expanded
8640 : : much of the code, here we simply place the GOMP_barrier call. */
8641 : :
8642 : : static void
8643 : 1258 : expand_omp_single (struct omp_region *region)
8644 : : {
8645 : 1258 : basic_block entry_bb, exit_bb;
8646 : 1258 : gimple_stmt_iterator si;
8647 : :
8648 : 1258 : entry_bb = region->entry;
8649 : 1258 : exit_bb = region->exit;
8650 : :
8651 : 1258 : si = gsi_last_nondebug_bb (entry_bb);
8652 : 1258 : enum gimple_code code = gimple_code (gsi_stmt (si));
8653 : 1258 : gcc_assert (code == GIMPLE_OMP_SINGLE || code == GIMPLE_OMP_SCOPE);
8654 : 1258 : gsi_remove (&si, true);
8655 : 1258 : single_succ_edge (entry_bb)->flags = EDGE_FALLTHRU;
8656 : :
8657 : 1258 : if (exit_bb == NULL)
8658 : : {
8659 : 8 : gcc_assert (code == GIMPLE_OMP_SCOPE);
8660 : 8 : return;
8661 : : }
8662 : :
8663 : 1250 : si = gsi_last_nondebug_bb (exit_bb);
8664 : 1250 : if (!gimple_omp_return_nowait_p (gsi_stmt (si)))
8665 : : {
8666 : 978 : tree t = gimple_omp_return_lhs (gsi_stmt (si));
8667 : 978 : gsi_insert_after (&si, omp_build_barrier (t), GSI_SAME_STMT);
8668 : : }
8669 : 1250 : gsi_remove (&si, true);
8670 : 1250 : single_succ_edge (exit_bb)->flags = EDGE_FALLTHRU;
8671 : : }
8672 : :
8673 : : /* Generic expansion for OpenMP synchronization directives: master,
8674 : : ordered and critical. All we need to do here is remove the entry
8675 : : and exit markers for REGION. */
8676 : :
8677 : : static void
8678 : 10665 : expand_omp_synch (struct omp_region *region)
8679 : : {
8680 : 10665 : basic_block entry_bb, exit_bb;
8681 : 10665 : gimple_stmt_iterator si;
8682 : :
8683 : 10665 : entry_bb = region->entry;
8684 : 10665 : exit_bb = region->exit;
8685 : :
8686 : 10665 : si = gsi_last_nondebug_bb (entry_bb);
8687 : 10665 : gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_SINGLE
8688 : : || gimple_code (gsi_stmt (si)) == GIMPLE_OMP_MASTER
8689 : : || gimple_code (gsi_stmt (si)) == GIMPLE_OMP_MASKED
8690 : : || gimple_code (gsi_stmt (si)) == GIMPLE_OMP_TASKGROUP
8691 : : || gimple_code (gsi_stmt (si)) == GIMPLE_OMP_ORDERED
8692 : : || gimple_code (gsi_stmt (si)) == GIMPLE_OMP_CRITICAL
8693 : : || gimple_code (gsi_stmt (si)) == GIMPLE_OMP_TEAMS);
8694 : 10665 : if (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_TEAMS
8695 : 10665 : && gimple_omp_teams_host (as_a <gomp_teams *> (gsi_stmt (si))))
8696 : : {
8697 : 2512 : expand_omp_taskreg (region);
8698 : 2512 : return;
8699 : : }
8700 : 8153 : gsi_remove (&si, true);
8701 : 8153 : single_succ_edge (entry_bb)->flags = EDGE_FALLTHRU;
8702 : :
8703 : 8153 : if (exit_bb)
8704 : : {
8705 : 7595 : si = gsi_last_nondebug_bb (exit_bb);
8706 : 7595 : gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_RETURN);
8707 : 7595 : gsi_remove (&si, true);
8708 : 7595 : single_succ_edge (exit_bb)->flags = EDGE_FALLTHRU;
8709 : : }
8710 : : }
8711 : :
8712 : : /* Translate enum omp_memory_order to enum memmodel for the embedded
8713 : : fail clause in there. */
8714 : :
8715 : : static enum memmodel
8716 : 2847 : omp_memory_order_to_fail_memmodel (enum omp_memory_order mo)
8717 : : {
8718 : 2847 : switch (mo & OMP_FAIL_MEMORY_ORDER_MASK)
8719 : : {
8720 : 2576 : case OMP_FAIL_MEMORY_ORDER_UNSPECIFIED:
8721 : 2576 : switch (mo & OMP_MEMORY_ORDER_MASK)
8722 : : {
8723 : : case OMP_MEMORY_ORDER_RELAXED: return MEMMODEL_RELAXED;
8724 : : case OMP_MEMORY_ORDER_ACQUIRE: return MEMMODEL_ACQUIRE;
8725 : : case OMP_MEMORY_ORDER_RELEASE: return MEMMODEL_RELAXED;
8726 : : case OMP_MEMORY_ORDER_ACQ_REL: return MEMMODEL_ACQUIRE;
8727 : : case OMP_MEMORY_ORDER_SEQ_CST: return MEMMODEL_SEQ_CST;
8728 : 0 : default: break;
8729 : : }
8730 : 0 : gcc_unreachable ();
8731 : : case OMP_FAIL_MEMORY_ORDER_RELAXED: return MEMMODEL_RELAXED;
8732 : : case OMP_FAIL_MEMORY_ORDER_ACQUIRE: return MEMMODEL_ACQUIRE;
8733 : : case OMP_FAIL_MEMORY_ORDER_SEQ_CST: return MEMMODEL_SEQ_CST;
8734 : 0 : default: gcc_unreachable ();
8735 : : }
8736 : : }
8737 : :
8738 : : /* Translate enum omp_memory_order to enum memmodel. The two enums
8739 : : are using different numbers so that OMP_MEMORY_ORDER_UNSPECIFIED
8740 : : is 0 and omp_memory_order has the fail mode encoded in it too. */
8741 : :
8742 : : static enum memmodel
8743 : 9821 : omp_memory_order_to_memmodel (enum omp_memory_order mo)
8744 : : {
8745 : 9821 : enum memmodel ret, fail_ret;
8746 : 9821 : switch (mo & OMP_MEMORY_ORDER_MASK)
8747 : : {
8748 : : case OMP_MEMORY_ORDER_RELAXED: ret = MEMMODEL_RELAXED; break;
8749 : : case OMP_MEMORY_ORDER_ACQUIRE: ret = MEMMODEL_ACQUIRE; break;
8750 : : case OMP_MEMORY_ORDER_RELEASE: ret = MEMMODEL_RELEASE; break;
8751 : : case OMP_MEMORY_ORDER_ACQ_REL: ret = MEMMODEL_ACQ_REL; break;
8752 : : case OMP_MEMORY_ORDER_SEQ_CST: ret = MEMMODEL_SEQ_CST; break;
8753 : 0 : default: gcc_unreachable ();
8754 : : }
8755 : : /* If we drop the -Winvalid-memory-model warning for C++17 P0418R2,
8756 : : we can just return ret here unconditionally. Otherwise, work around
8757 : : it here and make sure fail memmodel is not stronger. */
8758 : 9821 : if ((mo & OMP_FAIL_MEMORY_ORDER_MASK) == OMP_FAIL_MEMORY_ORDER_UNSPECIFIED)
8759 : : return ret;
8760 : 142 : fail_ret = omp_memory_order_to_fail_memmodel (mo);
8761 : 142 : if (fail_ret > ret)
8762 : 13 : return fail_ret;
8763 : : return ret;
8764 : : }
8765 : :
8766 : : /* A subroutine of expand_omp_atomic. Attempt to implement the atomic
8767 : : operation as a normal volatile load. */
8768 : :
8769 : : static bool
8770 : 1176 : expand_omp_atomic_load (basic_block load_bb, tree addr,
8771 : : tree loaded_val, int index)
8772 : : {
8773 : 1176 : enum built_in_function tmpbase;
8774 : 1176 : gimple_stmt_iterator gsi;
8775 : 1176 : basic_block store_bb;
8776 : 1176 : location_t loc;
8777 : 1176 : gimple *stmt;
8778 : 1176 : tree decl, type, itype;
8779 : :
8780 : 1176 : gsi = gsi_last_nondebug_bb (load_bb);
8781 : 1176 : stmt = gsi_stmt (gsi);
8782 : 1176 : gcc_assert (gimple_code (stmt) == GIMPLE_OMP_ATOMIC_LOAD);
8783 : 1176 : loc = gimple_location (stmt);
8784 : :
8785 : : /* ??? If the target does not implement atomic_load_optab[mode], and mode
8786 : : is smaller than word size, then expand_atomic_load assumes that the load
8787 : : is atomic. We could avoid the builtin entirely in this case. */
8788 : :
8789 : 1176 : tmpbase = (enum built_in_function) (BUILT_IN_ATOMIC_LOAD_N + index + 1);
8790 : 1176 : decl = builtin_decl_explicit (tmpbase);
8791 : 1176 : if (decl == NULL_TREE)
8792 : : return false;
8793 : :
8794 : 1176 : type = TREE_TYPE (loaded_val);
8795 : 1176 : itype = TREE_TYPE (TREE_TYPE (decl));
8796 : :
8797 : 1176 : enum omp_memory_order omo = gimple_omp_atomic_memory_order (stmt);
8798 : 1176 : tree mo = build_int_cst (integer_type_node,
8799 : 1176 : omp_memory_order_to_memmodel (omo));
8800 : 1176 : gcall *call = gimple_build_call (decl, 2, addr, mo);
8801 : 1176 : gimple_set_location (call, loc);
8802 : 2352 : gimple_set_vuse (call, gimple_vuse (stmt));
8803 : 1176 : gimple *repl;
8804 : 1176 : if (!useless_type_conversion_p (type, itype))
8805 : : {
8806 : 1174 : tree lhs = make_ssa_name (itype);
8807 : 1174 : gimple_call_set_lhs (call, lhs);
8808 : 1174 : gsi_insert_before (&gsi, call, GSI_SAME_STMT);
8809 : 1174 : repl = gimple_build_assign (loaded_val,
8810 : : build1 (VIEW_CONVERT_EXPR, type, lhs));
8811 : 1174 : gimple_set_location (repl, loc);
8812 : : }
8813 : : else
8814 : : {
8815 : 2 : gimple_call_set_lhs (call, loaded_val);
8816 : : repl = call;
8817 : : }
8818 : 1176 : gsi_replace (&gsi, repl, true);
8819 : :
8820 : 1176 : store_bb = single_succ (load_bb);
8821 : 1176 : gsi = gsi_last_nondebug_bb (store_bb);
8822 : 1176 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_ATOMIC_STORE);
8823 : 1176 : gsi_remove (&gsi, true);
8824 : :
8825 : 1176 : return true;
8826 : : }
8827 : :
8828 : : /* A subroutine of expand_omp_atomic. Attempt to implement the atomic
8829 : : operation as a normal volatile store. */
8830 : :
8831 : : static bool
8832 : 850 : expand_omp_atomic_store (basic_block load_bb, tree addr,
8833 : : tree loaded_val, tree stored_val, int index)
8834 : : {
8835 : 850 : enum built_in_function tmpbase;
8836 : 850 : gimple_stmt_iterator gsi;
8837 : 850 : basic_block store_bb = single_succ (load_bb);
8838 : 850 : location_t loc;
8839 : 850 : gimple *stmt;
8840 : 850 : tree decl, type, itype;
8841 : 850 : machine_mode imode;
8842 : 850 : bool exchange;
8843 : :
8844 : 850 : gsi = gsi_last_nondebug_bb (load_bb);
8845 : 850 : stmt = gsi_stmt (gsi);
8846 : 850 : gcc_assert (gimple_code (stmt) == GIMPLE_OMP_ATOMIC_LOAD);
8847 : :
8848 : : /* If the load value is needed, then this isn't a store but an exchange. */
8849 : 850 : exchange = gimple_omp_atomic_need_value_p (stmt);
8850 : :
8851 : 850 : gsi = gsi_last_nondebug_bb (store_bb);
8852 : 850 : stmt = gsi_stmt (gsi);
8853 : 850 : gcc_assert (gimple_code (stmt) == GIMPLE_OMP_ATOMIC_STORE);
8854 : 850 : loc = gimple_location (stmt);
8855 : :
8856 : : /* ??? If the target does not implement atomic_store_optab[mode], and mode
8857 : : is smaller than word size, then expand_atomic_store assumes that the store
8858 : : is atomic. We could avoid the builtin entirely in this case. */
8859 : :
8860 : 850 : tmpbase = (exchange ? BUILT_IN_ATOMIC_EXCHANGE_N : BUILT_IN_ATOMIC_STORE_N);
8861 : 850 : tmpbase = (enum built_in_function) ((int) tmpbase + index + 1);
8862 : 850 : decl = builtin_decl_explicit (tmpbase);
8863 : 850 : if (decl == NULL_TREE)
8864 : : return false;
8865 : :
8866 : 850 : type = TREE_TYPE (stored_val);
8867 : :
8868 : : /* Dig out the type of the function's second argument. */
8869 : 850 : itype = TREE_TYPE (decl);
8870 : 850 : itype = TYPE_ARG_TYPES (itype);
8871 : 850 : itype = TREE_CHAIN (itype);
8872 : 850 : itype = TREE_VALUE (itype);
8873 : 850 : imode = TYPE_MODE (itype);
8874 : :
8875 : 850 : if (exchange && !can_atomic_exchange_p (imode, true))
8876 : : return false;
8877 : :
8878 : 850 : if (!useless_type_conversion_p (itype, type))
8879 : 850 : stored_val = fold_build1_loc (loc, VIEW_CONVERT_EXPR, itype, stored_val);
8880 : 850 : enum omp_memory_order omo = gimple_omp_atomic_memory_order (stmt);
8881 : 850 : tree mo = build_int_cst (integer_type_node,
8882 : 850 : omp_memory_order_to_memmodel (omo));
8883 : 850 : stored_val = force_gimple_operand_gsi (&gsi, stored_val, true, NULL_TREE,
8884 : : true, GSI_SAME_STMT);
8885 : 850 : gcall *call = gimple_build_call (decl, 3, addr, stored_val, mo);
8886 : 850 : gimple_set_location (call, loc);
8887 : 1700 : gimple_set_vuse (call, gimple_vuse (stmt));
8888 : 1700 : gimple_set_vdef (call, gimple_vdef (stmt));
8889 : :
8890 : 850 : gimple *repl = call;
8891 : 850 : if (exchange)
8892 : : {
8893 : 88 : if (!useless_type_conversion_p (type, itype))
8894 : : {
8895 : 88 : tree lhs = make_ssa_name (itype);
8896 : 88 : gimple_call_set_lhs (call, lhs);
8897 : 88 : gsi_insert_before (&gsi, call, GSI_SAME_STMT);
8898 : 88 : repl = gimple_build_assign (loaded_val,
8899 : : build1 (VIEW_CONVERT_EXPR, type, lhs));
8900 : 88 : gimple_set_location (repl, loc);
8901 : : }
8902 : : else
8903 : 0 : gimple_call_set_lhs (call, loaded_val);
8904 : : }
8905 : 850 : gsi_replace (&gsi, repl, true);
8906 : :
8907 : : /* Remove the GIMPLE_OMP_ATOMIC_LOAD that we verified above. */
8908 : 850 : gsi = gsi_last_nondebug_bb (load_bb);
8909 : 850 : gsi_remove (&gsi, true);
8910 : :
8911 : 850 : return true;
8912 : : }
8913 : :
8914 : : /* A subroutine of expand_omp_atomic. Attempt to implement the atomic
8915 : : operation as a __atomic_fetch_op builtin. INDEX is log2 of the
8916 : : size of the data type, and thus usable to find the index of the builtin
8917 : : decl. Returns false if the expression is not of the proper form. */
8918 : :
8919 : : static bool
8920 : 5733 : expand_omp_atomic_fetch_op (basic_block load_bb,
8921 : : tree addr, tree loaded_val,
8922 : : tree stored_val, int index)
8923 : : {
8924 : 5733 : enum built_in_function oldbase, newbase, tmpbase;
8925 : 5733 : tree decl, itype, call;
8926 : 5733 : tree lhs, rhs;
8927 : 5733 : basic_block store_bb = single_succ (load_bb);
8928 : 5733 : gimple_stmt_iterator gsi;
8929 : 5733 : gimple *stmt;
8930 : 5733 : location_t loc;
8931 : 5733 : enum tree_code code;
8932 : 5733 : bool need_old, need_new;
8933 : 5733 : machine_mode imode;
8934 : :
8935 : : /* We expect to find the following sequences:
8936 : :
8937 : : load_bb:
8938 : : GIMPLE_OMP_ATOMIC_LOAD (tmp, mem)
8939 : :
8940 : : store_bb:
8941 : : val = tmp OP something; (or: something OP tmp)
8942 : : GIMPLE_OMP_STORE (val)
8943 : :
8944 : : ???FIXME: Allow a more flexible sequence.
8945 : : Perhaps use data flow to pick the statements.
8946 : :
8947 : : */
8948 : :
8949 : 5733 : gsi = gsi_after_labels (store_bb);
8950 : 5733 : stmt = gsi_stmt (gsi);
8951 : 5733 : if (is_gimple_debug (stmt))
8952 : : {
8953 : 0 : gsi_next_nondebug (&gsi);
8954 : 0 : if (gsi_end_p (gsi))
8955 : : return false;
8956 : 5733 : stmt = gsi_stmt (gsi);
8957 : : }
8958 : 5733 : loc = gimple_location (stmt);
8959 : 5733 : if (!is_gimple_assign (stmt))
8960 : : return false;
8961 : 5733 : gsi_next_nondebug (&gsi);
8962 : 5733 : if (gimple_code (gsi_stmt (gsi)) != GIMPLE_OMP_ATOMIC_STORE)
8963 : : return false;
8964 : 5090 : need_new = gimple_omp_atomic_need_value_p (gsi_stmt (gsi));
8965 : 5090 : need_old = gimple_omp_atomic_need_value_p (last_nondebug_stmt (load_bb));
8966 : 5090 : enum omp_memory_order omo
8967 : 5090 : = gimple_omp_atomic_memory_order (last_nondebug_stmt (load_bb));
8968 : 5090 : enum memmodel mo = omp_memory_order_to_memmodel (omo);
8969 : 5090 : gcc_checking_assert (!need_old || !need_new);
8970 : :
8971 : 5090 : if (!operand_equal_p (gimple_assign_lhs (stmt), stored_val, 0))
8972 : : return false;
8973 : :
8974 : : /* Check for one of the supported fetch-op operations. */
8975 : 5090 : code = gimple_assign_rhs_code (stmt);
8976 : 5090 : switch (code)
8977 : : {
8978 : : case PLUS_EXPR:
8979 : : case POINTER_PLUS_EXPR:
8980 : : oldbase = BUILT_IN_ATOMIC_FETCH_ADD_N;
8981 : : newbase = BUILT_IN_ATOMIC_ADD_FETCH_N;
8982 : : break;
8983 : 67 : case MINUS_EXPR:
8984 : 67 : oldbase = BUILT_IN_ATOMIC_FETCH_SUB_N;
8985 : 67 : newbase = BUILT_IN_ATOMIC_SUB_FETCH_N;
8986 : 67 : break;
8987 : 100 : case BIT_AND_EXPR:
8988 : 100 : oldbase = BUILT_IN_ATOMIC_FETCH_AND_N;
8989 : 100 : newbase = BUILT_IN_ATOMIC_AND_FETCH_N;
8990 : 100 : break;
8991 : 215 : case BIT_IOR_EXPR:
8992 : 215 : oldbase = BUILT_IN_ATOMIC_FETCH_OR_N;
8993 : 215 : newbase = BUILT_IN_ATOMIC_OR_FETCH_N;
8994 : 215 : break;
8995 : 99 : case BIT_XOR_EXPR:
8996 : 99 : oldbase = BUILT_IN_ATOMIC_FETCH_XOR_N;
8997 : 99 : newbase = BUILT_IN_ATOMIC_XOR_FETCH_N;
8998 : 99 : break;
8999 : : default:
9000 : : return false;
9001 : : }
9002 : :
9003 : : /* Make sure the expression is of the proper form. */
9004 : 4479 : if (operand_equal_p (gimple_assign_rhs1 (stmt), loaded_val, 0))
9005 : 4301 : rhs = gimple_assign_rhs2 (stmt);
9006 : 178 : else if (commutative_tree_code (gimple_assign_rhs_code (stmt))
9007 : 178 : && operand_equal_p (gimple_assign_rhs2 (stmt), loaded_val, 0))
9008 : 139 : rhs = gimple_assign_rhs1 (stmt);
9009 : : else
9010 : 39 : return false;
9011 : :
9012 : 8880 : tmpbase = ((enum built_in_function)
9013 : 4440 : ((need_new ? newbase : oldbase) + index + 1));
9014 : 4440 : decl = builtin_decl_explicit (tmpbase);
9015 : 4440 : if (decl == NULL_TREE)
9016 : : return false;
9017 : 4440 : itype = TREE_TYPE (TREE_TYPE (decl));
9018 : 4440 : imode = TYPE_MODE (itype);
9019 : :
9020 : : /* We could test all of the various optabs involved, but the fact of the
9021 : : matter is that (with the exception of i486 vs i586 and xadd) all targets
9022 : : that support any atomic operaton optab also implements compare-and-swap.
9023 : : Let optabs.cc take care of expanding any compare-and-swap loop. */
9024 : 4440 : if (!can_compare_and_swap_p (imode, true) || !can_atomic_load_p (imode))
9025 : 0 : return false;
9026 : :
9027 : 4440 : gsi = gsi_last_nondebug_bb (load_bb);
9028 : 4440 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_ATOMIC_LOAD);
9029 : :
9030 : : /* OpenMP does not imply any barrier-like semantics on its atomic ops.
9031 : : It only requires that the operation happen atomically. Thus we can
9032 : : use the RELAXED memory model. */
9033 : 4440 : call = build_call_expr_loc (loc, decl, 3, addr,
9034 : : fold_convert_loc (loc, itype, rhs),
9035 : 4440 : build_int_cst (NULL, mo));
9036 : :
9037 : 4440 : if (need_old || need_new)
9038 : : {
9039 : 497 : lhs = need_old ? loaded_val : stored_val;
9040 : 497 : call = fold_convert_loc (loc, TREE_TYPE (lhs), call);
9041 : 497 : call = build2_loc (loc, MODIFY_EXPR, void_type_node, lhs, call);
9042 : : }
9043 : : else
9044 : 3943 : call = fold_convert_loc (loc, void_type_node, call);
9045 : 4440 : force_gimple_operand_gsi (&gsi, call, true, NULL_TREE, true, GSI_SAME_STMT);
9046 : 4440 : gsi_remove (&gsi, true);
9047 : :
9048 : 4440 : gsi = gsi_last_nondebug_bb (store_bb);
9049 : 4440 : gcc_assert (gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_ATOMIC_STORE);
9050 : 4440 : gsi_remove (&gsi, true);
9051 : 4440 : gsi = gsi_last_nondebug_bb (store_bb);
9052 : 4440 : stmt = gsi_stmt (gsi);
9053 : 4440 : gsi_remove (&gsi, true);
9054 : :
9055 : 4440 : if (gimple_in_ssa_p (cfun))
9056 : 29 : release_defs (stmt);
9057 : :
9058 : : return true;
9059 : : }
9060 : :
9061 : : /* A subroutine of expand_omp_atomic. Attempt to implement the atomic
9062 : : compare and exchange as an ATOMIC_COMPARE_EXCHANGE internal function.
9063 : : Returns false if the expression is not of the proper form. */
9064 : :
9065 : : static bool
9066 : 2114 : expand_omp_atomic_cas (basic_block load_bb, tree addr,
9067 : : tree loaded_val, tree stored_val, int index)
9068 : : {
9069 : : /* We expect to find the following sequences:
9070 : :
9071 : : load_bb:
9072 : : GIMPLE_OMP_ATOMIC_LOAD (tmp, mem)
9073 : :
9074 : : store_bb:
9075 : : val = tmp == e ? d : tmp;
9076 : : GIMPLE_OMP_ATOMIC_STORE (val)
9077 : :
9078 : : or in store_bb instead:
9079 : : tmp2 = tmp == e;
9080 : : val = tmp2 ? d : tmp;
9081 : : GIMPLE_OMP_ATOMIC_STORE (val)
9082 : :
9083 : : or:
9084 : : tmp3 = VIEW_CONVERT_EXPR<integral_type>(tmp);
9085 : : val = e == tmp3 ? d : tmp;
9086 : : GIMPLE_OMP_ATOMIC_STORE (val)
9087 : :
9088 : : etc. */
9089 : :
9090 : :
9091 : 2114 : basic_block store_bb = single_succ (load_bb);
9092 : 2114 : gimple_stmt_iterator gsi = gsi_last_nondebug_bb (store_bb);
9093 : 2114 : gimple *store_stmt = gsi_stmt (gsi);
9094 : 2114 : if (!store_stmt || gimple_code (store_stmt) != GIMPLE_OMP_ATOMIC_STORE)
9095 : : return false;
9096 : 2114 : gsi_prev_nondebug (&gsi);
9097 : 2114 : if (gsi_end_p (gsi))
9098 : : return false;
9099 : 2108 : gimple *condexpr_stmt = gsi_stmt (gsi);
9100 : 2108 : if (!is_gimple_assign (condexpr_stmt)
9101 : 2108 : || gimple_assign_rhs_code (condexpr_stmt) != COND_EXPR)
9102 : : return false;
9103 : 408 : if (!operand_equal_p (gimple_assign_lhs (condexpr_stmt), stored_val, 0))
9104 : : return false;
9105 : 408 : gimple *cond_stmt = NULL;
9106 : 408 : gimple *vce_stmt = NULL;
9107 : 408 : gsi_prev_nondebug (&gsi);
9108 : 408 : if (!gsi_end_p (gsi))
9109 : : {
9110 : 408 : cond_stmt = gsi_stmt (gsi);
9111 : 408 : if (!is_gimple_assign (cond_stmt))
9112 : : return false;
9113 : 408 : if (gimple_assign_rhs_code (cond_stmt) == EQ_EXPR)
9114 : : {
9115 : 323 : gsi_prev_nondebug (&gsi);
9116 : 323 : if (!gsi_end_p (gsi))
9117 : : {
9118 : 89 : vce_stmt = gsi_stmt (gsi);
9119 : 89 : if (!is_gimple_assign (vce_stmt)
9120 : 89 : || gimple_assign_rhs_code (vce_stmt) != VIEW_CONVERT_EXPR)
9121 : : return false;
9122 : : }
9123 : : }
9124 : 85 : else if (gimple_assign_rhs_code (cond_stmt) == VIEW_CONVERT_EXPR)
9125 : : std::swap (vce_stmt, cond_stmt);
9126 : : else
9127 : : return false;
9128 : 69 : if (vce_stmt)
9129 : : {
9130 : 69 : tree vce_rhs = gimple_assign_rhs1 (vce_stmt);
9131 : 69 : if (TREE_CODE (vce_rhs) != VIEW_CONVERT_EXPR
9132 : 69 : || !operand_equal_p (TREE_OPERAND (vce_rhs, 0), loaded_val))
9133 : 12 : return false;
9134 : 114 : if (!INTEGRAL_TYPE_P (TREE_TYPE (vce_rhs))
9135 : 57 : || !SCALAR_FLOAT_TYPE_P (TREE_TYPE (loaded_val))
9136 : 114 : || !tree_int_cst_equal (TYPE_SIZE (TREE_TYPE (vce_rhs)),
9137 : 57 : TYPE_SIZE (TREE_TYPE (loaded_val))))
9138 : 0 : return false;
9139 : 57 : gsi_prev_nondebug (&gsi);
9140 : 57 : if (!gsi_end_p (gsi))
9141 : : return false;
9142 : : }
9143 : : }
9144 : 291 : tree cond = gimple_assign_rhs1 (condexpr_stmt);
9145 : 291 : tree cond_op1, cond_op2;
9146 : 291 : if (cond_stmt)
9147 : : {
9148 : : /* We should now always get a separate cond_stmt. */
9149 : 291 : if (!operand_equal_p (cond, gimple_assign_lhs (cond_stmt)))
9150 : : return false;
9151 : 291 : cond_op1 = gimple_assign_rhs1 (cond_stmt);
9152 : 291 : cond_op2 = gimple_assign_rhs2 (cond_stmt);
9153 : : }
9154 : 0 : else if (TREE_CODE (cond) != EQ_EXPR && TREE_CODE (cond) != NE_EXPR)
9155 : : return false;
9156 : : else
9157 : : {
9158 : 0 : cond_op1 = TREE_OPERAND (cond, 0);
9159 : 0 : cond_op2 = TREE_OPERAND (cond, 1);
9160 : : }
9161 : 291 : tree d;
9162 : 291 : if (TREE_CODE (cond) == NE_EXPR)
9163 : : {
9164 : 0 : if (!operand_equal_p (gimple_assign_rhs2 (condexpr_stmt), loaded_val))
9165 : : return false;
9166 : 0 : d = gimple_assign_rhs3 (condexpr_stmt);
9167 : : }
9168 : 291 : else if (!operand_equal_p (gimple_assign_rhs3 (condexpr_stmt), loaded_val))
9169 : : return false;
9170 : : else
9171 : 291 : d = gimple_assign_rhs2 (condexpr_stmt);
9172 : 291 : tree e = vce_stmt ? gimple_assign_lhs (vce_stmt) : loaded_val;
9173 : 291 : if (operand_equal_p (e, cond_op1))
9174 : : e = cond_op2;
9175 : 21 : else if (operand_equal_p (e, cond_op2))
9176 : : e = cond_op1;
9177 : : else
9178 : : return false;
9179 : :
9180 : 291 : location_t loc = gimple_location (store_stmt);
9181 : 291 : gimple *load_stmt = last_nondebug_stmt (load_bb);
9182 : 291 : bool need_new = gimple_omp_atomic_need_value_p (store_stmt);
9183 : 291 : bool need_old = gimple_omp_atomic_need_value_p (load_stmt);
9184 : 291 : bool weak = gimple_omp_atomic_weak_p (load_stmt);
9185 : 291 : enum omp_memory_order omo = gimple_omp_atomic_memory_order (load_stmt);
9186 : 291 : tree mo = build_int_cst (NULL, omp_memory_order_to_memmodel (omo));
9187 : 291 : tree fmo = build_int_cst (NULL, omp_memory_order_to_fail_memmodel (omo));
9188 : 291 : gcc_checking_assert (!need_old || !need_new);
9189 : :
9190 : 291 : enum built_in_function fncode
9191 : : = (enum built_in_function) ((int) BUILT_IN_SYNC_VAL_COMPARE_AND_SWAP_N
9192 : 291 : + index + 1);
9193 : 291 : tree cmpxchg = builtin_decl_explicit (fncode);
9194 : 291 : if (cmpxchg == NULL_TREE)
9195 : : return false;
9196 : 291 : tree itype = TREE_TYPE (TREE_TYPE (cmpxchg));
9197 : :
9198 : 291 : if (!can_compare_and_swap_p (TYPE_MODE (itype), true)
9199 : 291 : || !can_atomic_load_p (TYPE_MODE (itype)))
9200 : 1 : return false;
9201 : :
9202 : 290 : tree type = TYPE_MAIN_VARIANT (TREE_TYPE (loaded_val));
9203 : 290 : if (SCALAR_FLOAT_TYPE_P (type) && !vce_stmt)
9204 : : return false;
9205 : :
9206 : 289 : gsi = gsi_for_stmt (store_stmt);
9207 : 289 : if (!useless_type_conversion_p (itype, TREE_TYPE (e)))
9208 : : {
9209 : 232 : tree ne = create_tmp_reg (itype);
9210 : 232 : gimple *g = gimple_build_assign (ne, NOP_EXPR, e);
9211 : 232 : gimple_set_location (g, loc);
9212 : 232 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
9213 : 232 : e = ne;
9214 : : }
9215 : 289 : if (!useless_type_conversion_p (itype, TREE_TYPE (d)))
9216 : : {
9217 : 289 : tree nd = create_tmp_reg (itype);
9218 : 289 : enum tree_code code;
9219 : 289 : if (SCALAR_FLOAT_TYPE_P (TREE_TYPE (d)))
9220 : : {
9221 : 57 : code = VIEW_CONVERT_EXPR;
9222 : 57 : d = build1 (VIEW_CONVERT_EXPR, itype, d);
9223 : : }
9224 : : else
9225 : : code = NOP_EXPR;
9226 : 289 : gimple *g = gimple_build_assign (nd, code, d);
9227 : 289 : gimple_set_location (g, loc);
9228 : 289 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
9229 : 289 : d = nd;
9230 : : }
9231 : :
9232 : 289 : tree ctype = build_complex_type (itype);
9233 : 289 : int flag = int_size_in_bytes (itype) + (weak ? 256 : 0);
9234 : 289 : gimple *g
9235 : 289 : = gimple_build_call_internal (IFN_ATOMIC_COMPARE_EXCHANGE, 6, addr, e, d,
9236 : 289 : build_int_cst (integer_type_node, flag),
9237 : : mo, fmo);
9238 : 289 : tree cres = create_tmp_reg (ctype);
9239 : 289 : gimple_call_set_lhs (g, cres);
9240 : 289 : gimple_set_location (g, loc);
9241 : 289 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
9242 : :
9243 : 289 : if (cond_stmt || need_old || need_new)
9244 : : {
9245 : 289 : tree im = create_tmp_reg (itype);
9246 : 289 : g = gimple_build_assign (im, IMAGPART_EXPR,
9247 : : build1 (IMAGPART_EXPR, itype, cres));
9248 : 289 : gimple_set_location (g, loc);
9249 : 289 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
9250 : :
9251 : 289 : tree re = NULL_TREE;
9252 : 289 : if (need_old || need_new)
9253 : : {
9254 : 199 : re = create_tmp_reg (itype);
9255 : 199 : g = gimple_build_assign (re, REALPART_EXPR,
9256 : : build1 (REALPART_EXPR, itype, cres));
9257 : 199 : gimple_set_location (g, loc);
9258 : 199 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
9259 : : }
9260 : :
9261 : 289 : if (cond_stmt)
9262 : : {
9263 : 289 : g = gimple_build_assign (cond, NOP_EXPR, im);
9264 : 289 : gimple_set_location (g, loc);
9265 : 289 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
9266 : : }
9267 : :
9268 : 289 : if (need_new)
9269 : : {
9270 : 44 : g = gimple_build_assign (create_tmp_reg (itype), COND_EXPR,
9271 : : cond_stmt
9272 : 0 : ? cond : build2 (NE_EXPR, boolean_type_node,
9273 : : im, build_zero_cst (itype)),
9274 : : d, re);
9275 : 44 : gimple_set_location (g, loc);
9276 : 44 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
9277 : 44 : re = gimple_assign_lhs (g);
9278 : : }
9279 : :
9280 : 289 : if (need_old || need_new)
9281 : : {
9282 : 199 : tree v = need_old ? loaded_val : stored_val;
9283 : 199 : enum tree_code code;
9284 : 199 : if (SCALAR_FLOAT_TYPE_P (TREE_TYPE (v)))
9285 : : {
9286 : 38 : code = VIEW_CONVERT_EXPR;
9287 : 38 : re = build1 (VIEW_CONVERT_EXPR, TREE_TYPE (v), re);
9288 : : }
9289 : 161 : else if (!useless_type_conversion_p (TREE_TYPE (v), itype))
9290 : : code = NOP_EXPR;
9291 : : else
9292 : 0 : code = TREE_CODE (re);
9293 : 199 : g = gimple_build_assign (v, code, re);
9294 : 199 : gimple_set_location (g, loc);
9295 : 199 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
9296 : : }
9297 : : }
9298 : :
9299 : 289 : gsi_remove (&gsi, true);
9300 : 289 : gsi = gsi_for_stmt (load_stmt);
9301 : 289 : gsi_remove (&gsi, true);
9302 : 289 : gsi = gsi_for_stmt (condexpr_stmt);
9303 : 289 : gsi_remove (&gsi, true);
9304 : 289 : if (cond_stmt)
9305 : : {
9306 : 289 : gsi = gsi_for_stmt (cond_stmt);
9307 : 289 : gsi_remove (&gsi, true);
9308 : : }
9309 : 289 : if (vce_stmt)
9310 : : {
9311 : 57 : gsi = gsi_for_stmt (vce_stmt);
9312 : 57 : gsi_remove (&gsi, true);
9313 : : }
9314 : :
9315 : : return true;
9316 : : }
9317 : :
9318 : : /* A subroutine of expand_omp_atomic. Implement the atomic operation as:
9319 : :
9320 : : oldval = *addr;
9321 : : repeat:
9322 : : newval = rhs; // with oldval replacing *addr in rhs
9323 : : oldval = __sync_val_compare_and_swap (addr, oldval, newval);
9324 : : if (oldval != newval)
9325 : : goto repeat;
9326 : :
9327 : : INDEX is log2 of the size of the data type, and thus usable to find the
9328 : : index of the builtin decl. */
9329 : :
9330 : : static bool
9331 : 2493 : expand_omp_atomic_pipeline (basic_block load_bb, basic_block store_bb,
9332 : : tree addr, tree loaded_val, tree stored_val,
9333 : : int index)
9334 : : {
9335 : 2493 : tree loadedi, storedi, initial, new_storedi, old_vali;
9336 : 2493 : tree type, itype, cmpxchg, iaddr, atype;
9337 : 2493 : gimple_stmt_iterator si;
9338 : 2493 : basic_block loop_header = single_succ (load_bb);
9339 : 2493 : gimple *phi, *stmt;
9340 : 2493 : edge e;
9341 : 2493 : enum built_in_function fncode;
9342 : :
9343 : 2493 : fncode = (enum built_in_function)((int)BUILT_IN_SYNC_VAL_COMPARE_AND_SWAP_N
9344 : 2493 : + index + 1);
9345 : 2493 : cmpxchg = builtin_decl_explicit (fncode);
9346 : 2493 : if (cmpxchg == NULL_TREE)
9347 : : return false;
9348 : 2493 : type = TYPE_MAIN_VARIANT (TREE_TYPE (loaded_val));
9349 : 2493 : atype = type;
9350 : 2493 : itype = TREE_TYPE (TREE_TYPE (cmpxchg));
9351 : :
9352 : 2493 : if (!can_compare_and_swap_p (TYPE_MODE (itype), true)
9353 : 2493 : || !can_atomic_load_p (TYPE_MODE (itype)))
9354 : 79 : return false;
9355 : :
9356 : : /* Load the initial value, replacing the GIMPLE_OMP_ATOMIC_LOAD. */
9357 : 2414 : si = gsi_last_nondebug_bb (load_bb);
9358 : 2414 : gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_ATOMIC_LOAD);
9359 : 2414 : location_t loc = gimple_location (gsi_stmt (si));
9360 : 2414 : enum omp_memory_order omo = gimple_omp_atomic_memory_order (gsi_stmt (si));
9361 : 2414 : tree mo = build_int_cst (NULL, omp_memory_order_to_memmodel (omo));
9362 : 2414 : tree fmo = build_int_cst (NULL, omp_memory_order_to_fail_memmodel (omo));
9363 : :
9364 : : /* For floating-point values, we'll need to view-convert them to integers
9365 : : so that we can perform the atomic compare and swap. Simplify the
9366 : : following code by always setting up the "i"ntegral variables. */
9367 : 2414 : if (!INTEGRAL_TYPE_P (type) && !POINTER_TYPE_P (type))
9368 : : {
9369 : 810 : tree iaddr_val;
9370 : :
9371 : 810 : iaddr = create_tmp_reg (build_pointer_type_for_mode (itype, ptr_mode,
9372 : : true));
9373 : 810 : atype = itype;
9374 : 810 : iaddr_val
9375 : 810 : = force_gimple_operand_gsi (&si,
9376 : 810 : fold_convert (TREE_TYPE (iaddr), addr),
9377 : : false, NULL_TREE, true, GSI_SAME_STMT);
9378 : 810 : stmt = gimple_build_assign (iaddr, iaddr_val);
9379 : 810 : gsi_insert_before (&si, stmt, GSI_SAME_STMT);
9380 : 810 : loadedi = create_tmp_var (itype);
9381 : 810 : if (gimple_in_ssa_p (cfun))
9382 : 25 : loadedi = make_ssa_name (loadedi);
9383 : : }
9384 : : else
9385 : : {
9386 : : iaddr = addr;
9387 : : loadedi = loaded_val;
9388 : : }
9389 : :
9390 : 2414 : fncode = (enum built_in_function) (BUILT_IN_ATOMIC_LOAD_N + index + 1);
9391 : 2414 : tree loaddecl = builtin_decl_explicit (fncode);
9392 : 2414 : if (loaddecl)
9393 : 2414 : initial
9394 : 2414 : = fold_convert (atype,
9395 : : build_call_expr (loaddecl, 2, iaddr,
9396 : : build_int_cst (NULL_TREE,
9397 : : MEMMODEL_RELAXED)));
9398 : : else
9399 : : {
9400 : 0 : tree off
9401 : 0 : = build_int_cst (build_pointer_type_for_mode (atype, ptr_mode,
9402 : 0 : true), 0);
9403 : 0 : initial = build2 (MEM_REF, atype, iaddr, off);
9404 : : }
9405 : :
9406 : 2414 : initial
9407 : 2414 : = force_gimple_operand_gsi (&si, initial, true, NULL_TREE, true,
9408 : : GSI_SAME_STMT);
9409 : :
9410 : : /* Move the value to the LOADEDI temporary. */
9411 : 2414 : if (gimple_in_ssa_p (cfun))
9412 : : {
9413 : 49 : gcc_assert (gimple_seq_empty_p (phi_nodes (loop_header)));
9414 : 49 : phi = create_phi_node (loadedi, loop_header);
9415 : 49 : SET_USE (PHI_ARG_DEF_PTR_FROM_EDGE (phi, single_succ_edge (load_bb)),
9416 : : initial);
9417 : : }
9418 : : else
9419 : 2365 : gsi_insert_before (&si,
9420 : 2365 : gimple_build_assign (loadedi, initial),
9421 : : GSI_SAME_STMT);
9422 : 2414 : if (loadedi != loaded_val)
9423 : : {
9424 : 810 : gimple_stmt_iterator gsi2;
9425 : 810 : tree x;
9426 : :
9427 : 810 : x = build1 (VIEW_CONVERT_EXPR, type, loadedi);
9428 : 810 : gsi2 = gsi_start_bb (loop_header);
9429 : 810 : if (gimple_in_ssa_p (cfun))
9430 : : {
9431 : 25 : gassign *stmt;
9432 : 25 : x = force_gimple_operand_gsi (&gsi2, x, true, NULL_TREE,
9433 : : true, GSI_SAME_STMT);
9434 : 25 : stmt = gimple_build_assign (loaded_val, x);
9435 : 25 : gsi_insert_before (&gsi2, stmt, GSI_SAME_STMT);
9436 : : }
9437 : : else
9438 : : {
9439 : 785 : x = build2 (MODIFY_EXPR, TREE_TYPE (loaded_val), loaded_val, x);
9440 : 785 : force_gimple_operand_gsi (&gsi2, x, true, NULL_TREE,
9441 : : true, GSI_SAME_STMT);
9442 : : }
9443 : : }
9444 : 2414 : gsi_remove (&si, true);
9445 : :
9446 : 2414 : si = gsi_last_nondebug_bb (store_bb);
9447 : 2414 : gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_ATOMIC_STORE);
9448 : :
9449 : 2414 : if (iaddr == addr)
9450 : : storedi = stored_val;
9451 : : else
9452 : 810 : storedi
9453 : 810 : = force_gimple_operand_gsi (&si,
9454 : : build1 (VIEW_CONVERT_EXPR, itype,
9455 : : stored_val), true, NULL_TREE, true,
9456 : : GSI_SAME_STMT);
9457 : :
9458 : : /* Build the compare&swap statement. */
9459 : 2414 : tree ctype = build_complex_type (itype);
9460 : 2414 : int flag = int_size_in_bytes (itype);
9461 : 2414 : new_storedi = build_call_expr_internal_loc (loc, IFN_ATOMIC_COMPARE_EXCHANGE,
9462 : : ctype, 6, iaddr, loadedi,
9463 : : storedi,
9464 : 2414 : build_int_cst (integer_type_node,
9465 : : flag),
9466 : : mo, fmo);
9467 : 2414 : new_storedi = build1 (REALPART_EXPR, itype, new_storedi);
9468 : 2414 : new_storedi = force_gimple_operand_gsi (&si,
9469 : 2414 : fold_convert (TREE_TYPE (loadedi),
9470 : : new_storedi),
9471 : : true, NULL_TREE,
9472 : : true, GSI_SAME_STMT);
9473 : :
9474 : 2414 : if (gimple_in_ssa_p (cfun))
9475 : : old_vali = loadedi;
9476 : : else
9477 : : {
9478 : 2365 : old_vali = create_tmp_var (TREE_TYPE (loadedi));
9479 : 2365 : stmt = gimple_build_assign (old_vali, loadedi);
9480 : 2365 : gsi_insert_before (&si, stmt, GSI_SAME_STMT);
9481 : :
9482 : 2365 : stmt = gimple_build_assign (loadedi, new_storedi);
9483 : 2365 : gsi_insert_before (&si, stmt, GSI_SAME_STMT);
9484 : : }
9485 : :
9486 : : /* Note that we always perform the comparison as an integer, even for
9487 : : floating point. This allows the atomic operation to properly
9488 : : succeed even with NaNs and -0.0. */
9489 : 2414 : tree ne = build2 (NE_EXPR, boolean_type_node, new_storedi, old_vali);
9490 : 2414 : stmt = gimple_build_cond_empty (ne);
9491 : 2414 : gsi_insert_before (&si, stmt, GSI_SAME_STMT);
9492 : :
9493 : : /* Update cfg. */
9494 : 2414 : e = single_succ_edge (store_bb);
9495 : 2414 : e->flags &= ~EDGE_FALLTHRU;
9496 : 2414 : e->flags |= EDGE_FALSE_VALUE;
9497 : : /* Expect no looping. */
9498 : 2414 : e->probability = profile_probability::guessed_always ();
9499 : :
9500 : 2414 : e = make_edge (store_bb, loop_header, EDGE_TRUE_VALUE);
9501 : 2414 : e->probability = profile_probability::guessed_never ();
9502 : :
9503 : : /* Copy the new value to loadedi (we already did that before the condition
9504 : : if we are not in SSA). */
9505 : 2414 : if (gimple_in_ssa_p (cfun))
9506 : : {
9507 : 49 : phi = gimple_seq_first_stmt (phi_nodes (loop_header));
9508 : 49 : SET_USE (PHI_ARG_DEF_PTR_FROM_EDGE (phi, e), new_storedi);
9509 : : }
9510 : :
9511 : : /* Remove GIMPLE_OMP_ATOMIC_STORE. */
9512 : 2414 : stmt = gsi_stmt (si);
9513 : 2414 : gsi_remove (&si, true);
9514 : 2414 : if (gimple_in_ssa_p (cfun))
9515 : 49 : release_defs (stmt);
9516 : :
9517 : 2414 : class loop *loop = alloc_loop ();
9518 : 2414 : loop->header = loop_header;
9519 : 2414 : loop->latch = store_bb;
9520 : 2414 : add_loop (loop, loop_header->loop_father);
9521 : :
9522 : 2414 : return true;
9523 : : }
9524 : :
9525 : : /* A subroutine of expand_omp_atomic. Implement the atomic operation as:
9526 : :
9527 : : GOMP_atomic_start ();
9528 : : *addr = rhs;
9529 : : GOMP_atomic_end ();
9530 : :
9531 : : The result is not globally atomic, but works so long as all parallel
9532 : : references are within #pragma omp atomic directives. According to
9533 : : responses received from omp@openmp.org, appears to be within spec.
9534 : : Which makes sense, since that's how several other compilers handle
9535 : : this situation as well.
9536 : : LOADED_VAL and ADDR are the operands of GIMPLE_OMP_ATOMIC_LOAD we're
9537 : : expanding. STORED_VAL is the operand of the matching
9538 : : GIMPLE_OMP_ATOMIC_STORE.
9539 : :
9540 : : We replace
9541 : : GIMPLE_OMP_ATOMIC_LOAD (loaded_val, addr) with
9542 : : loaded_val = *addr;
9543 : :
9544 : : and replace
9545 : : GIMPLE_OMP_ATOMIC_STORE (stored_val) with
9546 : : *addr = stored_val;
9547 : : */
9548 : :
9549 : : static bool
9550 : 289 : expand_omp_atomic_mutex (basic_block load_bb, basic_block store_bb,
9551 : : tree addr, tree loaded_val, tree stored_val)
9552 : : {
9553 : 289 : gimple_stmt_iterator si;
9554 : 289 : gassign *stmt;
9555 : 289 : tree t;
9556 : :
9557 : 289 : si = gsi_last_nondebug_bb (load_bb);
9558 : 289 : gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_ATOMIC_LOAD);
9559 : :
9560 : 289 : t = builtin_decl_explicit (BUILT_IN_GOMP_ATOMIC_START);
9561 : 289 : t = build_call_expr (t, 0);
9562 : 289 : force_gimple_operand_gsi (&si, t, true, NULL_TREE, true, GSI_SAME_STMT);
9563 : :
9564 : 289 : tree mem = build_simple_mem_ref (addr);
9565 : 289 : TREE_TYPE (mem) = TREE_TYPE (loaded_val);
9566 : 289 : TREE_OPERAND (mem, 1)
9567 : 289 : = fold_convert (build_pointer_type_for_mode (TREE_TYPE (mem), ptr_mode,
9568 : : true),
9569 : : TREE_OPERAND (mem, 1));
9570 : 289 : stmt = gimple_build_assign (loaded_val, mem);
9571 : 289 : gsi_insert_before (&si, stmt, GSI_SAME_STMT);
9572 : 289 : gsi_remove (&si, true);
9573 : :
9574 : 289 : si = gsi_last_nondebug_bb (store_bb);
9575 : 289 : gcc_assert (gimple_code (gsi_stmt (si)) == GIMPLE_OMP_ATOMIC_STORE);
9576 : :
9577 : 289 : stmt = gimple_build_assign (unshare_expr (mem), stored_val);
9578 : 578 : gimple_set_vuse (stmt, gimple_vuse (gsi_stmt (si)));
9579 : 578 : gimple_set_vdef (stmt, gimple_vdef (gsi_stmt (si)));
9580 : 289 : gsi_insert_before (&si, stmt, GSI_SAME_STMT);
9581 : :
9582 : 289 : t = builtin_decl_explicit (BUILT_IN_GOMP_ATOMIC_END);
9583 : 289 : t = build_call_expr (t, 0);
9584 : 289 : force_gimple_operand_gsi (&si, t, true, NULL_TREE, true, GSI_SAME_STMT);
9585 : 289 : gsi_remove (&si, true);
9586 : 289 : return true;
9587 : : }
9588 : :
9589 : : /* Expand an GIMPLE_OMP_ATOMIC statement. We try to expand
9590 : : using expand_omp_atomic_fetch_op. If it failed, we try to
9591 : : call expand_omp_atomic_pipeline, and if it fails too, the
9592 : : ultimate fallback is wrapping the operation in a mutex
9593 : : (expand_omp_atomic_mutex). REGION is the atomic region built
9594 : : by build_omp_regions_1(). */
9595 : :
9596 : : static void
9597 : 9458 : expand_omp_atomic (struct omp_region *region)
9598 : : {
9599 : 9458 : basic_block load_bb = region->entry, store_bb = region->exit;
9600 : 9458 : gomp_atomic_load *load
9601 : 9458 : = as_a <gomp_atomic_load *> (last_nondebug_stmt (load_bb));
9602 : 9458 : gomp_atomic_store *store
9603 : 9458 : = as_a <gomp_atomic_store *> (last_nondebug_stmt (store_bb));
9604 : 9458 : tree loaded_val = gimple_omp_atomic_load_lhs (load);
9605 : 9458 : tree addr = gimple_omp_atomic_load_rhs (load);
9606 : 9458 : tree stored_val = gimple_omp_atomic_store_val (store);
9607 : 9458 : tree type = TYPE_MAIN_VARIANT (TREE_TYPE (loaded_val));
9608 : 9458 : HOST_WIDE_INT index;
9609 : :
9610 : : /* Make sure the type is one of the supported sizes. */
9611 : 9458 : index = tree_to_uhwi (TYPE_SIZE_UNIT (type));
9612 : 9458 : index = exact_log2 (index);
9613 : 9424 : if (index >= 0 && index <= 4)
9614 : : {
9615 : 18848 : unsigned int align = TYPE_ALIGN_UNIT (type);
9616 : :
9617 : : /* __sync builtins require strict data alignment. */
9618 : 18848 : if (exact_log2 (align) >= index)
9619 : : {
9620 : : /* Atomic load. */
9621 : 9248 : scalar_mode smode;
9622 : 9248 : if (loaded_val == stored_val
9623 : 1180 : && (is_int_mode (TYPE_MODE (type), &smode)
9624 : 1330 : || is_float_mode (TYPE_MODE (type), &smode))
9625 : 1180 : && GET_MODE_BITSIZE (smode) <= BITS_PER_WORD
9626 : 10424 : && expand_omp_atomic_load (load_bb, addr, loaded_val, index))
9627 : 9458 : return;
9628 : :
9629 : : /* Atomic store. */
9630 : 8072 : if ((is_int_mode (TYPE_MODE (type), &smode)
9631 : 9082 : || is_float_mode (TYPE_MODE (type), &smode))
9632 : 8072 : && GET_MODE_BITSIZE (smode) <= BITS_PER_WORD
9633 : 7993 : && store_bb == single_succ (load_bb)
9634 : 7378 : && first_stmt (store_bb) == store
9635 : 850 : && expand_omp_atomic_store (load_bb, addr, loaded_val,
9636 : : stored_val, index))
9637 : : return;
9638 : :
9639 : : /* When possible, use specialized atomic update functions. */
9640 : 950 : if ((INTEGRAL_TYPE_P (type) || POINTER_TYPE_P (type))
9641 : 6280 : && store_bb == single_succ (load_bb)
9642 : 12955 : && expand_omp_atomic_fetch_op (load_bb, addr,
9643 : : loaded_val, stored_val, index))
9644 : : return;
9645 : :
9646 : : /* When possible, use ATOMIC_COMPARE_EXCHANGE ifn without a loop. */
9647 : 2782 : if (store_bb == single_succ (load_bb)
9648 : 2163 : && !gimple_in_ssa_p (cfun)
9649 : 4896 : && expand_omp_atomic_cas (load_bb, addr, loaded_val, stored_val,
9650 : : index))
9651 : : return;
9652 : :
9653 : : /* If we don't have specialized __sync builtins, try and implement
9654 : : as a compare and swap loop. */
9655 : 2493 : if (expand_omp_atomic_pipeline (load_bb, store_bb, addr,
9656 : : loaded_val, stored_val, index))
9657 : : return;
9658 : : }
9659 : : }
9660 : :
9661 : : /* The ultimate fallback is wrapping the operation in a mutex. */
9662 : 289 : expand_omp_atomic_mutex (load_bb, store_bb, addr, loaded_val, stored_val);
9663 : : }
9664 : :
9665 : : /* Mark the loops inside the kernels region starting at REGION_ENTRY and ending
9666 : : at REGION_EXIT. */
9667 : :
9668 : : static void
9669 : 1659 : mark_loops_in_oacc_kernels_region (basic_block region_entry,
9670 : : basic_block region_exit)
9671 : : {
9672 : 1659 : class loop *outer = region_entry->loop_father;
9673 : 1659 : gcc_assert (region_exit == NULL || outer == region_exit->loop_father);
9674 : :
9675 : : /* Don't parallelize the kernels region if it contains more than one outer
9676 : : loop. */
9677 : 1659 : unsigned int nr_outer_loops = 0;
9678 : 1659 : class loop *single_outer = NULL;
9679 : 33084 : for (class loop *loop = outer->inner; loop != NULL; loop = loop->next)
9680 : : {
9681 : 31425 : gcc_assert (loop_outer (loop) == outer);
9682 : :
9683 : 31425 : if (!dominated_by_p (CDI_DOMINATORS, loop->header, region_entry))
9684 : 23386 : continue;
9685 : :
9686 : 14595 : if (region_exit != NULL
9687 : 8039 : && dominated_by_p (CDI_DOMINATORS, loop->header, region_exit))
9688 : 6556 : continue;
9689 : :
9690 : 1483 : nr_outer_loops++;
9691 : 1483 : single_outer = loop;
9692 : : }
9693 : 1659 : if (nr_outer_loops != 1)
9694 : : return;
9695 : :
9696 : 1345 : for (class loop *loop = single_outer->inner;
9697 : 2309 : loop != NULL;
9698 : 964 : loop = loop->inner)
9699 : 1052 : if (loop->next)
9700 : : return;
9701 : :
9702 : : /* Mark the loops in the region. */
9703 : 3294 : for (class loop *loop = single_outer; loop != NULL; loop = loop->inner)
9704 : 2037 : loop->in_oacc_kernels_region = true;
9705 : : }
9706 : :
9707 : : /* Build target argument identifier from the DEVICE identifier, value
9708 : : identifier ID and whether the element also has a SUBSEQUENT_PARAM. */
9709 : :
9710 : : static tree
9711 : 20700 : get_target_argument_identifier_1 (int device, bool subseqent_param, int id)
9712 : : {
9713 : 20700 : tree t = build_int_cst (integer_type_node, device);
9714 : 20700 : if (subseqent_param)
9715 : 703 : t = fold_build2 (BIT_IOR_EXPR, integer_type_node, t,
9716 : : build_int_cst (integer_type_node,
9717 : : GOMP_TARGET_ARG_SUBSEQUENT_PARAM));
9718 : 20700 : t = fold_build2 (BIT_IOR_EXPR, integer_type_node, t,
9719 : : build_int_cst (integer_type_node, id));
9720 : 20700 : return t;
9721 : : }
9722 : :
9723 : : /* Like above but return it in type that can be directly stored as an element
9724 : : of the argument array. */
9725 : :
9726 : : static tree
9727 : 703 : get_target_argument_identifier (int device, bool subseqent_param, int id)
9728 : : {
9729 : 703 : tree t = get_target_argument_identifier_1 (device, subseqent_param, id);
9730 : 703 : return fold_convert (ptr_type_node, t);
9731 : : }
9732 : :
9733 : : /* Return a target argument consisting of DEVICE identifier, value identifier
9734 : : ID, and the actual VALUE. */
9735 : :
9736 : : static tree
9737 : 19997 : get_target_argument_value (gimple_stmt_iterator *gsi, int device, int id,
9738 : : tree value)
9739 : : {
9740 : 19997 : tree t = fold_build2 (LSHIFT_EXPR, integer_type_node,
9741 : : fold_convert (integer_type_node, value),
9742 : : build_int_cst (unsigned_type_node,
9743 : : GOMP_TARGET_ARG_VALUE_SHIFT));
9744 : 19997 : t = fold_build2 (BIT_IOR_EXPR, integer_type_node, t,
9745 : : get_target_argument_identifier_1 (device, false, id));
9746 : 19997 : t = fold_convert (ptr_type_node, t);
9747 : 19997 : return force_gimple_operand_gsi (gsi, t, true, NULL, true, GSI_SAME_STMT);
9748 : : }
9749 : :
9750 : : /* If VALUE is an integer constant greater than -2^15 and smaller than 2^15,
9751 : : push one argument to ARGS with both the DEVICE, ID and VALUE embedded in it,
9752 : : otherwise push an identifier (with DEVICE and ID) and the VALUE in two
9753 : : arguments. */
9754 : :
9755 : : static void
9756 : 20700 : push_target_argument_according_to_value (gimple_stmt_iterator *gsi, int device,
9757 : : int id, tree value, vec <tree> *args)
9758 : : {
9759 : 20700 : if (tree_fits_shwi_p (value)
9760 : 19997 : && tree_to_shwi (value) > -(1 << 15)
9761 : 19997 : && tree_to_shwi (value) < (1 << 15))
9762 : 19997 : args->quick_push (get_target_argument_value (gsi, device, id, value));
9763 : : else
9764 : : {
9765 : 703 : args->quick_push (get_target_argument_identifier (device, true, id));
9766 : 703 : value = fold_convert (ptr_type_node, value);
9767 : 703 : value = force_gimple_operand_gsi (gsi, value, true, NULL, true,
9768 : : GSI_SAME_STMT);
9769 : 703 : args->quick_push (value);
9770 : : }
9771 : 20700 : }
9772 : :
9773 : : /* Create an array of arguments that is then passed to GOMP_target. */
9774 : :
9775 : : static tree
9776 : 10350 : get_target_arguments (gimple_stmt_iterator *gsi, gomp_target *tgt_stmt)
9777 : : {
9778 : 10350 : auto_vec <tree, 6> args;
9779 : 10350 : tree clauses = gimple_omp_target_clauses (tgt_stmt);
9780 : 10350 : tree t, c = omp_find_clause (clauses, OMP_CLAUSE_NUM_TEAMS);
9781 : 10350 : if (c)
9782 : 10350 : t = OMP_CLAUSE_NUM_TEAMS_UPPER_EXPR (c);
9783 : : else
9784 : 0 : t = integer_minus_one_node;
9785 : 10350 : push_target_argument_according_to_value (gsi, GOMP_TARGET_ARG_DEVICE_ALL,
9786 : : GOMP_TARGET_ARG_NUM_TEAMS, t, &args);
9787 : :
9788 : 10350 : c = omp_find_clause (clauses, OMP_CLAUSE_THREAD_LIMIT);
9789 : 10350 : if (c)
9790 : 10350 : t = OMP_CLAUSE_THREAD_LIMIT_EXPR (c);
9791 : : else
9792 : 0 : t = integer_minus_one_node;
9793 : 10350 : push_target_argument_according_to_value (gsi, GOMP_TARGET_ARG_DEVICE_ALL,
9794 : : GOMP_TARGET_ARG_THREAD_LIMIT, t,
9795 : : &args);
9796 : :
9797 : : /* Produce more, perhaps device specific, arguments here. */
9798 : :
9799 : 20700 : tree argarray = create_tmp_var (build_array_type_nelts (ptr_type_node,
9800 : 10350 : args.length () + 1),
9801 : : ".omp_target_args");
9802 : 31753 : for (unsigned i = 0; i < args.length (); i++)
9803 : : {
9804 : 21403 : tree ref = build4 (ARRAY_REF, ptr_type_node, argarray,
9805 : 21403 : build_int_cst (integer_type_node, i),
9806 : : NULL_TREE, NULL_TREE);
9807 : 21403 : gsi_insert_before (gsi, gimple_build_assign (ref, args[i]),
9808 : : GSI_SAME_STMT);
9809 : : }
9810 : 20700 : tree ref = build4 (ARRAY_REF, ptr_type_node, argarray,
9811 : 10350 : build_int_cst (integer_type_node, args.length ()),
9812 : : NULL_TREE, NULL_TREE);
9813 : 10350 : gsi_insert_before (gsi, gimple_build_assign (ref, null_pointer_node),
9814 : : GSI_SAME_STMT);
9815 : 10350 : TREE_ADDRESSABLE (argarray) = 1;
9816 : 10350 : return build_fold_addr_expr (argarray);
9817 : 10350 : }
9818 : :
9819 : : /* Expand the GIMPLE_OMP_TARGET starting at REGION. */
9820 : :
9821 : : static void
9822 : 34102 : expand_omp_target (struct omp_region *region)
9823 : : {
9824 : 34102 : basic_block entry_bb, exit_bb, new_bb;
9825 : 34102 : struct function *child_cfun;
9826 : 34102 : tree child_fn, child_fn2, block, t, c;
9827 : 34102 : gimple_stmt_iterator gsi;
9828 : 34102 : gomp_target *entry_stmt;
9829 : 34102 : gimple *stmt;
9830 : 34102 : edge e;
9831 : 34102 : bool offloaded;
9832 : 34102 : int target_kind;
9833 : :
9834 : 34102 : entry_stmt = as_a <gomp_target *> (last_nondebug_stmt (region->entry));
9835 : 34102 : target_kind = gimple_omp_target_kind (entry_stmt);
9836 : 34102 : new_bb = region->entry;
9837 : :
9838 : 34102 : offloaded = is_gimple_omp_offloaded (entry_stmt);
9839 : 34102 : switch (target_kind)
9840 : : {
9841 : 34102 : case GF_OMP_TARGET_KIND_REGION:
9842 : 34102 : case GF_OMP_TARGET_KIND_UPDATE:
9843 : 34102 : case GF_OMP_TARGET_KIND_ENTER_DATA:
9844 : 34102 : case GF_OMP_TARGET_KIND_EXIT_DATA:
9845 : 34102 : case GF_OMP_TARGET_KIND_OACC_PARALLEL:
9846 : 34102 : case GF_OMP_TARGET_KIND_OACC_KERNELS:
9847 : 34102 : case GF_OMP_TARGET_KIND_OACC_SERIAL:
9848 : 34102 : case GF_OMP_TARGET_KIND_OACC_UPDATE:
9849 : 34102 : case GF_OMP_TARGET_KIND_OACC_ENTER_DATA:
9850 : 34102 : case GF_OMP_TARGET_KIND_OACC_EXIT_DATA:
9851 : 34102 : case GF_OMP_TARGET_KIND_OACC_DECLARE:
9852 : 34102 : case GF_OMP_TARGET_KIND_OACC_PARALLEL_KERNELS_PARALLELIZED:
9853 : 34102 : case GF_OMP_TARGET_KIND_OACC_PARALLEL_KERNELS_GANG_SINGLE:
9854 : 34102 : case GF_OMP_TARGET_KIND_DATA:
9855 : 34102 : case GF_OMP_TARGET_KIND_OACC_DATA:
9856 : 34102 : case GF_OMP_TARGET_KIND_OACC_HOST_DATA:
9857 : 34102 : case GF_OMP_TARGET_KIND_OACC_DATA_KERNELS:
9858 : 34102 : break;
9859 : 0 : default:
9860 : 0 : gcc_unreachable ();
9861 : : }
9862 : :
9863 : 34102 : tree clauses = gimple_omp_target_clauses (entry_stmt);
9864 : :
9865 : 34102 : bool is_ancestor = false;
9866 : 34102 : child_fn = child_fn2 = NULL_TREE;
9867 : 34102 : child_cfun = NULL;
9868 : 34102 : if (offloaded)
9869 : : {
9870 : 18890 : c = omp_find_clause (clauses, OMP_CLAUSE_DEVICE);
9871 : 18890 : if (ENABLE_OFFLOADING && c)
9872 : : is_ancestor = OMP_CLAUSE_DEVICE_ANCESTOR (c);
9873 : 18890 : child_fn = gimple_omp_target_child_fn (entry_stmt);
9874 : 18890 : child_cfun = DECL_STRUCT_FUNCTION (child_fn);
9875 : : }
9876 : :
9877 : : /* Supported by expand_omp_taskreg, but not here. */
9878 : 18890 : if (child_cfun != NULL)
9879 : 18890 : gcc_checking_assert (!child_cfun->cfg);
9880 : 34102 : gcc_checking_assert (!gimple_in_ssa_p (cfun));
9881 : :
9882 : 34102 : entry_bb = region->entry;
9883 : 34102 : exit_bb = region->exit;
9884 : :
9885 : 34102 : if (target_kind == GF_OMP_TARGET_KIND_OACC_KERNELS)
9886 : 1659 : mark_loops_in_oacc_kernels_region (region->entry, region->exit);
9887 : :
9888 : : /* Going on, all OpenACC compute constructs are mapped to
9889 : : 'BUILT_IN_GOACC_PARALLEL', and get their compute regions outlined.
9890 : : To distinguish between them, we attach attributes. */
9891 : 34102 : switch (target_kind)
9892 : : {
9893 : 6594 : case GF_OMP_TARGET_KIND_OACC_PARALLEL:
9894 : 6594 : DECL_ATTRIBUTES (child_fn)
9895 : 6594 : = tree_cons (get_identifier ("oacc parallel"),
9896 : 6594 : NULL_TREE, DECL_ATTRIBUTES (child_fn));
9897 : 6594 : break;
9898 : 1659 : case GF_OMP_TARGET_KIND_OACC_KERNELS:
9899 : 1659 : DECL_ATTRIBUTES (child_fn)
9900 : 1659 : = tree_cons (get_identifier ("oacc kernels"),
9901 : 1659 : NULL_TREE, DECL_ATTRIBUTES (child_fn));
9902 : 1659 : break;
9903 : 104 : case GF_OMP_TARGET_KIND_OACC_SERIAL:
9904 : 104 : DECL_ATTRIBUTES (child_fn)
9905 : 104 : = tree_cons (get_identifier ("oacc serial"),
9906 : 104 : NULL_TREE, DECL_ATTRIBUTES (child_fn));
9907 : 104 : break;
9908 : 62 : case GF_OMP_TARGET_KIND_OACC_PARALLEL_KERNELS_PARALLELIZED:
9909 : 62 : DECL_ATTRIBUTES (child_fn)
9910 : 62 : = tree_cons (get_identifier ("oacc parallel_kernels_parallelized"),
9911 : 62 : NULL_TREE, DECL_ATTRIBUTES (child_fn));
9912 : 62 : break;
9913 : 121 : case GF_OMP_TARGET_KIND_OACC_PARALLEL_KERNELS_GANG_SINGLE:
9914 : 121 : DECL_ATTRIBUTES (child_fn)
9915 : 121 : = tree_cons (get_identifier ("oacc parallel_kernels_gang_single"),
9916 : 121 : NULL_TREE, DECL_ATTRIBUTES (child_fn));
9917 : 121 : break;
9918 : 25562 : default:
9919 : : /* Make sure we don't miss any. */
9920 : 25562 : gcc_checking_assert (!(is_gimple_omp_oacc (entry_stmt)
9921 : : && is_gimple_omp_offloaded (entry_stmt)));
9922 : : break;
9923 : : }
9924 : :
9925 : 34102 : if (offloaded)
9926 : : {
9927 : 18890 : unsigned srcidx, dstidx, num;
9928 : :
9929 : : /* If the offloading region needs data sent from the parent
9930 : : function, then the very first statement (except possible
9931 : : tree profile counter updates) of the offloading body
9932 : : is a copy assignment .OMP_DATA_I = &.OMP_DATA_O. Since
9933 : : &.OMP_DATA_O is passed as an argument to the child function,
9934 : : we need to replace it with the argument as seen by the child
9935 : : function.
9936 : :
9937 : : In most cases, this will end up being the identity assignment
9938 : : .OMP_DATA_I = .OMP_DATA_I. However, if the offloading body had
9939 : : a function call that has been inlined, the original PARM_DECL
9940 : : .OMP_DATA_I may have been converted into a different local
9941 : : variable. In which case, we need to keep the assignment. */
9942 : 18890 : tree data_arg = gimple_omp_target_data_arg (entry_stmt);
9943 : 18890 : if (data_arg)
9944 : : {
9945 : 14577 : basic_block entry_succ_bb = single_succ (entry_bb);
9946 : 14577 : gimple_stmt_iterator gsi;
9947 : 14577 : tree arg;
9948 : 14577 : gimple *tgtcopy_stmt = NULL;
9949 : 14577 : tree sender = TREE_VEC_ELT (data_arg, 0);
9950 : :
9951 : 29154 : for (gsi = gsi_start_bb (entry_succ_bb); ; gsi_next (&gsi))
9952 : : {
9953 : 14577 : gcc_assert (!gsi_end_p (gsi));
9954 : 14577 : stmt = gsi_stmt (gsi);
9955 : 14577 : if (gimple_code (stmt) != GIMPLE_ASSIGN)
9956 : 0 : continue;
9957 : :
9958 : 14577 : if (gimple_num_ops (stmt) == 2)
9959 : : {
9960 : 14577 : tree arg = gimple_assign_rhs1 (stmt);
9961 : :
9962 : : /* We're ignoring the subcode because we're
9963 : : effectively doing a STRIP_NOPS. */
9964 : :
9965 : 14577 : if ((TREE_CODE (arg) == ADDR_EXPR
9966 : 14577 : && TREE_OPERAND (arg, 0) == sender)
9967 : 14577 : || arg == sender)
9968 : : {
9969 : 14577 : tgtcopy_stmt = stmt;
9970 : 14577 : break;
9971 : : }
9972 : : }
9973 : : }
9974 : :
9975 : 14577 : gcc_assert (tgtcopy_stmt != NULL);
9976 : 14577 : arg = DECL_ARGUMENTS (child_fn);
9977 : :
9978 : 14577 : gcc_assert (gimple_assign_lhs (tgtcopy_stmt) == arg);
9979 : 14577 : gsi_remove (&gsi, true);
9980 : : }
9981 : :
9982 : : /* Declare local variables needed in CHILD_CFUN. */
9983 : 18890 : block = DECL_INITIAL (child_fn);
9984 : 18890 : BLOCK_VARS (block) = vec2chain (child_cfun->local_decls);
9985 : : /* The gimplifier could record temporaries in the offloading block
9986 : : rather than in containing function's local_decls chain,
9987 : : which would mean cgraph missed finalizing them. Do it now. */
9988 : 136140 : for (t = BLOCK_VARS (block); t; t = DECL_CHAIN (t))
9989 : 117250 : if (VAR_P (t) && TREE_STATIC (t) && !DECL_EXTERNAL (t))
9990 : 0 : varpool_node::finalize_decl (t);
9991 : 18890 : DECL_SAVED_TREE (child_fn) = NULL;
9992 : : /* We'll create a CFG for child_fn, so no gimple body is needed. */
9993 : 18890 : gimple_set_body (child_fn, NULL);
9994 : 18890 : TREE_USED (block) = 1;
9995 : :
9996 : : /* Reset DECL_CONTEXT on function arguments. */
9997 : 37780 : for (t = DECL_ARGUMENTS (child_fn); t; t = DECL_CHAIN (t))
9998 : 18890 : DECL_CONTEXT (t) = child_fn;
9999 : :
10000 : : /* Split ENTRY_BB at GIMPLE_*,
10001 : : so that it can be moved to the child function. */
10002 : 18890 : gsi = gsi_last_nondebug_bb (entry_bb);
10003 : 18890 : stmt = gsi_stmt (gsi);
10004 : 18890 : gcc_assert (stmt
10005 : : && gimple_code (stmt) == gimple_code (entry_stmt));
10006 : 18890 : e = split_block (entry_bb, stmt);
10007 : 18890 : gsi_remove (&gsi, true);
10008 : 18890 : entry_bb = e->dest;
10009 : 18890 : single_succ_edge (entry_bb)->flags = EDGE_FALLTHRU;
10010 : :
10011 : : /* Convert GIMPLE_OMP_RETURN into a RETURN_EXPR. */
10012 : 18890 : if (exit_bb)
10013 : : {
10014 : 18824 : gsi = gsi_last_nondebug_bb (exit_bb);
10015 : 18824 : gcc_assert (!gsi_end_p (gsi)
10016 : : && gimple_code (gsi_stmt (gsi)) == GIMPLE_OMP_RETURN);
10017 : 18824 : stmt = gimple_build_return (NULL);
10018 : 18824 : gsi_insert_after (&gsi, stmt, GSI_SAME_STMT);
10019 : 18824 : gsi_remove (&gsi, true);
10020 : : }
10021 : :
10022 : : /* Move the offloading region into CHILD_CFUN. */
10023 : :
10024 : 18890 : block = gimple_block (entry_stmt);
10025 : :
10026 : 18890 : new_bb = move_sese_region_to_fn (child_cfun, entry_bb, exit_bb, block);
10027 : 18890 : if (exit_bb)
10028 : 18824 : single_succ_edge (new_bb)->flags = EDGE_FALLTHRU;
10029 : : /* When the OMP expansion process cannot guarantee an up-to-date
10030 : : loop tree arrange for the child function to fixup loops. */
10031 : 18890 : if (loops_state_satisfies_p (LOOPS_NEED_FIXUP))
10032 : 18890 : child_cfun->x_current_loops->state |= LOOPS_NEED_FIXUP;
10033 : :
10034 : : /* Remove non-local VAR_DECLs from child_cfun->local_decls list. */
10035 : 18890 : num = vec_safe_length (child_cfun->local_decls);
10036 : 562251 : for (srcidx = 0, dstidx = 0; srcidx < num; srcidx++)
10037 : : {
10038 : 543361 : t = (*child_cfun->local_decls)[srcidx];
10039 : 543361 : if (DECL_CONTEXT (t) == cfun->decl)
10040 : 117250 : continue;
10041 : 426111 : if (srcidx != dstidx)
10042 : 413350 : (*child_cfun->local_decls)[dstidx] = t;
10043 : 426111 : dstidx++;
10044 : : }
10045 : 18890 : if (dstidx != num)
10046 : 15824 : vec_safe_truncate (child_cfun->local_decls, dstidx);
10047 : :
10048 : : /* Inform the callgraph about the new function. */
10049 : 18890 : child_cfun->curr_properties = cfun->curr_properties;
10050 : 18890 : child_cfun->has_simduid_loops |= cfun->has_simduid_loops;
10051 : 18890 : child_cfun->has_force_vectorize_loops |= cfun->has_force_vectorize_loops;
10052 : 18890 : cgraph_node *node = cgraph_node::get_create (child_fn);
10053 : 18890 : node->parallelized_function = 1;
10054 : 18890 : cgraph_node::add_new_function (child_fn, true);
10055 : :
10056 : : /* Add the new function to the offload table. */
10057 : 18890 : if (ENABLE_OFFLOADING)
10058 : : {
10059 : : if (in_lto_p)
10060 : : DECL_PRESERVE_P (child_fn) = 1;
10061 : : if (!is_ancestor)
10062 : : vec_safe_push (offload_funcs, child_fn);
10063 : : }
10064 : :
10065 : 18890 : bool need_asm = DECL_ASSEMBLER_NAME_SET_P (current_function_decl)
10066 : 18890 : && !DECL_ASSEMBLER_NAME_SET_P (child_fn);
10067 : :
10068 : : /* Fix the callgraph edges for child_cfun. Those for cfun will be
10069 : : fixed in a following pass. */
10070 : 18890 : push_cfun (child_cfun);
10071 : 18890 : if (need_asm)
10072 : 18884 : assign_assembler_name_if_needed (child_fn);
10073 : 18890 : cgraph_edge::rebuild_edges ();
10074 : :
10075 : : /* Some EH regions might become dead, see PR34608. If
10076 : : pass_cleanup_cfg isn't the first pass to happen with the
10077 : : new child, these dead EH edges might cause problems.
10078 : : Clean them up now. */
10079 : 18890 : if (flag_exceptions)
10080 : : {
10081 : 7333 : basic_block bb;
10082 : 7333 : bool changed = false;
10083 : :
10084 : 97134 : FOR_EACH_BB_FN (bb, cfun)
10085 : 89801 : changed |= gimple_purge_dead_eh_edges (bb);
10086 : 7333 : if (changed)
10087 : 0 : cleanup_tree_cfg ();
10088 : : }
10089 : 18890 : if (flag_checking && !loops_state_satisfies_p (LOOPS_NEED_FIXUP))
10090 : 0 : verify_loop_structure ();
10091 : 18890 : pop_cfun ();
10092 : :
10093 : 18890 : if (dump_file && !gimple_in_ssa_p (cfun))
10094 : : {
10095 : 31 : omp_any_child_fn_dumped = true;
10096 : 31 : dump_function_header (dump_file, child_fn, dump_flags);
10097 : 31 : dump_function_to_file (child_fn, dump_file, dump_flags);
10098 : : }
10099 : :
10100 : 18890 : adjust_context_and_scope (region, gimple_block (entry_stmt), child_fn);
10101 : :
10102 : : /* Handle the case that an inner ancestor:1 target is called by an outer
10103 : : target region. */
10104 : 18890 : if (is_ancestor)
10105 : : {
10106 : : cgraph_node *fn2_node;
10107 : : child_fn2 = build_decl (DECL_SOURCE_LOCATION (child_fn),
10108 : : FUNCTION_DECL,
10109 : : clone_function_name (child_fn, "nohost"),
10110 : : TREE_TYPE (child_fn));
10111 : : if (in_lto_p)
10112 : : DECL_PRESERVE_P (child_fn2) = 1;
10113 : : TREE_STATIC (child_fn2) = 1;
10114 : : DECL_ARTIFICIAL (child_fn2) = 1;
10115 : : DECL_IGNORED_P (child_fn2) = 0;
10116 : : TREE_PUBLIC (child_fn2) = 0;
10117 : : DECL_UNINLINABLE (child_fn2) = 1;
10118 : : DECL_EXTERNAL (child_fn2) = 0;
10119 : : DECL_CONTEXT (child_fn2) = DECL_CONTEXT (child_fn);
10120 : : DECL_INITIAL (child_fn2) = make_node (BLOCK);
10121 : : BLOCK_SUPERCONTEXT (DECL_INITIAL (child_fn2)) = child_fn2;
10122 : : DECL_ATTRIBUTES (child_fn)
10123 : : = remove_attribute ("omp target entrypoint",
10124 : : DECL_ATTRIBUTES (child_fn));
10125 : : DECL_ATTRIBUTES (child_fn2)
10126 : : = tree_cons (get_identifier ("omp target device_ancestor_nohost"),
10127 : : NULL_TREE, copy_list (DECL_ATTRIBUTES (child_fn)));
10128 : : DECL_ATTRIBUTES (child_fn)
10129 : : = tree_cons (get_identifier ("omp target device_ancestor_host"),
10130 : : NULL_TREE, DECL_ATTRIBUTES (child_fn));
10131 : : DECL_FUNCTION_SPECIFIC_OPTIMIZATION (child_fn2)
10132 : : = DECL_FUNCTION_SPECIFIC_OPTIMIZATION (current_function_decl);
10133 : : DECL_FUNCTION_SPECIFIC_TARGET (child_fn2)
10134 : : = DECL_FUNCTION_SPECIFIC_TARGET (current_function_decl);
10135 : : DECL_FUNCTION_VERSIONED (child_fn2)
10136 : : = DECL_FUNCTION_VERSIONED (current_function_decl);
10137 : :
10138 : : fn2_node = cgraph_node::get_create (child_fn2);
10139 : : fn2_node->offloadable = 1;
10140 : : fn2_node->force_output = 1;
10141 : : node->offloadable = 0;
10142 : :
10143 : : /* Enable pass_omp_device_lower pass. */
10144 : : fn2_node = cgraph_node::get (DECL_CONTEXT (child_fn));
10145 : : fn2_node->calls_declare_variant_alt = 1;
10146 : :
10147 : : t = build_decl (DECL_SOURCE_LOCATION (child_fn),
10148 : : RESULT_DECL, NULL_TREE, void_type_node);
10149 : : DECL_ARTIFICIAL (t) = 1;
10150 : : DECL_IGNORED_P (t) = 1;
10151 : : DECL_CONTEXT (t) = child_fn2;
10152 : : DECL_RESULT (child_fn2) = t;
10153 : : DECL_SAVED_TREE (child_fn2) = build1 (RETURN_EXPR,
10154 : : void_type_node, NULL);
10155 : : tree tmp = DECL_ARGUMENTS (child_fn);
10156 : : t = build_decl (DECL_SOURCE_LOCATION (child_fn), PARM_DECL,
10157 : : DECL_NAME (tmp), TREE_TYPE (tmp));
10158 : : DECL_ARTIFICIAL (t) = 1;
10159 : : DECL_NAMELESS (t) = 1;
10160 : : DECL_ARG_TYPE (t) = ptr_type_node;
10161 : : DECL_CONTEXT (t) = current_function_decl;
10162 : : TREE_USED (t) = 1;
10163 : : TREE_READONLY (t) = 1;
10164 : : DECL_ARGUMENTS (child_fn2) = t;
10165 : : gcc_assert (TREE_CHAIN (tmp) == NULL_TREE);
10166 : :
10167 : : gimplify_function_tree (child_fn2);
10168 : : cgraph_node::add_new_function (child_fn2, true);
10169 : :
10170 : : vec_safe_push (offload_funcs, child_fn2);
10171 : : if (dump_file && !gimple_in_ssa_p (cfun))
10172 : : {
10173 : : dump_function_header (dump_file, child_fn2, dump_flags);
10174 : : dump_function_to_file (child_fn2, dump_file, dump_flags);
10175 : : }
10176 : : }
10177 : : }
10178 : :
10179 : : /* Emit a library call to launch the offloading region, or do data
10180 : : transfers. */
10181 : 34102 : tree t1, t2, t3, t4, depend;
10182 : 34102 : enum built_in_function start_ix;
10183 : 34102 : unsigned int flags_i = 0;
10184 : :
10185 : 34102 : switch (gimple_omp_target_kind (entry_stmt))
10186 : : {
10187 : : case GF_OMP_TARGET_KIND_REGION:
10188 : : start_ix = BUILT_IN_GOMP_TARGET;
10189 : : break;
10190 : : case GF_OMP_TARGET_KIND_DATA:
10191 : : start_ix = BUILT_IN_GOMP_TARGET_DATA;
10192 : : break;
10193 : : case GF_OMP_TARGET_KIND_UPDATE:
10194 : : start_ix = BUILT_IN_GOMP_TARGET_UPDATE;
10195 : : break;
10196 : : case GF_OMP_TARGET_KIND_ENTER_DATA:
10197 : : start_ix = BUILT_IN_GOMP_TARGET_ENTER_EXIT_DATA;
10198 : : break;
10199 : : case GF_OMP_TARGET_KIND_EXIT_DATA:
10200 : : start_ix = BUILT_IN_GOMP_TARGET_ENTER_EXIT_DATA;
10201 : : flags_i |= GOMP_TARGET_FLAG_EXIT_DATA;
10202 : : break;
10203 : : case GF_OMP_TARGET_KIND_OACC_PARALLEL:
10204 : : case GF_OMP_TARGET_KIND_OACC_KERNELS:
10205 : : case GF_OMP_TARGET_KIND_OACC_SERIAL:
10206 : : case GF_OMP_TARGET_KIND_OACC_PARALLEL_KERNELS_PARALLELIZED:
10207 : : case GF_OMP_TARGET_KIND_OACC_PARALLEL_KERNELS_GANG_SINGLE:
10208 : : start_ix = BUILT_IN_GOACC_PARALLEL;
10209 : : break;
10210 : : case GF_OMP_TARGET_KIND_OACC_DATA:
10211 : : case GF_OMP_TARGET_KIND_OACC_HOST_DATA:
10212 : : case GF_OMP_TARGET_KIND_OACC_DATA_KERNELS:
10213 : : start_ix = BUILT_IN_GOACC_DATA_START;
10214 : : break;
10215 : : case GF_OMP_TARGET_KIND_OACC_UPDATE:
10216 : : start_ix = BUILT_IN_GOACC_UPDATE;
10217 : : break;
10218 : : case GF_OMP_TARGET_KIND_OACC_ENTER_DATA:
10219 : : start_ix = BUILT_IN_GOACC_ENTER_DATA;
10220 : : break;
10221 : : case GF_OMP_TARGET_KIND_OACC_EXIT_DATA:
10222 : : start_ix = BUILT_IN_GOACC_EXIT_DATA;
10223 : : break;
10224 : : case GF_OMP_TARGET_KIND_OACC_DECLARE:
10225 : : start_ix = BUILT_IN_GOACC_DECLARE;
10226 : : break;
10227 : 0 : default:
10228 : 0 : gcc_unreachable ();
10229 : : }
10230 : :
10231 : 34102 : tree device = NULL_TREE;
10232 : 34102 : location_t device_loc = UNKNOWN_LOCATION;
10233 : 34102 : tree goacc_flags = NULL_TREE;
10234 : 34102 : bool need_device_adjustment = false;
10235 : 34102 : gimple_stmt_iterator adj_gsi;
10236 : 34102 : if (is_gimple_omp_oacc (entry_stmt))
10237 : : {
10238 : : /* By default, no GOACC_FLAGs are set. */
10239 : 13700 : goacc_flags = integer_zero_node;
10240 : : }
10241 : : else
10242 : : {
10243 : 20402 : c = omp_find_clause (clauses, OMP_CLAUSE_DEVICE);
10244 : 20402 : if (c)
10245 : : {
10246 : 871 : device = OMP_CLAUSE_DEVICE_ID (c);
10247 : : /* Ensure 'device' is of the correct type. */
10248 : 871 : device = fold_convert_loc (device_loc, integer_type_node, device);
10249 : 871 : if (TREE_CODE (device) == INTEGER_CST)
10250 : : {
10251 : 50 : if (wi::to_wide (device) == GOMP_DEVICE_ICV)
10252 : 2 : device = build_int_cst (integer_type_node,
10253 : 2 : GOMP_DEVICE_HOST_FALLBACK);
10254 : 48 : else if (wi::to_wide (device) == GOMP_DEVICE_HOST_FALLBACK)
10255 : 0 : device = build_int_cst (integer_type_node,
10256 : 0 : GOMP_DEVICE_HOST_FALLBACK - 1);
10257 : : }
10258 : : else
10259 : : need_device_adjustment = true;
10260 : 871 : device_loc = OMP_CLAUSE_LOCATION (c);
10261 : 871 : if (OMP_CLAUSE_DEVICE_ANCESTOR (c))
10262 : 41 : device = build_int_cst (integer_type_node,
10263 : 41 : GOMP_DEVICE_HOST_FALLBACK);
10264 : : }
10265 : : else
10266 : : {
10267 : : /* By default, the value of DEVICE is GOMP_DEVICE_ICV (let runtime
10268 : : library choose). */
10269 : 19531 : device = build_int_cst (integer_type_node, GOMP_DEVICE_ICV);
10270 : 19531 : device_loc = gimple_location (entry_stmt);
10271 : : }
10272 : :
10273 : 20402 : c = omp_find_clause (clauses, OMP_CLAUSE_NOWAIT);
10274 : : /* FIXME: in_reduction(...) nowait is unimplemented yet, pretend
10275 : : nowait doesn't appear. */
10276 : 20402 : if (c && omp_find_clause (clauses, OMP_CLAUSE_IN_REDUCTION))
10277 : : c = NULL;
10278 : 20138 : if (c)
10279 : 127 : flags_i |= GOMP_TARGET_FLAG_NOWAIT;
10280 : : }
10281 : :
10282 : : /* By default, there is no conditional. */
10283 : 34102 : tree cond = NULL_TREE;
10284 : 34102 : c = omp_find_clause (clauses, OMP_CLAUSE_IF);
10285 : 34102 : if (c)
10286 : 1721 : cond = OMP_CLAUSE_IF_EXPR (c);
10287 : : /* If we found the clause 'if (cond)', build:
10288 : : OpenACC: goacc_flags = (cond ? goacc_flags
10289 : : : goacc_flags | GOACC_FLAG_HOST_FALLBACK)
10290 : : OpenMP: device = (cond ? device : GOMP_DEVICE_HOST_FALLBACK) */
10291 : 1721 : if (cond)
10292 : : {
10293 : 1721 : tree *tp;
10294 : 1721 : if (is_gimple_omp_oacc (entry_stmt))
10295 : : tp = &goacc_flags;
10296 : : else
10297 : 666 : tp = &device;
10298 : :
10299 : 1721 : cond = gimple_boolify (cond);
10300 : :
10301 : 1721 : basic_block cond_bb, then_bb, else_bb;
10302 : 1721 : edge e;
10303 : 1721 : tree tmp_var = create_tmp_var (TREE_TYPE (*tp));
10304 : 1721 : if (offloaded)
10305 : 789 : e = split_block_after_labels (new_bb);
10306 : : else
10307 : : {
10308 : 932 : gsi = gsi_last_nondebug_bb (new_bb);
10309 : 932 : gsi_prev (&gsi);
10310 : 932 : e = split_block (new_bb, gsi_stmt (gsi));
10311 : : }
10312 : 1721 : cond_bb = e->src;
10313 : 1721 : new_bb = e->dest;
10314 : 1721 : remove_edge (e);
10315 : :
10316 : 1721 : then_bb = create_empty_bb (cond_bb);
10317 : 1721 : else_bb = create_empty_bb (then_bb);
10318 : 1721 : set_immediate_dominator (CDI_DOMINATORS, then_bb, cond_bb);
10319 : 1721 : set_immediate_dominator (CDI_DOMINATORS, else_bb, cond_bb);
10320 : :
10321 : 1721 : stmt = gimple_build_cond_empty (cond);
10322 : 1721 : gsi = gsi_last_bb (cond_bb);
10323 : 1721 : gsi_insert_after (&gsi, stmt, GSI_CONTINUE_LINKING);
10324 : :
10325 : 1721 : gsi = gsi_start_bb (then_bb);
10326 : 1721 : stmt = gimple_build_assign (tmp_var, *tp);
10327 : 1721 : gsi_insert_after (&gsi, stmt, GSI_CONTINUE_LINKING);
10328 : 1721 : adj_gsi = gsi;
10329 : :
10330 : 1721 : gsi = gsi_start_bb (else_bb);
10331 : 1721 : if (is_gimple_omp_oacc (entry_stmt))
10332 : 1055 : stmt = gimple_build_assign (tmp_var,
10333 : : BIT_IOR_EXPR,
10334 : : *tp,
10335 : 1055 : build_int_cst (integer_type_node,
10336 : 1055 : GOACC_FLAG_HOST_FALLBACK));
10337 : : else
10338 : 666 : stmt = gimple_build_assign (tmp_var,
10339 : 666 : build_int_cst (integer_type_node,
10340 : 666 : GOMP_DEVICE_HOST_FALLBACK));
10341 : 1721 : gsi_insert_after (&gsi, stmt, GSI_CONTINUE_LINKING);
10342 : :
10343 : 1721 : make_edge (cond_bb, then_bb, EDGE_TRUE_VALUE);
10344 : 1721 : make_edge (cond_bb, else_bb, EDGE_FALSE_VALUE);
10345 : 1721 : add_bb_to_loop (then_bb, cond_bb->loop_father);
10346 : 1721 : add_bb_to_loop (else_bb, cond_bb->loop_father);
10347 : 1721 : make_edge (then_bb, new_bb, EDGE_FALLTHRU);
10348 : 1721 : make_edge (else_bb, new_bb, EDGE_FALLTHRU);
10349 : :
10350 : 1721 : *tp = tmp_var;
10351 : :
10352 : 1721 : gsi = gsi_last_nondebug_bb (new_bb);
10353 : : }
10354 : : else
10355 : : {
10356 : 32381 : gsi = gsi_last_nondebug_bb (new_bb);
10357 : :
10358 : 32381 : if (device != NULL_TREE)
10359 : 19736 : device = force_gimple_operand_gsi (&gsi, device, true, NULL_TREE,
10360 : : true, GSI_SAME_STMT);
10361 : 32381 : if (need_device_adjustment)
10362 : : {
10363 : 347 : tree tmp_var = create_tmp_var (TREE_TYPE (device));
10364 : 347 : stmt = gimple_build_assign (tmp_var, device);
10365 : 347 : gsi_insert_before (&gsi, stmt, GSI_SAME_STMT);
10366 : 347 : adj_gsi = gsi_for_stmt (stmt);
10367 : 347 : device = tmp_var;
10368 : : }
10369 : : }
10370 : :
10371 : 34102 : if ((c = omp_find_clause (clauses, OMP_CLAUSE_SELF)) != NULL_TREE)
10372 : : {
10373 : 323 : gcc_assert ((is_gimple_omp_oacc (entry_stmt) && offloaded)
10374 : : || (gimple_omp_target_kind (entry_stmt)
10375 : : == GF_OMP_TARGET_KIND_OACC_DATA_KERNELS));
10376 : :
10377 : 87 : edge e;
10378 : 87 : if (offloaded)
10379 : 236 : e = split_block_after_labels (new_bb);
10380 : : else
10381 : : {
10382 : 87 : gsi = gsi_last_nondebug_bb (new_bb);
10383 : 87 : gsi_prev (&gsi);
10384 : 87 : e = split_block (new_bb, gsi_stmt (gsi));
10385 : : }
10386 : 323 : basic_block cond_bb = e->src;
10387 : 323 : new_bb = e->dest;
10388 : 323 : remove_edge (e);
10389 : :
10390 : 323 : basic_block then_bb = create_empty_bb (cond_bb);
10391 : 323 : basic_block else_bb = create_empty_bb (then_bb);
10392 : 323 : set_immediate_dominator (CDI_DOMINATORS, then_bb, cond_bb);
10393 : 323 : set_immediate_dominator (CDI_DOMINATORS, else_bb, cond_bb);
10394 : :
10395 : 323 : tree self_cond = gimple_boolify (OMP_CLAUSE_SELF_EXPR (c));
10396 : 323 : stmt = gimple_build_cond_empty (self_cond);
10397 : 323 : gsi = gsi_last_bb (cond_bb);
10398 : 323 : gsi_insert_after (&gsi, stmt, GSI_CONTINUE_LINKING);
10399 : :
10400 : 323 : tree tmp_var = create_tmp_var (TREE_TYPE (goacc_flags));
10401 : 323 : stmt = gimple_build_assign (tmp_var, BIT_IOR_EXPR, goacc_flags,
10402 : 323 : build_int_cst (integer_type_node,
10403 : 323 : GOACC_FLAG_LOCAL_DEVICE));
10404 : 323 : gsi = gsi_start_bb (then_bb);
10405 : 323 : gsi_insert_after (&gsi, stmt, GSI_CONTINUE_LINKING);
10406 : :
10407 : 323 : gsi = gsi_start_bb (else_bb);
10408 : 323 : stmt = gimple_build_assign (tmp_var, goacc_flags);
10409 : 323 : gsi_insert_after (&gsi, stmt, GSI_CONTINUE_LINKING);
10410 : :
10411 : 323 : make_edge (cond_bb, then_bb, EDGE_TRUE_VALUE);
10412 : 323 : make_edge (cond_bb, else_bb, EDGE_FALSE_VALUE);
10413 : 323 : add_bb_to_loop (then_bb, cond_bb->loop_father);
10414 : 323 : add_bb_to_loop (else_bb, cond_bb->loop_father);
10415 : 323 : make_edge (then_bb, new_bb, EDGE_FALLTHRU);
10416 : 323 : make_edge (else_bb, new_bb, EDGE_FALLTHRU);
10417 : :
10418 : 323 : goacc_flags = tmp_var;
10419 : 323 : gsi = gsi_last_nondebug_bb (new_bb);
10420 : : }
10421 : :
10422 : 34102 : if (need_device_adjustment)
10423 : : {
10424 : 821 : tree uns = fold_convert (unsigned_type_node, device);
10425 : 821 : uns = force_gimple_operand_gsi (&adj_gsi, uns, true, NULL_TREE,
10426 : : false, GSI_CONTINUE_LINKING);
10427 : 821 : edge e = split_block (gsi_bb (adj_gsi), gsi_stmt (adj_gsi));
10428 : 821 : basic_block cond_bb = e->src;
10429 : 821 : basic_block else_bb = e->dest;
10430 : 821 : if (gsi_bb (adj_gsi) == new_bb)
10431 : : {
10432 : 347 : new_bb = else_bb;
10433 : 347 : gsi = gsi_last_nondebug_bb (new_bb);
10434 : : }
10435 : :
10436 : 821 : basic_block then_bb = create_empty_bb (cond_bb);
10437 : 821 : set_immediate_dominator (CDI_DOMINATORS, then_bb, cond_bb);
10438 : :
10439 : 821 : cond = build2 (GT_EXPR, boolean_type_node, uns,
10440 : 821 : build_int_cst (unsigned_type_node,
10441 : 821 : GOMP_DEVICE_HOST_FALLBACK - 1));
10442 : 821 : stmt = gimple_build_cond_empty (cond);
10443 : 821 : adj_gsi = gsi_last_bb (cond_bb);
10444 : 821 : gsi_insert_after (&adj_gsi, stmt, GSI_CONTINUE_LINKING);
10445 : :
10446 : 821 : adj_gsi = gsi_start_bb (then_bb);
10447 : 821 : tree add = build2 (PLUS_EXPR, integer_type_node, device,
10448 : 821 : build_int_cst (integer_type_node, -1));
10449 : 821 : stmt = gimple_build_assign (device, add);
10450 : 821 : gsi_insert_after (&adj_gsi, stmt, GSI_CONTINUE_LINKING);
10451 : :
10452 : 821 : make_edge (cond_bb, then_bb, EDGE_TRUE_VALUE);
10453 : 821 : e->flags = EDGE_FALSE_VALUE;
10454 : 821 : add_bb_to_loop (then_bb, cond_bb->loop_father);
10455 : 821 : make_edge (then_bb, else_bb, EDGE_FALLTHRU);
10456 : : }
10457 : :
10458 : 34102 : t = gimple_omp_target_data_arg (entry_stmt);
10459 : 34102 : if (t == NULL)
10460 : : {
10461 : 4525 : t1 = size_zero_node;
10462 : 4525 : t2 = build_zero_cst (ptr_type_node);
10463 : 4525 : t3 = t2;
10464 : 4525 : t4 = t2;
10465 : : }
10466 : 29577 : else if (TREE_VEC_LENGTH (t) == 3 || is_gimple_omp_oacc (entry_stmt))
10467 : : {
10468 : 29577 : t1 = TYPE_MAX_VALUE (TYPE_DOMAIN (TREE_TYPE (TREE_VEC_ELT (t, 1))));
10469 : 29577 : t1 = size_binop (PLUS_EXPR, t1, size_int (1));
10470 : 29577 : t2 = build_fold_addr_expr (TREE_VEC_ELT (t, 0));
10471 : 29577 : t3 = build_fold_addr_expr (TREE_VEC_ELT (t, 1));
10472 : 29577 : t4 = build_fold_addr_expr (TREE_VEC_ELT (t, 2));
10473 : : }
10474 : : else
10475 : : {
10476 : 0 : t1 = force_gimple_operand_gsi (&gsi, TREE_VEC_ELT (t, 3), true, NULL_TREE,
10477 : : true, GSI_SAME_STMT);
10478 : 0 : t2 = force_gimple_operand_gsi (&gsi, TREE_VEC_ELT (t, 0), true, NULL_TREE,
10479 : : true, GSI_SAME_STMT);
10480 : 0 : t3 = force_gimple_operand_gsi (&gsi, TREE_VEC_ELT (t, 1), true, NULL_TREE,
10481 : : true, GSI_SAME_STMT);
10482 : 0 : t4 = force_gimple_operand_gsi (&gsi, TREE_VEC_ELT (t, 2), true, NULL_TREE,
10483 : : true, GSI_SAME_STMT);
10484 : : }
10485 : :
10486 : 34102 : gimple *g;
10487 : 34102 : bool tagging = false;
10488 : : /* The maximum number used by any start_ix, without varargs. */
10489 : 34102 : auto_vec<tree, 11> args;
10490 : 34102 : if (is_gimple_omp_oacc (entry_stmt))
10491 : : {
10492 : 13700 : tree goacc_flags_m = fold_build1 (GOACC_FLAGS_MARSHAL_OP,
10493 : : TREE_TYPE (goacc_flags), goacc_flags);
10494 : 13700 : goacc_flags_m = force_gimple_operand_gsi (&gsi, goacc_flags_m, true,
10495 : : NULL_TREE, true,
10496 : : GSI_SAME_STMT);
10497 : 13700 : args.quick_push (goacc_flags_m);
10498 : : }
10499 : : else
10500 : 20402 : args.quick_push (device);
10501 : 34102 : if (offloaded)
10502 : 18890 : args.quick_push (build_fold_addr_expr (child_fn2 ? child_fn2 : child_fn));
10503 : 34102 : args.quick_push (t1);
10504 : 34102 : args.quick_push (t2);
10505 : 34102 : args.quick_push (t3);
10506 : 34102 : args.quick_push (t4);
10507 : 34102 : switch (start_ix)
10508 : : {
10509 : : case BUILT_IN_GOACC_DATA_START:
10510 : : case BUILT_IN_GOACC_DECLARE:
10511 : : case BUILT_IN_GOMP_TARGET_DATA:
10512 : : break;
10513 : 18789 : case BUILT_IN_GOMP_TARGET:
10514 : 18789 : case BUILT_IN_GOMP_TARGET_UPDATE:
10515 : 18789 : case BUILT_IN_GOMP_TARGET_ENTER_EXIT_DATA:
10516 : 18789 : args.quick_push (build_int_cst (unsigned_type_node, flags_i));
10517 : 18789 : c = omp_find_clause (clauses, OMP_CLAUSE_DEPEND);
10518 : 18789 : if (c)
10519 : 319 : depend = OMP_CLAUSE_DECL (c);
10520 : : else
10521 : 18470 : depend = build_int_cst (ptr_type_node, 0);
10522 : 18789 : args.quick_push (depend);
10523 : 18789 : if (start_ix == BUILT_IN_GOMP_TARGET)
10524 : 10350 : args.quick_push (get_target_arguments (&gsi, entry_stmt));
10525 : : break;
10526 : 8540 : case BUILT_IN_GOACC_PARALLEL:
10527 : 8540 : if (lookup_attribute ("oacc serial", DECL_ATTRIBUTES (child_fn)) != NULL)
10528 : : {
10529 : : tree dims = NULL_TREE;
10530 : : unsigned int ix;
10531 : :
10532 : : /* For serial constructs we set all dimensions to 1. */
10533 : 416 : for (ix = GOMP_DIM_MAX; ix--;)
10534 : 312 : dims = tree_cons (NULL_TREE, integer_one_node, dims);
10535 : 104 : oacc_replace_fn_attrib (child_fn, dims);
10536 : : }
10537 : : else
10538 : 8436 : oacc_set_fn_attrib (child_fn, clauses, &args);
10539 : : tagging = true;
10540 : : /* FALLTHRU */
10541 : 11212 : case BUILT_IN_GOACC_ENTER_DATA:
10542 : 11212 : case BUILT_IN_GOACC_EXIT_DATA:
10543 : 11212 : case BUILT_IN_GOACC_UPDATE:
10544 : 11212 : {
10545 : 11212 : tree t_async = NULL_TREE;
10546 : :
10547 : : /* If present, use the value specified by the respective
10548 : : clause, making sure that is of the correct type. */
10549 : 11212 : c = omp_find_clause (clauses, OMP_CLAUSE_ASYNC);
10550 : 11212 : if (c)
10551 : 1703 : t_async = fold_convert_loc (OMP_CLAUSE_LOCATION (c),
10552 : : integer_type_node,
10553 : 1703 : OMP_CLAUSE_ASYNC_EXPR (c));
10554 : 9509 : else if (!tagging)
10555 : : /* Default values for t_async. */
10556 : 2370 : t_async = fold_convert_loc (gimple_location (entry_stmt),
10557 : : integer_type_node,
10558 : 2370 : build_int_cst (integer_type_node,
10559 : 2370 : GOMP_ASYNC_SYNC));
10560 : 11212 : if (tagging && t_async)
10561 : : {
10562 : 1401 : unsigned HOST_WIDE_INT i_async = GOMP_LAUNCH_OP_MAX;
10563 : :
10564 : 1401 : if (TREE_CODE (t_async) == INTEGER_CST)
10565 : : {
10566 : : /* See if we can pack the async arg in to the tag's
10567 : : operand. */
10568 : 1361 : i_async = TREE_INT_CST_LOW (t_async);
10569 : 1361 : if (i_async < GOMP_LAUNCH_OP_MAX)
10570 : : t_async = NULL_TREE;
10571 : : else
10572 : 855 : i_async = GOMP_LAUNCH_OP_MAX;
10573 : : }
10574 : 1401 : args.safe_push (oacc_launch_pack (GOMP_LAUNCH_ASYNC, NULL_TREE,
10575 : : i_async));
10576 : : }
10577 : 11212 : if (t_async)
10578 : 3527 : args.safe_push (force_gimple_operand_gsi (&gsi, t_async, true,
10579 : : NULL_TREE, true,
10580 : : GSI_SAME_STMT));
10581 : :
10582 : : /* Save the argument index, and ... */
10583 : 11212 : unsigned t_wait_idx = args.length ();
10584 : 11212 : unsigned num_waits = 0;
10585 : 11212 : c = omp_find_clause (clauses, OMP_CLAUSE_WAIT);
10586 : 11212 : if (!tagging || c)
10587 : : /* ... push a placeholder. */
10588 : 2875 : args.safe_push (integer_zero_node);
10589 : :
10590 : 13038 : for (; c; c = OMP_CLAUSE_CHAIN (c))
10591 : 1826 : if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_WAIT)
10592 : : {
10593 : 406 : tree arg = fold_convert_loc (OMP_CLAUSE_LOCATION (c),
10594 : : integer_type_node,
10595 : 406 : OMP_CLAUSE_WAIT_EXPR (c));
10596 : 406 : arg = force_gimple_operand_gsi (&gsi, arg, true, NULL_TREE, true,
10597 : : GSI_SAME_STMT);
10598 : 406 : args.safe_push (arg);
10599 : 406 : num_waits++;
10600 : : }
10601 : :
10602 : 11212 : if (!tagging || num_waits)
10603 : : {
10604 : 203 : tree len;
10605 : :
10606 : : /* Now that we know the number, update the placeholder. */
10607 : 203 : if (tagging)
10608 : 203 : len = oacc_launch_pack (GOMP_LAUNCH_WAIT, NULL_TREE, num_waits);
10609 : : else
10610 : 2672 : len = build_int_cst (integer_type_node, num_waits);
10611 : 2875 : len = fold_convert_loc (gimple_location (entry_stmt),
10612 : : unsigned_type_node, len);
10613 : 2875 : args[t_wait_idx] = len;
10614 : : }
10615 : : }
10616 : 11212 : break;
10617 : 0 : default:
10618 : 0 : gcc_unreachable ();
10619 : : }
10620 : 21562 : if (tagging)
10621 : : /* Push terminal marker - zero. */
10622 : 8540 : args.safe_push (oacc_launch_pack (0, NULL_TREE, 0));
10623 : :
10624 : 34102 : if (child_fn2)
10625 : : {
10626 : : g = gimple_build_call_internal (IFN_GOMP_TARGET_REV, 1,
10627 : : build_fold_addr_expr (child_fn));
10628 : : gimple_set_location (g, gimple_location (entry_stmt));
10629 : : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
10630 : : }
10631 : :
10632 : 34102 : g = gimple_build_call_vec (builtin_decl_explicit (start_ix), args);
10633 : 34102 : gimple_set_location (g, gimple_location (entry_stmt));
10634 : 34102 : gsi_insert_before (&gsi, g, GSI_SAME_STMT);
10635 : 34102 : if (!offloaded)
10636 : : {
10637 : 15212 : g = gsi_stmt (gsi);
10638 : 15212 : gcc_assert (g && gimple_code (g) == GIMPLE_OMP_TARGET);
10639 : 15212 : gsi_remove (&gsi, true);
10640 : : }
10641 : 34102 : }
10642 : :
10643 : : /* Expand the parallel region tree rooted at REGION. Expansion
10644 : : proceeds in depth-first order. Innermost regions are expanded
10645 : : first. This way, parallel regions that require a new function to
10646 : : be created (e.g., GIMPLE_OMP_PARALLEL) can be expanded without having any
10647 : : internal dependencies in their body. */
10648 : :
10649 : : static void
10650 : 78615 : expand_omp (struct omp_region *region)
10651 : : {
10652 : 78615 : omp_any_child_fn_dumped = false;
10653 : 201444 : while (region)
10654 : : {
10655 : 122829 : location_t saved_location;
10656 : 122829 : gimple *inner_stmt = NULL;
10657 : :
10658 : : /* First, determine whether this is a combined parallel+workshare
10659 : : region. */
10660 : 122829 : if (region->type == GIMPLE_OMP_PARALLEL)
10661 : 15991 : determine_parallel_type (region);
10662 : :
10663 : 122829 : if (region->type == GIMPLE_OMP_FOR
10664 : 122829 : && gimple_omp_for_combined_p (last_nondebug_stmt (region->entry)))
10665 : 14543 : inner_stmt = last_nondebug_stmt (region->inner->entry);
10666 : :
10667 : 122829 : if (region->inner)
10668 : 55367 : expand_omp (region->inner);
10669 : :
10670 : 122829 : saved_location = input_location;
10671 : 122829 : if (gimple_has_location (last_nondebug_stmt (region->entry)))
10672 : 122635 : input_location = gimple_location (last_nondebug_stmt (region->entry));
10673 : :
10674 : 122829 : switch (region->type)
10675 : : {
10676 : 19846 : case GIMPLE_OMP_PARALLEL:
10677 : 19846 : case GIMPLE_OMP_TASK:
10678 : 19846 : expand_omp_taskreg (region);
10679 : 19846 : break;
10680 : :
10681 : 45566 : case GIMPLE_OMP_FOR:
10682 : 45566 : expand_omp_for (region, inner_stmt);
10683 : 45566 : break;
10684 : :
10685 : 378 : case GIMPLE_OMP_SECTIONS:
10686 : 378 : expand_omp_sections (region);
10687 : 378 : break;
10688 : :
10689 : : case GIMPLE_OMP_SECTION:
10690 : : /* Individual omp sections are handled together with their
10691 : : parent GIMPLE_OMP_SECTIONS region. */
10692 : : break;
10693 : :
10694 : 0 : case GIMPLE_OMP_STRUCTURED_BLOCK:
10695 : : /* We should have gotten rid of these in gimple lowering. */
10696 : 0 : gcc_unreachable ();
10697 : :
10698 : 1258 : case GIMPLE_OMP_SINGLE:
10699 : 1258 : case GIMPLE_OMP_SCOPE:
10700 : 1258 : expand_omp_single (region);
10701 : 1258 : break;
10702 : :
10703 : 1112 : case GIMPLE_OMP_ORDERED:
10704 : 1112 : {
10705 : 1112 : gomp_ordered *ord_stmt
10706 : 1112 : = as_a <gomp_ordered *> (last_nondebug_stmt (region->entry));
10707 : 1112 : if (gimple_omp_ordered_standalone_p (ord_stmt))
10708 : : {
10709 : : /* We'll expand these when expanding corresponding
10710 : : worksharing region with ordered(n) clause. */
10711 : 701 : gcc_assert (region->outer
10712 : : && region->outer->type == GIMPLE_OMP_FOR);
10713 : 701 : region->ord_stmt = ord_stmt;
10714 : 701 : break;
10715 : : }
10716 : : }
10717 : : /* FALLTHRU */
10718 : 10665 : case GIMPLE_OMP_MASTER:
10719 : 10665 : case GIMPLE_OMP_MASKED:
10720 : 10665 : case GIMPLE_OMP_TASKGROUP:
10721 : 10665 : case GIMPLE_OMP_CRITICAL:
10722 : 10665 : case GIMPLE_OMP_TEAMS:
10723 : 10665 : expand_omp_synch (region);
10724 : 10665 : break;
10725 : :
10726 : 9458 : case GIMPLE_OMP_ATOMIC_LOAD:
10727 : 9458 : expand_omp_atomic (region);
10728 : 9458 : break;
10729 : :
10730 : 34102 : case GIMPLE_OMP_TARGET:
10731 : 34102 : expand_omp_target (region);
10732 : 34102 : break;
10733 : :
10734 : 0 : default:
10735 : 0 : gcc_unreachable ();
10736 : : }
10737 : :
10738 : 122829 : input_location = saved_location;
10739 : 122829 : region = region->next;
10740 : : }
10741 : 78615 : if (omp_any_child_fn_dumped)
10742 : : {
10743 : 45 : if (dump_file)
10744 : 45 : dump_function_header (dump_file, current_function_decl, dump_flags);
10745 : 45 : omp_any_child_fn_dumped = false;
10746 : : }
10747 : 78615 : }
10748 : :
10749 : : /* Helper for build_omp_regions. Scan the dominator tree starting at
10750 : : block BB. PARENT is the region that contains BB. If SINGLE_TREE is
10751 : : true, the function ends once a single tree is built (otherwise, whole
10752 : : forest of OMP constructs may be built). */
10753 : :
10754 : : static void
10755 : 1278980 : build_omp_regions_1 (basic_block bb, struct omp_region *parent,
10756 : : bool single_tree)
10757 : : {
10758 : 1278980 : gimple_stmt_iterator gsi;
10759 : 1278980 : gimple *stmt;
10760 : 1278980 : basic_block son;
10761 : :
10762 : 1278980 : gsi = gsi_last_nondebug_bb (bb);
10763 : 1278980 : if (!gsi_end_p (gsi) && is_gimple_omp (gsi_stmt (gsi)))
10764 : : {
10765 : 276651 : struct omp_region *region;
10766 : 276651 : enum gimple_code code;
10767 : :
10768 : 276651 : stmt = gsi_stmt (gsi);
10769 : 276651 : code = gimple_code (stmt);
10770 : 276651 : if (code == GIMPLE_OMP_RETURN)
10771 : : {
10772 : : /* STMT is the return point out of region PARENT. Mark it
10773 : : as the exit point and make PARENT the immediately
10774 : : enclosing region. */
10775 : 96599 : gcc_assert (parent);
10776 : 96599 : region = parent;
10777 : 96599 : region->exit = bb;
10778 : 96599 : parent = parent->outer;
10779 : : }
10780 : 180052 : else if (code == GIMPLE_OMP_ATOMIC_STORE)
10781 : : {
10782 : : /* GIMPLE_OMP_ATOMIC_STORE is analogous to
10783 : : GIMPLE_OMP_RETURN, but matches with
10784 : : GIMPLE_OMP_ATOMIC_LOAD. */
10785 : 9458 : gcc_assert (parent);
10786 : 9458 : gcc_assert (parent->type == GIMPLE_OMP_ATOMIC_LOAD);
10787 : 9458 : region = parent;
10788 : 9458 : region->exit = bb;
10789 : 9458 : parent = parent->outer;
10790 : : }
10791 : 170594 : else if (code == GIMPLE_OMP_CONTINUE)
10792 : : {
10793 : 47387 : gcc_assert (parent);
10794 : 47387 : parent->cont = bb;
10795 : : }
10796 : 123207 : else if (code == GIMPLE_OMP_SECTIONS_SWITCH)
10797 : : {
10798 : : /* GIMPLE_OMP_SECTIONS_SWITCH is part of
10799 : : GIMPLE_OMP_SECTIONS, and we do nothing for it. */
10800 : : }
10801 : : else
10802 : : {
10803 : 122829 : region = new_omp_region (bb, code, parent);
10804 : : /* Otherwise... */
10805 : 122829 : if (code == GIMPLE_OMP_TARGET)
10806 : : {
10807 : 34102 : switch (gimple_omp_target_kind (stmt))
10808 : : {
10809 : : case GF_OMP_TARGET_KIND_REGION:
10810 : : case GF_OMP_TARGET_KIND_OACC_PARALLEL:
10811 : : case GF_OMP_TARGET_KIND_OACC_KERNELS:
10812 : : case GF_OMP_TARGET_KIND_OACC_SERIAL:
10813 : : case GF_OMP_TARGET_KIND_OACC_PARALLEL_KERNELS_PARALLELIZED:
10814 : : case GF_OMP_TARGET_KIND_OACC_PARALLEL_KERNELS_GANG_SINGLE:
10815 : : break;
10816 : : case GF_OMP_TARGET_KIND_UPDATE:
10817 : : case GF_OMP_TARGET_KIND_ENTER_DATA:
10818 : : case GF_OMP_TARGET_KIND_EXIT_DATA:
10819 : : case GF_OMP_TARGET_KIND_DATA:
10820 : : case GF_OMP_TARGET_KIND_OACC_DATA:
10821 : : case GF_OMP_TARGET_KIND_OACC_HOST_DATA:
10822 : : case GF_OMP_TARGET_KIND_OACC_DATA_KERNELS:
10823 : : case GF_OMP_TARGET_KIND_OACC_UPDATE:
10824 : : case GF_OMP_TARGET_KIND_OACC_ENTER_DATA:
10825 : : case GF_OMP_TARGET_KIND_OACC_EXIT_DATA:
10826 : : case GF_OMP_TARGET_KIND_OACC_DECLARE:
10827 : : /* ..., other than for those stand-alone directives...
10828 : : To be precise, target data isn't stand-alone, but
10829 : : gimplifier put the end API call into try finally block
10830 : : for it, so omp expansion can treat it as such. */
10831 : : region = NULL;
10832 : : break;
10833 : 0 : default:
10834 : 0 : gcc_unreachable ();
10835 : : }
10836 : : }
10837 : 88727 : else if (code == GIMPLE_OMP_ORDERED
10838 : 88727 : && gimple_omp_ordered_standalone_p (stmt))
10839 : : /* #pragma omp ordered depend is also just a stand-alone
10840 : : directive. */
10841 : : region = NULL;
10842 : 88026 : else if (code == GIMPLE_OMP_TASK
10843 : 88026 : && gimple_omp_task_taskwait_p (stmt))
10844 : : /* #pragma omp taskwait depend(...) is a stand-alone directive. */
10845 : : region = NULL;
10846 : 87948 : else if (code == GIMPLE_OMP_TASKGROUP)
10847 : : /* #pragma omp taskgroup isn't a stand-alone directive, but
10848 : : gimplifier put the end API call into try finall block
10849 : : for it, so omp expansion can treat it as such. */
10850 : : region = NULL;
10851 : : /* ..., this directive becomes the parent for a new region. */
10852 : : if (region)
10853 : : parent = region;
10854 : : }
10855 : : }
10856 : :
10857 : 1278980 : if (single_tree && !parent)
10858 : 0 : return;
10859 : :
10860 : 1278980 : for (son = first_dom_son (CDI_DOMINATORS, bb);
10861 : 2494444 : son;
10862 : 1215464 : son = next_dom_son (CDI_DOMINATORS, son))
10863 : 1215464 : build_omp_regions_1 (son, parent, single_tree);
10864 : : }
10865 : :
10866 : : /* Builds the tree of OMP regions rooted at ROOT, storing it to
10867 : : root_omp_region. */
10868 : :
10869 : : static void
10870 : 0 : build_omp_regions_root (basic_block root)
10871 : : {
10872 : 0 : gcc_assert (root_omp_region == NULL);
10873 : 0 : build_omp_regions_1 (root, NULL, true);
10874 : 0 : gcc_assert (root_omp_region != NULL);
10875 : 0 : }
10876 : :
10877 : : /* Expands omp construct (and its subconstructs) starting in HEAD. */
10878 : :
10879 : : void
10880 : 0 : omp_expand_local (basic_block head)
10881 : : {
10882 : 0 : build_omp_regions_root (head);
10883 : 0 : if (dump_file && (dump_flags & TDF_DETAILS))
10884 : : {
10885 : 0 : fprintf (dump_file, "\nOMP region tree\n\n");
10886 : 0 : dump_omp_region (dump_file, root_omp_region, 0);
10887 : 0 : fprintf (dump_file, "\n");
10888 : : }
10889 : :
10890 : 0 : remove_exit_barriers (root_omp_region);
10891 : 0 : expand_omp (root_omp_region);
10892 : :
10893 : 0 : omp_free_regions ();
10894 : 0 : }
10895 : :
10896 : : /* Scan the CFG and build a tree of OMP regions. Return the root of
10897 : : the OMP region tree. */
10898 : :
10899 : : static void
10900 : 63516 : build_omp_regions (void)
10901 : : {
10902 : 63516 : gcc_assert (root_omp_region == NULL);
10903 : 63516 : calculate_dominance_info (CDI_DOMINATORS);
10904 : 63516 : build_omp_regions_1 (ENTRY_BLOCK_PTR_FOR_FN (cfun), NULL, false);
10905 : 63516 : }
10906 : :
10907 : : /* Main entry point for expanding OMP-GIMPLE into runtime calls. */
10908 : :
10909 : : static unsigned int
10910 : 63516 : execute_expand_omp (void)
10911 : : {
10912 : 63516 : build_omp_regions ();
10913 : :
10914 : 63516 : if (!root_omp_region)
10915 : : return 0;
10916 : :
10917 : 23248 : if (dump_file)
10918 : : {
10919 : 164 : fprintf (dump_file, "\nOMP region tree\n\n");
10920 : 164 : dump_omp_region (dump_file, root_omp_region, 0);
10921 : 164 : fprintf (dump_file, "\n");
10922 : : }
10923 : :
10924 : 23248 : remove_exit_barriers (root_omp_region);
10925 : :
10926 : 23248 : expand_omp (root_omp_region);
10927 : :
10928 : 23248 : omp_free_regions ();
10929 : :
10930 : 23248 : return (TODO_cleanup_cfg
10931 : 45937 : | (gimple_in_ssa_p (cfun) ? TODO_update_ssa_only_virtuals : 0));
10932 : : }
10933 : :
10934 : : /* OMP expansion -- the default pass, run before creation of SSA form. */
10935 : :
10936 : : namespace {
10937 : :
10938 : : const pass_data pass_data_expand_omp =
10939 : : {
10940 : : GIMPLE_PASS, /* type */
10941 : : "ompexp", /* name */
10942 : : OPTGROUP_OMP, /* optinfo_flags */
10943 : : TV_NONE, /* tv_id */
10944 : : PROP_gimple_any, /* properties_required */
10945 : : PROP_gimple_eomp, /* properties_provided */
10946 : : 0, /* properties_destroyed */
10947 : : 0, /* todo_flags_start */
10948 : : 0, /* todo_flags_finish */
10949 : : };
10950 : :
10951 : : class pass_expand_omp : public gimple_opt_pass
10952 : : {
10953 : : public:
10954 : 275385 : pass_expand_omp (gcc::context *ctxt)
10955 : 550770 : : gimple_opt_pass (pass_data_expand_omp, ctxt)
10956 : : {}
10957 : :
10958 : : /* opt_pass methods: */
10959 : 2674698 : unsigned int execute (function *) final override
10960 : : {
10961 : 2667807 : bool gate = ((flag_openacc != 0 || flag_openmp != 0
10962 : 2632325 : || flag_openmp_simd != 0)
10963 : 2712425 : && !seen_error ());
10964 : :
10965 : : /* This pass always runs, to provide PROP_gimple_eomp.
10966 : : But often, there is nothing to do. */
10967 : 2674698 : if (!gate)
10968 : 2633982 : return 0;
10969 : :
10970 : 40716 : return execute_expand_omp ();
10971 : : }
10972 : :
10973 : : }; // class pass_expand_omp
10974 : :
10975 : : } // anon namespace
10976 : :
10977 : : gimple_opt_pass *
10978 : 275385 : make_pass_expand_omp (gcc::context *ctxt)
10979 : : {
10980 : 275385 : return new pass_expand_omp (ctxt);
10981 : : }
10982 : :
10983 : : namespace {
10984 : :
10985 : : const pass_data pass_data_expand_omp_ssa =
10986 : : {
10987 : : GIMPLE_PASS, /* type */
10988 : : "ompexpssa", /* name */
10989 : : OPTGROUP_OMP, /* optinfo_flags */
10990 : : TV_NONE, /* tv_id */
10991 : : PROP_cfg | PROP_ssa, /* properties_required */
10992 : : PROP_gimple_eomp, /* properties_provided */
10993 : : 0, /* properties_destroyed */
10994 : : 0, /* todo_flags_start */
10995 : : TODO_cleanup_cfg | TODO_rebuild_alias, /* todo_flags_finish */
10996 : : };
10997 : :
10998 : : class pass_expand_omp_ssa : public gimple_opt_pass
10999 : : {
11000 : : public:
11001 : 550770 : pass_expand_omp_ssa (gcc::context *ctxt)
11002 : 1101540 : : gimple_opt_pass (pass_data_expand_omp_ssa, ctxt)
11003 : : {}
11004 : :
11005 : : /* opt_pass methods: */
11006 : 227209 : bool gate (function *fun) final override
11007 : : {
11008 : 227209 : return !(fun->curr_properties & PROP_gimple_eomp);
11009 : : }
11010 : 22800 : unsigned int execute (function *) final override
11011 : : {
11012 : 22800 : return execute_expand_omp ();
11013 : : }
11014 : 275385 : opt_pass * clone () final override
11015 : : {
11016 : 275385 : return new pass_expand_omp_ssa (m_ctxt);
11017 : : }
11018 : :
11019 : : }; // class pass_expand_omp_ssa
11020 : :
11021 : : } // anon namespace
11022 : :
11023 : : gimple_opt_pass *
11024 : 275385 : make_pass_expand_omp_ssa (gcc::context *ctxt)
11025 : : {
11026 : 275385 : return new pass_expand_omp_ssa (ctxt);
11027 : : }
11028 : :
11029 : : /* Called from tree-cfg.cc::make_edges to create cfg edges for all relevant
11030 : : GIMPLE_* codes. */
11031 : :
11032 : : bool
11033 : 278810 : omp_make_gimple_edges (basic_block bb, struct omp_region **region,
11034 : : int *region_idx)
11035 : : {
11036 : 278810 : gimple *last = last_nondebug_stmt (bb);
11037 : 278810 : enum gimple_code code = gimple_code (last);
11038 : 278810 : struct omp_region *cur_region = *region;
11039 : 278810 : bool fallthru = false;
11040 : :
11041 : 278810 : switch (code)
11042 : : {
11043 : 72772 : case GIMPLE_OMP_PARALLEL:
11044 : 72772 : case GIMPLE_OMP_FOR:
11045 : 72772 : case GIMPLE_OMP_SINGLE:
11046 : 72772 : case GIMPLE_OMP_TEAMS:
11047 : 72772 : case GIMPLE_OMP_MASTER:
11048 : 72772 : case GIMPLE_OMP_MASKED:
11049 : 72772 : case GIMPLE_OMP_SCOPE:
11050 : 72772 : case GIMPLE_OMP_CRITICAL:
11051 : 72772 : case GIMPLE_OMP_SECTION:
11052 : 72772 : cur_region = new_omp_region (bb, code, cur_region);
11053 : 72772 : fallthru = true;
11054 : 72772 : break;
11055 : :
11056 : 536 : case GIMPLE_OMP_TASKGROUP:
11057 : 536 : cur_region = new_omp_region (bb, code, cur_region);
11058 : 536 : fallthru = true;
11059 : 536 : cur_region = cur_region->outer;
11060 : 536 : break;
11061 : :
11062 : 3855 : case GIMPLE_OMP_TASK:
11063 : 3855 : cur_region = new_omp_region (bb, code, cur_region);
11064 : 3855 : fallthru = true;
11065 : 3855 : if (gimple_omp_task_taskwait_p (last))
11066 : 78 : cur_region = cur_region->outer;
11067 : : break;
11068 : :
11069 : 1116 : case GIMPLE_OMP_ORDERED:
11070 : 1116 : cur_region = new_omp_region (bb, code, cur_region);
11071 : 1116 : fallthru = true;
11072 : 1116 : if (gimple_omp_ordered_standalone_p (last))
11073 : 705 : cur_region = cur_region->outer;
11074 : : break;
11075 : :
11076 : 34446 : case GIMPLE_OMP_TARGET:
11077 : 34446 : cur_region = new_omp_region (bb, code, cur_region);
11078 : 34446 : fallthru = true;
11079 : 34446 : switch (gimple_omp_target_kind (last))
11080 : : {
11081 : : case GF_OMP_TARGET_KIND_REGION:
11082 : : case GF_OMP_TARGET_KIND_OACC_PARALLEL:
11083 : : case GF_OMP_TARGET_KIND_OACC_KERNELS:
11084 : : case GF_OMP_TARGET_KIND_OACC_SERIAL:
11085 : : case GF_OMP_TARGET_KIND_OACC_PARALLEL_KERNELS_PARALLELIZED:
11086 : : case GF_OMP_TARGET_KIND_OACC_PARALLEL_KERNELS_GANG_SINGLE:
11087 : : break;
11088 : 15384 : case GF_OMP_TARGET_KIND_UPDATE:
11089 : 15384 : case GF_OMP_TARGET_KIND_ENTER_DATA:
11090 : 15384 : case GF_OMP_TARGET_KIND_EXIT_DATA:
11091 : 15384 : case GF_OMP_TARGET_KIND_DATA:
11092 : 15384 : case GF_OMP_TARGET_KIND_OACC_DATA:
11093 : 15384 : case GF_OMP_TARGET_KIND_OACC_HOST_DATA:
11094 : 15384 : case GF_OMP_TARGET_KIND_OACC_DATA_KERNELS:
11095 : 15384 : case GF_OMP_TARGET_KIND_OACC_UPDATE:
11096 : 15384 : case GF_OMP_TARGET_KIND_OACC_ENTER_DATA:
11097 : 15384 : case GF_OMP_TARGET_KIND_OACC_EXIT_DATA:
11098 : 15384 : case GF_OMP_TARGET_KIND_OACC_DECLARE:
11099 : 15384 : cur_region = cur_region->outer;
11100 : 15384 : break;
11101 : 0 : default:
11102 : 0 : gcc_unreachable ();
11103 : : }
11104 : : break;
11105 : :
11106 : 378 : case GIMPLE_OMP_SECTIONS:
11107 : 378 : cur_region = new_omp_region (bb, code, cur_region);
11108 : 378 : fallthru = true;
11109 : 378 : break;
11110 : :
11111 : : case GIMPLE_OMP_SECTIONS_SWITCH:
11112 : : fallthru = false;
11113 : : break;
11114 : :
11115 : 19624 : case GIMPLE_OMP_ATOMIC_LOAD:
11116 : 19624 : case GIMPLE_OMP_ATOMIC_STORE:
11117 : 19624 : fallthru = true;
11118 : 19624 : break;
11119 : :
11120 : 96400 : case GIMPLE_OMP_RETURN:
11121 : : /* In the case of a GIMPLE_OMP_SECTION, the edge will go
11122 : : somewhere other than the next block. This will be
11123 : : created later. */
11124 : 96400 : cur_region->exit = bb;
11125 : 96400 : if (cur_region->type == GIMPLE_OMP_TASK)
11126 : : /* Add an edge corresponding to not scheduling the task
11127 : : immediately. */
11128 : 3777 : make_edge (cur_region->entry, bb, EDGE_ABNORMAL);
11129 : 96400 : fallthru = cur_region->type != GIMPLE_OMP_SECTION;
11130 : 96400 : cur_region = cur_region->outer;
11131 : 96400 : break;
11132 : :
11133 : 49305 : case GIMPLE_OMP_CONTINUE:
11134 : 49305 : cur_region->cont = bb;
11135 : 49305 : switch (cur_region->type)
11136 : : {
11137 : 45150 : case GIMPLE_OMP_FOR:
11138 : : /* Mark all GIMPLE_OMP_FOR and GIMPLE_OMP_CONTINUE
11139 : : succs edges as abnormal to prevent splitting
11140 : : them. */
11141 : 45150 : single_succ_edge (cur_region->entry)->flags |= EDGE_ABNORMAL;
11142 : : /* Make the loopback edge. */
11143 : 45150 : make_edge (bb, single_succ (cur_region->entry),
11144 : : EDGE_ABNORMAL);
11145 : :
11146 : : /* Create an edge from GIMPLE_OMP_FOR to exit, which
11147 : : corresponds to the case that the body of the loop
11148 : : is not executed at all. */
11149 : 45150 : make_edge (cur_region->entry, bb->next_bb, EDGE_ABNORMAL);
11150 : 45150 : make_edge (bb, bb->next_bb, EDGE_FALLTHRU | EDGE_ABNORMAL);
11151 : 45150 : fallthru = false;
11152 : 45150 : break;
11153 : :
11154 : 378 : case GIMPLE_OMP_SECTIONS:
11155 : : /* Wire up the edges into and out of the nested sections. */
11156 : 378 : {
11157 : 378 : basic_block switch_bb = single_succ (cur_region->entry);
11158 : :
11159 : 378 : struct omp_region *i;
11160 : 1233 : for (i = cur_region->inner; i ; i = i->next)
11161 : : {
11162 : 855 : gcc_assert (i->type == GIMPLE_OMP_SECTION);
11163 : 855 : make_edge (switch_bb, i->entry, 0);
11164 : 855 : make_edge (i->exit, bb, EDGE_FALLTHRU);
11165 : : }
11166 : :
11167 : : /* Make the loopback edge to the block with
11168 : : GIMPLE_OMP_SECTIONS_SWITCH. */
11169 : 378 : make_edge (bb, switch_bb, 0);
11170 : :
11171 : : /* Make the edge from the switch to exit. */
11172 : 378 : make_edge (switch_bb, bb->next_bb, 0);
11173 : 378 : fallthru = false;
11174 : : }
11175 : 378 : break;
11176 : :
11177 : : case GIMPLE_OMP_TASK:
11178 : : fallthru = true;
11179 : : break;
11180 : :
11181 : 0 : default:
11182 : 0 : gcc_unreachable ();
11183 : : }
11184 : : break;
11185 : :
11186 : 0 : default:
11187 : 0 : gcc_unreachable ();
11188 : : }
11189 : :
11190 : 278810 : if (*region != cur_region)
11191 : : {
11192 : 192800 : *region = cur_region;
11193 : 192800 : if (cur_region)
11194 : 153976 : *region_idx = cur_region->entry->index;
11195 : : else
11196 : 38824 : *region_idx = 0;
11197 : : }
11198 : :
11199 : 278810 : return fallthru;
11200 : : }
|