LCOV - code coverage report
Current view: top level - gcc - ipa-prop.cc (source / functions) Coverage Total Hit
Test: gcc.info Lines: 95.1 % 3035 2885
Test Date: 2025-01-04 13:14:48 Functions: 91.8 % 147 135
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: - 0 0

             Branch data     Line data    Source code
       1                 :             : /* Interprocedural analyses.
       2                 :             :    Copyright (C) 2005-2025 Free Software Foundation, Inc.
       3                 :             : 
       4                 :             : This file is part of GCC.
       5                 :             : 
       6                 :             : GCC is free software; you can redistribute it and/or modify it under
       7                 :             : the terms of the GNU General Public License as published by the Free
       8                 :             : Software Foundation; either version 3, or (at your option) any later
       9                 :             : version.
      10                 :             : 
      11                 :             : GCC is distributed in the hope that it will be useful, but WITHOUT ANY
      12                 :             : WARRANTY; without even the implied warranty of MERCHANTABILITY or
      13                 :             : FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
      14                 :             : for more details.
      15                 :             : 
      16                 :             : You should have received a copy of the GNU General Public License
      17                 :             : along with GCC; see the file COPYING3.  If not see
      18                 :             : <http://www.gnu.org/licenses/>.  */
      19                 :             : 
      20                 :             : #include "config.h"
      21                 :             : #include "system.h"
      22                 :             : #include "coretypes.h"
      23                 :             : #include "backend.h"
      24                 :             : #include "rtl.h"
      25                 :             : #include "tree.h"
      26                 :             : #include "gimple.h"
      27                 :             : #include "alloc-pool.h"
      28                 :             : #include "tree-pass.h"
      29                 :             : #include "ssa.h"
      30                 :             : #include "tree-streamer.h"
      31                 :             : #include "cgraph.h"
      32                 :             : #include "diagnostic.h"
      33                 :             : #include "fold-const.h"
      34                 :             : #include "gimple-iterator.h"
      35                 :             : #include "gimple-fold.h"
      36                 :             : #include "tree-eh.h"
      37                 :             : #include "calls.h"
      38                 :             : #include "stor-layout.h"
      39                 :             : #include "print-tree.h"
      40                 :             : #include "gimplify.h"
      41                 :             : #include "gimplify-me.h"
      42                 :             : #include "gimple-walk.h"
      43                 :             : #include "symbol-summary.h"
      44                 :             : #include "sreal.h"
      45                 :             : #include "ipa-cp.h"
      46                 :             : #include "ipa-prop.h"
      47                 :             : #include "tree-cfg.h"
      48                 :             : #include "tree-dfa.h"
      49                 :             : #include "tree-inline.h"
      50                 :             : #include "ipa-fnsummary.h"
      51                 :             : #include "gimple-pretty-print.h"
      52                 :             : #include "ipa-utils.h"
      53                 :             : #include "dbgcnt.h"
      54                 :             : #include "domwalk.h"
      55                 :             : #include "builtins.h"
      56                 :             : #include "tree-cfgcleanup.h"
      57                 :             : #include "options.h"
      58                 :             : #include "symtab-clones.h"
      59                 :             : #include "attr-fnspec.h"
      60                 :             : #include "gimple-range.h"
      61                 :             : #include "value-range-storage.h"
      62                 :             : #include "vr-values.h"
      63                 :             : 
      64                 :             : /* Function summary where the parameter infos are actually stored. */
      65                 :             : ipa_node_params_t *ipa_node_params_sum = NULL;
      66                 :             : 
      67                 :             : function_summary <ipcp_transformation *> *ipcp_transformation_sum = NULL;
      68                 :             : 
      69                 :             : /* Edge summary for IPA-CP edge information.  */
      70                 :             : ipa_edge_args_sum_t *ipa_edge_args_sum;
      71                 :             : 
      72                 :             : /* Traits for a hash table for reusing ranges.  */
      73                 :             : 
      74                 :             : struct ipa_vr_ggc_hash_traits : public ggc_cache_remove <ipa_vr *>
      75                 :             : {
      76                 :             :   typedef ipa_vr *value_type;
      77                 :             :   typedef const vrange *compare_type;
      78                 :             :   static hashval_t
      79                 :    14635704 :   hash (const ipa_vr *p)
      80                 :             :     {
      81                 :             :       // This never get called, except in the verification code, as
      82                 :             :       // ipa_get_value_range() calculates the hash itself.  This
      83                 :             :       // function is mostly here for completness' sake.
      84                 :    14635704 :       value_range vr;
      85                 :    14635704 :       p->get_vrange (vr);
      86                 :    14635704 :       inchash::hash hstate;
      87                 :    14635704 :       add_vrange (vr, hstate);
      88                 :    14635704 :       return hstate.end ();
      89                 :    14635704 :     }
      90                 :             :   static bool
      91                 :    20818056 :   equal (const ipa_vr *a, const vrange *b)
      92                 :             :     {
      93                 :    20818056 :       return a->equal_p (*b);
      94                 :             :     }
      95                 :             :   static const bool empty_zero_p = true;
      96                 :             :   static void
      97                 :        1301 :   mark_empty (ipa_vr *&p)
      98                 :             :     {
      99                 :        1301 :       p = NULL;
     100                 :             :     }
     101                 :             :   static bool
     102                 :             :   is_empty (const ipa_vr *p)
     103                 :             :     {
     104                 :             :       return p == NULL;
     105                 :             :     }
     106                 :             :   static bool
     107                 :    39490462 :   is_deleted (const ipa_vr *p)
     108                 :             :     {
     109                 :    39490462 :       return p == reinterpret_cast<const ipa_vr *> (1);
     110                 :             :     }
     111                 :             :   static void
     112                 :      139759 :   mark_deleted (ipa_vr *&p)
     113                 :             :     {
     114                 :      139759 :       p = reinterpret_cast<ipa_vr *> (1);
     115                 :             :     }
     116                 :             : };
     117                 :             : 
     118                 :             : /* Hash table for avoid repeated allocations of equal ranges.  */
     119                 :             : static GTY ((cache)) hash_table<ipa_vr_ggc_hash_traits> *ipa_vr_hash_table;
     120                 :             : 
     121                 :             : /* Holders of ipa cgraph hooks: */
     122                 :             : static struct cgraph_node_hook_list *function_insertion_hook_holder;
     123                 :             : 
     124                 :             : /* Description of a reference to an IPA constant.  */
     125                 :             : struct ipa_cst_ref_desc
     126                 :             : {
     127                 :             :   /* Edge that corresponds to the statement which took the reference.  */
     128                 :             :   struct cgraph_edge *cs;
     129                 :             :   /* Linked list of duplicates created when call graph edges are cloned.  */
     130                 :             :   struct ipa_cst_ref_desc *next_duplicate;
     131                 :             :   /* Number of references in IPA structures, IPA_UNDESCRIBED_USE if the value
     132                 :             :      if out of control.  */
     133                 :             :   int refcount;
     134                 :             : };
     135                 :             : 
     136                 :             : /* Allocation pool for reference descriptions.  */
     137                 :             : 
     138                 :             : static object_allocator<ipa_cst_ref_desc> ipa_refdesc_pool
     139                 :             :   ("IPA-PROP ref descriptions");
     140                 :             : 
     141                 :      618674 : ipa_vr::ipa_vr ()
     142                 :      618674 :   : m_storage (NULL),
     143                 :      618674 :     m_type (NULL)
     144                 :             : {
     145                 :      618674 : }
     146                 :             : 
     147                 :      679662 : ipa_vr::ipa_vr (const vrange &r)
     148                 :      679662 :   : m_storage (ggc_alloc_vrange_storage (r)),
     149                 :      679662 :     m_type (r.type ())
     150                 :             : {
     151                 :      679662 : }
     152                 :             : 
     153                 :             : bool
     154                 :    20818056 : ipa_vr::equal_p (const vrange &r) const
     155                 :             : {
     156                 :    20818056 :   gcc_checking_assert (!r.undefined_p ());
     157                 :    20818056 :   return (types_compatible_p (m_type, r.type ()) && m_storage->equal_p (r));
     158                 :             : }
     159                 :             : 
     160                 :             : bool
     161                 :       70360 : ipa_vr::equal_p (const ipa_vr &o) const
     162                 :             : {
     163                 :       70360 :   if (!known_p ())
     164                 :           0 :     return !o.known_p ();
     165                 :             : 
     166                 :       70360 :   if (!types_compatible_p (m_type, o.m_type))
     167                 :             :     return false;
     168                 :             : 
     169                 :       70360 :   value_range r;
     170                 :       70360 :   o.get_vrange (r);
     171                 :       70360 :   return m_storage->equal_p (r);
     172                 :       70360 : }
     173                 :             : 
     174                 :             : void
     175                 :    23684371 : ipa_vr::get_vrange (value_range &r) const
     176                 :             : {
     177                 :    23684371 :   r.set_type (m_type);
     178                 :    23684371 :   m_storage->get_vrange (r, m_type);
     179                 :    23684371 : }
     180                 :             : 
     181                 :             : void
     182                 :        1572 : ipa_vr::set_unknown ()
     183                 :             : {
     184                 :        1572 :   if (m_storage)
     185                 :        1572 :     ggc_free (m_storage);
     186                 :             : 
     187                 :        1572 :   m_storage = NULL;
     188                 :        1572 : }
     189                 :             : 
     190                 :             : void
     191                 :      582009 : ipa_vr::streamer_read (lto_input_block *ib, data_in *data_in)
     192                 :             : {
     193                 :      582009 :   struct bitpack_d bp = streamer_read_bitpack (ib);
     194                 :      582009 :   bool known = bp_unpack_value (&bp, 1);
     195                 :      582009 :   if (known)
     196                 :             :     {
     197                 :      410495 :       value_range vr;
     198                 :      410495 :       streamer_read_value_range (ib, data_in, vr);
     199                 :      410495 :       if (!m_storage || !m_storage->fits_p (vr))
     200                 :             :         {
     201                 :      410495 :           if (m_storage)
     202                 :           0 :             ggc_free (m_storage);
     203                 :      410495 :           m_storage = ggc_alloc_vrange_storage (vr);
     204                 :             :         }
     205                 :      410495 :       m_storage->set_vrange (vr);
     206                 :      410495 :       m_type = vr.type ();
     207                 :      410495 :     }
     208                 :             :   else
     209                 :             :     {
     210                 :      171514 :       m_storage = NULL;
     211                 :      171514 :       m_type = NULL;
     212                 :             :     }
     213                 :      582009 : }
     214                 :             : 
     215                 :             : void
     216                 :      435353 : ipa_vr::streamer_write (output_block *ob) const
     217                 :             : {
     218                 :      435353 :   struct bitpack_d bp = bitpack_create (ob->main_stream);
     219                 :      435353 :   bp_pack_value (&bp, !!m_storage, 1);
     220                 :      435353 :   streamer_write_bitpack (&bp);
     221                 :      435353 :   if (m_storage)
     222                 :             :     {
     223                 :      434052 :       value_range vr (m_type);
     224                 :      434052 :       m_storage->get_vrange (vr, m_type);
     225                 :      434052 :       streamer_write_vrange (ob, vr);
     226                 :      434052 :     }
     227                 :      435353 : }
     228                 :             : 
     229                 :             : void
     230                 :         693 : ipa_vr::dump (FILE *out) const
     231                 :             : {
     232                 :         693 :   if (known_p ())
     233                 :             :     {
     234                 :         693 :       value_range vr (m_type);
     235                 :         693 :       m_storage->get_vrange (vr, m_type);
     236                 :         693 :       vr.dump (out);
     237                 :         693 :     }
     238                 :             :   else
     239                 :           0 :     fprintf (out, "NO RANGE");
     240                 :         693 : }
     241                 :             : 
     242                 :             : // These stubs are because we use an ipa_vr in a hash_traits and
     243                 :             : // hash-traits.h defines an extern of gt_ggc_mx (T &) instead of
     244                 :             : // picking up the gt_ggc_mx (T *) version.
     245                 :             : void
     246                 :           0 : gt_pch_nx (ipa_vr *&x)
     247                 :             : {
     248                 :           0 :   return gt_pch_nx ((ipa_vr *) x);
     249                 :             : }
     250                 :             : 
     251                 :             : void
     252                 :           0 : gt_ggc_mx (ipa_vr *&x)
     253                 :             : {
     254                 :           0 :   return gt_ggc_mx ((ipa_vr *) x);
     255                 :             : }
     256                 :             : 
     257                 :             : /* Analysis summery of function call return value.  */
     258                 :             : struct GTY(()) ipa_return_value_summary
     259                 :             : {
     260                 :             :   /* Known value range.
     261                 :             :      This needs to be wrapped in struccture due to specific way
     262                 :             :      we allocate ipa_vr. */
     263                 :             :   ipa_vr *vr;
     264                 :             : };
     265                 :             : 
     266                 :             : /* Function summary for return values.  */
     267                 :             : class ipa_return_value_sum_t : public function_summary <ipa_return_value_summary *>
     268                 :             : {
     269                 :             : public:
     270                 :       77251 :   ipa_return_value_sum_t (symbol_table *table, bool ggc):
     271                 :      154502 :     function_summary <ipa_return_value_summary *> (table, ggc) { }
     272                 :             : 
     273                 :             :   /* Hook that is called by summary when a node is duplicated.  */
     274                 :      442754 :   void duplicate (cgraph_node *,
     275                 :             :                   cgraph_node *,
     276                 :             :                   ipa_return_value_summary *data,
     277                 :             :                   ipa_return_value_summary *data2) final override
     278                 :             :   {
     279                 :      442754 :     *data2=*data;
     280                 :      442754 :   }
     281                 :             : };
     282                 :             : 
     283                 :             : /* Variable hoding the return value summary.  */
     284                 :             : static GTY(()) function_summary <ipa_return_value_summary *> *ipa_return_value_sum;
     285                 :             : 
     286                 :             : 
     287                 :             : /* Return true if DECL_FUNCTION_SPECIFIC_OPTIMIZATION of the decl associated
     288                 :             :    with NODE should prevent us from analyzing it for the purposes of IPA-CP.  */
     289                 :             : 
     290                 :             : static bool
     291                 :     3732867 : ipa_func_spec_opts_forbid_analysis_p (struct cgraph_node *node)
     292                 :             : {
     293                 :     3732867 :   tree fs_opts = DECL_FUNCTION_SPECIFIC_OPTIMIZATION (node->decl);
     294                 :             : 
     295                 :     3732867 :   if (!fs_opts)
     296                 :             :     return false;
     297                 :      549083 :   return !opt_for_fn (node->decl, optimize) || !opt_for_fn (node->decl, flag_ipa_cp);
     298                 :             : }
     299                 :             : 
     300                 :             : /* Return index of the formal whose tree is PTREE in function which corresponds
     301                 :             :    to INFO.  */
     302                 :             : 
     303                 :             : static int
     304                 :    39665766 : ipa_get_param_decl_index_1 (vec<ipa_param_descriptor, va_gc> *descriptors,
     305                 :             :                             tree ptree)
     306                 :             : {
     307                 :    39665766 :   int i, count;
     308                 :             : 
     309                 :    39665766 :   count = vec_safe_length (descriptors);
     310                 :    82156247 :   for (i = 0; i < count; i++)
     311                 :    71951290 :     if ((*descriptors)[i].decl_or_type == ptree)
     312                 :             :       return i;
     313                 :             : 
     314                 :             :   return -1;
     315                 :             : }
     316                 :             : 
     317                 :             : /* Return index of the formal whose tree is PTREE in function which corresponds
     318                 :             :    to INFO.  */
     319                 :             : 
     320                 :             : int
     321                 :    24384489 : ipa_get_param_decl_index (class ipa_node_params *info, tree ptree)
     322                 :             : {
     323                 :    24384489 :   return ipa_get_param_decl_index_1 (info->descriptors, ptree);
     324                 :             : }
     325                 :             : 
     326                 :             : /* Populate the param_decl field in parameter DESCRIPTORS that correspond to
     327                 :             :    NODE.  */
     328                 :             : 
     329                 :             : static void
     330                 :     5022106 : ipa_populate_param_decls (struct cgraph_node *node,
     331                 :             :                           vec<ipa_param_descriptor, va_gc> &descriptors)
     332                 :             : {
     333                 :     5022106 :   tree fndecl;
     334                 :     5022106 :   tree fnargs;
     335                 :     5022106 :   tree parm;
     336                 :     5022106 :   int param_num;
     337                 :             : 
     338                 :     5022106 :   fndecl = node->decl;
     339                 :     5022106 :   gcc_assert (gimple_has_body_p (fndecl));
     340                 :     5022106 :   fnargs = DECL_ARGUMENTS (fndecl);
     341                 :     5022106 :   param_num = 0;
     342                 :    16616312 :   for (parm = fnargs; parm; parm = DECL_CHAIN (parm))
     343                 :             :     {
     344                 :    11594206 :       descriptors[param_num].decl_or_type = parm;
     345                 :    11594206 :       unsigned int cost = estimate_move_cost (TREE_TYPE (parm), true);
     346                 :    11594206 :       descriptors[param_num].move_cost = cost;
     347                 :             :       /* Watch overflow, move_cost is a bitfield.  */
     348                 :    11594206 :       gcc_checking_assert (cost == descriptors[param_num].move_cost);
     349                 :    11594206 :       param_num++;
     350                 :             :     }
     351                 :     5022106 : }
     352                 :             : 
     353                 :             : /* Return how many formal parameters FNDECL has.  */
     354                 :             : 
     355                 :             : int
     356                 :    13910159 : count_formal_params (tree fndecl)
     357                 :             : {
     358                 :    13910159 :   tree parm;
     359                 :    13910159 :   int count = 0;
     360                 :    13910159 :   gcc_assert (gimple_has_body_p (fndecl));
     361                 :             : 
     362                 :    43086489 :   for (parm = DECL_ARGUMENTS (fndecl); parm; parm = DECL_CHAIN (parm))
     363                 :    29176330 :     count++;
     364                 :             : 
     365                 :    13910159 :   return count;
     366                 :             : }
     367                 :             : 
     368                 :             : /* Return the declaration of Ith formal parameter of the function corresponding
     369                 :             :    to INFO.  Note there is no setter function as this array is built just once
     370                 :             :    using ipa_initialize_node_params. */
     371                 :             : 
     372                 :             : void
     373                 :         542 : ipa_dump_param (FILE *file, class ipa_node_params *info, int i)
     374                 :             : {
     375                 :         542 :   fprintf (file, "param #%i", i);
     376                 :         542 :   if ((*info->descriptors)[i].decl_or_type)
     377                 :             :     {
     378                 :         542 :       fprintf (file, " ");
     379                 :         542 :       print_generic_expr (file, (*info->descriptors)[i].decl_or_type);
     380                 :             :     }
     381                 :         542 : }
     382                 :             : 
     383                 :             : /* If necessary, allocate vector of parameter descriptors in info of NODE.
     384                 :             :    Return true if they were allocated, false if not.  */
     385                 :             : 
     386                 :             : static bool
     387                 :     5863034 : ipa_alloc_node_params (struct cgraph_node *node, int param_count)
     388                 :             : {
     389                 :     5863034 :   ipa_node_params *info = ipa_node_params_sum->get_create (node);
     390                 :             : 
     391                 :     5863034 :   if (!info->descriptors && param_count)
     392                 :             :     {
     393                 :     5072421 :       vec_safe_grow_cleared (info->descriptors, param_count, true);
     394                 :     5072421 :       return true;
     395                 :             :     }
     396                 :             :   else
     397                 :             :     return false;
     398                 :             : }
     399                 :             : 
     400                 :             : /* Initialize the ipa_node_params structure associated with NODE by counting
     401                 :             :    the function parameters, creating the descriptors and populating their
     402                 :             :    param_decls.  */
     403                 :             : 
     404                 :             : void
     405                 :     5788115 : ipa_initialize_node_params (struct cgraph_node *node)
     406                 :             : {
     407                 :     5788115 :   ipa_node_params *info = ipa_node_params_sum->get_create (node);
     408                 :             : 
     409                 :     5788115 :   if (!info->descriptors
     410                 :     5788115 :       && ipa_alloc_node_params (node, count_formal_params (node->decl)))
     411                 :     5020971 :     ipa_populate_param_decls (node, *info->descriptors);
     412                 :     5788115 : }
     413                 :             : 
     414                 :             : /* Print VAL which is extracted from a jump function to F.  */
     415                 :             : 
     416                 :             : void
     417                 :        1024 : ipa_print_constant_value (FILE *f, tree val)
     418                 :             : {
     419                 :        1024 :   print_generic_expr (f, val);
     420                 :             : 
     421                 :             :   /* This is in keeping with values_equal_for_ipcp_p.  */
     422                 :        1024 :   if (TREE_CODE (val) == ADDR_EXPR
     423                 :        1024 :       && (TREE_CODE (TREE_OPERAND (val, 0)) == CONST_DECL
     424                 :         224 :           || (TREE_CODE (TREE_OPERAND (val, 0)) == VAR_DECL
     425                 :         101 :               && DECL_IN_CONSTANT_POOL (TREE_OPERAND (val, 0)))))
     426                 :             :     {
     427                 :           0 :       fputs (" -> ", f);
     428                 :           0 :       print_generic_expr (f, DECL_INITIAL (TREE_OPERAND (val, 0)));
     429                 :             :     }
     430                 :        1024 : }
     431                 :             : 
     432                 :             : /* Print contents of JFUNC to F.  If CTX is non-NULL, dump it too.  */
     433                 :             : 
     434                 :             : DEBUG_FUNCTION void
     435                 :         928 : ipa_dump_jump_function (FILE *f, ipa_jump_func *jump_func,
     436                 :             :                         class ipa_polymorphic_call_context *ctx)
     437                 :             : {
     438                 :         928 :   enum jump_func_type type = jump_func->type;
     439                 :             : 
     440                 :         928 :   if (type == IPA_JF_UNKNOWN)
     441                 :         235 :     fprintf (f, "UNKNOWN\n");
     442                 :         693 :   else if (type == IPA_JF_CONST)
     443                 :             :     {
     444                 :         281 :       fprintf (f, "CONST: ");
     445                 :         281 :       ipa_print_constant_value (f, jump_func->value.constant.value);
     446                 :         281 :       fprintf (f, "\n");
     447                 :             :     }
     448                 :         412 :   else if (type == IPA_JF_PASS_THROUGH)
     449                 :             :     {
     450                 :         351 :       fprintf (f, "PASS THROUGH: ");
     451                 :         351 :       fprintf (f, "%d, op %s",
     452                 :             :                jump_func->value.pass_through.formal_id,
     453                 :             :                get_tree_code_name(jump_func->value.pass_through.operation));
     454                 :         351 :       if (jump_func->value.pass_through.operation != NOP_EXPR)
     455                 :             :         {
     456                 :          31 :           fprintf (f, " ");
     457                 :          31 :           print_generic_expr (f, jump_func->value.pass_through.operand);
     458                 :             :         }
     459                 :         351 :       if (jump_func->value.pass_through.agg_preserved)
     460                 :         109 :         fprintf (f, ", agg_preserved");
     461                 :         351 :       if (jump_func->value.pass_through.refdesc_decremented)
     462                 :           0 :         fprintf (f, ", refdesc_decremented");
     463                 :         351 :       fprintf (f, "\n");
     464                 :             :     }
     465                 :          61 :   else if (type == IPA_JF_ANCESTOR)
     466                 :             :     {
     467                 :          61 :       fprintf (f, "ANCESTOR: ");
     468                 :          61 :       fprintf (f, "%d, offset " HOST_WIDE_INT_PRINT_DEC,
     469                 :             :                jump_func->value.ancestor.formal_id,
     470                 :             :                jump_func->value.ancestor.offset);
     471                 :          61 :       if (jump_func->value.ancestor.agg_preserved)
     472                 :          26 :         fprintf (f, ", agg_preserved");
     473                 :          61 :       if (jump_func->value.ancestor.keep_null)
     474                 :           4 :         fprintf (f, ", keep_null");
     475                 :          61 :       fprintf (f, "\n");
     476                 :             :     }
     477                 :             : 
     478                 :         928 :   if (jump_func->agg.items)
     479                 :             :     {
     480                 :          86 :       struct ipa_agg_jf_item *item;
     481                 :          86 :       int j;
     482                 :             : 
     483                 :         172 :       fprintf (f, "         Aggregate passed by %s:\n",
     484                 :          86 :                jump_func->agg.by_ref ? "reference" : "value");
     485                 :         361 :       FOR_EACH_VEC_ELT (*jump_func->agg.items, j, item)
     486                 :             :         {
     487                 :         189 :           fprintf (f, "           offset: " HOST_WIDE_INT_PRINT_DEC ", ",
     488                 :             :                    item->offset);
     489                 :         189 :           fprintf (f, "type: ");
     490                 :         189 :           print_generic_expr (f, item->type);
     491                 :         189 :           fprintf (f, ", ");
     492                 :         189 :           if (item->jftype == IPA_JF_PASS_THROUGH)
     493                 :           5 :             fprintf (f, "PASS THROUGH: %d,",
     494                 :             :                      item->value.pass_through.formal_id);
     495                 :         184 :           else if (item->jftype == IPA_JF_LOAD_AGG)
     496                 :             :             {
     497                 :          11 :               fprintf (f, "LOAD AGG: %d",
     498                 :             :                        item->value.pass_through.formal_id);
     499                 :          11 :               fprintf (f, " [offset: " HOST_WIDE_INT_PRINT_DEC ", by %s],",
     500                 :             :                        item->value.load_agg.offset,
     501                 :          11 :                        item->value.load_agg.by_ref ? "reference"
     502                 :             :                        : "value");
     503                 :             :             }
     504                 :             : 
     505                 :         189 :           if (item->jftype == IPA_JF_PASS_THROUGH
     506                 :         189 :               || item->jftype == IPA_JF_LOAD_AGG)
     507                 :             :             {
     508                 :          16 :               fprintf (f, " op %s",
     509                 :             :                        get_tree_code_name (item->value.pass_through.operation));
     510                 :          16 :               if (item->value.pass_through.operation != NOP_EXPR)
     511                 :             :                 {
     512                 :           9 :                   fprintf (f, " ");
     513                 :           9 :                   print_generic_expr (f, item->value.pass_through.operand);
     514                 :             :                 }
     515                 :             :             }
     516                 :         173 :           else if (item->jftype == IPA_JF_CONST)
     517                 :             :             {
     518                 :         173 :               fprintf (f, "CONST: ");
     519                 :         173 :               ipa_print_constant_value (f, item->value.constant);
     520                 :             :             }
     521                 :           0 :           else if (item->jftype == IPA_JF_UNKNOWN)
     522                 :           0 :             fprintf (f, "UNKNOWN: " HOST_WIDE_INT_PRINT_DEC " bits",
     523                 :           0 :                      tree_to_uhwi (TYPE_SIZE (item->type)));
     524                 :         189 :           fprintf (f, "\n");
     525                 :             :         }
     526                 :             :     }
     527                 :             : 
     528                 :         928 :   if (ctx && !ctx->useless_p ())
     529                 :             :     {
     530                 :         354 :       fprintf (f, "         Context: ");
     531                 :         354 :       ctx->dump (dump_file);
     532                 :             :     }
     533                 :             : 
     534                 :         928 :   if (jump_func->m_vr)
     535                 :             :     {
     536                 :         693 :       jump_func->m_vr->dump (f);
     537                 :         693 :       fprintf (f, "\n");
     538                 :             :     }
     539                 :             :   else
     540                 :         235 :     fprintf (f, "         Unknown VR\n");
     541                 :         928 : }
     542                 :             : 
     543                 :             : /* Print the jump functions associated with call graph edge CS to file F.  */
     544                 :             : 
     545                 :             : static void
     546                 :         675 : ipa_print_node_jump_functions_for_edge (FILE *f, struct cgraph_edge *cs)
     547                 :             : {
     548                 :         675 :   ipa_edge_args *args = ipa_edge_args_sum->get (cs);
     549                 :         675 :   int count = ipa_get_cs_argument_count (args);
     550                 :             : 
     551                 :        1603 :   for (int i = 0; i < count; i++)
     552                 :             :     {
     553                 :         928 :       struct ipa_jump_func *jump_func = ipa_get_ith_jump_func (args, i);
     554                 :         928 :       class ipa_polymorphic_call_context *ctx
     555                 :         928 :         = ipa_get_ith_polymorhic_call_context (args, i);
     556                 :             : 
     557                 :         928 :       fprintf (f, "       param %d: ", i);
     558                 :         928 :       ipa_dump_jump_function (f, jump_func, ctx);
     559                 :             :     }
     560                 :         675 : }
     561                 :             : 
     562                 :             : 
     563                 :             : /* Print the jump functions of all arguments on all call graph edges going from
     564                 :             :    NODE to file F.  */
     565                 :             : 
     566                 :             : void
     567                 :        1027 : ipa_print_node_jump_functions (FILE *f, struct cgraph_node *node)
     568                 :             : {
     569                 :        1027 :   struct cgraph_edge *cs;
     570                 :             : 
     571                 :        1027 :   fprintf (f, "  Jump functions of caller  %s:\n", node->dump_name ());
     572                 :        2025 :   for (cs = node->callees; cs; cs = cs->next_callee)
     573                 :             :     {
     574                 :             : 
     575                 :         998 :       fprintf (f, "    callsite  %s -> %s : \n",
     576                 :             :                node->dump_name (),
     577                 :         998 :                cs->callee->dump_name ());
     578                 :         998 :       if (!ipa_edge_args_info_available_for_edge_p (cs))
     579                 :         470 :         fprintf (f, "       no arg info\n");
     580                 :             :       else
     581                 :         528 :         ipa_print_node_jump_functions_for_edge (f, cs);
     582                 :             :     }
     583                 :             : 
     584                 :        1174 :   for (cs = node->indirect_calls; cs; cs = cs->next_callee)
     585                 :             :     {
     586                 :         147 :       class cgraph_indirect_call_info *ii;
     587                 :             : 
     588                 :         147 :       ii = cs->indirect_info;
     589                 :         147 :       if (ii->agg_contents)
     590                 :          20 :         fprintf (f, "    indirect %s callsite, calling param %i, "
     591                 :             :                  "offset " HOST_WIDE_INT_PRINT_DEC ", %s",
     592                 :          20 :                  ii->member_ptr ? "member ptr" : "aggregate",
     593                 :             :                  ii->param_index, ii->offset,
     594                 :          20 :                  ii->by_ref ? "by reference" : "by_value");
     595                 :             :       else
     596                 :         127 :         fprintf (f, "    indirect %s callsite, calling param %i, "
     597                 :             :                  "offset " HOST_WIDE_INT_PRINT_DEC,
     598                 :         127 :                  ii->polymorphic ? "polymorphic" : "simple", ii->param_index,
     599                 :             :                  ii->offset);
     600                 :             : 
     601                 :         147 :       if (cs->call_stmt)
     602                 :             :         {
     603                 :         131 :           fprintf (f, ", for stmt ");
     604                 :         131 :           print_gimple_stmt (f, cs->call_stmt, 0, TDF_SLIM);
     605                 :             :         }
     606                 :             :       else
     607                 :          16 :         fprintf (f, "\n");
     608                 :         147 :       if (ii->polymorphic)
     609                 :         108 :         ii->context.dump (f);
     610                 :         147 :       if (!ipa_edge_args_info_available_for_edge_p (cs))
     611                 :           0 :         fprintf (f, "       no arg info\n");
     612                 :             :       else
     613                 :         147 :         ipa_print_node_jump_functions_for_edge (f, cs);
     614                 :             :     }
     615                 :        1027 : }
     616                 :             : 
     617                 :             : /* Print ipa_jump_func data structures of all nodes in the call graph to F.  */
     618                 :             : 
     619                 :             : void
     620                 :         153 : ipa_print_all_jump_functions (FILE *f)
     621                 :             : {
     622                 :         153 :   struct cgraph_node *node;
     623                 :             : 
     624                 :         153 :   fprintf (f, "\nJump functions:\n");
     625                 :        2332 :   FOR_EACH_FUNCTION (node)
     626                 :             :     {
     627                 :        1013 :       ipa_print_node_jump_functions (f, node);
     628                 :             :     }
     629                 :         153 : }
     630                 :             : 
     631                 :             : /* Set jfunc to be a know-really nothing jump function.  */
     632                 :             : 
     633                 :             : static void
     634                 :      429708 : ipa_set_jf_unknown (struct ipa_jump_func *jfunc)
     635                 :             : {
     636                 :      429708 :   jfunc->type = IPA_JF_UNKNOWN;
     637                 :      416651 : }
     638                 :             : 
     639                 :             : /* Set JFUNC to be a copy of another jmp (to be used by jump function
     640                 :             :    combination code).  The two functions will share their rdesc.  */
     641                 :             : 
     642                 :             : static void
     643                 :      911763 : ipa_set_jf_cst_copy (struct ipa_jump_func *dst,
     644                 :             :                      struct ipa_jump_func *src)
     645                 :             : 
     646                 :             : {
     647                 :      911763 :   gcc_checking_assert (src->type == IPA_JF_CONST);
     648                 :      911763 :   dst->type = IPA_JF_CONST;
     649                 :      911763 :   dst->value.constant = src->value.constant;
     650                 :      911763 : }
     651                 :             : 
     652                 :             : /* Set JFUNC to be a constant jmp function.  */
     653                 :             : 
     654                 :             : static void
     655                 :     2594835 : ipa_set_jf_constant (struct ipa_jump_func *jfunc, tree constant,
     656                 :             :                      struct cgraph_edge *cs)
     657                 :             : {
     658                 :     2594835 :   jfunc->type = IPA_JF_CONST;
     659                 :     2594835 :   jfunc->value.constant.value = unshare_expr_without_location (constant);
     660                 :             : 
     661                 :     2594835 :   if (TREE_CODE (constant) == ADDR_EXPR
     662                 :     2594835 :       && (TREE_CODE (TREE_OPERAND (constant, 0)) == FUNCTION_DECL
     663                 :      969532 :           || (VAR_P (TREE_OPERAND (constant, 0))
     664                 :      356262 :               && TREE_STATIC (TREE_OPERAND (constant, 0)))))
     665                 :             :     {
     666                 :      379792 :       struct ipa_cst_ref_desc *rdesc;
     667                 :             : 
     668                 :      379792 :       rdesc = ipa_refdesc_pool.allocate ();
     669                 :      379792 :       rdesc->cs = cs;
     670                 :      379792 :       rdesc->next_duplicate = NULL;
     671                 :      379792 :       rdesc->refcount = 1;
     672                 :      379792 :       jfunc->value.constant.rdesc = rdesc;
     673                 :             :     }
     674                 :             :   else
     675                 :     2215043 :     jfunc->value.constant.rdesc = NULL;
     676                 :     2594835 : }
     677                 :             : 
     678                 :             : /* Set JFUNC to be a simple pass-through jump function.  */
     679                 :             : static void
     680                 :     1303132 : ipa_set_jf_simple_pass_through (struct ipa_jump_func *jfunc, int formal_id,
     681                 :             :                                 bool agg_preserved)
     682                 :             : {
     683                 :     1303132 :   jfunc->type = IPA_JF_PASS_THROUGH;
     684                 :     1303132 :   jfunc->value.pass_through.operand = NULL_TREE;
     685                 :     1303132 :   jfunc->value.pass_through.formal_id = formal_id;
     686                 :     1303132 :   jfunc->value.pass_through.operation = NOP_EXPR;
     687                 :     1303132 :   jfunc->value.pass_through.agg_preserved = agg_preserved;
     688                 :     1303132 :   jfunc->value.pass_through.refdesc_decremented = false;
     689                 :     1174012 : }
     690                 :             : 
     691                 :             : /* Set JFUNC to be an unary pass through jump function.  */
     692                 :             : 
     693                 :             : static void
     694                 :        1037 : ipa_set_jf_unary_pass_through (struct ipa_jump_func *jfunc, int formal_id,
     695                 :             :                                enum tree_code operation)
     696                 :             : {
     697                 :        1037 :   jfunc->type = IPA_JF_PASS_THROUGH;
     698                 :        1037 :   jfunc->value.pass_through.operand = NULL_TREE;
     699                 :        1037 :   jfunc->value.pass_through.formal_id = formal_id;
     700                 :        1037 :   jfunc->value.pass_through.operation = operation;
     701                 :        1037 :   jfunc->value.pass_through.agg_preserved = false;
     702                 :        1037 :   jfunc->value.pass_through.refdesc_decremented = false;
     703                 :        1037 : }
     704                 :             : /* Set JFUNC to be an arithmetic pass through jump function.  */
     705                 :             : 
     706                 :             : static void
     707                 :       38608 : ipa_set_jf_arith_pass_through (struct ipa_jump_func *jfunc, int formal_id,
     708                 :             :                                tree operand, enum tree_code operation)
     709                 :             : {
     710                 :       38608 :   jfunc->type = IPA_JF_PASS_THROUGH;
     711                 :           0 :   jfunc->value.pass_through.operand = unshare_expr_without_location (operand);
     712                 :       38608 :   jfunc->value.pass_through.formal_id = formal_id;
     713                 :       38608 :   jfunc->value.pass_through.operation = operation;
     714                 :       38608 :   jfunc->value.pass_through.agg_preserved = false;
     715                 :       38608 :   jfunc->value.pass_through.refdesc_decremented = false;
     716                 :       38608 : }
     717                 :             : 
     718                 :             : /* Set JFUNC to be an ancestor jump function.  */
     719                 :             : 
     720                 :             : static void
     721                 :      160700 : ipa_set_ancestor_jf (struct ipa_jump_func *jfunc, HOST_WIDE_INT offset,
     722                 :             :                      int formal_id, bool agg_preserved, bool keep_null)
     723                 :             : {
     724                 :      160700 :   jfunc->type = IPA_JF_ANCESTOR;
     725                 :      160700 :   jfunc->value.ancestor.formal_id = formal_id;
     726                 :      160700 :   jfunc->value.ancestor.offset = offset;
     727                 :      160700 :   jfunc->value.ancestor.agg_preserved = agg_preserved;
     728                 :      160700 :   jfunc->value.ancestor.keep_null = keep_null;
     729                 :      160112 : }
     730                 :             : 
     731                 :             : /* Get IPA BB information about the given BB.  FBI is the context of analyzis
     732                 :             :    of this function body.  */
     733                 :             : 
     734                 :             : static struct ipa_bb_info *
     735                 :    31283966 : ipa_get_bb_info (struct ipa_func_body_info *fbi, basic_block bb)
     736                 :             : {
     737                 :    26099464 :   gcc_checking_assert (fbi);
     738                 :    31283966 :   return &fbi->bb_infos[bb->index];
     739                 :             : }
     740                 :             : 
     741                 :             : /* Structure to be passed in between detect_type_change and
     742                 :             :    check_stmt_for_type_change.  */
     743                 :             : 
     744                 :             : struct prop_type_change_info
     745                 :             : {
     746                 :             :   /* Offset into the object where there is the virtual method pointer we are
     747                 :             :      looking for.  */
     748                 :             :   HOST_WIDE_INT offset;
     749                 :             :   /* The declaration or SSA_NAME pointer of the base that we are checking for
     750                 :             :      type change.  */
     751                 :             :   tree object;
     752                 :             :   /* Set to true if dynamic type change has been detected.  */
     753                 :             :   bool type_maybe_changed;
     754                 :             : };
     755                 :             : 
     756                 :             : /* Return true if STMT can modify a virtual method table pointer.
     757                 :             : 
     758                 :             :    This function makes special assumptions about both constructors and
     759                 :             :    destructors which are all the functions that are allowed to alter the VMT
     760                 :             :    pointers.  It assumes that destructors begin with assignment into all VMT
     761                 :             :    pointers and that constructors essentially look in the following way:
     762                 :             : 
     763                 :             :    1) The very first thing they do is that they call constructors of ancestor
     764                 :             :    sub-objects that have them.
     765                 :             : 
     766                 :             :    2) Then VMT pointers of this and all its ancestors is set to new values
     767                 :             :    corresponding to the type corresponding to the constructor.
     768                 :             : 
     769                 :             :    3) Only afterwards, other stuff such as constructor of member sub-objects
     770                 :             :    and the code written by the user is run.  Only this may include calling
     771                 :             :    virtual functions, directly or indirectly.
     772                 :             : 
     773                 :             :    There is no way to call a constructor of an ancestor sub-object in any
     774                 :             :    other way.
     775                 :             : 
     776                 :             :    This means that we do not have to care whether constructors get the correct
     777                 :             :    type information because they will always change it (in fact, if we define
     778                 :             :    the type to be given by the VMT pointer, it is undefined).
     779                 :             : 
     780                 :             :    The most important fact to derive from the above is that if, for some
     781                 :             :    statement in the section 3, we try to detect whether the dynamic type has
     782                 :             :    changed, we can safely ignore all calls as we examine the function body
     783                 :             :    backwards until we reach statements in section 2 because these calls cannot
     784                 :             :    be ancestor constructors or destructors (if the input is not bogus) and so
     785                 :             :    do not change the dynamic type (this holds true only for automatically
     786                 :             :    allocated objects but at the moment we devirtualize only these).  We then
     787                 :             :    must detect that statements in section 2 change the dynamic type and can try
     788                 :             :    to derive the new type.  That is enough and we can stop, we will never see
     789                 :             :    the calls into constructors of sub-objects in this code.  Therefore we can
     790                 :             :    safely ignore all call statements that we traverse.
     791                 :             :   */
     792                 :             : 
     793                 :             : static bool
     794                 :          13 : stmt_may_be_vtbl_ptr_store (gimple *stmt)
     795                 :             : {
     796                 :          13 :   if (is_gimple_call (stmt))
     797                 :             :     return false;
     798                 :           4 :   if (gimple_clobber_p (stmt))
     799                 :             :     return false;
     800                 :           0 :   else if (is_gimple_assign (stmt))
     801                 :             :     {
     802                 :           0 :       tree lhs = gimple_assign_lhs (stmt);
     803                 :             : 
     804                 :           0 :       if (!AGGREGATE_TYPE_P (TREE_TYPE (lhs)))
     805                 :             :         {
     806                 :           0 :           if (flag_strict_aliasing
     807                 :           0 :               && !POINTER_TYPE_P (TREE_TYPE (lhs)))
     808                 :             :             return false;
     809                 :             : 
     810                 :           0 :           if (TREE_CODE (lhs) == COMPONENT_REF
     811                 :           0 :               && !DECL_VIRTUAL_P (TREE_OPERAND (lhs, 1)))
     812                 :           0 :             return false;
     813                 :             :           /* In the future we might want to use get_ref_base_and_extent to find
     814                 :             :              if there is a field corresponding to the offset and if so, proceed
     815                 :             :              almost like if it was a component ref.  */
     816                 :             :         }
     817                 :             :     }
     818                 :             :   return true;
     819                 :             : }
     820                 :             : 
     821                 :             : /* Callback of walk_aliased_vdefs and a helper function for detect_type_change
     822                 :             :    to check whether a particular statement may modify the virtual table
     823                 :             :    pointerIt stores its result into DATA, which points to a
     824                 :             :    prop_type_change_info structure.  */
     825                 :             : 
     826                 :             : static bool
     827                 :          13 : check_stmt_for_type_change (ao_ref *ao ATTRIBUTE_UNUSED, tree vdef, void *data)
     828                 :             : {
     829                 :          13 :   gimple *stmt = SSA_NAME_DEF_STMT (vdef);
     830                 :          13 :   struct prop_type_change_info *tci = (struct prop_type_change_info *) data;
     831                 :             : 
     832                 :          13 :   if (stmt_may_be_vtbl_ptr_store (stmt))
     833                 :             :     {
     834                 :           0 :       tci->type_maybe_changed = true;
     835                 :           0 :       return true;
     836                 :             :     }
     837                 :             :   else
     838                 :             :     return false;
     839                 :             : }
     840                 :             : 
     841                 :             : /* See if ARG is PARAM_DECl describing instance passed by pointer
     842                 :             :    or reference in FUNCTION.  Return false if the dynamic type may change
     843                 :             :    in between beggining of the function until CALL is invoked.
     844                 :             : 
     845                 :             :    Generally functions are not allowed to change type of such instances,
     846                 :             :    but they call destructors.  We assume that methods cannot destroy the THIS
     847                 :             :    pointer.  Also as a special cases, constructor and destructors may change
     848                 :             :    type of the THIS pointer.  */
     849                 :             : 
     850                 :             : static bool
     851                 :        9535 : param_type_may_change_p (tree function, tree arg, gimple *call)
     852                 :             : {
     853                 :             :   /* Pure functions cannot do any changes on the dynamic type;
     854                 :             :      that require writting to memory.  */
     855                 :        9535 :   if (flags_from_decl_or_type (function) & (ECF_PURE | ECF_CONST))
     856                 :             :     return false;
     857                 :             :   /* We need to check if we are within inlined consturctor
     858                 :             :      or destructor (ideally we would have way to check that the
     859                 :             :      inline cdtor is actually working on ARG, but we don't have
     860                 :             :      easy tie on this, so punt on all non-pure cdtors.
     861                 :             :      We may also record the types of cdtors and once we know type
     862                 :             :      of the instance match them.
     863                 :             : 
     864                 :             :      Also code unification optimizations may merge calls from
     865                 :             :      different blocks making return values unreliable.  So
     866                 :             :      do nothing during late optimization.  */
     867                 :        9535 :   if (DECL_STRUCT_FUNCTION (function)->after_inlining)
     868                 :             :     return true;
     869                 :        9535 :   if (TREE_CODE (arg) == SSA_NAME
     870                 :        9535 :       && SSA_NAME_IS_DEFAULT_DEF (arg)
     871                 :       19070 :       && TREE_CODE (SSA_NAME_VAR (arg)) == PARM_DECL)
     872                 :             :     {
     873                 :             :       /* Normal (non-THIS) argument.  */
     874                 :        9535 :       if ((SSA_NAME_VAR (arg) != DECL_ARGUMENTS (function)
     875                 :        8904 :            || TREE_CODE (TREE_TYPE (function)) != METHOD_TYPE)
     876                 :             :           /* THIS pointer of an method - here we want to watch constructors
     877                 :             :              and destructors as those definitely may change the dynamic
     878                 :             :              type.  */
     879                 :       17863 :           || (TREE_CODE (TREE_TYPE (function)) == METHOD_TYPE
     880                 :        8328 :               && !DECL_CXX_CONSTRUCTOR_P (function)
     881                 :        8327 :               && !DECL_CXX_DESTRUCTOR_P (function)
     882                 :        8326 :               && (SSA_NAME_VAR (arg) == DECL_ARGUMENTS (function))))
     883                 :             :         {
     884                 :             :           /* Walk the inline stack and watch out for ctors/dtors.  */
     885                 :       41791 :           for (tree block = gimple_block (call); block && TREE_CODE (block) == BLOCK;
     886                 :       16129 :                block = BLOCK_SUPERCONTEXT (block))
     887                 :       16144 :             if (inlined_polymorphic_ctor_dtor_block_p (block, false))
     888                 :             :               return true;
     889                 :             :           return false;
     890                 :             :         }
     891                 :             :     }
     892                 :             :   return true;
     893                 :             : }
     894                 :             : 
     895                 :             : /* Detect whether the dynamic type of ARG of COMP_TYPE has changed (before
     896                 :             :    callsite CALL) by looking for assignments to its virtual table pointer.  If
     897                 :             :    it is, return true.  ARG is the object itself (not a pointer
     898                 :             :    to it, unless dereferenced).  BASE is the base of the memory access as
     899                 :             :    returned by get_ref_base_and_extent, as is the offset.
     900                 :             : 
     901                 :             :    This is helper function for detect_type_change and detect_type_change_ssa
     902                 :             :    that does the heavy work which is usually unnecesary.  */
     903                 :             : 
     904                 :             : static bool
     905                 :          17 : detect_type_change_from_memory_writes (ipa_func_body_info *fbi, tree arg,
     906                 :             :                                        tree base, tree comp_type, gcall *call,
     907                 :             :                                        HOST_WIDE_INT offset)
     908                 :             : {
     909                 :          17 :   struct prop_type_change_info tci;
     910                 :          17 :   ao_ref ao;
     911                 :             : 
     912                 :          17 :   gcc_checking_assert (DECL_P (arg)
     913                 :             :                        || TREE_CODE (arg) == MEM_REF
     914                 :             :                        || handled_component_p (arg));
     915                 :             : 
     916                 :          17 :   comp_type = TYPE_MAIN_VARIANT (comp_type);
     917                 :             : 
     918                 :             :   /* Const calls cannot call virtual methods through VMT and so type changes do
     919                 :             :      not matter.  */
     920                 :          17 :   if (!flag_devirtualize || !gimple_vuse (call)
     921                 :             :       /* Be sure expected_type is polymorphic.  */
     922                 :          17 :       || !comp_type
     923                 :          17 :       || TREE_CODE (comp_type) != RECORD_TYPE
     924                 :          17 :       || !TYPE_BINFO (TYPE_MAIN_VARIANT (comp_type))
     925                 :          34 :       || !BINFO_VTABLE (TYPE_BINFO (TYPE_MAIN_VARIANT (comp_type))))
     926                 :             :     return true;
     927                 :             : 
     928                 :          17 :   if (fbi->aa_walk_budget == 0)
     929                 :             :     return false;
     930                 :             : 
     931                 :          17 :   ao_ref_init (&ao, arg);
     932                 :          17 :   ao.base = base;
     933                 :          17 :   ao.offset = offset;
     934                 :          17 :   ao.size = POINTER_SIZE;
     935                 :          17 :   ao.max_size = ao.size;
     936                 :             : 
     937                 :          17 :   tci.offset = offset;
     938                 :          17 :   tci.object = get_base_address (arg);
     939                 :          17 :   tci.type_maybe_changed = false;
     940                 :             : 
     941                 :          17 :   int walked
     942                 :          34 :     = walk_aliased_vdefs (&ao, gimple_vuse (call), check_stmt_for_type_change,
     943                 :             :                           &tci, NULL, NULL, fbi->aa_walk_budget);
     944                 :          17 :   if (walked >= 0)
     945                 :          17 :     fbi->aa_walk_budget -= walked;
     946                 :             :   else
     947                 :           0 :     fbi->aa_walk_budget = 0;
     948                 :             : 
     949                 :          17 :   if (walked >= 0 && !tci.type_maybe_changed)
     950                 :             :     return false;
     951                 :             : 
     952                 :             :   return true;
     953                 :             : }
     954                 :             : 
     955                 :             : /* Detect whether the dynamic type of ARG of COMP_TYPE may have changed.
     956                 :             :    If it is, return true.  ARG is the object itself (not a pointer
     957                 :             :    to it, unless dereferenced).  BASE is the base of the memory access as
     958                 :             :    returned by get_ref_base_and_extent, as is the offset.  */
     959                 :             : 
     960                 :             : static bool
     961                 :         751 : detect_type_change (ipa_func_body_info *fbi, tree arg, tree base,
     962                 :             :                     tree comp_type, gcall *call,
     963                 :             :                     HOST_WIDE_INT offset)
     964                 :             : {
     965                 :         751 :   if (!flag_devirtualize)
     966                 :             :     return false;
     967                 :             : 
     968                 :         751 :   if (TREE_CODE (base) == MEM_REF
     969                 :        1502 :       && !param_type_may_change_p (current_function_decl,
     970                 :         751 :                                    TREE_OPERAND (base, 0),
     971                 :             :                                    call))
     972                 :             :     return false;
     973                 :          12 :   return detect_type_change_from_memory_writes (fbi, arg, base, comp_type,
     974                 :          12 :                                                 call, offset);
     975                 :             : }
     976                 :             : 
     977                 :             : /* Like detect_type_change but ARG is supposed to be a non-dereferenced pointer
     978                 :             :    SSA name (its dereference will become the base and the offset is assumed to
     979                 :             :    be zero).  */
     980                 :             : 
     981                 :             : static bool
     982                 :        8784 : detect_type_change_ssa (ipa_func_body_info *fbi, tree arg, tree comp_type,
     983                 :             :                         gcall *call)
     984                 :             : {
     985                 :        8784 :   gcc_checking_assert (TREE_CODE (arg) == SSA_NAME);
     986                 :        8784 :   if (!flag_devirtualize
     987                 :        8784 :       || !POINTER_TYPE_P (TREE_TYPE (arg)))
     988                 :             :     return false;
     989                 :             : 
     990                 :        8784 :   if (!param_type_may_change_p (current_function_decl, arg, call))
     991                 :             :     return false;
     992                 :             : 
     993                 :           5 :   arg = build2 (MEM_REF, ptr_type_node, arg,
     994                 :           5 :                 build_int_cst (ptr_type_node, 0));
     995                 :             : 
     996                 :           5 :   return detect_type_change_from_memory_writes (fbi, arg, arg, comp_type,
     997                 :           5 :                                                 call, 0);
     998                 :             : }
     999                 :             : 
    1000                 :             : /* Callback of walk_aliased_vdefs.  Flags that it has been invoked to the
    1001                 :             :    boolean variable pointed to by DATA.  */
    1002                 :             : 
    1003                 :             : static bool
    1004                 :     1558220 : mark_modified (ao_ref *ao ATTRIBUTE_UNUSED, tree vdef ATTRIBUTE_UNUSED,
    1005                 :             :                      void *data)
    1006                 :             : {
    1007                 :     1558220 :   bool *b = (bool *) data;
    1008                 :     1558220 :   *b = true;
    1009                 :     1558220 :   return true;
    1010                 :             : }
    1011                 :             : 
    1012                 :             : /* Find the nearest valid aa status for parameter specified by INDEX that
    1013                 :             :    dominates BB.  */
    1014                 :             : 
    1015                 :             : static struct ipa_param_aa_status *
    1016                 :     4001942 : find_dominating_aa_status (struct ipa_func_body_info *fbi, basic_block bb,
    1017                 :             :                            int index)
    1018                 :             : {
    1019                 :    12257507 :   while (true)
    1020                 :             :     {
    1021                 :    12257507 :       bb = get_immediate_dominator (CDI_DOMINATORS, bb);
    1022                 :    12257507 :       if (!bb)
    1023                 :             :         return NULL;
    1024                 :     9582978 :       struct ipa_bb_info *bi = ipa_get_bb_info (fbi, bb);
    1025                 :    11514010 :       if (!bi->param_aa_statuses.is_empty ()
    1026                 :     1931032 :           && bi->param_aa_statuses[index].valid)
    1027                 :     1327413 :         return &bi->param_aa_statuses[index];
    1028                 :             :     }
    1029                 :             : }
    1030                 :             : 
    1031                 :             : /* Get AA status structure for the given BB and parameter with INDEX.  Allocate
    1032                 :             :    structures and/or intialize the result with a dominating description as
    1033                 :             :    necessary.  */
    1034                 :             : 
    1035                 :             : static struct ipa_param_aa_status *
    1036                 :     6060900 : parm_bb_aa_status_for_bb (struct ipa_func_body_info *fbi, basic_block bb,
    1037                 :             :                           int index)
    1038                 :             : {
    1039                 :     6060900 :   gcc_checking_assert (fbi);
    1040                 :     6060900 :   struct ipa_bb_info *bi = ipa_get_bb_info (fbi, bb);
    1041                 :     6060900 :   if (bi->param_aa_statuses.is_empty ())
    1042                 :     3436698 :     bi->param_aa_statuses.safe_grow_cleared (fbi->param_count, true);
    1043                 :     6060900 :   struct ipa_param_aa_status *paa = &bi->param_aa_statuses[index];
    1044                 :     6060900 :   if (!paa->valid)
    1045                 :             :     {
    1046                 :     4001942 :       gcc_checking_assert (!paa->parm_modified
    1047                 :             :                            && !paa->ref_modified
    1048                 :             :                            && !paa->pt_modified);
    1049                 :     4001942 :       struct ipa_param_aa_status *dom_paa;
    1050                 :     4001942 :       dom_paa = find_dominating_aa_status (fbi, bb, index);
    1051                 :     4001942 :       if (dom_paa)
    1052                 :     1327413 :         *paa = *dom_paa;
    1053                 :             :       else
    1054                 :     2674529 :         paa->valid = true;
    1055                 :             :     }
    1056                 :             : 
    1057                 :     6060900 :   return paa;
    1058                 :             : }
    1059                 :             : 
    1060                 :             : /* Return true if a load from a formal parameter PARM_LOAD is known to retrieve
    1061                 :             :    a value known not to be modified in this function before reaching the
    1062                 :             :    statement STMT.  FBI holds information about the function we have so far
    1063                 :             :    gathered but do not survive the summary building stage.  */
    1064                 :             : 
    1065                 :             : static bool
    1066                 :     1082182 : parm_preserved_before_stmt_p (struct ipa_func_body_info *fbi, int index,
    1067                 :             :                               gimple *stmt, tree parm_load)
    1068                 :             : {
    1069                 :     1082182 :   struct ipa_param_aa_status *paa;
    1070                 :     1082182 :   bool modified = false;
    1071                 :     1082182 :   ao_ref refd;
    1072                 :             : 
    1073                 :     1082182 :   tree base = get_base_address (parm_load);
    1074                 :     1082182 :   gcc_assert (TREE_CODE (base) == PARM_DECL);
    1075                 :     1082182 :   if (TREE_READONLY (base))
    1076                 :             :     return true;
    1077                 :             : 
    1078                 :     1006451 :   gcc_checking_assert (fbi);
    1079                 :     1006451 :   paa = parm_bb_aa_status_for_bb (fbi, gimple_bb (stmt), index);
    1080                 :     1006451 :   if (paa->parm_modified || fbi->aa_walk_budget == 0)
    1081                 :             :     return false;
    1082                 :             : 
    1083                 :     1704544 :   gcc_checking_assert (gimple_vuse (stmt) != NULL_TREE);
    1084                 :      852272 :   ao_ref_init (&refd, parm_load);
    1085                 :     1704544 :   int walked = walk_aliased_vdefs (&refd, gimple_vuse (stmt), mark_modified,
    1086                 :             :                                    &modified, NULL, NULL,
    1087                 :             :                                    fbi->aa_walk_budget);
    1088                 :      852272 :   if (walked < 0)
    1089                 :             :     {
    1090                 :           8 :       modified = true;
    1091                 :           8 :       fbi->aa_walk_budget = 0;
    1092                 :             :     }
    1093                 :             :   else
    1094                 :      852264 :     fbi->aa_walk_budget -= walked;
    1095                 :      852272 :   if (paa && modified)
    1096                 :       86807 :     paa->parm_modified = true;
    1097                 :      852272 :   return !modified;
    1098                 :             : }
    1099                 :             : 
    1100                 :             : /* If STMT is an assignment that loads a value from an parameter declaration,
    1101                 :             :    return the index of the parameter in ipa_node_params which has not been
    1102                 :             :    modified.  Otherwise return -1.  */
    1103                 :             : 
    1104                 :             : static int
    1105                 :     6189621 : load_from_unmodified_param (struct ipa_func_body_info *fbi,
    1106                 :             :                             vec<ipa_param_descriptor, va_gc> *descriptors,
    1107                 :             :                             gimple *stmt)
    1108                 :             : {
    1109                 :     6189621 :   int index;
    1110                 :     6189621 :   tree op1;
    1111                 :             : 
    1112                 :     6189621 :   if (!gimple_assign_single_p (stmt))
    1113                 :             :     return -1;
    1114                 :             : 
    1115                 :     4141839 :   op1 = gimple_assign_rhs1 (stmt);
    1116                 :     4141839 :   if (TREE_CODE (op1) != PARM_DECL)
    1117                 :             :     return -1;
    1118                 :             : 
    1119                 :       69457 :   index = ipa_get_param_decl_index_1 (descriptors, op1);
    1120                 :       69457 :   if (index < 0
    1121                 :       69457 :       || !parm_preserved_before_stmt_p (fbi, index, stmt, op1))
    1122                 :       24538 :     return -1;
    1123                 :             : 
    1124                 :             :   return index;
    1125                 :             : }
    1126                 :             : 
    1127                 :             : /* Return true if memory reference REF (which must be a load through parameter
    1128                 :             :    with INDEX) loads data that are known to be unmodified in this function
    1129                 :             :    before reaching statement STMT.  */
    1130                 :             : 
    1131                 :             : static bool
    1132                 :     4287388 : parm_ref_data_preserved_p (struct ipa_func_body_info *fbi,
    1133                 :             :                            int index, gimple *stmt, tree ref)
    1134                 :             : {
    1135                 :     4287388 :   struct ipa_param_aa_status *paa;
    1136                 :     4287388 :   bool modified = false;
    1137                 :     4287388 :   ao_ref refd;
    1138                 :             : 
    1139                 :     4287388 :   gcc_checking_assert (fbi);
    1140                 :     4287388 :   paa = parm_bb_aa_status_for_bb (fbi, gimple_bb (stmt), index);
    1141                 :     4287388 :   if (paa->ref_modified || fbi->aa_walk_budget == 0)
    1142                 :             :     return false;
    1143                 :             : 
    1144                 :     6625498 :   gcc_checking_assert (gimple_vuse (stmt));
    1145                 :     3312749 :   ao_ref_init (&refd, ref);
    1146                 :     6625498 :   int walked = walk_aliased_vdefs (&refd, gimple_vuse (stmt), mark_modified,
    1147                 :             :                                    &modified, NULL, NULL,
    1148                 :             :                                    fbi->aa_walk_budget);
    1149                 :     3312749 :   if (walked < 0)
    1150                 :             :     {
    1151                 :           8 :       modified = true;
    1152                 :           8 :       fbi->aa_walk_budget = 0;
    1153                 :             :     }
    1154                 :             :   else
    1155                 :     3312741 :     fbi->aa_walk_budget -= walked;
    1156                 :     3312749 :   if (modified)
    1157                 :      575191 :     paa->ref_modified = true;
    1158                 :     3312749 :   return !modified;
    1159                 :             : }
    1160                 :             : 
    1161                 :             : /* Return true if the data pointed to by PARM (which is a parameter with INDEX)
    1162                 :             :    is known to be unmodified in this function before reaching call statement
    1163                 :             :    CALL into which it is passed.  FBI describes the function body.  */
    1164                 :             : 
    1165                 :             : static bool
    1166                 :     1083855 : parm_ref_data_pass_through_p (struct ipa_func_body_info *fbi, int index,
    1167                 :             :                               gimple *call, tree parm)
    1168                 :             : {
    1169                 :     1083855 :   bool modified = false;
    1170                 :     1083855 :   ao_ref refd;
    1171                 :             : 
    1172                 :             :   /* It's unnecessary to calculate anything about memory contnets for a const
    1173                 :             :      function because it is not goin to use it.  But do not cache the result
    1174                 :             :      either.  Also, no such calculations for non-pointers.  */
    1175                 :     1512698 :   if (!gimple_vuse (call)
    1176                 :     1083855 :       || !POINTER_TYPE_P (TREE_TYPE (parm)))
    1177                 :             :     return false;
    1178                 :             : 
    1179                 :      767061 :   struct ipa_param_aa_status *paa = parm_bb_aa_status_for_bb (fbi,
    1180                 :             :                                                               gimple_bb (call),
    1181                 :             :                                                               index);
    1182                 :      767061 :   if (paa->pt_modified || fbi->aa_walk_budget == 0)
    1183                 :             :     return false;
    1184                 :             : 
    1185                 :      655012 :   ao_ref_init_from_ptr_and_size (&refd, parm, NULL_TREE);
    1186                 :     1310024 :   int walked = walk_aliased_vdefs (&refd, gimple_vuse (call), mark_modified,
    1187                 :             :                                    &modified, NULL, NULL,
    1188                 :             :                                    fbi->aa_walk_budget);
    1189                 :      655012 :   if (walked < 0)
    1190                 :             :     {
    1191                 :           0 :       fbi->aa_walk_budget = 0;
    1192                 :           0 :       modified = true;
    1193                 :             :     }
    1194                 :             :   else
    1195                 :      655012 :     fbi->aa_walk_budget -= walked;
    1196                 :      655012 :   if (modified)
    1197                 :      255584 :     paa->pt_modified = true;
    1198                 :      655012 :   return !modified;
    1199                 :             : }
    1200                 :             : 
    1201                 :             : /* Return true if we can prove that OP is a memory reference loading
    1202                 :             :    data from an aggregate passed as a parameter.
    1203                 :             : 
    1204                 :             :    The function works in two modes.  If GUARANTEED_UNMODIFIED is NULL, it return
    1205                 :             :    false if it cannot prove that the value has not been modified before the
    1206                 :             :    load in STMT.  If GUARANTEED_UNMODIFIED is not NULL, it will return true even
    1207                 :             :    if it cannot prove the value has not been modified, in that case it will
    1208                 :             :    store false to *GUARANTEED_UNMODIFIED, otherwise it will store true there.
    1209                 :             : 
    1210                 :             :    INFO and PARMS_AINFO describe parameters of the current function (but the
    1211                 :             :    latter can be NULL), STMT is the load statement.  If function returns true,
    1212                 :             :    *INDEX_P, *OFFSET_P and *BY_REF is filled with the parameter index, offset
    1213                 :             :    within the aggregate and whether it is a load from a value passed by
    1214                 :             :    reference respectively.
    1215                 :             : 
    1216                 :             :    Return false if the offset divided by BITS_PER_UNIT would not fit into an
    1217                 :             :    unsigned int.  */
    1218                 :             : 
    1219                 :             : bool
    1220                 :    24026514 : ipa_load_from_parm_agg (struct ipa_func_body_info *fbi,
    1221                 :             :                         vec<ipa_param_descriptor, va_gc> *descriptors,
    1222                 :             :                         gimple *stmt, tree op, int *index_p,
    1223                 :             :                         HOST_WIDE_INT *offset_p, poly_int64 *size_p,
    1224                 :             :                         bool *by_ref_p, bool *guaranteed_unmodified)
    1225                 :             : {
    1226                 :    24026514 :   int index;
    1227                 :    24026514 :   HOST_WIDE_INT size;
    1228                 :    24026514 :   bool reverse;
    1229                 :    24026514 :   tree base = get_ref_base_and_extent_hwi (op, offset_p, &size, &reverse);
    1230                 :             : 
    1231                 :    24026514 :   if (!base
    1232                 :    22720216 :       || (*offset_p / BITS_PER_UNIT) > UINT_MAX)
    1233                 :             :     return false;
    1234                 :             : 
    1235                 :             :   /* We can not propagate across volatile loads.  */
    1236                 :    22720185 :   if (TREE_THIS_VOLATILE (op))
    1237                 :             :     return false;
    1238                 :             : 
    1239                 :    21521045 :   if (DECL_P (base))
    1240                 :             :     {
    1241                 :    10809801 :       int index = ipa_get_param_decl_index_1 (descriptors, base);
    1242                 :    10809801 :       if (index >= 0
    1243                 :    10809801 :           && parm_preserved_before_stmt_p (fbi, index, stmt, op))
    1244                 :             :         {
    1245                 :      736051 :           *index_p = index;
    1246                 :      736051 :           *by_ref_p = false;
    1247                 :      736051 :           if (size_p)
    1248                 :       23237 :             *size_p = size;
    1249                 :      736051 :           if (guaranteed_unmodified)
    1250                 :         151 :             *guaranteed_unmodified = true;
    1251                 :      736051 :           return true;
    1252                 :             :         }
    1253                 :    10073750 :       return false;
    1254                 :             :     }
    1255                 :             : 
    1256                 :    10711244 :   if (TREE_CODE (base) != MEM_REF
    1257                 :    10090563 :            || TREE_CODE (TREE_OPERAND (base, 0)) != SSA_NAME
    1258                 :    20798289 :            || !integer_zerop (TREE_OPERAND (base, 1)))
    1259                 :     1470531 :     return false;
    1260                 :             : 
    1261                 :     9240713 :   if (SSA_NAME_IS_DEFAULT_DEF (TREE_OPERAND (base, 0)))
    1262                 :             :     {
    1263                 :     4402019 :       tree parm = SSA_NAME_VAR (TREE_OPERAND (base, 0));
    1264                 :     4402019 :       index = ipa_get_param_decl_index_1 (descriptors, parm);
    1265                 :             :     }
    1266                 :             :   else
    1267                 :             :     {
    1268                 :             :       /* This branch catches situations where a pointer parameter is not a
    1269                 :             :          gimple register, for example:
    1270                 :             : 
    1271                 :             :          void hip7(S*) (struct S * p)
    1272                 :             :          {
    1273                 :             :          void (*<T2e4>) (struct S *) D.1867;
    1274                 :             :          struct S * p.1;
    1275                 :             : 
    1276                 :             :          <bb 2>:
    1277                 :             :          p.1_1 = p;
    1278                 :             :          D.1867_2 = p.1_1->f;
    1279                 :             :          D.1867_2 ();
    1280                 :             :          gdp = &p;
    1281                 :             :       */
    1282                 :             : 
    1283                 :     4838694 :       gimple *def = SSA_NAME_DEF_STMT (TREE_OPERAND (base, 0));
    1284                 :     4838694 :       index = load_from_unmodified_param (fbi, descriptors, def);
    1285                 :             :     }
    1286                 :             : 
    1287                 :     9240713 :   if (index >= 0)
    1288                 :             :     {
    1289                 :     4287103 :       bool data_preserved = parm_ref_data_preserved_p (fbi, index, stmt, op);
    1290                 :     4287103 :       if (!data_preserved && !guaranteed_unmodified)
    1291                 :             :         return false;
    1292                 :             : 
    1293                 :     2737685 :       *index_p = index;
    1294                 :     2737685 :       *by_ref_p = true;
    1295                 :     2737685 :       if (size_p)
    1296                 :       21676 :         *size_p = size;
    1297                 :     2737685 :       if (guaranteed_unmodified)
    1298                 :        2065 :         *guaranteed_unmodified = data_preserved;
    1299                 :     2737685 :       return true;
    1300                 :             :     }
    1301                 :             :   return false;
    1302                 :             : }
    1303                 :             : 
    1304                 :             : /* If STMT is an assignment that loads a value from a parameter declaration,
    1305                 :             :    or from an aggregate passed as the parameter either by value or reference,
    1306                 :             :    return the index of the parameter in ipa_node_params.  Otherwise return -1.
    1307                 :             : 
    1308                 :             :    FBI holds gathered information about the function.  INFO describes
    1309                 :             :    parameters of the function, STMT is the assignment statement.  If it is a
    1310                 :             :    memory load from an aggregate, *OFFSET_P is filled with offset within the
    1311                 :             :    aggregate, and *BY_REF_P specifies whether the aggregate is passed by
    1312                 :             :    reference.  */
    1313                 :             : 
    1314                 :             : static int
    1315                 :      307659 : load_from_unmodified_param_or_agg (struct ipa_func_body_info *fbi,
    1316                 :             :                                    class ipa_node_params *info,
    1317                 :             :                                    gimple *stmt,
    1318                 :             :                                    HOST_WIDE_INT *offset_p,
    1319                 :             :                                    bool *by_ref_p)
    1320                 :             : {
    1321                 :      307659 :   int index = load_from_unmodified_param (fbi, info->descriptors, stmt);
    1322                 :      307659 :   poly_int64 size;
    1323                 :             : 
    1324                 :             :   /* Load value from a parameter declaration.  */
    1325                 :      307659 :   if (index >= 0)
    1326                 :             :     {
    1327                 :         176 :       *offset_p = -1;
    1328                 :         176 :       return index;
    1329                 :             :     }
    1330                 :             : 
    1331                 :      307483 :   if (!gimple_assign_load_p (stmt))
    1332                 :             :     return -1;
    1333                 :             : 
    1334                 :      183971 :   tree rhs = gimple_assign_rhs1 (stmt);
    1335                 :             : 
    1336                 :             :   /* Skip memory reference containing VIEW_CONVERT_EXPR.  */
    1337                 :      412848 :   for (tree t = rhs; handled_component_p (t); t = TREE_OPERAND (t, 0))
    1338                 :      228881 :     if (TREE_CODE (t) == VIEW_CONVERT_EXPR)
    1339                 :             :       return -1;
    1340                 :             : 
    1341                 :             :   /* Skip memory reference containing bit-field.  */
    1342                 :      183967 :   if (TREE_CODE (rhs) == BIT_FIELD_REF
    1343                 :      183967 :       || contains_bitfld_component_ref_p (rhs))
    1344                 :           0 :     return -1;
    1345                 :             : 
    1346                 :      183967 :   if (!ipa_load_from_parm_agg (fbi, info->descriptors, stmt, rhs, &index,
    1347                 :             :                                offset_p, &size, by_ref_p))
    1348                 :             :     return -1;
    1349                 :             : 
    1350                 :       42450 :   gcc_assert (!maybe_ne (tree_to_poly_int64 (TYPE_SIZE (TREE_TYPE (rhs))),
    1351                 :             :                          size));
    1352                 :       42450 :   if (!*by_ref_p)
    1353                 :             :     {
    1354                 :       22716 :       tree param_type = ipa_get_type (info, index);
    1355                 :             : 
    1356                 :       22716 :       if (!param_type || !AGGREGATE_TYPE_P (param_type))
    1357                 :             :         return -1;
    1358                 :             :     }
    1359                 :       19734 :   else if (TREE_THIS_VOLATILE (rhs))
    1360                 :             :     return -1;
    1361                 :             : 
    1362                 :       41107 :   return index;
    1363                 :             : }
    1364                 :             : 
    1365                 :             : /* Walk pointer adjustemnts from OP (such as POINTER_PLUS and ADDR_EXPR)
    1366                 :             :    to find original pointer.  Initialize RET to the pointer which results from
    1367                 :             :    the walk.
    1368                 :             :    If offset is known return true and initialize OFFSET_RET.  */
    1369                 :             : 
    1370                 :             : bool
    1371                 :    14647129 : unadjusted_ptr_and_unit_offset (tree op, tree *ret, poly_int64 *offset_ret)
    1372                 :             : {
    1373                 :    14647129 :   poly_int64 offset = 0;
    1374                 :    14647129 :   bool offset_known = true;
    1375                 :    14647129 :   int i;
    1376                 :             : 
    1377                 :    18861077 :   for (i = 0; i < param_ipa_jump_function_lookups; i++)
    1378                 :             :     {
    1379                 :    18859763 :       if (TREE_CODE (op) == ADDR_EXPR)
    1380                 :             :         {
    1381                 :     1424950 :           poly_int64 extra_offset;
    1382                 :     1424950 :           tree base = get_addr_base_and_unit_offset (TREE_OPERAND (op, 0),
    1383                 :             :                                                      &extra_offset);
    1384                 :     1424950 :           if (!base)
    1385                 :             :             {
    1386                 :       22858 :               base = get_base_address (TREE_OPERAND (op, 0));
    1387                 :       22858 :               if (TREE_CODE (base) != MEM_REF)
    1388                 :             :                 break;
    1389                 :             :               offset_known = false;
    1390                 :             :             }
    1391                 :             :           else
    1392                 :             :             {
    1393                 :     1402092 :               if (TREE_CODE (base) != MEM_REF)
    1394                 :             :                 break;
    1395                 :      221633 :               offset += extra_offset;
    1396                 :             :             }
    1397                 :      221633 :           op = TREE_OPERAND (base, 0);
    1398                 :      221633 :           if (mem_ref_offset (base).to_shwi (&extra_offset))
    1399                 :      221633 :             offset += extra_offset;
    1400                 :             :           else
    1401                 :             :             offset_known = false;
    1402                 :             :         }
    1403                 :    17434813 :       else if (TREE_CODE (op) == SSA_NAME
    1404                 :    17434813 :                && !SSA_NAME_IS_DEFAULT_DEF (op))
    1405                 :             :         {
    1406                 :     5891838 :           gimple *pstmt = SSA_NAME_DEF_STMT (op);
    1407                 :             : 
    1408                 :     5891838 :           if (gimple_assign_single_p (pstmt))
    1409                 :     2874131 :             op = gimple_assign_rhs1 (pstmt);
    1410                 :     3017707 :           else if (is_gimple_assign (pstmt)
    1411                 :     3017707 :                    && gimple_assign_rhs_code (pstmt) == POINTER_PLUS_EXPR)
    1412                 :             :             {
    1413                 :     1118184 :               poly_int64 extra_offset = 0;
    1414                 :     1118184 :               if (ptrdiff_tree_p (gimple_assign_rhs2 (pstmt),
    1415                 :             :                   &extra_offset))
    1416                 :     1118184 :                 offset += extra_offset;
    1417                 :             :               else
    1418                 :             :                 offset_known = false;
    1419                 :     1118184 :               op = gimple_assign_rhs1 (pstmt);
    1420                 :             :             }
    1421                 :             :           else
    1422                 :             :             break;
    1423                 :             :         }
    1424                 :             :       else
    1425                 :             :         break;
    1426                 :             :     }
    1427                 :    14647129 :   *ret = op;
    1428                 :    14647129 :   *offset_ret = offset;
    1429                 :    14647129 :   return offset_known;
    1430                 :             : }
    1431                 :             : 
    1432                 :             : /* Given that an actual argument is an SSA_NAME (given in NAME) and is a result
    1433                 :             :    of an assignment statement STMT, try to determine whether we are actually
    1434                 :             :    handling any of the following cases and construct an appropriate jump
    1435                 :             :    function into JFUNC if so:
    1436                 :             : 
    1437                 :             :    1) The passed value is loaded from a formal parameter which is not a gimple
    1438                 :             :    register (most probably because it is addressable, the value has to be
    1439                 :             :    scalar) and we can guarantee the value has not changed.  This case can
    1440                 :             :    therefore be described by a simple pass-through jump function.  For example:
    1441                 :             : 
    1442                 :             :       foo (int a)
    1443                 :             :       {
    1444                 :             :         int a.0;
    1445                 :             : 
    1446                 :             :         a.0_2 = a;
    1447                 :             :         bar (a.0_2);
    1448                 :             : 
    1449                 :             :    2) The passed value can be described by a simple arithmetic pass-through
    1450                 :             :    jump function. E.g.
    1451                 :             : 
    1452                 :             :       foo (int a)
    1453                 :             :       {
    1454                 :             :         int D.2064;
    1455                 :             : 
    1456                 :             :         D.2064_4 = a.1(D) + 4;
    1457                 :             :         bar (D.2064_4);
    1458                 :             : 
    1459                 :             :    This case can also occur in combination of the previous one, e.g.:
    1460                 :             : 
    1461                 :             :       foo (int a, int z)
    1462                 :             :       {
    1463                 :             :         int a.0;
    1464                 :             :         int D.2064;
    1465                 :             : 
    1466                 :             :         a.0_3 = a;
    1467                 :             :         D.2064_4 = a.0_3 + 4;
    1468                 :             :         foo (D.2064_4);
    1469                 :             : 
    1470                 :             :    3) The passed value is an address of an object within another one (which
    1471                 :             :    also passed by reference).  Such situations are described by an ancestor
    1472                 :             :    jump function and describe situations such as:
    1473                 :             : 
    1474                 :             :      B::foo() (struct B * const this)
    1475                 :             :      {
    1476                 :             :        struct A * D.1845;
    1477                 :             : 
    1478                 :             :        D.1845_2 = &this_1(D)->D.1748;
    1479                 :             :        A::bar (D.1845_2);
    1480                 :             : 
    1481                 :             :    INFO is the structure describing individual parameters access different
    1482                 :             :    stages of IPA optimizations.  PARMS_AINFO contains the information that is
    1483                 :             :    only needed for intraprocedural analysis.  */
    1484                 :             : 
    1485                 :             : static void
    1486                 :     1150029 : compute_complex_assign_jump_func (struct ipa_func_body_info *fbi,
    1487                 :             :                                   class ipa_node_params *info,
    1488                 :             :                                   struct ipa_jump_func *jfunc,
    1489                 :             :                                   gcall *call, gimple *stmt, tree name,
    1490                 :             :                                   tree param_type)
    1491                 :             : {
    1492                 :     1150029 :   HOST_WIDE_INT offset, size;
    1493                 :     1150029 :   tree op1, tc_ssa, base, ssa;
    1494                 :     1150029 :   bool reverse;
    1495                 :     1150029 :   int index;
    1496                 :             : 
    1497                 :     1150029 :   op1 = gimple_assign_rhs1 (stmt);
    1498                 :             : 
    1499                 :     1150029 :   if (TREE_CODE (op1) == SSA_NAME)
    1500                 :             :     {
    1501                 :      356024 :       if (SSA_NAME_IS_DEFAULT_DEF (op1))
    1502                 :      106761 :         index = ipa_get_param_decl_index (info, SSA_NAME_VAR (op1));
    1503                 :             :       else
    1504                 :      249263 :         index = load_from_unmodified_param (fbi, info->descriptors,
    1505                 :      249263 :                                             SSA_NAME_DEF_STMT (op1));
    1506                 :             :       tc_ssa = op1;
    1507                 :             :     }
    1508                 :             :   else
    1509                 :             :     {
    1510                 :      794005 :       index = load_from_unmodified_param (fbi, info->descriptors, stmt);
    1511                 :      794005 :       tc_ssa = gimple_assign_lhs (stmt);
    1512                 :             :     }
    1513                 :             : 
    1514                 :     1150029 :   if (index >= 0)
    1515                 :             :     {
    1516                 :      108165 :       switch (gimple_assign_rhs_class (stmt))
    1517                 :             :         {
    1518                 :       59700 :         case GIMPLE_BINARY_RHS:
    1519                 :       59700 :           {
    1520                 :       59700 :             tree op2 = gimple_assign_rhs2 (stmt);
    1521                 :       59700 :             if (!is_gimple_ip_invariant (op2)
    1522                 :       59700 :                 || ((TREE_CODE_CLASS (gimple_assign_rhs_code (stmt))
    1523                 :             :                      != tcc_comparison)
    1524                 :       30626 :                     && !useless_type_conversion_p (TREE_TYPE (name),
    1525                 :       30626 :                                                    TREE_TYPE (op1))))
    1526                 :     1006356 :               return;
    1527                 :             : 
    1528                 :       37195 :             ipa_set_jf_arith_pass_through (jfunc, index, op2,
    1529                 :             :                                            gimple_assign_rhs_code (stmt));
    1530                 :       37195 :             break;
    1531                 :             :           }
    1532                 :        1236 :         case GIMPLE_SINGLE_RHS:
    1533                 :        1236 :           {
    1534                 :        1236 :             bool agg_p = parm_ref_data_pass_through_p (fbi, index, call,
    1535                 :             :                                                        tc_ssa);
    1536                 :        1236 :             ipa_set_jf_simple_pass_through (jfunc, index, agg_p);
    1537                 :        1236 :             break;
    1538                 :             :           }
    1539                 :       47227 :         case GIMPLE_UNARY_RHS:
    1540                 :       47227 :           if (!CONVERT_EXPR_CODE_P (gimple_assign_rhs_code (stmt)))
    1541                 :        1010 :             ipa_set_jf_unary_pass_through (jfunc, index,
    1542                 :             :                                            gimple_assign_rhs_code (stmt));
    1543                 :       85660 :         default:;
    1544                 :             :         }
    1545                 :       85660 :       return;
    1546                 :             :     }
    1547                 :             : 
    1548                 :     1041864 :   if (TREE_CODE (op1) != ADDR_EXPR)
    1549                 :             :     return;
    1550                 :      213033 :   op1 = TREE_OPERAND (op1, 0);
    1551                 :      213033 :   base = get_ref_base_and_extent_hwi (op1, &offset, &size, &reverse);
    1552                 :      213033 :   offset_int mem_offset;
    1553                 :      213033 :   if (!base
    1554                 :      186603 :       || TREE_CODE (base) != MEM_REF
    1555                 :      387052 :       || !mem_ref_offset (base).is_constant (&mem_offset))
    1556                 :       39014 :     return;
    1557                 :      174019 :   offset += mem_offset.to_short_addr () * BITS_PER_UNIT;
    1558                 :      174019 :   ssa = TREE_OPERAND (base, 0);
    1559                 :      174019 :   if (TREE_CODE (ssa) != SSA_NAME
    1560                 :      174019 :       || !SSA_NAME_IS_DEFAULT_DEF (ssa)
    1561                 :      317791 :       || offset < 0)
    1562                 :             :     return;
    1563                 :             : 
    1564                 :             :   /* Dynamic types are changed in constructors and destructors.  */
    1565                 :      143673 :   index = ipa_get_param_decl_index (info, SSA_NAME_VAR (ssa));
    1566                 :      143673 :   if (index >= 0 && param_type && POINTER_TYPE_P (param_type))
    1567                 :      140988 :     ipa_set_ancestor_jf (jfunc, offset,  index,
    1568                 :      140988 :                          parm_ref_data_pass_through_p (fbi, index, call, ssa),
    1569                 :             :                          false);
    1570                 :             : }
    1571                 :             : 
    1572                 :             : /* Extract the base, offset and MEM_REF expression from a statement ASSIGN if
    1573                 :             :    it looks like:
    1574                 :             : 
    1575                 :             :    iftmp.1_3 = &obj_2(D)->D.1762;
    1576                 :             : 
    1577                 :             :    The base of the MEM_REF must be a default definition SSA NAME of a
    1578                 :             :    parameter.  Return NULL_TREE if it looks otherwise.  If case of success, the
    1579                 :             :    whole MEM_REF expression is returned and the offset calculated from any
    1580                 :             :    handled components and the MEM_REF itself is stored into *OFFSET.  The whole
    1581                 :             :    RHS stripped off the ADDR_EXPR is stored into *OBJ_P.  */
    1582                 :             : 
    1583                 :             : static tree
    1584                 :       16115 : get_ancestor_addr_info (gimple *assign, tree *obj_p, HOST_WIDE_INT *offset)
    1585                 :             : {
    1586                 :       16115 :   HOST_WIDE_INT size;
    1587                 :       16115 :   tree expr, parm, obj;
    1588                 :       16115 :   bool reverse;
    1589                 :             : 
    1590                 :       16115 :   if (!gimple_assign_single_p (assign))
    1591                 :             :     return NULL_TREE;
    1592                 :        9224 :   expr = gimple_assign_rhs1 (assign);
    1593                 :             : 
    1594                 :        9224 :   if (TREE_CODE (expr) != ADDR_EXPR)
    1595                 :             :     return NULL_TREE;
    1596                 :        4325 :   expr = TREE_OPERAND (expr, 0);
    1597                 :        4325 :   obj = expr;
    1598                 :        4325 :   expr = get_ref_base_and_extent_hwi (expr, offset, &size, &reverse);
    1599                 :             : 
    1600                 :        4325 :   offset_int mem_offset;
    1601                 :        4325 :   if (!expr
    1602                 :        4323 :       || TREE_CODE (expr) != MEM_REF
    1603                 :        8648 :       || !mem_ref_offset (expr).is_constant (&mem_offset))
    1604                 :           2 :     return NULL_TREE;
    1605                 :        4323 :   parm = TREE_OPERAND (expr, 0);
    1606                 :        4323 :   if (TREE_CODE (parm) != SSA_NAME
    1607                 :        4323 :       || !SSA_NAME_IS_DEFAULT_DEF (parm)
    1608                 :        5100 :       || TREE_CODE (SSA_NAME_VAR (parm)) != PARM_DECL)
    1609                 :             :     return NULL_TREE;
    1610                 :             : 
    1611                 :         777 :   *offset += mem_offset.to_short_addr () * BITS_PER_UNIT;
    1612                 :         777 :   *obj_p = obj;
    1613                 :         777 :   return expr;
    1614                 :             : }
    1615                 :             : 
    1616                 :             : 
    1617                 :             : /* Given that an actual argument is an SSA_NAME that is a result of a phi
    1618                 :             :    statement PHI, try to find out whether NAME is in fact a
    1619                 :             :    multiple-inheritance typecast from a descendant into an ancestor of a formal
    1620                 :             :    parameter and thus can be described by an ancestor jump function and if so,
    1621                 :             :    write the appropriate function into JFUNC.
    1622                 :             : 
    1623                 :             :    Essentially we want to match the following pattern:
    1624                 :             : 
    1625                 :             :      if (obj_2(D) != 0B)
    1626                 :             :        goto <bb 3>;
    1627                 :             :      else
    1628                 :             :        goto <bb 4>;
    1629                 :             : 
    1630                 :             :    <bb 3>:
    1631                 :             :      iftmp.1_3 = &obj_2(D)->D.1762;
    1632                 :             : 
    1633                 :             :    <bb 4>:
    1634                 :             :      # iftmp.1_1 = PHI <iftmp.1_3(3), 0B(2)>
    1635                 :             :      D.1879_6 = middleman_1 (iftmp.1_1, i_5(D));
    1636                 :             :      return D.1879_6;  */
    1637                 :             : 
    1638                 :             : static void
    1639                 :       83021 : compute_complex_ancestor_jump_func (struct ipa_func_body_info *fbi,
    1640                 :             :                                     class ipa_node_params *info,
    1641                 :             :                                     struct ipa_jump_func *jfunc,
    1642                 :             :                                     gcall *call, gphi *phi)
    1643                 :             : {
    1644                 :       83021 :   HOST_WIDE_INT offset;
    1645                 :       83021 :   gimple *assign;
    1646                 :       83021 :   basic_block phi_bb, assign_bb, cond_bb;
    1647                 :       83021 :   tree tmp, parm, expr, obj;
    1648                 :       83021 :   int index, i;
    1649                 :             : 
    1650                 :       83021 :   if (gimple_phi_num_args (phi) != 2)
    1651                 :       83007 :     return;
    1652                 :             : 
    1653                 :       68734 :   if (integer_zerop (PHI_ARG_DEF (phi, 1)))
    1654                 :        3994 :     tmp = PHI_ARG_DEF (phi, 0);
    1655                 :       64740 :   else if (integer_zerop (PHI_ARG_DEF (phi, 0)))
    1656                 :       11367 :     tmp = PHI_ARG_DEF (phi, 1);
    1657                 :             :   else
    1658                 :             :     return;
    1659                 :       15361 :   if (TREE_CODE (tmp) != SSA_NAME
    1660                 :       13209 :       || SSA_NAME_IS_DEFAULT_DEF (tmp)
    1661                 :       13078 :       || !POINTER_TYPE_P (TREE_TYPE (tmp))
    1662                 :       18530 :       || TREE_CODE (TREE_TYPE (TREE_TYPE (tmp))) != RECORD_TYPE)
    1663                 :             :     return;
    1664                 :             : 
    1665                 :        1164 :   assign = SSA_NAME_DEF_STMT (tmp);
    1666                 :        1164 :   assign_bb = gimple_bb (assign);
    1667                 :       83703 :   if (!single_pred_p (assign_bb))
    1668                 :             :     return;
    1669                 :         696 :   expr = get_ancestor_addr_info (assign, &obj, &offset);
    1670                 :         696 :   if (!expr)
    1671                 :             :     return;
    1672                 :          26 :   parm = TREE_OPERAND (expr, 0);
    1673                 :          26 :   index = ipa_get_param_decl_index (info, SSA_NAME_VAR (parm));
    1674                 :          26 :   if (index < 0)
    1675                 :             :     return;
    1676                 :             : 
    1677                 :          26 :   cond_bb = single_pred (assign_bb);
    1678                 :          52 :   gcond *cond = safe_dyn_cast <gcond *> (*gsi_last_bb (cond_bb));
    1679                 :          26 :   if (!cond
    1680                 :          26 :       || gimple_cond_code (cond) != NE_EXPR
    1681                 :          26 :       || gimple_cond_lhs (cond) != parm
    1682                 :          14 :       || !integer_zerop (gimple_cond_rhs (cond)))
    1683                 :          12 :     return;
    1684                 :             : 
    1685                 :          14 :   phi_bb = gimple_bb (phi);
    1686                 :          42 :   for (i = 0; i < 2; i++)
    1687                 :             :     {
    1688                 :          28 :       basic_block pred = EDGE_PRED (phi_bb, i)->src;
    1689                 :          28 :       if (pred != assign_bb && pred != cond_bb)
    1690                 :             :         return;
    1691                 :             :     }
    1692                 :             : 
    1693                 :          14 :   ipa_set_ancestor_jf (jfunc, offset, index,
    1694                 :          14 :                        parm_ref_data_pass_through_p (fbi, index, call, parm),
    1695                 :             :                        true);
    1696                 :             : }
    1697                 :             : 
    1698                 :             : /* Inspect the given TYPE and return true iff it has the same structure (the
    1699                 :             :    same number of fields of the same types) as a C++ member pointer.  If
    1700                 :             :    METHOD_PTR and DELTA are non-NULL, store the trees representing the
    1701                 :             :    corresponding fields there.  */
    1702                 :             : 
    1703                 :             : static bool
    1704                 :         840 : type_like_member_ptr_p (tree type, tree *method_ptr, tree *delta)
    1705                 :             : {
    1706                 :         840 :   tree fld;
    1707                 :             : 
    1708                 :         840 :   if (TREE_CODE (type) != RECORD_TYPE)
    1709                 :             :     return false;
    1710                 :             : 
    1711                 :         840 :   fld = TYPE_FIELDS (type);
    1712                 :         840 :   if (!fld || !POINTER_TYPE_P (TREE_TYPE (fld))
    1713                 :         840 :       || TREE_CODE (TREE_TYPE (TREE_TYPE (fld))) != METHOD_TYPE
    1714                 :        1680 :       || !tree_fits_uhwi_p (DECL_FIELD_OFFSET (fld)))
    1715                 :             :     return false;
    1716                 :             : 
    1717                 :         840 :   if (method_ptr)
    1718                 :         840 :     *method_ptr = fld;
    1719                 :             : 
    1720                 :         840 :   fld = DECL_CHAIN (fld);
    1721                 :         840 :   if (!fld || INTEGRAL_TYPE_P (fld)
    1722                 :        1680 :       || !tree_fits_uhwi_p (DECL_FIELD_OFFSET (fld)))
    1723                 :             :     return false;
    1724                 :         840 :   if (delta)
    1725                 :         840 :     *delta = fld;
    1726                 :             : 
    1727                 :         840 :   if (DECL_CHAIN (fld))
    1728                 :             :     return false;
    1729                 :             : 
    1730                 :             :   return true;
    1731                 :             : }
    1732                 :             : 
    1733                 :             : /* If RHS is an SSA_NAME and it is defined by a simple copy assign statement,
    1734                 :             :    return the rhs of its defining statement, and this statement is stored in
    1735                 :             :    *RHS_STMT.  Otherwise return RHS as it is.  */
    1736                 :             : 
    1737                 :             : static inline tree
    1738                 :       91670 : get_ssa_def_if_simple_copy (tree rhs, gimple **rhs_stmt)
    1739                 :             : {
    1740                 :      123080 :   while (TREE_CODE (rhs) == SSA_NAME && !SSA_NAME_IS_DEFAULT_DEF (rhs))
    1741                 :             :     {
    1742                 :       66099 :       gimple *def_stmt = SSA_NAME_DEF_STMT (rhs);
    1743                 :             : 
    1744                 :       66099 :       if (gimple_assign_single_p (def_stmt))
    1745                 :       31410 :         rhs = gimple_assign_rhs1 (def_stmt);
    1746                 :             :       else
    1747                 :             :         break;
    1748                 :       31410 :       *rhs_stmt = def_stmt;
    1749                 :             :     }
    1750                 :       91670 :   return rhs;
    1751                 :             : }
    1752                 :             : 
    1753                 :             : /* Simple linked list, describing contents of an aggregate before call.  */
    1754                 :             : 
    1755                 :             : struct ipa_known_agg_contents_list
    1756                 :             : {
    1757                 :             :   /* Offset and size of the described part of the aggregate.  */
    1758                 :             :   HOST_WIDE_INT offset, size;
    1759                 :             : 
    1760                 :             :   /* Type of the described part of the aggregate.  */
    1761                 :             :   tree type;
    1762                 :             : 
    1763                 :             :   /* Known constant value or jump function data describing contents.  */
    1764                 :             :   struct ipa_load_agg_data value;
    1765                 :             : 
    1766                 :             :   /* Pointer to the next structure in the list.  */
    1767                 :             :   struct ipa_known_agg_contents_list *next;
    1768                 :             : };
    1769                 :             : 
    1770                 :             : /* Add an aggregate content item into a linked list of
    1771                 :             :    ipa_known_agg_contents_list structure, in which all elements
    1772                 :             :    are sorted ascendingly by offset.  */
    1773                 :             : 
    1774                 :             : static inline void
    1775                 :     2463932 : add_to_agg_contents_list (struct ipa_known_agg_contents_list **plist,
    1776                 :             :                           struct ipa_known_agg_contents_list *item)
    1777                 :             : {
    1778                 :     2463932 :   struct ipa_known_agg_contents_list *list = *plist;
    1779                 :             : 
    1780                 :     4590398 :   for (; list; list = list->next)
    1781                 :             :     {
    1782                 :     3576289 :       if (list->offset >= item->offset)
    1783                 :             :         break;
    1784                 :             : 
    1785                 :     2126466 :       plist = &list->next;
    1786                 :             :     }
    1787                 :             : 
    1788                 :     2463932 :   item->next = list;
    1789                 :     2463932 :   *plist = item;
    1790                 :             : }
    1791                 :             : 
    1792                 :             : /* Check whether a given aggregate content is clobbered by certain element in
    1793                 :             :    a linked list of ipa_known_agg_contents_list.  */
    1794                 :             : 
    1795                 :             : static inline bool
    1796                 :      960770 : clobber_by_agg_contents_list_p (struct ipa_known_agg_contents_list *list,
    1797                 :             :                                 struct ipa_known_agg_contents_list *item)
    1798                 :             : {
    1799                 :     2096308 :   for (; list; list = list->next)
    1800                 :             :     {
    1801                 :     1723470 :       if (list->offset >= item->offset)
    1802                 :      575422 :         return list->offset < item->offset + item->size;
    1803                 :             : 
    1804                 :     1148048 :       if (list->offset + list->size > item->offset)
    1805                 :             :         return true;
    1806                 :             :     }
    1807                 :             : 
    1808                 :             :   return false;
    1809                 :             : }
    1810                 :             : 
    1811                 :             : /* Build aggregate jump function from LIST, assuming there are exactly
    1812                 :             :    VALUE_COUNT entries there and that offset of the passed argument
    1813                 :             :    is ARG_OFFSET and store it into JFUNC.  */
    1814                 :             : 
    1815                 :             : static void
    1816                 :      294488 : build_agg_jump_func_from_list (struct ipa_known_agg_contents_list *list,
    1817                 :             :                                int value_count, HOST_WIDE_INT arg_offset,
    1818                 :             :                                struct ipa_jump_func *jfunc)
    1819                 :             : {
    1820                 :      294488 :   vec_safe_reserve (jfunc->agg.items, value_count, true);
    1821                 :     1190211 :   for (; list; list = list->next)
    1822                 :             :     {
    1823                 :      895723 :       struct ipa_agg_jf_item item;
    1824                 :      895723 :       tree operand = list->value.pass_through.operand;
    1825                 :             : 
    1826                 :      895723 :       if (list->value.pass_through.formal_id >= 0)
    1827                 :             :         {
    1828                 :             :           /* Content value is derived from some formal paramerter.  */
    1829                 :       67173 :           if (list->value.offset >= 0)
    1830                 :       39835 :             item.jftype = IPA_JF_LOAD_AGG;
    1831                 :             :           else
    1832                 :       27338 :             item.jftype = IPA_JF_PASS_THROUGH;
    1833                 :             : 
    1834                 :       67173 :           item.value.load_agg = list->value;
    1835                 :       67173 :           if (operand)
    1836                 :        6698 :             item.value.pass_through.operand
    1837                 :        6698 :               = unshare_expr_without_location (operand);
    1838                 :             :         }
    1839                 :      828550 :       else if (operand)
    1840                 :             :         {
    1841                 :             :           /* Content value is known constant.  */
    1842                 :      828550 :           item.jftype = IPA_JF_CONST;
    1843                 :      828550 :           item.value.constant = unshare_expr_without_location (operand);
    1844                 :             :         }
    1845                 :             :       else
    1846                 :           0 :         continue;
    1847                 :             : 
    1848                 :      895723 :       item.type = list->type;
    1849                 :      895723 :       gcc_assert (tree_to_shwi (TYPE_SIZE (list->type)) == list->size);
    1850                 :             : 
    1851                 :      895723 :       item.offset = list->offset - arg_offset;
    1852                 :      895723 :       gcc_assert ((item.offset % BITS_PER_UNIT) == 0);
    1853                 :             : 
    1854                 :      895723 :       jfunc->agg.items->quick_push (item);
    1855                 :             :     }
    1856                 :      294488 : }
    1857                 :             : 
    1858                 :             : /* Given an assignment statement STMT, try to collect information into
    1859                 :             :    AGG_VALUE that will be used to construct jump function for RHS of the
    1860                 :             :    assignment, from which content value of an aggregate part comes.
    1861                 :             : 
    1862                 :             :    Besides constant and simple pass-through jump functions, also try to
    1863                 :             :    identify whether it matches the following pattern that can be described by
    1864                 :             :    a load-value-from-aggregate jump function, which is a derivative of simple
    1865                 :             :    pass-through jump function.
    1866                 :             : 
    1867                 :             :      foo (int *p)
    1868                 :             :      {
    1869                 :             :        ...
    1870                 :             : 
    1871                 :             :        *(q_5 + 4) = *(p_3(D) + 28) op 1;
    1872                 :             :        bar (q_5);
    1873                 :             :      }
    1874                 :             : 
    1875                 :             :    Here IPA_LOAD_AGG_DATA data structure is informative enough to describe
    1876                 :             :    constant, simple pass-through and load-vale-from-aggregate. If value
    1877                 :             :    is constant, it will be kept in field OPERAND, and field FORMAL_ID is
    1878                 :             :    set to -1. For simple pass-through and load-value-from-aggregate, field
    1879                 :             :    FORMAL_ID specifies the related formal parameter index, and field
    1880                 :             :    OFFSET can be used to distinguish them, -1 means simple pass-through,
    1881                 :             :    otherwise means load-value-from-aggregate.  */
    1882                 :             : 
    1883                 :             : static void
    1884                 :     1570063 : analyze_agg_content_value (struct ipa_func_body_info *fbi,
    1885                 :             :                            struct ipa_load_agg_data *agg_value,
    1886                 :             :                            gimple *stmt)
    1887                 :             : {
    1888                 :     1570063 :   tree lhs = gimple_assign_lhs (stmt);
    1889                 :     1570063 :   tree rhs1 = gimple_assign_rhs1 (stmt);
    1890                 :     1570063 :   enum tree_code code;
    1891                 :     1570063 :   int index = -1;
    1892                 :             : 
    1893                 :             :   /* Initialize jump function data for the aggregate part.  */
    1894                 :     1570063 :   memset (agg_value, 0, sizeof (*agg_value));
    1895                 :     1570063 :   agg_value->pass_through.operation = NOP_EXPR;
    1896                 :     1570063 :   agg_value->pass_through.formal_id = -1;
    1897                 :     1570063 :   agg_value->offset = -1;
    1898                 :             : 
    1899                 :     1570063 :   if (AGGREGATE_TYPE_P (TREE_TYPE (lhs))  /* TODO: Support aggregate type.  */
    1900                 :     1373741 :       || TREE_THIS_VOLATILE (lhs)
    1901                 :     1373289 :       || TREE_CODE (lhs) == BIT_FIELD_REF
    1902                 :     1373281 :       || contains_bitfld_component_ref_p (lhs))
    1903                 :      203863 :     return;
    1904                 :             : 
    1905                 :             :   /* Skip SSA copies.  */
    1906                 :     1618501 :   while (gimple_assign_rhs_class (stmt) == GIMPLE_SINGLE_RHS)
    1907                 :             :     {
    1908                 :     1556391 :       if (TREE_CODE (rhs1) != SSA_NAME || SSA_NAME_IS_DEFAULT_DEF (rhs1))
    1909                 :             :         break;
    1910                 :             : 
    1911                 :      342846 :       stmt = SSA_NAME_DEF_STMT (rhs1);
    1912                 :      342846 :       if (!is_gimple_assign (stmt))
    1913                 :             :         break;
    1914                 :             : 
    1915                 :      252301 :       rhs1 = gimple_assign_rhs1 (stmt);
    1916                 :             :     }
    1917                 :             : 
    1918                 :     1366200 :   if (gphi *phi = dyn_cast<gphi *> (stmt))
    1919                 :             :     {
    1920                 :             :       /* Also special case like the following (a is a formal parameter):
    1921                 :             : 
    1922                 :             :            _12 = *a_11(D).dim[0].stride;
    1923                 :             :            ...
    1924                 :             :            # iftmp.22_9 = PHI <_12(2), 1(3)>
    1925                 :             :            ...
    1926                 :             :            parm.6.dim[0].stride = iftmp.22_9;
    1927                 :             :            ...
    1928                 :             :            __x_MOD_foo (&parm.6, b_31(D));
    1929                 :             : 
    1930                 :             :          The aggregate function describing parm.6.dim[0].stride is encoded as a
    1931                 :             :          PASS-THROUGH jump function with ASSERT_EXPR operation whith operand 1
    1932                 :             :          (the constant from the PHI node).  */
    1933                 :             : 
    1934                 :       32068 :       if (gimple_phi_num_args (phi) != 2)
    1935                 :             :         return;
    1936                 :       26248 :       tree arg0 = gimple_phi_arg_def (phi, 0);
    1937                 :       26248 :       tree arg1 = gimple_phi_arg_def (phi, 1);
    1938                 :       26248 :       tree operand;
    1939                 :             : 
    1940                 :       26248 :       if (is_gimple_ip_invariant (arg1))
    1941                 :             :         {
    1942                 :             :           operand = arg1;
    1943                 :             :           rhs1 = arg0;
    1944                 :             :         }
    1945                 :       22450 :       else if (is_gimple_ip_invariant (arg0))
    1946                 :             :         {
    1947                 :             :           operand = arg0;
    1948                 :             :           rhs1 = arg1;
    1949                 :             :         }
    1950                 :             :       else
    1951                 :             :         return;
    1952                 :             : 
    1953                 :        7919 :       rhs1 = get_ssa_def_if_simple_copy (rhs1, &stmt);
    1954                 :        7919 :       if (!is_gimple_assign (stmt))
    1955                 :             :         return;
    1956                 :             : 
    1957                 :        3105 :       code = ASSERT_EXPR;
    1958                 :        3105 :       agg_value->pass_through.operand = operand;
    1959                 :             :     }
    1960                 :     1334132 :   else if (is_gimple_assign (stmt))
    1961                 :             :     {
    1962                 :     1275655 :       code = gimple_assign_rhs_code (stmt);
    1963                 :     1275655 :       switch (gimple_assign_rhs_class (stmt))
    1964                 :             :         {
    1965                 :     1213545 :         case GIMPLE_SINGLE_RHS:
    1966                 :     1213545 :           if (is_gimple_ip_invariant (rhs1))
    1967                 :             :             {
    1968                 :      892117 :               agg_value->pass_through.operand = rhs1;
    1969                 :      892117 :               return;
    1970                 :             :             }
    1971                 :             :           code = NOP_EXPR;
    1972                 :             :           break;
    1973                 :             : 
    1974                 :       20457 :         case GIMPLE_UNARY_RHS:
    1975                 :             :           /* NOTE: A GIMPLE_UNARY_RHS operation might not be tcc_unary
    1976                 :             :              (truth_not_expr is example), GIMPLE_BINARY_RHS does not imply
    1977                 :             :              tcc_binary, this subtleness is somewhat misleading.
    1978                 :             : 
    1979                 :             :              Since tcc_unary is widely used in IPA-CP code to check an operation
    1980                 :             :              with one operand, here we only allow tc_unary operation to avoid
    1981                 :             :              possible problem.  Then we can use (opclass == tc_unary) or not to
    1982                 :             :              distinguish unary and binary.  */
    1983                 :       20457 :           if (TREE_CODE_CLASS (code) != tcc_unary || CONVERT_EXPR_CODE_P (code))
    1984                 :             :             return;
    1985                 :             : 
    1986                 :        1581 :           rhs1 = get_ssa_def_if_simple_copy (rhs1, &stmt);
    1987                 :        1581 :           break;
    1988                 :             : 
    1989                 :       41085 :         case GIMPLE_BINARY_RHS:
    1990                 :       41085 :           {
    1991                 :       41085 :             gimple *rhs1_stmt = stmt;
    1992                 :       41085 :             gimple *rhs2_stmt = stmt;
    1993                 :       41085 :             tree rhs2 = gimple_assign_rhs2 (stmt);
    1994                 :             : 
    1995                 :       41085 :             rhs1 = get_ssa_def_if_simple_copy (rhs1, &rhs1_stmt);
    1996                 :       41085 :             rhs2 = get_ssa_def_if_simple_copy (rhs2, &rhs2_stmt);
    1997                 :             : 
    1998                 :       41085 :             if (is_gimple_ip_invariant (rhs2))
    1999                 :             :               {
    2000                 :       20038 :                 agg_value->pass_through.operand = rhs2;
    2001                 :       20038 :                 stmt = rhs1_stmt;
    2002                 :             :               }
    2003                 :       21047 :             else if (is_gimple_ip_invariant (rhs1))
    2004                 :             :               {
    2005                 :        2606 :                 if (TREE_CODE_CLASS (code) == tcc_comparison)
    2006                 :           0 :                   code = swap_tree_comparison (code);
    2007                 :        2606 :                 else if (!commutative_tree_code (code))
    2008                 :       21047 :                   return;
    2009                 :             : 
    2010                 :           0 :                 agg_value->pass_through.operand = rhs1;
    2011                 :           0 :                 stmt = rhs2_stmt;
    2012                 :           0 :                 rhs1 = rhs2;
    2013                 :             :               }
    2014                 :             :             else
    2015                 :             :               return;
    2016                 :             : 
    2017                 :       20038 :             if (TREE_CODE_CLASS (code) != tcc_comparison
    2018                 :       39495 :                 && !useless_type_conversion_p (TREE_TYPE (lhs),
    2019                 :       19457 :                                                TREE_TYPE (rhs1)))
    2020                 :             :               return;
    2021                 :             :           }
    2022                 :       20038 :           break;
    2023                 :             : 
    2024                 :             :         default:
    2025                 :             :           return;
    2026                 :             :         }
    2027                 :             :     }
    2028                 :             :   else
    2029                 :             :     return;
    2030                 :             : 
    2031                 :      346152 :   if (TREE_CODE (rhs1) != SSA_NAME)
    2032                 :      307659 :     index = load_from_unmodified_param_or_agg (fbi, fbi->info, stmt,
    2033                 :             :                                                &agg_value->offset,
    2034                 :             :                                                &agg_value->by_ref);
    2035                 :       38493 :   else if (SSA_NAME_IS_DEFAULT_DEF (rhs1))
    2036                 :       29033 :     index = ipa_get_param_decl_index (fbi->info, SSA_NAME_VAR (rhs1));
    2037                 :             : 
    2038                 :      336692 :   if (index >= 0)
    2039                 :             :     {
    2040                 :       68653 :       if (agg_value->offset >= 0)
    2041                 :       41107 :         agg_value->type = TREE_TYPE (rhs1);
    2042                 :       68653 :       agg_value->pass_through.formal_id = index;
    2043                 :       68653 :       agg_value->pass_through.operation = code;
    2044                 :             :     }
    2045                 :             :   else
    2046                 :      277499 :     agg_value->pass_through.operand = NULL_TREE;
    2047                 :             : }
    2048                 :             : 
    2049                 :             : /* If STMT is a memory store to the object whose address is BASE, extract
    2050                 :             :    information (offset, size, and value) into CONTENT, and return true,
    2051                 :             :    otherwise we conservatively assume the whole object is modified with
    2052                 :             :    unknown content, and return false.  CHECK_REF means that access to object
    2053                 :             :    is expected to be in form of MEM_REF expression.  */
    2054                 :             : 
    2055                 :             : static bool
    2056                 :     2554664 : extract_mem_content (struct ipa_func_body_info *fbi,
    2057                 :             :                      gimple *stmt, tree base, bool check_ref,
    2058                 :             :                      struct ipa_known_agg_contents_list *content)
    2059                 :             : {
    2060                 :     2554664 :   HOST_WIDE_INT lhs_offset, lhs_size;
    2061                 :     2554664 :   bool reverse;
    2062                 :             : 
    2063                 :     2554664 :   if (!is_gimple_assign (stmt))
    2064                 :             :     return false;
    2065                 :             : 
    2066                 :     1679779 :   tree lhs = gimple_assign_lhs (stmt);
    2067                 :     1679779 :   tree lhs_base = get_ref_base_and_extent_hwi (lhs, &lhs_offset, &lhs_size,
    2068                 :             :                                                &reverse);
    2069                 :     1679779 :   if (!lhs_base)
    2070                 :             :     return false;
    2071                 :             : 
    2072                 :     1678175 :   if (check_ref)
    2073                 :             :     {
    2074                 :      143026 :       if (TREE_CODE (lhs_base) != MEM_REF
    2075                 :      118847 :           || TREE_OPERAND (lhs_base, 0) != base
    2076                 :      185499 :           || !integer_zerop (TREE_OPERAND (lhs_base, 1)))
    2077                 :      104864 :         return false;
    2078                 :             :     }
    2079                 :     1535149 :   else if (lhs_base != base)
    2080                 :             :     return false;
    2081                 :             : 
    2082                 :     1570063 :   content->offset = lhs_offset;
    2083                 :     1570063 :   content->size = lhs_size;
    2084                 :     1570063 :   content->type = TREE_TYPE (lhs);
    2085                 :     1570063 :   content->next = NULL;
    2086                 :             : 
    2087                 :     1570063 :   analyze_agg_content_value (fbi, &content->value, stmt);
    2088                 :     1570063 :   return true;
    2089                 :             : }
    2090                 :             : 
    2091                 :             : /* Traverse statements from CALL backwards, scanning whether an aggregate given
    2092                 :             :    in ARG is filled in constants or values that are derived from caller's
    2093                 :             :    formal parameter in the way described by some kinds of jump functions.  FBI
    2094                 :             :    is the context of the caller function for interprocedural analysis.  ARG can
    2095                 :             :    either be an aggregate expression or a pointer to an aggregate.  ARG_TYPE is
    2096                 :             :    the type of the aggregate, JFUNC is the jump function for the aggregate.  */
    2097                 :             : 
    2098                 :             : static void
    2099                 :     3036927 : determine_known_aggregate_parts (struct ipa_func_body_info *fbi,
    2100                 :             :                                  gcall *call, tree arg,
    2101                 :             :                                  tree arg_type,
    2102                 :             :                                  struct ipa_jump_func *jfunc)
    2103                 :             : {
    2104                 :     3036927 :   struct ipa_known_agg_contents_list *list = NULL, *all_list = NULL;
    2105                 :     3036927 :   bitmap visited = NULL;
    2106                 :     3036927 :   int item_count = 0, value_count = 0;
    2107                 :     3036927 :   HOST_WIDE_INT arg_offset, arg_size;
    2108                 :     3036927 :   tree arg_base;
    2109                 :     3036927 :   bool check_ref, by_ref;
    2110                 :     3036927 :   ao_ref r;
    2111                 :     3036927 :   int max_agg_items = opt_for_fn (fbi->node->decl, param_ipa_max_agg_items);
    2112                 :             : 
    2113                 :     3036927 :   if (max_agg_items == 0)
    2114                 :      772727 :     return;
    2115                 :             : 
    2116                 :             :   /* The function operates in three stages.  First, we prepare check_ref, r,
    2117                 :             :      arg_base and arg_offset based on what is actually passed as an actual
    2118                 :             :      argument.  */
    2119                 :             : 
    2120                 :     3036927 :   if (POINTER_TYPE_P (arg_type))
    2121                 :             :     {
    2122                 :     2718732 :       by_ref = true;
    2123                 :     2718732 :       if (TREE_CODE (arg) == SSA_NAME)
    2124                 :             :         {
    2125                 :     1024789 :           tree type_size;
    2126                 :     1024789 :           if (!tree_fits_uhwi_p (TYPE_SIZE (TREE_TYPE (arg_type)))
    2127                 :     1024789 :               || !POINTER_TYPE_P (TREE_TYPE (arg)))
    2128                 :             :             return;
    2129                 :      725336 :           check_ref = true;
    2130                 :      725336 :           arg_base = arg;
    2131                 :      725336 :           arg_offset = 0;
    2132                 :      725336 :           type_size = TYPE_SIZE (TREE_TYPE (arg_type));
    2133                 :      725336 :           arg_size = tree_to_uhwi (type_size);
    2134                 :      725336 :           ao_ref_init_from_ptr_and_size (&r, arg_base, NULL_TREE);
    2135                 :             :         }
    2136                 :     1693943 :       else if (TREE_CODE (arg) == ADDR_EXPR)
    2137                 :             :         {
    2138                 :     1652049 :           bool reverse;
    2139                 :             : 
    2140                 :     1652049 :           arg = TREE_OPERAND (arg, 0);
    2141                 :     1652049 :           arg_base = get_ref_base_and_extent_hwi (arg, &arg_offset,
    2142                 :             :                                                   &arg_size, &reverse);
    2143                 :     1652049 :           if (!arg_base)
    2144                 :      431308 :             return;
    2145                 :     1650837 :           if (DECL_P (arg_base))
    2146                 :             :             {
    2147                 :     1220741 :               check_ref = false;
    2148                 :     1220741 :               ao_ref_init (&r, arg_base);
    2149                 :             :             }
    2150                 :             :           else
    2151                 :             :             return;
    2152                 :             :         }
    2153                 :             :       else
    2154                 :             :         return;
    2155                 :             :     }
    2156                 :             :   else
    2157                 :             :     {
    2158                 :      318195 :       bool reverse;
    2159                 :             : 
    2160                 :      318195 :       gcc_checking_assert (AGGREGATE_TYPE_P (TREE_TYPE (arg)));
    2161                 :             : 
    2162                 :      318195 :       by_ref = false;
    2163                 :      318195 :       check_ref = false;
    2164                 :      318195 :       arg_base = get_ref_base_and_extent_hwi (arg, &arg_offset,
    2165                 :             :                                               &arg_size, &reverse);
    2166                 :      318195 :       if (!arg_base)
    2167                 :          72 :         return;
    2168                 :             : 
    2169                 :      318123 :       ao_ref_init (&r, arg);
    2170                 :             :     }
    2171                 :             : 
    2172                 :             :   /* Second stage traverses virtual SSA web backwards starting from the call
    2173                 :             :      statement, only looks at individual dominating virtual operand (its
    2174                 :             :      definition dominates the call), as long as it is confident that content
    2175                 :             :      of the aggregate is affected by definition of the virtual operand, it
    2176                 :             :      builds a sorted linked list of ipa_agg_jf_list describing that.  */
    2177                 :             : 
    2178                 :     2264200 :   for (tree dom_vuse = gimple_vuse (call);
    2179                 :    21107921 :        dom_vuse && fbi->aa_walk_budget > 0;)
    2180                 :             :     {
    2181                 :    20655909 :       gimple *stmt = SSA_NAME_DEF_STMT (dom_vuse);
    2182                 :             : 
    2183                 :    20655909 :       if (gimple_code (stmt) == GIMPLE_PHI)
    2184                 :             :         {
    2185                 :     2164882 :           dom_vuse = get_continuation_for_phi (stmt, &r, true,
    2186                 :     1082441 :                                                fbi->aa_walk_budget,
    2187                 :             :                                                &visited, false, NULL, NULL);
    2188                 :     1082441 :           continue;
    2189                 :             :         }
    2190                 :             : 
    2191                 :    19573468 :       fbi->aa_walk_budget--;
    2192                 :    19573468 :       if (stmt_may_clobber_ref_p_1 (stmt, &r))
    2193                 :             :         {
    2194                 :     2554664 :           struct ipa_known_agg_contents_list *content
    2195                 :     2554664 :                         = XALLOCA (struct ipa_known_agg_contents_list);
    2196                 :             : 
    2197                 :     2554664 :           if (!extract_mem_content (fbi, stmt, arg_base, check_ref, content))
    2198                 :             :             break;
    2199                 :             : 
    2200                 :             :           /* Now we get a dominating virtual operand, and need to check
    2201                 :             :              whether its value is clobbered any other dominating one.  */
    2202                 :     1570063 :           if ((content->value.pass_through.formal_id >= 0
    2203                 :     1501410 :                || content->value.pass_through.operand)
    2204                 :      960770 :               && !clobber_by_agg_contents_list_p (all_list, content)
    2205                 :             :               /* Since IPA-CP stores results with unsigned int offsets, we can
    2206                 :             :                  discard those which would not fit now before we stream them to
    2207                 :             :                  WPA.  */
    2208                 :     2465924 :               && (content->offset + content->size - arg_offset
    2209                 :             :                   <= (HOST_WIDE_INT) UINT_MAX * BITS_PER_UNIT))
    2210                 :             :             {
    2211                 :      895723 :               struct ipa_known_agg_contents_list *copy
    2212                 :      895723 :                         = XALLOCA (struct ipa_known_agg_contents_list);
    2213                 :             : 
    2214                 :             :               /* Add to the list consisting of only dominating virtual
    2215                 :             :                  operands, whose definitions can finally reach the call.  */
    2216                 :      895723 :               add_to_agg_contents_list (&list, (*copy = *content, copy));
    2217                 :             : 
    2218                 :      895723 :               if (++value_count == max_agg_items)
    2219                 :             :                 break;
    2220                 :             :             }
    2221                 :             : 
    2222                 :             :           /* Add to the list consisting of all dominating virtual operands.  */
    2223                 :     1568209 :           add_to_agg_contents_list (&all_list, content);
    2224                 :             : 
    2225                 :     1568209 :           if (++item_count == 2 * max_agg_items)
    2226                 :             :             break;
    2227                 :             :         }
    2228                 :    36346952 :       dom_vuse = gimple_vuse (stmt);
    2229                 :             :    }
    2230                 :             : 
    2231                 :     2264200 :   if (visited)
    2232                 :      565784 :     BITMAP_FREE (visited);
    2233                 :             : 
    2234                 :             :   /* Third stage just goes over the list and creates an appropriate vector of
    2235                 :             :      ipa_agg_jf_item structures out of it, of course only if there are
    2236                 :             :      any meaningful items to begin with.  */
    2237                 :             : 
    2238                 :     2264200 :   if (value_count)
    2239                 :             :     {
    2240                 :      294488 :       jfunc->agg.by_ref = by_ref;
    2241                 :      294488 :       build_agg_jump_func_from_list (list, value_count, arg_offset, jfunc);
    2242                 :             :     }
    2243                 :             : }
    2244                 :             : 
    2245                 :             : 
    2246                 :             : /* Return the Ith param type of callee associated with call graph
    2247                 :             :    edge E.  */
    2248                 :             : 
    2249                 :             : tree
    2250                 :     5708790 : ipa_get_callee_param_type (struct cgraph_edge *e, int i)
    2251                 :             : {
    2252                 :     5708790 :   int n;
    2253                 :     5708790 :   tree type = (e->callee
    2254                 :     5708790 :                ? TREE_TYPE (e->callee->decl)
    2255                 :      270222 :                : gimple_call_fntype (e->call_stmt));
    2256                 :     5708790 :   tree t = TYPE_ARG_TYPES (type);
    2257                 :             : 
    2258                 :    11643663 :   for (n = 0; n < i; n++)
    2259                 :             :     {
    2260                 :     6186441 :       if (!t)
    2261                 :             :         break;
    2262                 :     5934873 :       t = TREE_CHAIN (t);
    2263                 :             :     }
    2264                 :     5708790 :   if (t && t != void_list_node)
    2265                 :     5367000 :     return TREE_VALUE (t);
    2266                 :      341790 :   if (!e->callee)
    2267                 :             :     return NULL;
    2268                 :      321263 :   t = DECL_ARGUMENTS (e->callee->decl);
    2269                 :      847864 :   for (n = 0; n < i; n++)
    2270                 :             :     {
    2271                 :      803417 :       if (!t)
    2272                 :             :         return NULL;
    2273                 :      526601 :       t = TREE_CHAIN (t);
    2274                 :             :     }
    2275                 :       44447 :   if (t)
    2276                 :        2185 :     return TREE_TYPE (t);
    2277                 :             :   return NULL;
    2278                 :             : }
    2279                 :             : 
    2280                 :             : /* Return a pointer to an ipa_vr just like TMP, but either find it in
    2281                 :             :    ipa_vr_hash_table or allocate it in GC memory.  */
    2282                 :             : 
    2283                 :             : static ipa_vr *
    2284                 :     5125360 : ipa_get_value_range (const vrange &tmp)
    2285                 :             : {
    2286                 :     5125360 :   inchash::hash hstate;
    2287                 :     5125360 :   inchash::add_vrange (tmp, hstate);
    2288                 :     5125360 :   hashval_t hash = hstate.end ();
    2289                 :     5125360 :   ipa_vr **slot = ipa_vr_hash_table->find_slot_with_hash (&tmp, hash, INSERT);
    2290                 :     5125360 :   if (*slot)
    2291                 :             :     return *slot;
    2292                 :             : 
    2293                 :      575069 :   ipa_vr *vr = new (ggc_alloc<ipa_vr> ()) ipa_vr (tmp);
    2294                 :      575069 :   *slot = vr;
    2295                 :      575069 :   return vr;
    2296                 :             : }
    2297                 :             : 
    2298                 :             : /* Assign to JF a pointer to a range just like TMP but either fetch a
    2299                 :             :    copy from ipa_vr_hash_table or allocate a new on in GC memory.  */
    2300                 :             : 
    2301                 :             : static void
    2302                 :     4461507 : ipa_set_jfunc_vr (ipa_jump_func *jf, const vrange &tmp)
    2303                 :             : {
    2304                 :     1696534 :   jf->m_vr = ipa_get_value_range (tmp);
    2305                 :     2764973 : }
    2306                 :             : 
    2307                 :             : static void
    2308                 :      571296 : ipa_set_jfunc_vr (ipa_jump_func *jf, const ipa_vr &vr)
    2309                 :             : {
    2310                 :      571296 :   value_range tmp;
    2311                 :      571296 :   vr.get_vrange (tmp);
    2312                 :      571296 :   ipa_set_jfunc_vr (jf, tmp);
    2313                 :      571296 : }
    2314                 :             : 
    2315                 :             : /* Given VAL that conforms to is_gimple_ip_invariant, produce a VRANGE that
    2316                 :             :    represents it as a range.  CONTEXT_NODE is the call graph node representing
    2317                 :             :    the function for which optimization flags should be evaluated.  */
    2318                 :             : 
    2319                 :             : void
    2320                 :     1081023 : ipa_get_range_from_ip_invariant (vrange &r, tree val, cgraph_node *context_node)
    2321                 :             : {
    2322                 :     1081023 :   if (TREE_CODE (val) == ADDR_EXPR)
    2323                 :             :     {
    2324                 :         767 :       symtab_node *symbol;
    2325                 :         767 :       tree base = TREE_OPERAND (val, 0);
    2326                 :         767 :       if (!DECL_P (base))
    2327                 :             :         {
    2328                 :         150 :           r.set_varying (TREE_TYPE (val));
    2329                 :         150 :           return;
    2330                 :             :         }
    2331                 :         617 :       if (!decl_in_symtab_p (base))
    2332                 :             :         {
    2333                 :           0 :           r.set_nonzero (TREE_TYPE (val));
    2334                 :           0 :           return;
    2335                 :             :         }
    2336                 :         617 :       if (!(symbol = symtab_node::get (base)))
    2337                 :             :         {
    2338                 :           0 :           r.set_varying (TREE_TYPE (val));
    2339                 :           0 :           return;
    2340                 :             :         }
    2341                 :             : 
    2342                 :         617 :       bool delete_null_pointer_checks
    2343                 :         617 :         = opt_for_fn (context_node->decl, flag_delete_null_pointer_checks);
    2344                 :         617 :       if (symbol->nonzero_address (delete_null_pointer_checks))
    2345                 :         617 :         r.set_nonzero (TREE_TYPE (val));
    2346                 :             :       else
    2347                 :           0 :         r.set_varying (TREE_TYPE (val));
    2348                 :             :     }
    2349                 :             :   else
    2350                 :     1080256 :     r.set (val, val);
    2351                 :             : }
    2352                 :             : 
    2353                 :             : /* If T is an SSA_NAME that is the result of a simple type conversion statement
    2354                 :             :    from an integer type to another integer type which is known to be able to
    2355                 :             :    represent the values the operand of the conversion can hold, return the
    2356                 :             :    operand of that conversion, otherwise return T.  */
    2357                 :             : 
    2358                 :             : static tree
    2359                 :     5708790 : skip_a_safe_conversion_op (tree t)
    2360                 :             : {
    2361                 :     5708790 :   if (TREE_CODE (t) != SSA_NAME
    2362                 :     5708790 :       || SSA_NAME_IS_DEFAULT_DEF (t))
    2363                 :             :     return t;
    2364                 :             : 
    2365                 :     1418941 :   gimple *def = SSA_NAME_DEF_STMT (t);
    2366                 :     1418941 :   if (!is_gimple_assign (def)
    2367                 :     1184028 :       || !CONVERT_EXPR_CODE_P (gimple_assign_rhs_code (def))
    2368                 :      265613 :       || !INTEGRAL_TYPE_P (TREE_TYPE (t))
    2369                 :     1619430 :       || !INTEGRAL_TYPE_P (TREE_TYPE (gimple_assign_rhs1 (def))))
    2370                 :             :     return t;
    2371                 :             : 
    2372                 :      192577 :   tree rhs1 = gimple_assign_rhs1 (def);
    2373                 :      192577 :   if (TYPE_PRECISION (TREE_TYPE (t))
    2374                 :      192577 :       >= TYPE_PRECISION (TREE_TYPE (rhs1)))
    2375                 :             :     return gimple_assign_rhs1 (def);
    2376                 :             : 
    2377                 :        5446 :   value_range vr (TREE_TYPE (rhs1));
    2378                 :       10892 :   if (!get_range_query (cfun)->range_of_expr (vr, rhs1, def)
    2379                 :        5446 :       || vr.undefined_p ())
    2380                 :             :     return t;
    2381                 :             : 
    2382                 :        5438 :   irange &ir = as_a <irange> (vr);
    2383                 :        5438 :   if (range_fits_type_p (&ir, TYPE_PRECISION (TREE_TYPE (t)),
    2384                 :        5438 :                          TYPE_SIGN (TREE_TYPE (t))))
    2385                 :        3267 :       return gimple_assign_rhs1 (def);
    2386                 :             : 
    2387                 :             :   return t;
    2388                 :        5446 : }
    2389                 :             : 
    2390                 :             : /* Compute jump function for all arguments of callsite CS and insert the
    2391                 :             :    information in the jump_functions array in the ipa_edge_args corresponding
    2392                 :             :    to this callsite.  */
    2393                 :             : 
    2394                 :             : static void
    2395                 :     2716041 : ipa_compute_jump_functions_for_edge (struct ipa_func_body_info *fbi,
    2396                 :             :                                      struct cgraph_edge *cs)
    2397                 :             : {
    2398                 :     2716041 :   ipa_node_params *info = ipa_node_params_sum->get (cs->caller);
    2399                 :     2716041 :   ipa_edge_args *args = ipa_edge_args_sum->get_create (cs);
    2400                 :     2716041 :   gcall *call = cs->call_stmt;
    2401                 :     2716041 :   int n, arg_num = gimple_call_num_args (call);
    2402                 :     2716041 :   bool useful_context = false;
    2403                 :             : 
    2404                 :     2716041 :   if (arg_num == 0 || args->jump_functions)
    2405                 :             :     return;
    2406                 :     2450352 :   vec_safe_grow_cleared (args->jump_functions, arg_num, true);
    2407                 :     2450352 :   if (flag_devirtualize)
    2408                 :     2279519 :     vec_safe_grow_cleared (args->polymorphic_call_contexts, arg_num, true);
    2409                 :             : 
    2410                 :     2450352 :   if (gimple_call_internal_p (call))
    2411                 :             :     return;
    2412                 :     2450352 :   if (ipa_func_spec_opts_forbid_analysis_p (cs->caller))
    2413                 :             :     return;
    2414                 :             : 
    2415                 :     8159142 :   for (n = 0; n < arg_num; n++)
    2416                 :             :     {
    2417                 :     5708790 :       struct ipa_jump_func *jfunc = ipa_get_ith_jump_func (args, n);
    2418                 :     5708790 :       tree arg = gimple_call_arg (call, n);
    2419                 :     5708790 :       tree param_type = ipa_get_callee_param_type (cs, n);
    2420                 :     5708790 :       if (flag_devirtualize && POINTER_TYPE_P (TREE_TYPE (arg)))
    2421                 :             :         {
    2422                 :     2884287 :           tree instance;
    2423                 :     2884287 :           class ipa_polymorphic_call_context context (cs->caller->decl,
    2424                 :     2884287 :                                                        arg, cs->call_stmt,
    2425                 :     2884287 :                                                        &instance);
    2426                 :     2884287 :           context.get_dynamic_type (instance, arg, NULL, cs->call_stmt,
    2427                 :             :                                     &fbi->aa_walk_budget);
    2428                 :     2884287 :           *ipa_get_ith_polymorhic_call_context (args, n) = context;
    2429                 :     5768574 :           if (!context.useless_p ())
    2430                 :             :             useful_context = true;
    2431                 :             :         }
    2432                 :             : 
    2433                 :     5708790 :       value_range vr (TREE_TYPE (arg));
    2434                 :     5708790 :       if (POINTER_TYPE_P (TREE_TYPE (arg)))
    2435                 :             :         {
    2436                 :     6269524 :           if (!get_range_query (cfun)->range_of_expr (vr, arg, cs->call_stmt)
    2437                 :     3134762 :               || vr.varying_p ()
    2438                 :     5419973 :               || vr.undefined_p ())
    2439                 :             :             {
    2440                 :      849866 :               bool strict_overflow = false;
    2441                 :      849866 :               if (tree_single_nonzero_warnv_p (arg, &strict_overflow))
    2442                 :           0 :                 vr.set_nonzero (TREE_TYPE (arg));
    2443                 :             :               else
    2444                 :      849866 :                 vr.set_varying (TREE_TYPE (arg));
    2445                 :             :             }
    2446                 :     3134762 :           gcc_assert (!vr.undefined_p ());
    2447                 :     3134762 :           unsigned HOST_WIDE_INT bitpos;
    2448                 :     3134762 :           unsigned align = BITS_PER_UNIT;
    2449                 :             : 
    2450                 :     3134762 :           if (!vr.singleton_p ())
    2451                 :     3093263 :             get_pointer_alignment_1 (arg, &align, &bitpos);
    2452                 :             : 
    2453                 :     3134762 :           if (align > BITS_PER_UNIT
    2454                 :     3134762 :               && opt_for_fn (cs->caller->decl, flag_ipa_bit_cp))
    2455                 :             :             {
    2456                 :     1125238 :               unsigned prec = TYPE_PRECISION (TREE_TYPE (arg));
    2457                 :     1125238 :               wide_int mask
    2458                 :     2250476 :                 = wi::bit_and_not (wi::mask (prec, false, prec),
    2459                 :     1125238 :                                    wide_int::from (align / BITS_PER_UNIT - 1,
    2460                 :     1125238 :                                                    prec, UNSIGNED));
    2461                 :     1125238 :               wide_int value = wide_int::from (bitpos / BITS_PER_UNIT, prec,
    2462                 :     1125238 :                                                UNSIGNED);
    2463                 :     1125238 :               irange_bitmask bm (value, mask);
    2464                 :     1125238 :               vr.update_bitmask (bm);
    2465                 :     1125238 :               ipa_set_jfunc_vr (jfunc, vr);
    2466                 :     1125238 :             }
    2467                 :     2009524 :           else if (!vr.varying_p ())
    2468                 :     1219752 :             ipa_set_jfunc_vr (jfunc, vr);
    2469                 :             :           else
    2470                 :      789772 :             gcc_assert (!jfunc->m_vr);
    2471                 :             :         }
    2472                 :             :       else
    2473                 :             :         {
    2474                 :     2574028 :           if (param_type
    2475                 :     2266106 :               && ipa_vr_supported_type_p (TREE_TYPE (arg))
    2476                 :     2574146 :               && ipa_vr_supported_type_p (param_type)
    2477                 :     3373958 :               && get_range_query (cfun)->range_of_expr (vr, arg, cs->call_stmt)
    2478                 :     4261007 :               && !vr.undefined_p ())
    2479                 :             :             {
    2480                 :     1686861 :               value_range resvr (vr);
    2481                 :     1686861 :               range_cast (resvr, param_type);
    2482                 :     1686861 :               if (!resvr.undefined_p () && !resvr.varying_p ())
    2483                 :     1325902 :                 ipa_set_jfunc_vr (jfunc, resvr);
    2484                 :             :               else
    2485                 :      360959 :                 gcc_assert (!jfunc->m_vr);
    2486                 :     1686861 :             }
    2487                 :             :           else
    2488                 :      887167 :             gcc_assert (!jfunc->m_vr);
    2489                 :             :         }
    2490                 :             : 
    2491                 :     5708790 :       arg = skip_a_safe_conversion_op (arg);
    2492                 :     5708790 :       if (is_gimple_ip_invariant (arg)
    2493                 :     5708790 :           || (VAR_P (arg)
    2494                 :      275394 :               && is_global_var (arg)
    2495                 :        9037 :               && TREE_READONLY (arg)))
    2496                 :     2148318 :         ipa_set_jf_constant (jfunc, arg, cs);
    2497                 :     3560472 :       else if (!is_gimple_reg_type (TREE_TYPE (arg))
    2498                 :     3560472 :                && TREE_CODE (arg) == PARM_DECL)
    2499                 :             :         {
    2500                 :       73068 :           int index = ipa_get_param_decl_index (info, arg);
    2501                 :             : 
    2502                 :       73068 :           gcc_assert (index >=0);
    2503                 :             :           /* Aggregate passed by value, check for pass-through, otherwise we
    2504                 :             :              will attempt to fill in aggregate contents later in this
    2505                 :             :              for cycle.  */
    2506                 :       73068 :           if (parm_preserved_before_stmt_p (fbi, index, call, arg))
    2507                 :             :             {
    2508                 :       60091 :               ipa_set_jf_simple_pass_through (jfunc, index, false);
    2509                 :       60091 :               continue;
    2510                 :             :             }
    2511                 :             :         }
    2512                 :     3487404 :       else if (TREE_CODE (arg) == SSA_NAME)
    2513                 :             :         {
    2514                 :     2348179 :           if (SSA_NAME_IS_DEFAULT_DEF (arg))
    2515                 :             :             {
    2516                 :      949000 :               int index = ipa_get_param_decl_index (info, SSA_NAME_VAR (arg));
    2517                 :      949000 :               if (index >= 0)
    2518                 :             :                 {
    2519                 :      941617 :                   bool agg_p;
    2520                 :      941617 :                   agg_p = parm_ref_data_pass_through_p (fbi, index, call, arg);
    2521                 :      941617 :                   ipa_set_jf_simple_pass_through (jfunc, index, agg_p);
    2522                 :             :                 }
    2523                 :             :             }
    2524                 :             :           else
    2525                 :             :             {
    2526                 :     1399179 :               gimple *stmt = SSA_NAME_DEF_STMT (arg);
    2527                 :     1399179 :               if (is_gimple_assign (stmt))
    2528                 :     1150029 :                 compute_complex_assign_jump_func (fbi, info, jfunc,
    2529                 :             :                                                   call, stmt, arg, param_type);
    2530                 :      249150 :               else if (gimple_code (stmt) == GIMPLE_PHI)
    2531                 :       83021 :                 compute_complex_ancestor_jump_func (fbi, info, jfunc,
    2532                 :             :                                                     call,
    2533                 :             :                                                     as_a <gphi *> (stmt));
    2534                 :             :             }
    2535                 :             :         }
    2536                 :             : 
    2537                 :             :       /* If ARG is pointer, we cannot use its type to determine the type of aggregate
    2538                 :             :          passed (because type conversions are ignored in gimple).  Usually we can
    2539                 :             :          safely get type from function declaration, but in case of K&R prototypes or
    2540                 :             :          variadic functions we can try our luck with type of the pointer passed.
    2541                 :             :          TODO: Since we look for actual initialization of the memory object, we may better
    2542                 :             :          work out the type based on the memory stores we find.  */
    2543                 :     5648699 :       if (!param_type)
    2544                 :      339603 :         param_type = TREE_TYPE (arg);
    2545                 :             : 
    2546                 :     5648699 :       if ((jfunc->type != IPA_JF_PASS_THROUGH
    2547                 :      981058 :               || !ipa_get_jf_pass_through_agg_preserved (jfunc))
    2548                 :     5294639 :           && (jfunc->type != IPA_JF_ANCESTOR
    2549                 :      141002 :               || !ipa_get_jf_ancestor_agg_preserved (jfunc))
    2550                 :    10897970 :           && (AGGREGATE_TYPE_P (TREE_TYPE (arg))
    2551                 :     4931012 :               || POINTER_TYPE_P (param_type)))
    2552                 :     3036927 :         determine_known_aggregate_parts (fbi, call, arg, param_type, jfunc);
    2553                 :     5708790 :     }
    2554                 :     2450352 :   if (!useful_context)
    2555                 :     4286217 :     vec_free (args->polymorphic_call_contexts);
    2556                 :             : }
    2557                 :             : 
    2558                 :             : /* Compute jump functions for all edges - both direct and indirect - outgoing
    2559                 :             :    from BB.  */
    2560                 :             : 
    2561                 :             : static void
    2562                 :    10455586 : ipa_compute_jump_functions_for_bb (struct ipa_func_body_info *fbi, basic_block bb)
    2563                 :             : {
    2564                 :    10455586 :   struct ipa_bb_info *bi = ipa_get_bb_info (fbi, bb);
    2565                 :    10455586 :   int i;
    2566                 :    10455586 :   struct cgraph_edge *cs;
    2567                 :             : 
    2568                 :    19437029 :   FOR_EACH_VEC_ELT_REVERSE (bi->cg_edges, i, cs)
    2569                 :             :     {
    2570                 :     5184502 :       struct cgraph_node *callee = cs->callee;
    2571                 :             : 
    2572                 :     5184502 :       if (callee)
    2573                 :             :         {
    2574                 :     5047619 :           callee = callee->ultimate_alias_target ();
    2575                 :             :           /* We do not need to bother analyzing calls to unknown functions
    2576                 :             :              unless they may become known during lto/whopr.  */
    2577                 :     3359391 :           if (!callee->definition && !flag_lto
    2578                 :     8407010 :               && !gimple_call_fnspec (cs->call_stmt).known_p ())
    2579                 :     2468461 :             continue;
    2580                 :             :         }
    2581                 :     2716041 :       ipa_compute_jump_functions_for_edge (fbi, cs);
    2582                 :             :     }
    2583                 :    10455586 : }
    2584                 :             : 
    2585                 :             : /* If STMT looks like a statement loading a value from a member pointer formal
    2586                 :             :    parameter, return that parameter and store the offset of the field to
    2587                 :             :    *OFFSET_P, if it is non-NULL.  Otherwise return NULL (but *OFFSET_P still
    2588                 :             :    might be clobbered).  If USE_DELTA, then we look for a use of the delta
    2589                 :             :    field rather than the pfn.  */
    2590                 :             : 
    2591                 :             : static tree
    2592                 :        2118 : ipa_get_stmt_member_ptr_load_param (gimple *stmt, bool use_delta,
    2593                 :             :                                     HOST_WIDE_INT *offset_p)
    2594                 :             : {
    2595                 :        2118 :   tree rhs, fld, ptr_field, delta_field;
    2596                 :        2118 :   tree ref_field = NULL_TREE;
    2597                 :        2118 :   tree ref_offset = NULL_TREE;
    2598                 :             : 
    2599                 :        2118 :   if (!gimple_assign_single_p (stmt))
    2600                 :             :     return NULL_TREE;
    2601                 :             : 
    2602                 :        2118 :   rhs = gimple_assign_rhs1 (stmt);
    2603                 :        2118 :   if (TREE_CODE (rhs) == COMPONENT_REF)
    2604                 :             :     {
    2605                 :        1269 :       ref_field = TREE_OPERAND (rhs, 1);
    2606                 :        1269 :       rhs = TREE_OPERAND (rhs, 0);
    2607                 :             :     }
    2608                 :             : 
    2609                 :        2118 :   if (TREE_CODE (rhs) == MEM_REF)
    2610                 :             :     {
    2611                 :        1421 :       ref_offset = TREE_OPERAND (rhs, 1);
    2612                 :        1421 :       if (ref_field && integer_nonzerop (ref_offset))
    2613                 :             :         return NULL_TREE;
    2614                 :             :     }
    2615                 :         697 :   else if (!ref_field)
    2616                 :             :     return NULL_TREE;
    2617                 :             : 
    2618                 :        2118 :   if (TREE_CODE (rhs) == MEM_REF
    2619                 :        1421 :       && TREE_CODE (TREE_OPERAND (rhs, 0)) == SSA_NAME
    2620                 :        3539 :       && SSA_NAME_IS_DEFAULT_DEF (TREE_OPERAND (rhs, 0)))
    2621                 :             :     {
    2622                 :         570 :       rhs = TREE_OPERAND (rhs, 0);
    2623                 :         570 :       if (TREE_CODE (SSA_NAME_VAR (rhs)) != PARM_DECL
    2624                 :         570 :           || !type_like_member_ptr_p (TREE_TYPE (TREE_TYPE (rhs)), &ptr_field,
    2625                 :             :                                       &delta_field))
    2626                 :           0 :         return NULL_TREE;
    2627                 :             :     }
    2628                 :             :   else
    2629                 :             :     {
    2630                 :        1548 :       if (TREE_CODE (rhs) == MEM_REF
    2631                 :        1548 :           && TREE_CODE (TREE_OPERAND (rhs, 0)) == ADDR_EXPR)
    2632                 :           0 :         rhs = TREE_OPERAND (TREE_OPERAND (rhs, 0), 0);
    2633                 :        1548 :       if (TREE_CODE (rhs) != PARM_DECL
    2634                 :        1548 :           || !type_like_member_ptr_p (TREE_TYPE (rhs), &ptr_field,
    2635                 :             :                                       &delta_field))
    2636                 :        1278 :         return NULL_TREE;
    2637                 :             :     }
    2638                 :             : 
    2639                 :         840 :   if (use_delta)
    2640                 :           0 :     fld = delta_field;
    2641                 :             :   else
    2642                 :         840 :     fld = ptr_field;
    2643                 :             : 
    2644                 :         840 :   if (ref_field)
    2645                 :             :     {
    2646                 :         840 :       if (ref_field != fld)
    2647                 :             :         return NULL_TREE;
    2648                 :             :     }
    2649                 :           0 :   else if (!tree_int_cst_equal (byte_position (fld), ref_offset))
    2650                 :             :     return NULL_TREE;
    2651                 :             : 
    2652                 :         840 :   if (offset_p)
    2653                 :         420 :     *offset_p = int_bit_position (fld);
    2654                 :             :   return rhs;
    2655                 :             : }
    2656                 :             : 
    2657                 :             : /* Returns true iff T is an SSA_NAME defined by a statement.  */
    2658                 :             : 
    2659                 :             : static bool
    2660                 :        2958 : ipa_is_ssa_with_stmt_def (tree t)
    2661                 :             : {
    2662                 :        2958 :   if (TREE_CODE (t) == SSA_NAME
    2663                 :        2958 :       && !SSA_NAME_IS_DEFAULT_DEF (t))
    2664                 :             :     return true;
    2665                 :             :   else
    2666                 :           0 :     return false;
    2667                 :             : }
    2668                 :             : 
    2669                 :             : /* Find the indirect call graph edge corresponding to STMT and mark it as a
    2670                 :             :    call to a parameter number PARAM_INDEX.  NODE is the caller.  Return the
    2671                 :             :    indirect call graph edge.
    2672                 :             :    If POLYMORPHIC is true record is as a destination of polymorphic call.  */
    2673                 :             : 
    2674                 :             : static struct cgraph_edge *
    2675                 :       15646 : ipa_note_param_call (struct cgraph_node *node, int param_index,
    2676                 :             :                      gcall *stmt, bool polymorphic)
    2677                 :             : {
    2678                 :       15646 :   struct cgraph_edge *cs;
    2679                 :             : 
    2680                 :       15646 :   cs = node->get_edge (stmt);
    2681                 :       15646 :   cs->indirect_info->param_index = param_index;
    2682                 :       15646 :   cs->indirect_info->agg_contents = 0;
    2683                 :       15646 :   cs->indirect_info->member_ptr = 0;
    2684                 :       15646 :   cs->indirect_info->guaranteed_unmodified = 0;
    2685                 :       15646 :   ipa_node_params *info = ipa_node_params_sum->get (node);
    2686                 :       15646 :   ipa_set_param_used_by_indirect_call (info, param_index, true);
    2687                 :       15646 :   if (cs->indirect_info->polymorphic || polymorphic)
    2688                 :        9535 :     ipa_set_param_used_by_polymorphic_call (info, param_index, true);
    2689                 :       15646 :   return cs;
    2690                 :             : }
    2691                 :             : 
    2692                 :             : /* Analyze the CALL and examine uses of formal parameters of the caller NODE
    2693                 :             :    (described by INFO).  PARMS_AINFO is a pointer to a vector containing
    2694                 :             :    intermediate information about each formal parameter.  Currently it checks
    2695                 :             :    whether the call calls a pointer that is a formal parameter and if so, the
    2696                 :             :    parameter is marked with the called flag and an indirect call graph edge
    2697                 :             :    describing the call is created.  This is very simple for ordinary pointers
    2698                 :             :    represented in SSA but not-so-nice when it comes to member pointers.  The
    2699                 :             :    ugly part of this function does nothing more than trying to match the
    2700                 :             :    pattern of such a call.  Look up the documentation of macro
    2701                 :             :    TARGET_PTRMEMFUNC_VBIT_LOCATION for details.  An example of such a pattern
    2702                 :             :    is the gimple dump below, the call is on the last line:
    2703                 :             : 
    2704                 :             :      <bb 2>:
    2705                 :             :        f$__delta_5 = f.__delta;
    2706                 :             :        f$__pfn_24 = f.__pfn;
    2707                 :             : 
    2708                 :             :    or
    2709                 :             :      <bb 2>:
    2710                 :             :        f$__delta_5 = MEM[(struct  *)&f];
    2711                 :             :        f$__pfn_24 = MEM[(struct  *)&f + 4B];
    2712                 :             : 
    2713                 :             :    and a few lines below:
    2714                 :             : 
    2715                 :             :      <bb 5>
    2716                 :             :        D.2496_3 = (int) f$__pfn_24;
    2717                 :             :        D.2497_4 = D.2496_3 & 1;
    2718                 :             :        if (D.2497_4 != 0)
    2719                 :             :          goto <bb 3>;
    2720                 :             :        else
    2721                 :             :          goto <bb 4>;
    2722                 :             : 
    2723                 :             :      <bb 6>:
    2724                 :             :        D.2500_7 = (unsigned int) f$__delta_5;
    2725                 :             :        D.2501_8 = &S + D.2500_7;
    2726                 :             :        D.2502_9 = (int (*__vtbl_ptr_type) (void) * *) D.2501_8;
    2727                 :             :        D.2503_10 = *D.2502_9;
    2728                 :             :        D.2504_12 = f$__pfn_24 + -1;
    2729                 :             :        D.2505_13 = (unsigned int) D.2504_12;
    2730                 :             :        D.2506_14 = D.2503_10 + D.2505_13;
    2731                 :             :        D.2507_15 = *D.2506_14;
    2732                 :             :        iftmp.11_16 = (String:: *) D.2507_15;
    2733                 :             : 
    2734                 :             :      <bb 7>:
    2735                 :             :        # iftmp.11_1 = PHI <iftmp.11_16(3), f$__pfn_24(2)>
    2736                 :             :        D.2500_19 = (unsigned int) f$__delta_5;
    2737                 :             :        D.2508_20 = &S + D.2500_19;
    2738                 :             :        D.2493_21 = iftmp.11_1 (D.2508_20, 4);
    2739                 :             : 
    2740                 :             :    Such patterns are results of simple calls to a member pointer:
    2741                 :             : 
    2742                 :             :      int doprinting (int (MyString::* f)(int) const)
    2743                 :             :      {
    2744                 :             :        MyString S ("somestring");
    2745                 :             : 
    2746                 :             :        return (S.*f)(4);
    2747                 :             :      }
    2748                 :             : 
    2749                 :             :    Moreover, the function also looks for called pointers loaded from aggregates
    2750                 :             :    passed by value or reference.  */
    2751                 :             : 
    2752                 :             : static void
    2753                 :      111996 : ipa_analyze_indirect_call_uses (struct ipa_func_body_info *fbi, gcall *call,
    2754                 :             :                                 tree target)
    2755                 :             : {
    2756                 :      111996 :   class ipa_node_params *info = fbi->info;
    2757                 :      111996 :   HOST_WIDE_INT offset;
    2758                 :      111996 :   bool by_ref;
    2759                 :             : 
    2760                 :      111996 :   if (SSA_NAME_IS_DEFAULT_DEF (target))
    2761                 :             :     {
    2762                 :        3485 :       tree var = SSA_NAME_VAR (target);
    2763                 :        3485 :       int index = ipa_get_param_decl_index (info, var);
    2764                 :        3485 :       if (index >= 0)
    2765                 :        3483 :         ipa_note_param_call (fbi->node, index, call, false);
    2766                 :        3485 :       return;
    2767                 :             :     }
    2768                 :             : 
    2769                 :      108511 :   int index;
    2770                 :      108511 :   gimple *def = SSA_NAME_DEF_STMT (target);
    2771                 :      108511 :   bool guaranteed_unmodified;
    2772                 :      108511 :   if (gimple_assign_single_p (def)
    2773                 :      108511 :       && ipa_load_from_parm_agg (fbi, info->descriptors, def,
    2774                 :             :                                  gimple_assign_rhs1 (def), &index, &offset,
    2775                 :             :                                  NULL, &by_ref, &guaranteed_unmodified))
    2776                 :             :     {
    2777                 :        2216 :       struct cgraph_edge *cs = ipa_note_param_call (fbi->node, index,
    2778                 :             :                                                     call, false);
    2779                 :        2216 :       cs->indirect_info->offset = offset;
    2780                 :        2216 :       cs->indirect_info->agg_contents = 1;
    2781                 :        2216 :       cs->indirect_info->by_ref = by_ref;
    2782                 :        2216 :       cs->indirect_info->guaranteed_unmodified = guaranteed_unmodified;
    2783                 :        2216 :       return;
    2784                 :             :     }
    2785                 :             : 
    2786                 :             :   /* Now we need to try to match the complex pattern of calling a member
    2787                 :             :      pointer. */
    2788                 :      106295 :   if (gimple_code (def) != GIMPLE_PHI
    2789                 :        1126 :       || gimple_phi_num_args (def) != 2
    2790                 :        1118 :       || !POINTER_TYPE_P (TREE_TYPE (target))
    2791                 :      107413 :       || TREE_CODE (TREE_TYPE (TREE_TYPE (target))) != METHOD_TYPE)
    2792                 :             :     return;
    2793                 :             : 
    2794                 :             :   /* First, we need to check whether one of these is a load from a member
    2795                 :             :      pointer that is a parameter to this function. */
    2796                 :         849 :   tree n1 = PHI_ARG_DEF (def, 0);
    2797                 :         849 :   tree n2 = PHI_ARG_DEF (def, 1);
    2798                 :        1698 :   if (!ipa_is_ssa_with_stmt_def (n1) || !ipa_is_ssa_with_stmt_def (n2))
    2799                 :             :     return;
    2800                 :         849 :   gimple *d1 = SSA_NAME_DEF_STMT (n1);
    2801                 :         849 :   gimple *d2 = SSA_NAME_DEF_STMT (n2);
    2802                 :             : 
    2803                 :         849 :   tree rec;
    2804                 :         849 :   basic_block bb, virt_bb;
    2805                 :         849 :   basic_block join = gimple_bb (def);
    2806                 :         849 :   if ((rec = ipa_get_stmt_member_ptr_load_param (d1, false, &offset)))
    2807                 :             :     {
    2808                 :           0 :       if (ipa_get_stmt_member_ptr_load_param (d2, false, NULL))
    2809                 :             :         return;
    2810                 :             : 
    2811                 :           0 :       bb = EDGE_PRED (join, 0)->src;
    2812                 :           0 :       virt_bb = gimple_bb (d2);
    2813                 :             :     }
    2814                 :         849 :   else if ((rec = ipa_get_stmt_member_ptr_load_param (d2, false, &offset)))
    2815                 :             :     {
    2816                 :         420 :       bb = EDGE_PRED (join, 1)->src;
    2817                 :         420 :       virt_bb = gimple_bb (d1);
    2818                 :             :     }
    2819                 :             :   else
    2820                 :             :     return;
    2821                 :             : 
    2822                 :             :   /* Second, we need to check that the basic blocks are laid out in the way
    2823                 :             :      corresponding to the pattern. */
    2824                 :             : 
    2825                 :         840 :   if (!single_pred_p (virt_bb) || !single_succ_p (virt_bb)
    2826                 :         840 :       || single_succ (virt_bb) != join)
    2827                 :             :     return;
    2828                 :             : 
    2829                 :             : 
    2830                 :         420 :   if (single_pred (virt_bb) != bb)
    2831                 :             :     {
    2832                 :             :       /* In cases when the distinction between a normal and a virtual
    2833                 :             :          function is encoded in the delta field, the load of the
    2834                 :             :          actual non-virtual function pointer can be in its own BB.  */
    2835                 :             : 
    2836                 :           0 :       if (!single_pred_p (bb) || !single_succ_p (bb))
    2837                 :             :         return;
    2838                 :           0 :       bb = single_pred (bb);
    2839                 :           0 :       if (bb != single_pred (virt_bb))
    2840                 :             :         return;
    2841                 :             :     }
    2842                 :             : 
    2843                 :             :   /* Third, let's see that the branching is done depending on the least
    2844                 :             :      significant bit of the pfn. */
    2845                 :             : 
    2846                 :         840 :   gcond *branch = safe_dyn_cast <gcond *> (*gsi_last_bb (bb));
    2847                 :         420 :   if (!branch)
    2848                 :             :     return;
    2849                 :             : 
    2850                 :         420 :   if ((gimple_cond_code (branch) != NE_EXPR
    2851                 :           0 :        && gimple_cond_code (branch) != EQ_EXPR)
    2852                 :         420 :       || !integer_zerop (gimple_cond_rhs (branch)))
    2853                 :           0 :     return;
    2854                 :             : 
    2855                 :         420 :   tree cond = gimple_cond_lhs (branch);
    2856                 :         420 :   if (!ipa_is_ssa_with_stmt_def (cond))
    2857                 :             :     return;
    2858                 :             : 
    2859                 :         420 :   def = SSA_NAME_DEF_STMT (cond);
    2860                 :         420 :   if (!is_gimple_assign (def)
    2861                 :         420 :       || gimple_assign_rhs_code (def) != BIT_AND_EXPR
    2862                 :         840 :       || !integer_onep (gimple_assign_rhs2 (def)))
    2863                 :           0 :     return;
    2864                 :             : 
    2865                 :         420 :   cond = gimple_assign_rhs1 (def);
    2866                 :         420 :   if (!ipa_is_ssa_with_stmt_def (cond))
    2867                 :             :     return;
    2868                 :             : 
    2869                 :         420 :   def = SSA_NAME_DEF_STMT (cond);
    2870                 :             : 
    2871                 :         420 :   if (is_gimple_assign (def)
    2872                 :         420 :       && CONVERT_EXPR_CODE_P (gimple_assign_rhs_code (def)))
    2873                 :             :     {
    2874                 :         420 :       cond = gimple_assign_rhs1 (def);
    2875                 :         420 :       if (!ipa_is_ssa_with_stmt_def (cond))
    2876                 :             :         return;
    2877                 :         420 :       def = SSA_NAME_DEF_STMT (cond);
    2878                 :             :     }
    2879                 :             : 
    2880                 :         420 :   tree rec2;
    2881                 :         420 :   rec2 = ipa_get_stmt_member_ptr_load_param (def,
    2882                 :             :                                              (TARGET_PTRMEMFUNC_VBIT_LOCATION
    2883                 :             :                                               == ptrmemfunc_vbit_in_delta),
    2884                 :             :                                              NULL);
    2885                 :         420 :   if (rec != rec2)
    2886                 :             :     return;
    2887                 :             : 
    2888                 :         420 :   if (TREE_CODE (rec) == SSA_NAME)
    2889                 :             :     {
    2890                 :         285 :       index = ipa_get_param_decl_index (info, SSA_NAME_VAR (rec));
    2891                 :         285 :       if (index < 0
    2892                 :         285 :           || !parm_ref_data_preserved_p (fbi, index, call,
    2893                 :             :                                          gimple_assign_rhs1 (def)))
    2894                 :           8 :         return;
    2895                 :         277 :       by_ref = true;
    2896                 :             :     }
    2897                 :             :   else
    2898                 :             :     {
    2899                 :         135 :       index = ipa_get_param_decl_index (info, rec);
    2900                 :         135 :       if (index < 0
    2901                 :         135 :           || !parm_preserved_before_stmt_p (fbi, index, call, rec))
    2902                 :           0 :         return;
    2903                 :         135 :       by_ref = false;
    2904                 :             :     }
    2905                 :             : 
    2906                 :         412 :   struct cgraph_edge *cs = ipa_note_param_call (fbi->node, index,
    2907                 :             :                                                 call, false);
    2908                 :         412 :   cs->indirect_info->offset = offset;
    2909                 :         412 :   cs->indirect_info->agg_contents = 1;
    2910                 :         412 :   cs->indirect_info->member_ptr = 1;
    2911                 :         412 :   cs->indirect_info->by_ref = by_ref;
    2912                 :         412 :   cs->indirect_info->guaranteed_unmodified = 1;
    2913                 :             : 
    2914                 :         412 :   return;
    2915                 :             : }
    2916                 :             : 
    2917                 :             : /* Analyze a CALL to an OBJ_TYPE_REF which is passed in TARGET and if the
    2918                 :             :    object referenced in the expression is a formal parameter of the caller
    2919                 :             :    FBI->node (described by FBI->info), create a call note for the
    2920                 :             :    statement.  */
    2921                 :             : 
    2922                 :             : static void
    2923                 :       24815 : ipa_analyze_virtual_call_uses (struct ipa_func_body_info *fbi,
    2924                 :             :                                gcall *call, tree target)
    2925                 :             : {
    2926                 :       24815 :   tree obj = OBJ_TYPE_REF_OBJECT (target);
    2927                 :       24815 :   int index;
    2928                 :       24815 :   HOST_WIDE_INT anc_offset;
    2929                 :             : 
    2930                 :       24815 :   if (!flag_devirtualize)
    2931                 :       15280 :     return;
    2932                 :             : 
    2933                 :       24562 :   if (TREE_CODE (obj) != SSA_NAME)
    2934                 :             :     return;
    2935                 :             : 
    2936                 :       24203 :   class ipa_node_params *info = fbi->info;
    2937                 :       24203 :   if (SSA_NAME_IS_DEFAULT_DEF (obj))
    2938                 :             :     {
    2939                 :        8784 :       if (TREE_CODE (SSA_NAME_VAR (obj)) != PARM_DECL)
    2940                 :             :         return;
    2941                 :             : 
    2942                 :        8784 :       anc_offset = 0;
    2943                 :        8784 :       index = ipa_get_param_decl_index (info, SSA_NAME_VAR (obj));
    2944                 :        8784 :       gcc_assert (index >= 0);
    2945                 :        8784 :       if (detect_type_change_ssa (fbi, obj, obj_type_ref_class (target),
    2946                 :             :                                   call))
    2947                 :             :         return;
    2948                 :             :     }
    2949                 :             :   else
    2950                 :             :     {
    2951                 :       15419 :       gimple *stmt = SSA_NAME_DEF_STMT (obj);
    2952                 :       15419 :       tree expr;
    2953                 :             : 
    2954                 :       15419 :       expr = get_ancestor_addr_info (stmt, &obj, &anc_offset);
    2955                 :       15419 :       if (!expr)
    2956                 :             :         return;
    2957                 :         751 :       index = ipa_get_param_decl_index (info,
    2958                 :         751 :                                         SSA_NAME_VAR (TREE_OPERAND (expr, 0)));
    2959                 :         751 :       gcc_assert (index >= 0);
    2960                 :         751 :       if (detect_type_change (fbi, obj, expr, obj_type_ref_class (target),
    2961                 :             :                               call, anc_offset))
    2962                 :             :         return;
    2963                 :             :     }
    2964                 :             : 
    2965                 :        9535 :   struct cgraph_edge *cs = ipa_note_param_call (fbi->node, index,
    2966                 :             :                                                 call, true);
    2967                 :        9535 :   class cgraph_indirect_call_info *ii = cs->indirect_info;
    2968                 :        9535 :   ii->offset = anc_offset;
    2969                 :        9535 :   ii->otr_token = tree_to_uhwi (OBJ_TYPE_REF_TOKEN (target));
    2970                 :        9535 :   ii->otr_type = obj_type_ref_class (target);
    2971                 :        9535 :   ii->polymorphic = 1;
    2972                 :             : }
    2973                 :             : 
    2974                 :             : /* Analyze a call statement CALL whether and how it utilizes formal parameters
    2975                 :             :    of the caller (described by INFO).  PARMS_AINFO is a pointer to a vector
    2976                 :             :    containing intermediate information about each formal parameter.  */
    2977                 :             : 
    2978                 :             : static void
    2979                 :     5370510 : ipa_analyze_call_uses (struct ipa_func_body_info *fbi, gcall *call)
    2980                 :             : {
    2981                 :     5370510 :   tree target = gimple_call_fn (call);
    2982                 :             : 
    2983                 :     5370510 :   if (!target
    2984                 :     5370510 :       || (TREE_CODE (target) != SSA_NAME
    2985                 :     5072506 :           && !virtual_method_call_p (target)))
    2986                 :     5233696 :     return;
    2987                 :             : 
    2988                 :      136814 :   struct cgraph_edge *cs = fbi->node->get_edge (call);
    2989                 :             :   /* If we previously turned the call into a direct call, there is
    2990                 :             :      no need to analyze.  */
    2991                 :      136814 :   if (cs && !cs->indirect_unknown_callee)
    2992                 :             :     return;
    2993                 :             : 
    2994                 :      136811 :   if (cs->indirect_info->polymorphic && flag_devirtualize)
    2995                 :             :     {
    2996                 :       24562 :       tree instance;
    2997                 :       24562 :       tree target = gimple_call_fn (call);
    2998                 :       24562 :       ipa_polymorphic_call_context context (current_function_decl,
    2999                 :       24562 :                                             target, call, &instance);
    3000                 :             : 
    3001                 :       24562 :       gcc_checking_assert (cs->indirect_info->otr_type
    3002                 :             :                            == obj_type_ref_class (target));
    3003                 :       24562 :       gcc_checking_assert (cs->indirect_info->otr_token
    3004                 :             :                            == tree_to_shwi (OBJ_TYPE_REF_TOKEN (target)));
    3005                 :             : 
    3006                 :       49124 :       cs->indirect_info->vptr_changed
    3007                 :       49124 :         = !context.get_dynamic_type (instance,
    3008                 :       24562 :                                      OBJ_TYPE_REF_OBJECT (target),
    3009                 :             :                                      obj_type_ref_class (target), call,
    3010                 :             :                                      &fbi->aa_walk_budget);
    3011                 :       24562 :       cs->indirect_info->context = context;
    3012                 :             :     }
    3013                 :             : 
    3014                 :      136811 :   if (TREE_CODE (target) == SSA_NAME)
    3015                 :      111996 :     ipa_analyze_indirect_call_uses (fbi, call, target);
    3016                 :       24815 :   else if (virtual_method_call_p (target))
    3017                 :       24815 :     ipa_analyze_virtual_call_uses (fbi, call, target);
    3018                 :             : }
    3019                 :             : 
    3020                 :             : 
    3021                 :             : /* Analyze the call statement STMT with respect to formal parameters (described
    3022                 :             :    in INFO) of caller given by FBI->NODE.  Currently it only checks whether
    3023                 :             :    formal parameters are called.  */
    3024                 :             : 
    3025                 :             : static void
    3026                 :    29769571 : ipa_analyze_stmt_uses (struct ipa_func_body_info *fbi, gimple *stmt)
    3027                 :             : {
    3028                 :    29769571 :   if (is_gimple_call (stmt))
    3029                 :     5370510 :     ipa_analyze_call_uses (fbi, as_a <gcall *> (stmt));
    3030                 :    29769571 : }
    3031                 :             : 
    3032                 :             : /* Callback of walk_stmt_load_store_addr_ops for the visit_load.
    3033                 :             :    If OP is a parameter declaration, mark it as used in the info structure
    3034                 :             :    passed in DATA.  */
    3035                 :             : 
    3036                 :             : static bool
    3037                 :    18508603 : visit_ref_for_mod_analysis (gimple *, tree op, tree, void *data)
    3038                 :             : {
    3039                 :    18508603 :   class ipa_node_params *info = (class ipa_node_params *) data;
    3040                 :             : 
    3041                 :    18508603 :   op = get_base_address (op);
    3042                 :    18508603 :   if (op
    3043                 :    18508603 :       && TREE_CODE (op) == PARM_DECL)
    3044                 :             :     {
    3045                 :      413742 :       int index = ipa_get_param_decl_index (info, op);
    3046                 :      413742 :       gcc_assert (index >= 0);
    3047                 :      413742 :       ipa_set_param_used (info, index, true);
    3048                 :             :     }
    3049                 :             : 
    3050                 :    18508603 :   return false;
    3051                 :             : }
    3052                 :             : 
    3053                 :             : /* Scan the statements in BB and inspect the uses of formal parameters.  Store
    3054                 :             :    the findings in various structures of the associated ipa_node_params
    3055                 :             :    structure, such as parameter flags, notes etc.  FBI holds various data about
    3056                 :             :    the function being analyzed.  */
    3057                 :             : 
    3058                 :             : static void
    3059                 :    10455586 : ipa_analyze_params_uses_in_bb (struct ipa_func_body_info *fbi, basic_block bb)
    3060                 :             : {
    3061                 :    10455586 :   gimple_stmt_iterator gsi;
    3062                 :    70793094 :   for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
    3063                 :             :     {
    3064                 :    49881922 :       gimple *stmt = gsi_stmt (gsi);
    3065                 :             : 
    3066                 :    49881922 :       if (is_gimple_debug (stmt))
    3067                 :    20112351 :         continue;
    3068                 :             : 
    3069                 :    29769571 :       ipa_analyze_stmt_uses (fbi, stmt);
    3070                 :    29769571 :       walk_stmt_load_store_addr_ops (stmt, fbi->info,
    3071                 :             :                                      visit_ref_for_mod_analysis,
    3072                 :             :                                      visit_ref_for_mod_analysis,
    3073                 :             :                                      visit_ref_for_mod_analysis);
    3074                 :             :     }
    3075                 :    13350246 :   for (gsi = gsi_start_phis (bb); !gsi_end_p (gsi); gsi_next (&gsi))
    3076                 :     2894660 :     walk_stmt_load_store_addr_ops (gsi_stmt (gsi), fbi->info,
    3077                 :             :                                    visit_ref_for_mod_analysis,
    3078                 :             :                                    visit_ref_for_mod_analysis,
    3079                 :             :                                    visit_ref_for_mod_analysis);
    3080                 :    10455586 : }
    3081                 :             : 
    3082                 :             : /* Return true EXPR is a load from a dereference of SSA_NAME NAME.  */
    3083                 :             : 
    3084                 :             : static bool
    3085                 :     3979055 : load_from_dereferenced_name (tree expr, tree name)
    3086                 :             : {
    3087                 :     3979055 :   tree base = get_base_address (expr);
    3088                 :     3979055 :   return (TREE_CODE (base) == MEM_REF
    3089                 :     3979055 :           && TREE_OPERAND (base, 0) == name);
    3090                 :             : }
    3091                 :             : 
    3092                 :             : /* Calculate controlled uses of parameters of NODE.  */
    3093                 :             : 
    3094                 :             : static void
    3095                 :     1281632 : ipa_analyze_controlled_uses (struct cgraph_node *node)
    3096                 :             : {
    3097                 :     1281632 :   ipa_node_params *info = ipa_node_params_sum->get (node);
    3098                 :             : 
    3099                 :     6957092 :   for (int i = 0; i < ipa_get_param_count (info); i++)
    3100                 :             :     {
    3101                 :     2318534 :       tree parm = ipa_get_param (info, i);
    3102                 :     2318534 :       int call_uses = 0;
    3103                 :     2318534 :       bool load_dereferenced = false;
    3104                 :             : 
    3105                 :             :       /* For SSA regs see if parameter is used.  For non-SSA we compute
    3106                 :             :          the flag during modification analysis.  */
    3107                 :     2318534 :       if (is_gimple_reg (parm))
    3108                 :             :         {
    3109                 :     2118989 :           tree ddef = ssa_default_def (DECL_STRUCT_FUNCTION (node->decl),
    3110                 :             :                                        parm);
    3111                 :     2118989 :           if (ddef && !has_zero_uses (ddef))
    3112                 :             :             {
    3113                 :     1859672 :               imm_use_iterator imm_iter;
    3114                 :     1859672 :               gimple *stmt;
    3115                 :             : 
    3116                 :     1859672 :               ipa_set_param_used (info, i, true);
    3117                 :     4421674 :               FOR_EACH_IMM_USE_STMT (stmt, imm_iter, ddef)
    3118                 :             :                 {
    3119                 :     3633650 :                   if (is_gimple_debug (stmt))
    3120                 :      615800 :                     continue;
    3121                 :             : 
    3122                 :     3017850 :                   int all_stmt_uses = 0;
    3123                 :     3017850 :                   use_operand_p use_p;
    3124                 :     6061149 :                   FOR_EACH_IMM_USE_ON_STMT (use_p, imm_iter)
    3125                 :     3043299 :                     all_stmt_uses++;
    3126                 :             : 
    3127                 :     3017850 :                   if (is_gimple_call (stmt))
    3128                 :             :                     {
    3129                 :     1143710 :                       if (gimple_call_internal_p (stmt))
    3130                 :             :                         {
    3131                 :             :                           call_uses = IPA_UNDESCRIBED_USE;
    3132                 :             :                           break;
    3133                 :             :                         }
    3134                 :     1089348 :                       int recognized_stmt_uses;
    3135                 :     1089348 :                       if (gimple_call_fn (stmt) == ddef)
    3136                 :             :                         recognized_stmt_uses = 1;
    3137                 :             :                       else
    3138                 :     1085922 :                         recognized_stmt_uses = 0;
    3139                 :     1089348 :                       unsigned arg_count = gimple_call_num_args (stmt);
    3140                 :     4884732 :                       for (unsigned i = 0; i < arg_count; i++)
    3141                 :             :                         {
    3142                 :     3795384 :                           tree arg = gimple_call_arg (stmt, i);
    3143                 :     3795384 :                           if (arg == ddef)
    3144                 :     1078562 :                             recognized_stmt_uses++;
    3145                 :     2716822 :                           else if (load_from_dereferenced_name (arg, ddef))
    3146                 :             :                             {
    3147                 :       13381 :                               load_dereferenced = true;
    3148                 :       13381 :                               recognized_stmt_uses++;
    3149                 :             :                             }
    3150                 :             :                         }
    3151                 :             : 
    3152                 :     1089348 :                       if (recognized_stmt_uses != all_stmt_uses)
    3153                 :             :                         {
    3154                 :             :                           call_uses = IPA_UNDESCRIBED_USE;
    3155                 :             :                           break;
    3156                 :             :                         }
    3157                 :     1081628 :                       if (call_uses >= 0)
    3158                 :     1081628 :                         call_uses += all_stmt_uses;
    3159                 :             :                     }
    3160                 :     1874140 :                   else if (gimple_assign_single_p (stmt))
    3161                 :             :                     {
    3162                 :     1263816 :                       tree rhs = gimple_assign_rhs1 (stmt);
    3163                 :     1263816 :                       if (all_stmt_uses != 1
    3164                 :     1263816 :                           || !load_from_dereferenced_name (rhs, ddef))
    3165                 :             :                         {
    3166                 :             :                           call_uses = IPA_UNDESCRIBED_USE;
    3167                 :             :                           break;
    3168                 :             :                         }
    3169                 :             :                       load_dereferenced = true;
    3170                 :             :                     }
    3171                 :             :                   else
    3172                 :             :                     {
    3173                 :             :                       call_uses = IPA_UNDESCRIBED_USE;
    3174                 :             :                       break;
    3175                 :             :                     }
    3176                 :     1859672 :                 }
    3177                 :             :             }
    3178                 :             :           else
    3179                 :             :             call_uses = 0;
    3180                 :             :         }
    3181                 :             :       else
    3182                 :             :         call_uses = IPA_UNDESCRIBED_USE;
    3183                 :     2318534 :       ipa_set_controlled_uses (info, i, call_uses);
    3184                 :     2318534 :       ipa_set_param_load_dereferenced (info, i, load_dereferenced);
    3185                 :             :     }
    3186                 :     1281632 : }
    3187                 :             : 
    3188                 :             : /* Free stuff in BI.  */
    3189                 :             : 
    3190                 :             : static void
    3191                 :    58990191 : free_ipa_bb_info (struct ipa_bb_info *bi)
    3192                 :             : {
    3193                 :           0 :   bi->cg_edges.release ();
    3194                 :    58990191 :   bi->param_aa_statuses.release ();
    3195                 :           0 : }
    3196                 :             : 
    3197                 :             : /* Dominator walker driving the analysis.  */
    3198                 :             : 
    3199                 :     2563264 : class analysis_dom_walker : public dom_walker
    3200                 :             : {
    3201                 :             : public:
    3202                 :     1281632 :   analysis_dom_walker (struct ipa_func_body_info *fbi)
    3203                 :     2563264 :     : dom_walker (CDI_DOMINATORS), m_fbi (fbi) {}
    3204                 :             : 
    3205                 :             :   edge before_dom_children (basic_block) final override;
    3206                 :             : 
    3207                 :             : private:
    3208                 :             :   struct ipa_func_body_info *m_fbi;
    3209                 :             : };
    3210                 :             : 
    3211                 :             : edge
    3212                 :    10455586 : analysis_dom_walker::before_dom_children (basic_block bb)
    3213                 :             : {
    3214                 :    10455586 :   ipa_analyze_params_uses_in_bb (m_fbi, bb);
    3215                 :    10455586 :   ipa_compute_jump_functions_for_bb (m_fbi, bb);
    3216                 :    10455586 :   return NULL;
    3217                 :             : }
    3218                 :             : 
    3219                 :             : /* Release body info FBI.  */
    3220                 :             : 
    3221                 :             : void
    3222                 :     7943854 : ipa_release_body_info (struct ipa_func_body_info *fbi)
    3223                 :             : {
    3224                 :     7943854 :   int i;
    3225                 :     7943854 :   struct ipa_bb_info *bi;
    3226                 :             : 
    3227                 :    66914655 :   FOR_EACH_VEC_ELT (fbi->bb_infos, i, bi)
    3228                 :   117941602 :     free_ipa_bb_info (bi);
    3229                 :     7943854 :   fbi->bb_infos.release ();
    3230                 :     7943854 : }
    3231                 :             : 
    3232                 :             : /* Initialize the array describing properties of formal parameters
    3233                 :             :    of NODE, analyze their uses and compute jump functions associated
    3234                 :             :    with actual arguments of calls from within NODE.  */
    3235                 :             : 
    3236                 :             : void
    3237                 :     2514747 : ipa_analyze_node (struct cgraph_node *node)
    3238                 :             : {
    3239                 :     2514747 :   struct ipa_func_body_info fbi;
    3240                 :     2514747 :   class ipa_node_params *info;
    3241                 :             : 
    3242                 :     2514747 :   ipa_check_create_node_params ();
    3243                 :     2514747 :   ipa_check_create_edge_args ();
    3244                 :     2514747 :   info = ipa_node_params_sum->get_create (node);
    3245                 :             : 
    3246                 :     2514747 :   if (info->analysis_done)
    3247                 :     1233115 :     return;
    3248                 :     1282515 :   info->analysis_done = 1;
    3249                 :             : 
    3250                 :     1282515 :   if (ipa_func_spec_opts_forbid_analysis_p (node)
    3251                 :     1282515 :       || (count_formal_params (node->decl)
    3252                 :             :           >= (1 << IPA_PROP_ARG_INDEX_LIMIT_BITS)))
    3253                 :             :     {
    3254                 :     1233115 :       gcc_assert (!ipa_get_param_count (info));
    3255                 :             :       return;
    3256                 :             :     }
    3257                 :             : 
    3258                 :     1281632 :   struct function *func = DECL_STRUCT_FUNCTION (node->decl);
    3259                 :     1281632 :   push_cfun (func);
    3260                 :     1281632 :   calculate_dominance_info (CDI_DOMINATORS);
    3261                 :     1281632 :   ipa_initialize_node_params (node);
    3262                 :     1281632 :   ipa_analyze_controlled_uses (node);
    3263                 :             : 
    3264                 :     1281632 :   fbi.node = node;
    3265                 :     1281632 :   fbi.info = info;
    3266                 :     1281632 :   fbi.bb_infos = vNULL;
    3267                 :     1281632 :   fbi.bb_infos.safe_grow_cleared (last_basic_block_for_fn (cfun), true);
    3268                 :     1281632 :   fbi.param_count = ipa_get_param_count (info);
    3269                 :     1281632 :   fbi.aa_walk_budget = opt_for_fn (node->decl, param_ipa_max_aa_steps);
    3270                 :             : 
    3271                 :     6329251 :   for (struct cgraph_edge *cs = node->callees; cs; cs = cs->next_callee)
    3272                 :             :     {
    3273                 :     5047619 :       ipa_bb_info *bi = ipa_get_bb_info (&fbi, gimple_bb (cs->call_stmt));
    3274                 :     5047619 :       bi->cg_edges.safe_push (cs);
    3275                 :             :     }
    3276                 :             : 
    3277                 :     1418515 :   for (struct cgraph_edge *cs = node->indirect_calls; cs; cs = cs->next_callee)
    3278                 :             :     {
    3279                 :      136883 :       ipa_bb_info *bi = ipa_get_bb_info (&fbi, gimple_bb (cs->call_stmt));
    3280                 :      136883 :       bi->cg_edges.safe_push (cs);
    3281                 :             :     }
    3282                 :             : 
    3283                 :     1281632 :   enable_ranger (cfun, false);
    3284                 :     1281632 :   analysis_dom_walker (&fbi).walk (ENTRY_BLOCK_PTR_FOR_FN (cfun));
    3285                 :     1281632 :   disable_ranger (cfun);
    3286                 :             : 
    3287                 :     1281632 :   ipa_release_body_info (&fbi);
    3288                 :     1281632 :   free_dominance_info (CDI_DOMINATORS);
    3289                 :     1281632 :   pop_cfun ();
    3290                 :             : }
    3291                 :             : 
    3292                 :             : /* Update the jump functions associated with call graph edge E when the call
    3293                 :             :    graph edge CS is being inlined, assuming that E->caller is already (possibly
    3294                 :             :    indirectly) inlined into CS->callee and that E has not been inlined.  */
    3295                 :             : 
    3296                 :             : static void
    3297                 :     2138999 : update_jump_functions_after_inlining (struct cgraph_edge *cs,
    3298                 :             :                                       struct cgraph_edge *e)
    3299                 :             : {
    3300                 :     2138999 :   ipa_edge_args *top = ipa_edge_args_sum->get (cs);
    3301                 :     2138999 :   ipa_edge_args *args = ipa_edge_args_sum->get (e);
    3302                 :     2138999 :   if (!args)
    3303                 :             :     return;
    3304                 :     1167059 :   int count = ipa_get_cs_argument_count (args);
    3305                 :     1167059 :   int i;
    3306                 :             : 
    3307                 :     3482220 :   for (i = 0; i < count; i++)
    3308                 :             :     {
    3309                 :     2315161 :       struct ipa_jump_func *dst = ipa_get_ith_jump_func (args, i);
    3310                 :     2315161 :       class ipa_polymorphic_call_context *dst_ctx
    3311                 :     2315161 :         = ipa_get_ith_polymorhic_call_context (args, i);
    3312                 :             : 
    3313                 :     2315161 :       if (dst->agg.items)
    3314                 :             :         {
    3315                 :             :           struct ipa_agg_jf_item *item;
    3316                 :             :           int j;
    3317                 :             : 
    3318                 :      190271 :           FOR_EACH_VEC_ELT (*dst->agg.items, j, item)
    3319                 :             :             {
    3320                 :      128733 :               int dst_fid;
    3321                 :      128733 :               struct ipa_jump_func *src;
    3322                 :             : 
    3323                 :      228859 :               if (item->jftype != IPA_JF_PASS_THROUGH
    3324                 :      128733 :                   && item->jftype != IPA_JF_LOAD_AGG)
    3325                 :      100126 :                 continue;
    3326                 :             : 
    3327                 :       28607 :               dst_fid = item->value.pass_through.formal_id;
    3328                 :       57214 :               if (!top || dst_fid >= ipa_get_cs_argument_count (top))
    3329                 :             :                 {
    3330                 :           0 :                   item->jftype = IPA_JF_UNKNOWN;
    3331                 :           0 :                   continue;
    3332                 :             :                 }
    3333                 :             : 
    3334                 :       28607 :               item->value.pass_through.formal_id = -1;
    3335                 :       28607 :               src = ipa_get_ith_jump_func (top, dst_fid);
    3336                 :       28607 :               if (src->type == IPA_JF_CONST)
    3337                 :             :                 {
    3338                 :        1244 :                   if (item->jftype == IPA_JF_PASS_THROUGH
    3339                 :        1134 :                       && item->value.pass_through.operation == NOP_EXPR)
    3340                 :             :                     {
    3341                 :        1086 :                       item->jftype = IPA_JF_CONST;
    3342                 :        1086 :                       item->value.constant = src->value.constant.value;
    3343                 :        1086 :                       continue;
    3344                 :             :                     }
    3345                 :             :                 }
    3346                 :       27363 :               else if (src->type == IPA_JF_PASS_THROUGH
    3347                 :        4304 :                        && src->value.pass_through.operation == NOP_EXPR)
    3348                 :             :                 {
    3349                 :        4152 :                   if (item->jftype == IPA_JF_PASS_THROUGH
    3350                 :        2734 :                       || !item->value.load_agg.by_ref
    3351                 :        1688 :                       || src->value.pass_through.agg_preserved)
    3352                 :        2959 :                     item->value.pass_through.formal_id
    3353                 :        2959 :                                 = src->value.pass_through.formal_id;
    3354                 :             :                 }
    3355                 :       23211 :               else if (src->type == IPA_JF_ANCESTOR)
    3356                 :             :                 {
    3357                 :        1655 :                   if (item->jftype == IPA_JF_PASS_THROUGH)
    3358                 :             :                     {
    3359                 :         752 :                       if (!src->value.ancestor.offset)
    3360                 :         455 :                         item->value.pass_through.formal_id
    3361                 :         455 :                                 = src->value.ancestor.formal_id;
    3362                 :             :                     }
    3363                 :         903 :                   else if (src->value.ancestor.agg_preserved)
    3364                 :             :                     {
    3365                 :         138 :                       gcc_checking_assert (item->value.load_agg.by_ref);
    3366                 :             : 
    3367                 :         138 :                       item->value.pass_through.formal_id
    3368                 :         138 :                                  = src->value.ancestor.formal_id;
    3369                 :         138 :                       item->value.load_agg.offset
    3370                 :         138 :                                 += src->value.ancestor.offset;
    3371                 :             :                     }
    3372                 :             :                 }
    3373                 :             : 
    3374                 :       27521 :               if (item->value.pass_through.formal_id < 0)
    3375                 :       23969 :                 item->jftype = IPA_JF_UNKNOWN;
    3376                 :             :             }
    3377                 :             :         }
    3378                 :             : 
    3379                 :     2315161 :       if (!top)
    3380                 :             :         {
    3381                 :       13057 :           ipa_set_jf_unknown (dst);
    3382                 :       13057 :           continue;
    3383                 :             :         }
    3384                 :             : 
    3385                 :     2302104 :       if (dst->type == IPA_JF_ANCESTOR)
    3386                 :             :         {
    3387                 :      126287 :           struct ipa_jump_func *src;
    3388                 :      126287 :           int dst_fid = dst->value.ancestor.formal_id;
    3389                 :      126287 :           class ipa_polymorphic_call_context *src_ctx
    3390                 :      126287 :             = ipa_get_ith_polymorhic_call_context (top, dst_fid);
    3391                 :             : 
    3392                 :             :           /* Variable number of arguments can cause havoc if we try to access
    3393                 :             :              one that does not exist in the inlined edge.  So make sure we
    3394                 :             :              don't.  */
    3395                 :      252574 :           if (dst_fid >= ipa_get_cs_argument_count (top))
    3396                 :             :             {
    3397                 :           0 :               ipa_set_jf_unknown (dst);
    3398                 :           0 :               continue;
    3399                 :             :             }
    3400                 :             : 
    3401                 :      126287 :           src = ipa_get_ith_jump_func (top, dst_fid);
    3402                 :             : 
    3403                 :      126287 :           if (src_ctx && !src_ctx->useless_p ())
    3404                 :             :             {
    3405                 :       38328 :               class ipa_polymorphic_call_context ctx = *src_ctx;
    3406                 :             : 
    3407                 :             :               /* TODO: Make type preserved safe WRT contexts.  */
    3408                 :       38328 :               if (!ipa_get_jf_ancestor_type_preserved (dst))
    3409                 :       31175 :                 ctx.possible_dynamic_type_change (e->in_polymorphic_cdtor);
    3410                 :       38328 :               ctx.offset_by (dst->value.ancestor.offset);
    3411                 :       76656 :               if (!ctx.useless_p ())
    3412                 :             :                 {
    3413                 :       36063 :                   if (!dst_ctx)
    3414                 :             :                     {
    3415                 :        6158 :                       vec_safe_grow_cleared (args->polymorphic_call_contexts,
    3416                 :             :                                              count, true);
    3417                 :        6158 :                       dst_ctx = ipa_get_ith_polymorhic_call_context (args, i);
    3418                 :             :                     }
    3419                 :             : 
    3420                 :       36063 :                   dst_ctx->combine_with (ctx);
    3421                 :             :                 }
    3422                 :             :             }
    3423                 :             : 
    3424                 :             :           /* Parameter and argument in ancestor jump function must be pointer
    3425                 :             :              type, which means access to aggregate must be by-reference.  */
    3426                 :      126287 :           gcc_assert (!src->agg.items || src->agg.by_ref);
    3427                 :             : 
    3428                 :      126287 :           if (src->agg.items && dst->value.ancestor.agg_preserved)
    3429                 :             :             {
    3430                 :        1848 :               struct ipa_agg_jf_item *item;
    3431                 :        1848 :               int j;
    3432                 :             : 
    3433                 :             :               /* Currently we do not produce clobber aggregate jump functions,
    3434                 :             :                  replace with merging when we do.  */
    3435                 :        1848 :               gcc_assert (!dst->agg.items);
    3436                 :             : 
    3437                 :        1848 :               dst->agg.items = vec_safe_copy (src->agg.items);
    3438                 :        1848 :               dst->agg.by_ref = src->agg.by_ref;
    3439                 :        7082 :               FOR_EACH_VEC_SAFE_ELT (dst->agg.items, j, item)
    3440                 :        5234 :                 item->offset -= dst->value.ancestor.offset;
    3441                 :             :             }
    3442                 :             : 
    3443                 :      126287 :           if (src->type == IPA_JF_PASS_THROUGH
    3444                 :       21863 :               && src->value.pass_through.operation == NOP_EXPR)
    3445                 :             :             {
    3446                 :       21859 :               dst->value.ancestor.formal_id = src->value.pass_through.formal_id;
    3447                 :       21859 :               dst->value.ancestor.agg_preserved &=
    3448                 :       21859 :                 src->value.pass_through.agg_preserved;
    3449                 :             :             }
    3450                 :      104428 :           else if (src->type == IPA_JF_ANCESTOR)
    3451                 :             :             {
    3452                 :        6064 :               dst->value.ancestor.formal_id = src->value.ancestor.formal_id;
    3453                 :        6064 :               dst->value.ancestor.offset += src->value.ancestor.offset;
    3454                 :        6064 :               dst->value.ancestor.agg_preserved &=
    3455                 :        6064 :                 src->value.ancestor.agg_preserved;
    3456                 :        6064 :               dst->value.ancestor.keep_null |= src->value.ancestor.keep_null;
    3457                 :             :             }
    3458                 :             :           else
    3459                 :       98364 :             ipa_set_jf_unknown (dst);
    3460                 :             :         }
    3461                 :     2175817 :       else if (dst->type == IPA_JF_PASS_THROUGH)
    3462                 :             :         {
    3463                 :      634687 :           struct ipa_jump_func *src;
    3464                 :             :           /* We must check range due to calls with variable number of arguments
    3465                 :             :              and we cannot combine jump functions with operations.  */
    3466                 :      634687 :           if (dst->value.pass_through.operation == NOP_EXPR
    3467                 :      634687 :               && (top && dst->value.pass_through.formal_id
    3468                 :      607702 :                   < ipa_get_cs_argument_count (top)))
    3469                 :             :             {
    3470                 :      607688 :               int dst_fid = dst->value.pass_through.formal_id;
    3471                 :      607688 :               src = ipa_get_ith_jump_func (top, dst_fid);
    3472                 :      607688 :               bool dst_agg_p = ipa_get_jf_pass_through_agg_preserved (dst);
    3473                 :      607688 :               class ipa_polymorphic_call_context *src_ctx
    3474                 :      694293 :                 = ipa_get_ith_polymorhic_call_context (top, dst_fid);
    3475                 :             : 
    3476                 :       86605 :               if (src_ctx && !src_ctx->useless_p ())
    3477                 :             :                 {
    3478                 :       50007 :                   class ipa_polymorphic_call_context ctx = *src_ctx;
    3479                 :             : 
    3480                 :             :                   /* TODO: Make type preserved safe WRT contexts.  */
    3481                 :       50007 :                   if (!ipa_get_jf_pass_through_type_preserved (dst))
    3482                 :       22125 :                     ctx.possible_dynamic_type_change (e->in_polymorphic_cdtor);
    3483                 :      100014 :                   if (!ctx.useless_p ())
    3484                 :             :                     {
    3485                 :       48317 :                       if (!dst_ctx)
    3486                 :             :                         {
    3487                 :       12114 :                           vec_safe_grow_cleared (args->polymorphic_call_contexts,
    3488                 :             :                                                  count, true);
    3489                 :       12114 :                           dst_ctx = ipa_get_ith_polymorhic_call_context (args, i);
    3490                 :             :                         }
    3491                 :       48317 :                       dst_ctx->combine_with (ctx);
    3492                 :             :                     }
    3493                 :             :                 }
    3494                 :      607688 :               switch (src->type)
    3495                 :             :                 {
    3496                 :      242713 :                 case IPA_JF_UNKNOWN:
    3497                 :      242713 :                   ipa_set_jf_unknown (dst);
    3498                 :      242713 :                   break;
    3499                 :      113790 :                 case IPA_JF_CONST:
    3500                 :      113790 :                   {
    3501                 :      113790 :                     bool rd = ipa_get_jf_pass_through_refdesc_decremented (dst);
    3502                 :      113790 :                     ipa_set_jf_cst_copy (dst, src);
    3503                 :      113790 :                     if (rd)
    3504                 :          25 :                       ipa_zap_jf_refdesc (dst);
    3505                 :             :                   }
    3506                 :             : 
    3507                 :             :                   break;
    3508                 :             : 
    3509                 :      232061 :                 case IPA_JF_PASS_THROUGH:
    3510                 :      232061 :                   {
    3511                 :      232061 :                     int formal_id = ipa_get_jf_pass_through_formal_id (src);
    3512                 :      232061 :                     enum tree_code operation;
    3513                 :      232061 :                     operation = ipa_get_jf_pass_through_operation (src);
    3514                 :             : 
    3515                 :      232061 :                     if (operation == NOP_EXPR)
    3516                 :             :                       {
    3517                 :      231159 :                         bool agg_p;
    3518                 :      462318 :                         agg_p = dst_agg_p
    3519                 :      231159 :                           && ipa_get_jf_pass_through_agg_preserved (src);
    3520                 :      231159 :                         ipa_set_jf_simple_pass_through (dst, formal_id, agg_p);
    3521                 :             :                       }
    3522                 :         902 :                     else if (TREE_CODE_CLASS (operation) == tcc_unary)
    3523                 :           9 :                       ipa_set_jf_unary_pass_through (dst, formal_id, operation);
    3524                 :             :                     else
    3525                 :             :                       {
    3526                 :         893 :                         tree operand = ipa_get_jf_pass_through_operand (src);
    3527                 :         893 :                         ipa_set_jf_arith_pass_through (dst, formal_id, operand,
    3528                 :             :                                                        operation);
    3529                 :             :                       }
    3530                 :             :                     break;
    3531                 :             :                   }
    3532                 :       19124 :                 case IPA_JF_ANCESTOR:
    3533                 :       19124 :                   {
    3534                 :       19124 :                     bool agg_p;
    3535                 :       38248 :                     agg_p = dst_agg_p
    3536                 :       19124 :                       && ipa_get_jf_ancestor_agg_preserved (src);
    3537                 :       19124 :                     ipa_set_ancestor_jf (dst,
    3538                 :             :                                          ipa_get_jf_ancestor_offset (src),
    3539                 :             :                                          ipa_get_jf_ancestor_formal_id (src),
    3540                 :             :                                          agg_p,
    3541                 :       19124 :                                          ipa_get_jf_ancestor_keep_null (src));
    3542                 :       19124 :                     break;
    3543                 :             :                   }
    3544                 :           0 :                 default:
    3545                 :           0 :                   gcc_unreachable ();
    3546                 :             :                 }
    3547                 :             : 
    3548                 :      607688 :               if (src->m_vr && src->m_vr->known_p ())
    3549                 :             :                 {
    3550                 :      401304 :                   value_range svr (src->m_vr->type ());
    3551                 :      401304 :                   if (!dst->m_vr || !dst->m_vr->known_p ())
    3552                 :      176282 :                     ipa_set_jfunc_vr (dst, *src->m_vr);
    3553                 :      225022 :                   else if (ipa_vr_operation_and_type_effects (svr, *src->m_vr,
    3554                 :             :                                                            NOP_EXPR,
    3555                 :      225022 :                                                            dst->m_vr->type (),
    3556                 :      225022 :                                                            src->m_vr->type ()))
    3557                 :             :                     {
    3558                 :      225014 :                       value_range dvr;
    3559                 :      225014 :                       dst->m_vr->get_vrange (dvr);
    3560                 :      225014 :                       dvr.intersect (svr);
    3561                 :      225014 :                       if (!dvr.undefined_p ())
    3562                 :      219319 :                         ipa_set_jfunc_vr (dst, dvr);
    3563                 :      225014 :                     }
    3564                 :      401304 :                 }
    3565                 :             : 
    3566                 :      607688 :               if (src->agg.items
    3567                 :       22587 :                   && (dst_agg_p || !src->agg.by_ref))
    3568                 :             :                 {
    3569                 :             :                   /* Currently we do not produce clobber aggregate jump
    3570                 :             :                      functions, replace with merging when we do.  */
    3571                 :       18853 :                   gcc_assert (!dst->agg.items);
    3572                 :             : 
    3573                 :       18853 :                   dst->agg.by_ref = src->agg.by_ref;
    3574                 :       18853 :                   dst->agg.items = vec_safe_copy (src->agg.items);
    3575                 :             :                 }
    3576                 :             :             }
    3577                 :             :           else
    3578                 :       26999 :             ipa_set_jf_unknown (dst);
    3579                 :             :         }
    3580                 :             :     }
    3581                 :             : }
    3582                 :             : 
    3583                 :             : /* If TARGET is an addr_expr of a function declaration, make it the
    3584                 :             :    (SPECULATIVE)destination of an indirect edge IE and return the edge.
    3585                 :             :    Otherwise, return NULL.  */
    3586                 :             : 
    3587                 :             : struct cgraph_edge *
    3588                 :        2510 : ipa_make_edge_direct_to_target (struct cgraph_edge *ie, tree target,
    3589                 :             :                                 bool speculative)
    3590                 :             : {
    3591                 :        2510 :   struct cgraph_node *callee;
    3592                 :        2510 :   bool unreachable = false;
    3593                 :             : 
    3594                 :        2510 :   if (TREE_CODE (target) == ADDR_EXPR)
    3595                 :         483 :     target = TREE_OPERAND (target, 0);
    3596                 :        2510 :   if (TREE_CODE (target) != FUNCTION_DECL)
    3597                 :             :     {
    3598                 :          14 :       target = canonicalize_constructor_val (target, NULL);
    3599                 :          14 :       if (!target || TREE_CODE (target) != FUNCTION_DECL)
    3600                 :             :         {
    3601                 :             :           /* Member pointer call that goes through a VMT lookup.  */
    3602                 :          14 :           if (ie->indirect_info->member_ptr
    3603                 :             :               /* Or if target is not an invariant expression and we do not
    3604                 :             :                  know if it will evaulate to function at runtime.
    3605                 :             :                  This can happen when folding through &VAR, where &VAR
    3606                 :             :                  is IP invariant, but VAR itself is not.
    3607                 :             : 
    3608                 :             :                  TODO: Revisit this when GCC 5 is branched.  It seems that
    3609                 :             :                  member_ptr check is not needed and that we may try to fold
    3610                 :             :                  the expression and see if VAR is readonly.  */
    3611                 :          14 :               || !is_gimple_ip_invariant (target))
    3612                 :             :             {
    3613                 :           3 :               if (dump_enabled_p ())
    3614                 :             :                 {
    3615                 :           0 :                   dump_printf_loc (MSG_OPTIMIZED_LOCATIONS, ie->call_stmt,
    3616                 :             :                                    "discovered direct call non-invariant %s\n",
    3617                 :           0 :                                    ie->caller->dump_name ());
    3618                 :             :                 }
    3619                 :           3 :               return NULL;
    3620                 :             :             }
    3621                 :             : 
    3622                 :             : 
    3623                 :          11 :           if (dump_enabled_p ())
    3624                 :             :             {
    3625                 :           0 :               dump_printf_loc (MSG_OPTIMIZED_LOCATIONS, ie->call_stmt,
    3626                 :             :                                "discovered direct call to non-function in %s, "
    3627                 :             :                                "making it __builtin_unreachable\n",
    3628                 :           0 :                                ie->caller->dump_name ());
    3629                 :             :             }
    3630                 :             : 
    3631                 :          11 :           target = builtin_decl_unreachable ();
    3632                 :          11 :           callee = cgraph_node::get_create (target);
    3633                 :          11 :           unreachable = true;
    3634                 :             :         }
    3635                 :             :       else
    3636                 :           0 :         callee = cgraph_node::get (target);
    3637                 :             :     }
    3638                 :             :   else
    3639                 :        2496 :     callee = cgraph_node::get (target);
    3640                 :             : 
    3641                 :             :   /* Because may-edges are not explicitely represented and vtable may be external,
    3642                 :             :      we may create the first reference to the object in the unit.  */
    3643                 :        2507 :   if (!callee || callee->inlined_to)
    3644                 :             :     {
    3645                 :             : 
    3646                 :             :       /* We are better to ensure we can refer to it.
    3647                 :             :          In the case of static functions we are out of luck, since we already
    3648                 :             :          removed its body.  In the case of public functions we may or may
    3649                 :             :          not introduce the reference.  */
    3650                 :           0 :       if (!canonicalize_constructor_val (target, NULL)
    3651                 :           0 :           || !TREE_PUBLIC (target))
    3652                 :             :         {
    3653                 :           0 :           if (dump_file)
    3654                 :           0 :             fprintf (dump_file, "ipa-prop: Discovered call to a known target "
    3655                 :             :                      "(%s -> %s) but cannot refer to it.  Giving up.\n",
    3656                 :           0 :                      ie->caller->dump_name (),
    3657                 :           0 :                      ie->callee->dump_name ());
    3658                 :           0 :           return NULL;
    3659                 :             :         }
    3660                 :           0 :       callee = cgraph_node::get_create (target);
    3661                 :             :     }
    3662                 :             : 
    3663                 :             :   /* If the edge is already speculated.  */
    3664                 :        2507 :   if (speculative && ie->speculative)
    3665                 :             :     {
    3666                 :           1 :       if (dump_file)
    3667                 :             :         {
    3668                 :           0 :           cgraph_edge *e2 = ie->speculative_call_for_target (callee);
    3669                 :           0 :           if (!e2)
    3670                 :             :             {
    3671                 :           0 :               if (dump_file)
    3672                 :           0 :                 fprintf (dump_file, "ipa-prop: Discovered call to a "
    3673                 :             :                          "speculative target (%s -> %s) but the call is "
    3674                 :             :                          "already speculated to different target.  "
    3675                 :             :                          "Giving up.\n",
    3676                 :           0 :                          ie->caller->dump_name (), callee->dump_name ());
    3677                 :             :             }
    3678                 :             :           else
    3679                 :             :             {
    3680                 :           0 :               if (dump_file)
    3681                 :           0 :                 fprintf (dump_file,
    3682                 :             :                          "ipa-prop: Discovered call to a speculative target "
    3683                 :             :                          "(%s -> %s) this agree with previous speculation.\n",
    3684                 :           0 :                          ie->caller->dump_name (), callee->dump_name ());
    3685                 :             :             }
    3686                 :             :         }
    3687                 :           1 :       return NULL;
    3688                 :             :     }
    3689                 :             : 
    3690                 :        2506 :   if (!dbg_cnt (devirt))
    3691                 :             :     return NULL;
    3692                 :             : 
    3693                 :        2506 :   ipa_check_create_node_params ();
    3694                 :             : 
    3695                 :             :   /* We cannot make edges to inline clones.  It is bug that someone removed
    3696                 :             :      the cgraph node too early.  */
    3697                 :        2506 :   gcc_assert (!callee->inlined_to);
    3698                 :             : 
    3699                 :        2506 :   if (dump_file && !unreachable)
    3700                 :             :     {
    3701                 :         522 :       fprintf (dump_file, "ipa-prop: Discovered %s call to a %s target "
    3702                 :             :                "(%s -> %s), for stmt ",
    3703                 :         174 :                ie->indirect_info->polymorphic ? "a virtual" : "an indirect",
    3704                 :             :                speculative ? "speculative" : "known",
    3705                 :         174 :                ie->caller->dump_name (),
    3706                 :             :                callee->dump_name ());
    3707                 :         174 :       if (ie->call_stmt)
    3708                 :         166 :         print_gimple_stmt (dump_file, ie->call_stmt, 2, TDF_SLIM);
    3709                 :             :       else
    3710                 :           8 :         fprintf (dump_file, "with uid %i\n", ie->lto_stmt_uid);
    3711                 :             :      }
    3712                 :        2506 :   if (dump_enabled_p ())
    3713                 :             :     {
    3714                 :         348 :       dump_printf_loc (MSG_OPTIMIZED_LOCATIONS, ie->call_stmt,
    3715                 :             :                        "converting indirect call in %s to direct call to %s\n",
    3716                 :         174 :                        ie->caller->dump_name (), callee->dump_name ());
    3717                 :             :     }
    3718                 :        2506 :   if (!speculative)
    3719                 :             :     {
    3720                 :        2485 :       struct cgraph_edge *orig = ie;
    3721                 :        2485 :       ie = cgraph_edge::make_direct (ie, callee);
    3722                 :             :       /* If we resolved speculative edge the cost is already up to date
    3723                 :             :          for direct call (adjusted by inline_edge_duplication_hook).  */
    3724                 :        2485 :       if (ie == orig)
    3725                 :             :         {
    3726                 :        2196 :           ipa_call_summary *es = ipa_call_summaries->get (ie);
    3727                 :        2196 :           es->call_stmt_size -= (eni_size_weights.indirect_call_cost
    3728                 :        2196 :                                  - eni_size_weights.call_cost);
    3729                 :        2196 :           es->call_stmt_time -= (eni_time_weights.indirect_call_cost
    3730                 :        2196 :                                  - eni_time_weights.call_cost);
    3731                 :             :         }
    3732                 :             :     }
    3733                 :             :   else
    3734                 :             :     {
    3735                 :          21 :       if (!callee->can_be_discarded_p ())
    3736                 :             :         {
    3737                 :           3 :           cgraph_node *alias;
    3738                 :           3 :           alias = dyn_cast<cgraph_node *> (callee->noninterposable_alias ());
    3739                 :             :           if (alias)
    3740                 :          21 :             callee = alias;
    3741                 :             :         }
    3742                 :             :       /* make_speculative will update ie's cost to direct call cost. */
    3743                 :          21 :       ie = ie->make_speculative
    3744                 :          21 :              (callee, ie->count.apply_scale (8, 10));
    3745                 :             :     }
    3746                 :             : 
    3747                 :             :   return ie;
    3748                 :             : }
    3749                 :             : 
    3750                 :             : /* Attempt to locate an interprocedural constant at a given REQ_OFFSET in
    3751                 :             :    CONSTRUCTOR and return it.  Return NULL if the search fails for some
    3752                 :             :    reason.  */
    3753                 :             : 
    3754                 :             : static tree
    3755                 :       10348 : find_constructor_constant_at_offset (tree constructor, HOST_WIDE_INT req_offset)
    3756                 :             : {
    3757                 :       15042 :   tree type = TREE_TYPE (constructor);
    3758                 :       15042 :   if (TREE_CODE (type) != ARRAY_TYPE
    3759                 :       15042 :       && TREE_CODE (type) != RECORD_TYPE)
    3760                 :             :     return NULL;
    3761                 :             : 
    3762                 :       15030 :   unsigned ix;
    3763                 :       15030 :   tree index, val;
    3764                 :       20272 :   FOR_EACH_CONSTRUCTOR_ELT (CONSTRUCTOR_ELTS (constructor), ix, index, val)
    3765                 :             :     {
    3766                 :       19802 :       HOST_WIDE_INT elt_offset;
    3767                 :       19802 :       if (TREE_CODE (type) == ARRAY_TYPE)
    3768                 :             :        {
    3769                 :         237 :          offset_int off;
    3770                 :         237 :          tree unit_size = TYPE_SIZE_UNIT (TREE_TYPE (type));
    3771                 :         237 :          gcc_assert (TREE_CODE (unit_size) == INTEGER_CST);
    3772                 :             : 
    3773                 :         237 :          if (index)
    3774                 :             :            {
    3775                 :         237 :              if (TREE_CODE (index) == RANGE_EXPR)
    3776                 :          48 :                off = wi::to_offset (TREE_OPERAND (index, 0));
    3777                 :             :              else
    3778                 :         189 :                off = wi::to_offset (index);
    3779                 :         237 :              if (TYPE_DOMAIN (type) && TYPE_MIN_VALUE (TYPE_DOMAIN (type)))
    3780                 :             :                {
    3781                 :         237 :                  tree low_bound = TYPE_MIN_VALUE (TYPE_DOMAIN (type));
    3782                 :         237 :                  gcc_assert (TREE_CODE (unit_size) == INTEGER_CST);
    3783                 :         237 :                  off = wi::sext (off - wi::to_offset (low_bound),
    3784                 :         237 :                                  TYPE_PRECISION (TREE_TYPE (index)));
    3785                 :             :                }
    3786                 :         237 :              off *= wi::to_offset (unit_size);
    3787                 :             :              /* ???  Handle more than just the first index of a
    3788                 :             :                 RANGE_EXPR.  */
    3789                 :             :            }
    3790                 :             :          else
    3791                 :           0 :            off = wi::to_offset (unit_size) * ix;
    3792                 :             : 
    3793                 :         237 :          off = wi::lshift (off, LOG2_BITS_PER_UNIT);
    3794                 :         237 :          if (!wi::fits_shwi_p (off) || wi::neg_p (off))
    3795                 :           0 :            continue;
    3796                 :         237 :          elt_offset = off.to_shwi ();
    3797                 :             :        }
    3798                 :       19565 :       else if (TREE_CODE (type) == RECORD_TYPE)
    3799                 :             :        {
    3800                 :       19565 :          gcc_checking_assert (index && TREE_CODE (index) == FIELD_DECL);
    3801                 :       19565 :          if (DECL_BIT_FIELD (index))
    3802                 :           0 :            continue;
    3803                 :       19565 :          elt_offset = int_bit_position (index);
    3804                 :             :        }
    3805                 :             :       else
    3806                 :           0 :        gcc_unreachable ();
    3807                 :             : 
    3808                 :       19802 :       if (elt_offset > req_offset)
    3809                 :             :         return NULL;
    3810                 :             : 
    3811                 :       19802 :       if (TREE_CODE (val) == CONSTRUCTOR)
    3812                 :        4694 :         return find_constructor_constant_at_offset (val,
    3813                 :        4694 :                                                     req_offset - elt_offset);
    3814                 :             : 
    3815                 :       15108 :       if (elt_offset == req_offset
    3816                 :       10336 :           && is_gimple_reg_type (TREE_TYPE (val))
    3817                 :       25444 :           && is_gimple_ip_invariant (val))
    3818                 :             :         return val;
    3819                 :             :     }
    3820                 :             :   return NULL;
    3821                 :             : }
    3822                 :             : 
    3823                 :             : /* Check whether SCALAR could be used to look up an aggregate interprocedural
    3824                 :             :    invariant from a static constructor and if so, return it.  Otherwise return
    3825                 :             :    NULL. */
    3826                 :             : 
    3827                 :             : tree
    3828                 :    10014145 : ipa_find_agg_cst_from_init (tree scalar, HOST_WIDE_INT offset, bool by_ref)
    3829                 :             : {
    3830                 :    10014145 :   if (by_ref)
    3831                 :             :     {
    3832                 :    10000007 :       if (TREE_CODE (scalar) != ADDR_EXPR)
    3833                 :             :         return NULL;
    3834                 :     3409602 :       scalar = TREE_OPERAND (scalar, 0);
    3835                 :             :     }
    3836                 :             : 
    3837                 :     3423740 :   if (!VAR_P (scalar)
    3838                 :     2235449 :       || !is_global_var (scalar)
    3839                 :       96600 :       || !TREE_READONLY (scalar)
    3840                 :       13556 :       || !DECL_INITIAL (scalar)
    3841                 :     3436578 :       || TREE_CODE (DECL_INITIAL (scalar)) != CONSTRUCTOR)
    3842                 :             :     return NULL;
    3843                 :             : 
    3844                 :       10348 :   return find_constructor_constant_at_offset (DECL_INITIAL (scalar), offset);
    3845                 :             : }
    3846                 :             : 
    3847                 :             : /* Retrieve value from AGG_JFUNC for the given OFFSET or return NULL if there
    3848                 :             :    is none.  BY_REF specifies whether the value has to be passed by reference
    3849                 :             :    or by value.  */
    3850                 :             : 
    3851                 :             : static tree
    3852                 :       25558 : ipa_find_agg_cst_from_jfunc_items (struct ipa_agg_jump_function *agg_jfunc,
    3853                 :             :                                    ipa_node_params *src_info,
    3854                 :             :                                    cgraph_node *src_node,
    3855                 :             :                                    HOST_WIDE_INT offset, bool by_ref)
    3856                 :             : {
    3857                 :       25558 :   if (by_ref != agg_jfunc->by_ref)
    3858                 :             :     return NULL_TREE;
    3859                 :             : 
    3860                 :        3129 :   for (const ipa_agg_jf_item &item : agg_jfunc->items)
    3861                 :        1065 :     if (item.offset == offset)
    3862                 :         780 :       return ipa_agg_value_from_jfunc (src_info, src_node, &item);
    3863                 :             : 
    3864                 :             :   return NULL_TREE;
    3865                 :             : }
    3866                 :             : 
    3867                 :             : /* Remove a reference to SYMBOL from the list of references of a node given by
    3868                 :             :    reference description RDESC.  Return true if the reference has been
    3869                 :             :    successfully found and removed.  */
    3870                 :             : 
    3871                 :             : static bool
    3872                 :        5564 : remove_described_reference (symtab_node *symbol, struct ipa_cst_ref_desc *rdesc)
    3873                 :             : {
    3874                 :        5564 :   struct ipa_ref *to_del;
    3875                 :        5564 :   struct cgraph_edge *origin;
    3876                 :             : 
    3877                 :        5564 :   origin = rdesc->cs;
    3878                 :        5564 :   if (!origin)
    3879                 :             :     return false;
    3880                 :        5564 :   to_del = origin->caller->find_reference (symbol, origin->call_stmt,
    3881                 :             :                                            origin->lto_stmt_uid, IPA_REF_ADDR);
    3882                 :        5564 :   if (!to_del)
    3883                 :             :     return false;
    3884                 :             : 
    3885                 :        5564 :   to_del->remove_reference ();
    3886                 :        5564 :   if (dump_file)
    3887                 :          26 :     fprintf (dump_file, "ipa-prop: Removed a reference from %s to %s.\n",
    3888                 :          13 :              origin->caller->dump_name (), symbol->dump_name ());
    3889                 :             :   return true;
    3890                 :             : }
    3891                 :             : 
    3892                 :             : /* If JFUNC has a reference description with refcount different from
    3893                 :             :    IPA_UNDESCRIBED_USE, return the reference description, otherwise return
    3894                 :             :    NULL.  JFUNC must be a constant jump function.  */
    3895                 :             : 
    3896                 :             : static struct ipa_cst_ref_desc *
    3897                 :     1145301 : jfunc_rdesc_usable (struct ipa_jump_func *jfunc)
    3898                 :             : {
    3899                 :     1145301 :   struct ipa_cst_ref_desc *rdesc = ipa_get_jf_constant_rdesc (jfunc);
    3900                 :     1145301 :   if (rdesc && rdesc->refcount != IPA_UNDESCRIBED_USE)
    3901                 :             :     return rdesc;
    3902                 :             :   else
    3903                 :      971344 :     return NULL;
    3904                 :             : }
    3905                 :             : 
    3906                 :             : /* If the value of constant jump function JFUNC is an address of a function
    3907                 :             :    declaration, return the associated call graph node.  Otherwise return
    3908                 :             :    NULL.  */
    3909                 :             : 
    3910                 :             : static symtab_node *
    3911                 :         290 : symtab_node_for_jfunc (struct ipa_jump_func *jfunc)
    3912                 :             : {
    3913                 :         290 :   gcc_checking_assert (jfunc->type == IPA_JF_CONST);
    3914                 :         290 :   tree cst = ipa_get_jf_constant (jfunc);
    3915                 :         290 :   if (TREE_CODE (cst) != ADDR_EXPR
    3916                 :         290 :       || (TREE_CODE (TREE_OPERAND (cst, 0)) != FUNCTION_DECL
    3917                 :          10 :           && TREE_CODE (TREE_OPERAND (cst, 0)) != VAR_DECL))
    3918                 :             :     return NULL;
    3919                 :             : 
    3920                 :         280 :   return symtab_node::get (TREE_OPERAND (cst, 0));
    3921                 :             : }
    3922                 :             : 
    3923                 :             : 
    3924                 :             : /* If JFUNC is a constant jump function with a usable rdesc, decrement its
    3925                 :             :    refcount and if it hits zero, remove reference to SYMBOL from the caller of
    3926                 :             :    the edge specified in the rdesc.  Return false if either the symbol or the
    3927                 :             :    reference could not be found, otherwise return true.  */
    3928                 :             : 
    3929                 :             : static bool
    3930                 :         170 : try_decrement_rdesc_refcount (struct ipa_jump_func *jfunc)
    3931                 :             : {
    3932                 :         170 :   struct ipa_cst_ref_desc *rdesc;
    3933                 :         170 :   if (jfunc->type == IPA_JF_CONST
    3934                 :         170 :       && (rdesc = jfunc_rdesc_usable (jfunc))
    3935                 :         318 :       && --rdesc->refcount == 0)
    3936                 :             :     {
    3937                 :         106 :       symtab_node *symbol = symtab_node_for_jfunc (jfunc);
    3938                 :         106 :       if (!symbol)
    3939                 :             :         return false;
    3940                 :             : 
    3941                 :         106 :       return remove_described_reference (symbol, rdesc);
    3942                 :             :     }
    3943                 :             :   return true;
    3944                 :             : }
    3945                 :             : 
    3946                 :             : /* Try to find a destination for indirect edge IE that corresponds to a simple
    3947                 :             :    call or a call of a member function pointer and where the destination is a
    3948                 :             :    pointer formal parameter described by jump function JFUNC.  TARGET_TYPE is
    3949                 :             :    the type of the parameter to which the result of JFUNC is passed.  If it can
    3950                 :             :    be determined, return the newly direct edge, otherwise return NULL.
    3951                 :             :    NEW_ROOT and NEW_ROOT_INFO is the node and its info that JFUNC lattices are
    3952                 :             :    relative to.  */
    3953                 :             : 
    3954                 :             : static struct cgraph_edge *
    3955                 :        9387 : try_make_edge_direct_simple_call (struct cgraph_edge *ie,
    3956                 :             :                                   struct ipa_jump_func *jfunc, tree target_type,
    3957                 :             :                                   struct cgraph_node *new_root,
    3958                 :             :                                   class ipa_node_params *new_root_info)
    3959                 :             : {
    3960                 :        9387 :   struct cgraph_edge *cs;
    3961                 :        9387 :   tree target = NULL_TREE;
    3962                 :        9387 :   bool agg_contents = ie->indirect_info->agg_contents;
    3963                 :        9387 :   tree scalar = ipa_value_from_jfunc (new_root_info, jfunc, target_type);
    3964                 :        9387 :   if (agg_contents)
    3965                 :             :     {
    3966                 :        8400 :       if (scalar)
    3967                 :           7 :         target = ipa_find_agg_cst_from_init (scalar, ie->indirect_info->offset,
    3968                 :           7 :                                              ie->indirect_info->by_ref);
    3969                 :        8400 :       if (!target && ie->indirect_info->guaranteed_unmodified)
    3970                 :        7558 :         target = ipa_find_agg_cst_from_jfunc_items (&jfunc->agg, new_root_info,
    3971                 :             :                                                     new_root,
    3972                 :             :                                                     ie->indirect_info->offset,
    3973                 :             :                                                     ie->indirect_info->by_ref);
    3974                 :             :     }
    3975                 :             :   else
    3976                 :             :     target = scalar;
    3977                 :        9386 :   if (!target)
    3978                 :             :     return NULL;
    3979                 :         497 :   cs = ipa_make_edge_direct_to_target (ie, target);
    3980                 :             : 
    3981                 :         497 :   if (cs && !agg_contents)
    3982                 :             :     {
    3983                 :         170 :       bool ok;
    3984                 :         170 :       gcc_checking_assert (cs->callee
    3985                 :             :                            && (cs != ie
    3986                 :             :                                || jfunc->type != IPA_JF_CONST
    3987                 :             :                                || !symtab_node_for_jfunc (jfunc)
    3988                 :             :                                || cs->callee == symtab_node_for_jfunc (jfunc)));
    3989                 :         170 :       ok = try_decrement_rdesc_refcount (jfunc);
    3990                 :         170 :       gcc_checking_assert (ok);
    3991                 :             :     }
    3992                 :             : 
    3993                 :             :   return cs;
    3994                 :             : }
    3995                 :             : 
    3996                 :             : /* Return the target to be used in cases of impossible devirtualization.  IE
    3997                 :             :    and target (the latter can be NULL) are dumped when dumping is enabled.  */
    3998                 :             : 
    3999                 :             : tree
    4000                 :         468 : ipa_impossible_devirt_target (struct cgraph_edge *ie, tree target)
    4001                 :             : {
    4002                 :         468 :   if (dump_file)
    4003                 :             :     {
    4004                 :          33 :       if (target)
    4005                 :          18 :         fprintf (dump_file,
    4006                 :             :                  "Type inconsistent devirtualization: %s->%s\n",
    4007                 :          18 :                  ie->caller->dump_name (),
    4008                 :          18 :                  IDENTIFIER_POINTER (DECL_ASSEMBLER_NAME (target)));
    4009                 :             :       else
    4010                 :          15 :         fprintf (dump_file,
    4011                 :             :                  "No devirtualization target in %s\n",
    4012                 :          15 :                  ie->caller->dump_name ());
    4013                 :             :     }
    4014                 :         468 :   tree new_target = builtin_decl_unreachable ();
    4015                 :         468 :   cgraph_node::get_create (new_target);
    4016                 :         468 :   return new_target;
    4017                 :             : }
    4018                 :             : 
    4019                 :             : /* Try to find a destination for indirect edge IE that corresponds to a virtual
    4020                 :             :    call based on a formal parameter which is described by jump function JFUNC
    4021                 :             :    and if it can be determined, make it direct and return the direct edge.
    4022                 :             :    Otherwise, return NULL.  CTX describes the polymorphic context that the
    4023                 :             :    parameter the call is based on brings along with it.  NEW_ROOT and
    4024                 :             :    NEW_ROOT_INFO is the node and its info that JFUNC lattices are relative
    4025                 :             :    to.  */
    4026                 :             : 
    4027                 :             : static struct cgraph_edge *
    4028                 :       18003 : try_make_edge_direct_virtual_call (struct cgraph_edge *ie,
    4029                 :             :                                    struct ipa_jump_func *jfunc,
    4030                 :             :                                    class ipa_polymorphic_call_context ctx,
    4031                 :             :                                    struct cgraph_node *new_root,
    4032                 :             :                                    class ipa_node_params *new_root_info)
    4033                 :             : {
    4034                 :       18003 :   tree target = NULL;
    4035                 :       18003 :   bool speculative = false;
    4036                 :             : 
    4037                 :       18003 :   if (!opt_for_fn (ie->caller->decl, flag_devirtualize))
    4038                 :             :     return NULL;
    4039                 :             : 
    4040                 :       18003 :   gcc_assert (!ie->indirect_info->by_ref);
    4041                 :             : 
    4042                 :             :   /* Try to do lookup via known virtual table pointer value.  */
    4043                 :       18003 :   if (!ie->indirect_info->vptr_changed
    4044                 :       18003 :       || opt_for_fn (ie->caller->decl, flag_devirtualize_speculatively))
    4045                 :             :     {
    4046                 :       18003 :       tree vtable;
    4047                 :       18003 :       unsigned HOST_WIDE_INT offset;
    4048                 :       18003 :       tree t = NULL_TREE;
    4049                 :       18003 :       if (jfunc->type == IPA_JF_CONST)
    4050                 :         316 :         t = ipa_find_agg_cst_from_init (ipa_get_jf_constant (jfunc),
    4051                 :             :                                         ie->indirect_info->offset, true);
    4052                 :         316 :       if (!t)
    4053                 :       18000 :         t = ipa_find_agg_cst_from_jfunc_items (&jfunc->agg, new_root_info,
    4054                 :             :                                                new_root,
    4055                 :       18000 :                                                ie->indirect_info->offset, true);
    4056                 :       18003 :       if (t && vtable_pointer_value_to_vtable (t, &vtable, &offset))
    4057                 :             :         {
    4058                 :         416 :           bool can_refer;
    4059                 :         416 :           t = gimple_get_virt_method_for_vtable (ie->indirect_info->otr_token,
    4060                 :             :                                                  vtable, offset, &can_refer);
    4061                 :         416 :           if (can_refer)
    4062                 :             :             {
    4063                 :         399 :               if (!t
    4064                 :         399 :                   || fndecl_built_in_p (t, BUILT_IN_UNREACHABLE,
    4065                 :             :                                            BUILT_IN_UNREACHABLE_TRAP)
    4066                 :         750 :                   || !possible_polymorphic_call_target_p
    4067                 :         351 :                        (ie, cgraph_node::get (t)))
    4068                 :             :                 {
    4069                 :             :                   /* Do not speculate builtin_unreachable, it is stupid!  */
    4070                 :          88 :                   if (!ie->indirect_info->vptr_changed)
    4071                 :          88 :                     target = ipa_impossible_devirt_target (ie, target);
    4072                 :             :                   else
    4073                 :             :                     target = NULL;
    4074                 :             :                 }
    4075                 :             :               else
    4076                 :             :                 {
    4077                 :         311 :                   target = t;
    4078                 :         311 :                   speculative = ie->indirect_info->vptr_changed;
    4079                 :             :                 }
    4080                 :             :             }
    4081                 :             :         }
    4082                 :             :     }
    4083                 :             : 
    4084                 :       18003 :   ipa_polymorphic_call_context ie_context (ie);
    4085                 :       18003 :   vec <cgraph_node *>targets;
    4086                 :       18003 :   bool final;
    4087                 :             : 
    4088                 :       18003 :   ctx.offset_by (ie->indirect_info->offset);
    4089                 :       18003 :   if (ie->indirect_info->vptr_changed)
    4090                 :        7368 :     ctx.possible_dynamic_type_change (ie->in_polymorphic_cdtor,
    4091                 :             :                                       ie->indirect_info->otr_type);
    4092                 :       18003 :   ctx.combine_with (ie_context, ie->indirect_info->otr_type);
    4093                 :       18003 :   targets = possible_polymorphic_call_targets
    4094                 :       36006 :     (ie->indirect_info->otr_type,
    4095                 :       18003 :      ie->indirect_info->otr_token,
    4096                 :             :      ctx, &final);
    4097                 :       19533 :   if (final && targets.length () <= 1)
    4098                 :             :     {
    4099                 :        1464 :       speculative = false;
    4100                 :        1464 :       if (targets.length () == 1)
    4101                 :        1413 :         target = targets[0]->decl;
    4102                 :             :       else
    4103                 :          51 :         target = ipa_impossible_devirt_target (ie, NULL_TREE);
    4104                 :             :     }
    4105                 :       16503 :   else if (!target && opt_for_fn (ie->caller->decl, flag_devirtualize_speculatively)
    4106                 :       32969 :            && !ie->speculative && ie->maybe_hot_p ())
    4107                 :             :     {
    4108                 :       12270 :       cgraph_node *n;
    4109                 :       24540 :       n = try_speculative_devirtualization (ie->indirect_info->otr_type,
    4110                 :             :                                             ie->indirect_info->otr_token,
    4111                 :       12270 :                                             ie->indirect_info->context);
    4112                 :       12270 :       if (n)
    4113                 :             :         {
    4114                 :           9 :           target = n->decl;
    4115                 :           9 :           speculative = true;
    4116                 :             :         }
    4117                 :             :     }
    4118                 :             : 
    4119                 :       18003 :   if (target)
    4120                 :             :     {
    4121                 :        1509 :       if (!possible_polymorphic_call_target_p
    4122                 :        1509 :           (ie, cgraph_node::get_create (target)))
    4123                 :             :         {
    4124                 :          48 :           if (speculative)
    4125                 :             :             return NULL;
    4126                 :          48 :           target = ipa_impossible_devirt_target (ie, target);
    4127                 :             :         }
    4128                 :        1509 :       return ipa_make_edge_direct_to_target (ie, target, speculative);
    4129                 :             :     }
    4130                 :             :   else
    4131                 :             :     return NULL;
    4132                 :             : }
    4133                 :             : 
    4134                 :             : /* Update the param called notes associated with NODE when CS is being inlined,
    4135                 :             :    assuming NODE is (potentially indirectly) inlined into CS->callee.
    4136                 :             :    Moreover, if the callee is discovered to be constant, create a new cgraph
    4137                 :             :    edge for it.  Newly discovered indirect edges will be added to *NEW_EDGES,
    4138                 :             :    unless NEW_EDGES is NULL.  Return true iff a new edge(s) were created.  */
    4139                 :             : 
    4140                 :             : static bool
    4141                 :     1298008 : update_indirect_edges_after_inlining (struct cgraph_edge *cs,
    4142                 :             :                                       struct cgraph_node *node,
    4143                 :             :                                       vec<cgraph_edge *> *new_edges)
    4144                 :             : {
    4145                 :     1298008 :   class ipa_edge_args *top;
    4146                 :     1298008 :   struct cgraph_edge *ie, *next_ie, *new_direct_edge;
    4147                 :     1298008 :   struct cgraph_node *new_root;
    4148                 :     1298008 :   class ipa_node_params *new_root_info, *inlined_node_info;
    4149                 :     1298008 :   bool res = false;
    4150                 :             : 
    4151                 :     1298008 :   ipa_check_create_edge_args ();
    4152                 :     1298008 :   top = ipa_edge_args_sum->get (cs);
    4153                 :     2596016 :   new_root = cs->caller->inlined_to
    4154                 :     1298008 :                 ? cs->caller->inlined_to : cs->caller;
    4155                 :     1298008 :   new_root_info = ipa_node_params_sum->get (new_root);
    4156                 :     1298008 :   inlined_node_info = ipa_node_params_sum->get (cs->callee->function_symbol ());
    4157                 :             : 
    4158                 :     1364688 :   for (ie = node->indirect_calls; ie; ie = next_ie)
    4159                 :             :     {
    4160                 :       66680 :       class cgraph_indirect_call_info *ici = ie->indirect_info;
    4161                 :       66680 :       struct ipa_jump_func *jfunc;
    4162                 :       66680 :       int param_index;
    4163                 :             : 
    4164                 :       66680 :       next_ie = ie->next_callee;
    4165                 :             : 
    4166                 :       66680 :       if (ici->param_index == -1)
    4167                 :       80190 :         continue;
    4168                 :             : 
    4169                 :             :       /* We must check range due to calls with variable number of arguments:  */
    4170                 :       55159 :       if (!top || ici->param_index >= ipa_get_cs_argument_count (top))
    4171                 :             :         {
    4172                 :          35 :           ici->param_index = -1;
    4173                 :          35 :           continue;
    4174                 :             :         }
    4175                 :             : 
    4176                 :       27561 :       param_index = ici->param_index;
    4177                 :       27561 :       jfunc = ipa_get_ith_jump_func (top, param_index);
    4178                 :             : 
    4179                 :       27561 :       auto_vec<cgraph_node *, 4> spec_targets;
    4180                 :       27561 :       if (ie->speculative)
    4181                 :        4075 :         for (cgraph_edge *direct = ie->first_speculative_call_target ();
    4182                 :        8152 :              direct;
    4183                 :        4077 :              direct = direct->next_speculative_call_target ())
    4184                 :        4077 :           spec_targets.safe_push (direct->callee);
    4185                 :             : 
    4186                 :       27561 :       if (!opt_for_fn (node->decl, flag_indirect_inlining))
    4187                 :         171 :         new_direct_edge = NULL;
    4188                 :       27390 :       else if (ici->polymorphic)
    4189                 :             :         {
    4190                 :       18003 :           ipa_polymorphic_call_context ctx;
    4191                 :       18003 :           ctx = ipa_context_from_jfunc (new_root_info, cs, param_index, jfunc);
    4192                 :       18003 :           new_direct_edge = try_make_edge_direct_virtual_call (ie, jfunc, ctx,
    4193                 :             :                                                                new_root,
    4194                 :             :                                                                new_root_info);
    4195                 :             :         }
    4196                 :             :       else
    4197                 :             :         {
    4198                 :        9387 :           tree target_type =  ipa_get_type (inlined_node_info, param_index);
    4199                 :        9387 :           new_direct_edge = try_make_edge_direct_simple_call (ie, jfunc,
    4200                 :             :                                                               target_type,
    4201                 :             :                                                               new_root,
    4202                 :             :                                                               new_root_info);
    4203                 :             :         }
    4204                 :             : 
    4205                 :             :       /* If speculation was removed, then we need to do nothing.  */
    4206                 :        2002 :       if (new_direct_edge && new_direct_edge != ie
    4207                 :       27813 :           && spec_targets.contains (new_direct_edge->callee))
    4208                 :             :         {
    4209                 :         237 :           new_direct_edge->indirect_inlining_edge = 1;
    4210                 :         237 :           res = true;
    4211                 :         237 :           if (!new_direct_edge->speculative)
    4212                 :         237 :             continue;
    4213                 :             :         }
    4214                 :       27324 :       else if (new_direct_edge)
    4215                 :             :         {
    4216                 :        1765 :           new_direct_edge->indirect_inlining_edge = 1;
    4217                 :        1765 :           if (new_edges)
    4218                 :             :             {
    4219                 :        1724 :               new_edges->safe_push (new_direct_edge);
    4220                 :        1724 :               res = true;
    4221                 :             :             }
    4222                 :             :           /* If speculative edge was introduced we still need to update
    4223                 :             :              call info of the indirect edge.  */
    4224                 :        1765 :           if (!new_direct_edge->speculative)
    4225                 :        1750 :             continue;
    4226                 :             :         }
    4227                 :       25574 :       if (jfunc->type == IPA_JF_PASS_THROUGH
    4228                 :       25574 :           && ipa_get_jf_pass_through_operation (jfunc) == NOP_EXPR)
    4229                 :             :         {
    4230                 :        5449 :           if (ici->agg_contents
    4231                 :        1498 :               && !ipa_get_jf_pass_through_agg_preserved (jfunc)
    4232                 :        6441 :               && !ici->polymorphic)
    4233                 :         992 :             ici->param_index = -1;
    4234                 :             :           else
    4235                 :             :             {
    4236                 :        4457 :               ici->param_index = ipa_get_jf_pass_through_formal_id (jfunc);
    4237                 :        4457 :               if (ici->polymorphic
    4238                 :        4457 :                   && !ipa_get_jf_pass_through_type_preserved (jfunc))
    4239                 :        1924 :                 ici->vptr_changed = true;
    4240                 :        4457 :               ipa_set_param_used_by_indirect_call (new_root_info,
    4241                 :             :                                                    ici->param_index, true);
    4242                 :        4457 :               if (ici->polymorphic)
    4243                 :        3167 :                 ipa_set_param_used_by_polymorphic_call (new_root_info,
    4244                 :             :                                                         ici->param_index, true);
    4245                 :             :             }
    4246                 :             :         }
    4247                 :       20125 :       else if (jfunc->type == IPA_JF_ANCESTOR)
    4248                 :             :         {
    4249                 :         328 :           if (ici->agg_contents
    4250                 :          96 :               && !ipa_get_jf_ancestor_agg_preserved (jfunc)
    4251                 :         348 :               && !ici->polymorphic)
    4252                 :          20 :             ici->param_index = -1;
    4253                 :             :           else
    4254                 :             :             {
    4255                 :         308 :               ici->param_index = ipa_get_jf_ancestor_formal_id (jfunc);
    4256                 :         308 :               ici->offset += ipa_get_jf_ancestor_offset (jfunc);
    4257                 :         308 :               if (ici->polymorphic
    4258                 :         308 :                   && !ipa_get_jf_ancestor_type_preserved (jfunc))
    4259                 :         197 :                 ici->vptr_changed = true;
    4260                 :         308 :               ipa_set_param_used_by_indirect_call (new_root_info,
    4261                 :             :                                                    ici->param_index, true);
    4262                 :         308 :               if (ici->polymorphic)
    4263                 :         232 :                 ipa_set_param_used_by_polymorphic_call (new_root_info,
    4264                 :             :                                                         ici->param_index, true);
    4265                 :             :             }
    4266                 :             :         }
    4267                 :             :       else
    4268                 :             :         /* Either we can find a destination for this edge now or never. */
    4269                 :       19797 :         ici->param_index = -1;
    4270                 :       27561 :     }
    4271                 :             : 
    4272                 :     1298008 :   return res;
    4273                 :             : }
    4274                 :             : 
    4275                 :             : /* Recursively traverse subtree of NODE (including node) made of inlined
    4276                 :             :    cgraph_edges when CS has been inlined and invoke
    4277                 :             :    update_indirect_edges_after_inlining on all nodes and
    4278                 :             :    update_jump_functions_after_inlining on all non-inlined edges that lead out
    4279                 :             :    of this subtree.  Newly discovered indirect edges will be added to
    4280                 :             :    *NEW_EDGES, unless NEW_EDGES is NULL.  Return true iff a new edge(s) were
    4281                 :             :    created.  */
    4282                 :             : 
    4283                 :             : static bool
    4284                 :     1298008 : propagate_info_to_inlined_callees (struct cgraph_edge *cs,
    4285                 :             :                                    struct cgraph_node *node,
    4286                 :             :                                    vec<cgraph_edge *> *new_edges)
    4287                 :             : {
    4288                 :     1298008 :   struct cgraph_edge *e;
    4289                 :     1298008 :   bool res;
    4290                 :             : 
    4291                 :     1298008 :   res = update_indirect_edges_after_inlining (cs, node, new_edges);
    4292                 :             : 
    4293                 :     3875888 :   for (e = node->callees; e; e = e->next_callee)
    4294                 :     2577880 :     if (!e->inline_failed)
    4295                 :      503574 :       res |= propagate_info_to_inlined_callees (cs, e->callee, new_edges);
    4296                 :             :     else
    4297                 :     2074306 :       update_jump_functions_after_inlining (cs, e);
    4298                 :     1362701 :   for (e = node->indirect_calls; e; e = e->next_callee)
    4299                 :       64693 :     update_jump_functions_after_inlining (cs, e);
    4300                 :             : 
    4301                 :     1298008 :   return res;
    4302                 :             : }
    4303                 :             : 
    4304                 :             : /* Combine two controlled uses counts as done during inlining.  */
    4305                 :             : 
    4306                 :             : static int
    4307                 :      334710 : combine_controlled_uses_counters (int c, int d)
    4308                 :             : {
    4309                 :           0 :   if (c == IPA_UNDESCRIBED_USE || d == IPA_UNDESCRIBED_USE)
    4310                 :             :     return IPA_UNDESCRIBED_USE;
    4311                 :             :   else
    4312                 :       93107 :     return c + d - 1;
    4313                 :             : }
    4314                 :             : 
    4315                 :             : /* Propagate number of controlled users from CS->caleee to the new root of the
    4316                 :             :    tree of inlined nodes.  */
    4317                 :             : 
    4318                 :             : static void
    4319                 :      794434 : propagate_controlled_uses (struct cgraph_edge *cs)
    4320                 :             : {
    4321                 :      794434 :   ipa_edge_args *args = ipa_edge_args_sum->get (cs);
    4322                 :      794434 :   if (!args)
    4323                 :             :     return;
    4324                 :     1585722 :   struct cgraph_node *new_root = cs->caller->inlined_to
    4325                 :      792861 :     ? cs->caller->inlined_to : cs->caller;
    4326                 :      792861 :   ipa_node_params *new_root_info = ipa_node_params_sum->get (new_root);
    4327                 :      792861 :   ipa_node_params *old_root_info = ipa_node_params_sum->get (cs->callee);
    4328                 :      792861 :   int count, i;
    4329                 :             : 
    4330                 :      792861 :   if (!old_root_info)
    4331                 :             :     return;
    4332                 :             : 
    4333                 :     1522853 :   count = MIN (ipa_get_cs_argument_count (args),
    4334                 :             :                ipa_get_param_count (old_root_info));
    4335                 :     2329956 :   for (i = 0; i < count; i++)
    4336                 :             :     {
    4337                 :     1537174 :       struct ipa_jump_func *jf = ipa_get_ith_jump_func (args, i);
    4338                 :     1537174 :       struct ipa_cst_ref_desc *rdesc;
    4339                 :             : 
    4340                 :     1537174 :       if (jf->type == IPA_JF_PASS_THROUGH
    4341                 :     1537174 :           && !ipa_get_jf_pass_through_refdesc_decremented (jf))
    4342                 :             :         {
    4343                 :      289845 :           int src_idx, c, d;
    4344                 :      289845 :           src_idx = ipa_get_jf_pass_through_formal_id (jf);
    4345                 :      289845 :           c = ipa_get_controlled_uses (new_root_info, src_idx);
    4346                 :      289845 :           d = ipa_get_controlled_uses (old_root_info, i);
    4347                 :             : 
    4348                 :      289845 :           gcc_checking_assert (ipa_get_jf_pass_through_operation (jf)
    4349                 :             :                                == NOP_EXPR || c == IPA_UNDESCRIBED_USE);
    4350                 :      289845 :           c = combine_controlled_uses_counters (c, d);
    4351                 :      289845 :           ipa_set_controlled_uses (new_root_info, src_idx, c);
    4352                 :      289845 :           bool lderef = true;
    4353                 :      289845 :           if (c != IPA_UNDESCRIBED_USE)
    4354                 :             :             {
    4355                 :       85575 :               lderef = (ipa_get_param_load_dereferenced (new_root_info, src_idx)
    4356                 :       85575 :                         || ipa_get_param_load_dereferenced (old_root_info, i));
    4357                 :       85575 :               ipa_set_param_load_dereferenced (new_root_info, src_idx, lderef);
    4358                 :             :             }
    4359                 :             : 
    4360                 :      289845 :           if (c == 0 && !lderef && new_root_info->ipcp_orig_node)
    4361                 :             :             {
    4362                 :         185 :               struct cgraph_node *n;
    4363                 :         185 :               struct ipa_ref *ref;
    4364                 :         185 :               tree t = new_root_info->known_csts[src_idx];
    4365                 :             : 
    4366                 :         165 :               if (t && TREE_CODE (t) == ADDR_EXPR
    4367                 :         148 :                   && TREE_CODE (TREE_OPERAND (t, 0)) == FUNCTION_DECL
    4368                 :           4 :                   && (n = cgraph_node::get (TREE_OPERAND (t, 0)))
    4369                 :         189 :                   && (ref = new_root->find_reference (n, NULL, 0,
    4370                 :             :                                                       IPA_REF_ADDR)))
    4371                 :             :                 {
    4372                 :           4 :                   if (dump_file)
    4373                 :           1 :                     fprintf (dump_file, "ipa-prop: Removing cloning-created "
    4374                 :             :                              "reference from %s to %s.\n",
    4375                 :             :                              new_root->dump_name (),
    4376                 :             :                              n->dump_name ());
    4377                 :           4 :                   ref->remove_reference ();
    4378                 :             :                 }
    4379                 :             :             }
    4380                 :             :         }
    4381                 :     1247329 :       else if (jf->type == IPA_JF_CONST
    4382                 :     1247329 :                && (rdesc = jfunc_rdesc_usable (jf)))
    4383                 :             :         {
    4384                 :       44865 :           int d = ipa_get_controlled_uses (old_root_info, i);
    4385                 :       44865 :           int c = rdesc->refcount;
    4386                 :       44865 :           tree cst = ipa_get_jf_constant (jf);
    4387                 :       44865 :           rdesc->refcount = combine_controlled_uses_counters (c, d);
    4388                 :       44865 :           if (rdesc->refcount != IPA_UNDESCRIBED_USE
    4389                 :        7532 :               && ipa_get_param_load_dereferenced (old_root_info, i)
    4390                 :        1555 :               && TREE_CODE (cst) == ADDR_EXPR
    4391                 :       46420 :               && VAR_P (TREE_OPERAND (cst, 0)))
    4392                 :             :             {
    4393                 :        1554 :               symtab_node *n = symtab_node::get (TREE_OPERAND (cst, 0));
    4394                 :        1554 :               new_root->create_reference (n, IPA_REF_LOAD, NULL);
    4395                 :        1554 :               if (dump_file)
    4396                 :           3 :                 fprintf (dump_file, "ipa-prop: Address IPA constant will reach "
    4397                 :             :                          "a load so adding LOAD reference from %s to %s.\n",
    4398                 :             :                          new_root->dump_name (), n->dump_name ());
    4399                 :             :             }
    4400                 :       44865 :           if (rdesc->refcount == 0)
    4401                 :             :             {
    4402                 :        5458 :               gcc_checking_assert (TREE_CODE (cst) == ADDR_EXPR
    4403                 :             :                                    && ((TREE_CODE (TREE_OPERAND (cst, 0))
    4404                 :             :                                         == FUNCTION_DECL)
    4405                 :             :                                        || VAR_P (TREE_OPERAND (cst, 0))));
    4406                 :             : 
    4407                 :        5458 :               symtab_node *n = symtab_node::get (TREE_OPERAND (cst, 0));
    4408                 :        5458 :               if (n)
    4409                 :             :                 {
    4410                 :        5458 :                   remove_described_reference (n, rdesc);
    4411                 :        5458 :                   cgraph_node *clone = cs->caller;
    4412                 :        5458 :                   while (clone->inlined_to
    4413                 :        1076 :                          && clone->ipcp_clone
    4414                 :        5665 :                          && clone != rdesc->cs->caller)
    4415                 :             :                     {
    4416                 :          82 :                       struct ipa_ref *ref;
    4417                 :          82 :                       ref = clone->find_reference (n, NULL, 0, IPA_REF_ADDR);
    4418                 :          82 :                       if (ref)
    4419                 :             :                         {
    4420                 :          79 :                           if (dump_file)
    4421                 :           1 :                             fprintf (dump_file, "ipa-prop: Removing "
    4422                 :             :                                      "cloning-created reference "
    4423                 :             :                                      "from %s to %s.\n",
    4424                 :             :                                      clone->dump_name (),
    4425                 :             :                                      n->dump_name ());
    4426                 :          79 :                           ref->remove_reference ();
    4427                 :             :                         }
    4428                 :          82 :                       clone = clone->callers->caller;
    4429                 :             :                     }
    4430                 :             :                 }
    4431                 :             :             }
    4432                 :             :         }
    4433                 :             :     }
    4434                 :             : 
    4435                 :     1522944 :   for (i = ipa_get_param_count (old_root_info);
    4436                 :     1523491 :        i < ipa_get_cs_argument_count (args);
    4437                 :             :        i++)
    4438                 :             :     {
    4439                 :         319 :       struct ipa_jump_func *jf = ipa_get_ith_jump_func (args, i);
    4440                 :             : 
    4441                 :         319 :       if (jf->type == IPA_JF_CONST)
    4442                 :             :         {
    4443                 :         288 :           struct ipa_cst_ref_desc *rdesc = jfunc_rdesc_usable (jf);
    4444                 :         288 :           if (rdesc)
    4445                 :         232 :             rdesc->refcount = IPA_UNDESCRIBED_USE;
    4446                 :             :         }
    4447                 :          31 :       else if (jf->type == IPA_JF_PASS_THROUGH)
    4448                 :           5 :         ipa_set_controlled_uses (new_root_info,
    4449                 :             :                                  jf->value.pass_through.formal_id,
    4450                 :             :                                  IPA_UNDESCRIBED_USE);
    4451                 :             :     }
    4452                 :             : }
    4453                 :             : 
    4454                 :             : /* Update jump functions and call note functions on inlining the call site CS.
    4455                 :             :    CS is expected to lead to a node already cloned by
    4456                 :             :    cgraph_clone_inline_nodes.  Newly discovered indirect edges will be added to
    4457                 :             :    *NEW_EDGES, unless NEW_EDGES is NULL.  Return true iff a new edge(s) were +
    4458                 :             :    created.  */
    4459                 :             : 
    4460                 :             : bool
    4461                 :     3360784 : ipa_propagate_indirect_call_infos (struct cgraph_edge *cs,
    4462                 :             :                                    vec<cgraph_edge *> *new_edges)
    4463                 :             : {
    4464                 :     3360784 :   bool changed;
    4465                 :             :   /* Do nothing if the preparation phase has not been carried out yet
    4466                 :             :      (i.e. during early inlining).  */
    4467                 :     3360784 :   if (!ipa_node_params_sum)
    4468                 :             :     return false;
    4469                 :      794434 :   gcc_assert (ipa_edge_args_sum);
    4470                 :             : 
    4471                 :      794434 :   propagate_controlled_uses (cs);
    4472                 :      794434 :   changed = propagate_info_to_inlined_callees (cs, cs->callee, new_edges);
    4473                 :      794434 :   ipa_node_params_sum->remove (cs->callee);
    4474                 :             : 
    4475                 :      794434 :   ipa_edge_args *args = ipa_edge_args_sum->get (cs);
    4476                 :      794434 :   if (args)
    4477                 :             :     {
    4478                 :      792861 :       bool ok = true;
    4479                 :      792861 :       if (args->jump_functions)
    4480                 :             :         {
    4481                 :             :           struct ipa_jump_func *jf;
    4482                 :             :           int i;
    4483                 :     2112156 :           FOR_EACH_VEC_ELT (*args->jump_functions, i, jf)
    4484                 :     1430159 :             if (jf->type == IPA_JF_CONST
    4485                 :     1430159 :                 && ipa_get_jf_constant_rdesc (jf))
    4486                 :             :               {
    4487                 :             :                 ok = false;
    4488                 :             :                 break;
    4489                 :             :               }
    4490                 :             :         }
    4491                 :      730150 :       if (ok)
    4492                 :      744708 :         ipa_edge_args_sum->remove (cs);
    4493                 :             :     }
    4494                 :      794434 :   if (ipcp_transformation_sum)
    4495                 :      546456 :     ipcp_transformation_sum->remove (cs->callee);
    4496                 :             : 
    4497                 :             :   return changed;
    4498                 :             : }
    4499                 :             : 
    4500                 :             : /* Ensure that array of edge arguments infos is big enough to accommodate a
    4501                 :             :    structure for all edges and reallocates it if not.  Also, allocate
    4502                 :             :    associated hash tables is they do not already exist.  */
    4503                 :             : 
    4504                 :             : void
    4505                 :     4314943 : ipa_check_create_edge_args (void)
    4506                 :             : {
    4507                 :     4314943 :   if (!ipa_edge_args_sum)
    4508                 :      234345 :     ipa_edge_args_sum
    4509                 :      234345 :       = (new (ggc_alloc_no_dtor<ipa_edge_args_sum_t> ())
    4510                 :      234345 :          ipa_edge_args_sum_t (symtab, true));
    4511                 :     4314943 :   if (!ipa_vr_hash_table)
    4512                 :      164988 :     ipa_vr_hash_table = hash_table<ipa_vr_ggc_hash_traits>::create_ggc (37);
    4513                 :     4314943 : }
    4514                 :             : 
    4515                 :             : /* Free all ipa_edge structures.  */
    4516                 :             : 
    4517                 :             : void
    4518                 :      443625 : ipa_free_all_edge_args (void)
    4519                 :             : {
    4520                 :      443625 :   if (!ipa_edge_args_sum)
    4521                 :             :     return;
    4522                 :             : 
    4523                 :      221705 :   ggc_delete (ipa_edge_args_sum);
    4524                 :      221705 :   ipa_edge_args_sum = NULL;
    4525                 :             : }
    4526                 :             : 
    4527                 :             : /* Free all ipa_node_params structures.  */
    4528                 :             : 
    4529                 :             : void
    4530                 :     4950094 : ipa_free_all_node_params (void)
    4531                 :             : {
    4532                 :     4950094 :   if (ipa_node_params_sum)
    4533                 :     4728174 :     ggc_delete (ipa_node_params_sum);
    4534                 :     4950094 :   ipa_node_params_sum = NULL;
    4535                 :     4950094 : }
    4536                 :             : 
    4537                 :             : /* Initialize IPA CP transformation summary and also allocate any necessary hash
    4538                 :             :    tables if they do not already exist.  */
    4539                 :             : 
    4540                 :             : void
    4541                 :       81779 : ipcp_transformation_initialize (void)
    4542                 :             : {
    4543                 :       81779 :   if (!ipa_vr_hash_table)
    4544                 :        1808 :     ipa_vr_hash_table = hash_table<ipa_vr_ggc_hash_traits>::create_ggc (37);
    4545                 :       81779 :   if (ipcp_transformation_sum == NULL)
    4546                 :             :     {
    4547                 :       18080 :       ipcp_transformation_sum = ipcp_transformation_t::create_ggc (symtab);
    4548                 :       18080 :       ipcp_transformation_sum->disable_insertion_hook ();
    4549                 :             :     }
    4550                 :       81779 : }
    4551                 :             : 
    4552                 :             : /* Release the IPA CP transformation summary.  */
    4553                 :             : 
    4554                 :             : void
    4555                 :      248129 : ipcp_free_transformation_sum (void)
    4556                 :             : {
    4557                 :      248129 :   if (!ipcp_transformation_sum)
    4558                 :             :     return;
    4559                 :             : 
    4560                 :       18071 :   ipcp_transformation_sum->~function_summary<ipcp_transformation *> ();
    4561                 :       18071 :   ggc_free (ipcp_transformation_sum);
    4562                 :       18071 :   ipcp_transformation_sum = NULL;
    4563                 :             : }
    4564                 :             : 
    4565                 :             : /* Set the aggregate replacements of NODE to be AGGVALS.  */
    4566                 :             : 
    4567                 :             : void
    4568                 :       17363 : ipa_set_node_agg_value_chain (struct cgraph_node *node,
    4569                 :             :                               vec<ipa_argagg_value, va_gc> *aggs)
    4570                 :             : {
    4571                 :       17363 :   ipcp_transformation_initialize ();
    4572                 :       17363 :   ipcp_transformation *s = ipcp_transformation_sum->get_create (node);
    4573                 :       17363 :   s->m_agg_values = aggs;
    4574                 :       17363 : }
    4575                 :             : 
    4576                 :             : /* Hook that is called by cgraph.cc when an edge is removed.  Adjust reference
    4577                 :             :    count data structures accordingly.  */
    4578                 :             : 
    4579                 :             : void
    4580                 :           0 : ipa_edge_args_sum_t::remove (cgraph_edge *cs, ipa_edge_args *args)
    4581                 :             : {
    4582                 :           0 :   if (args->jump_functions)
    4583                 :             :     {
    4584                 :             :       struct ipa_jump_func *jf;
    4585                 :             :       int i;
    4586                 :           0 :       FOR_EACH_VEC_ELT (*args->jump_functions, i, jf)
    4587                 :             :         {
    4588                 :           0 :           struct ipa_cst_ref_desc *rdesc;
    4589                 :           0 :           try_decrement_rdesc_refcount (jf);
    4590                 :           0 :           if (jf->type == IPA_JF_CONST
    4591                 :           0 :               && (rdesc = ipa_get_jf_constant_rdesc (jf))
    4592                 :           0 :               && rdesc->cs == cs)
    4593                 :           0 :             rdesc->cs = NULL;
    4594                 :             :         }
    4595                 :             :     }
    4596                 :           0 : }
    4597                 :             : 
    4598                 :             : /* Copy information from SRC_JF to DST_JF which correstpond to call graph edges
    4599                 :             :    SRC and DST.  */
    4600                 :             : 
    4601                 :             : static void
    4602                 :     2223388 : ipa_duplicate_jump_function (cgraph_edge *src, cgraph_edge *dst,
    4603                 :             :                              ipa_jump_func *src_jf, ipa_jump_func *dst_jf)
    4604                 :             : {
    4605                 :     2223388 :   dst_jf->agg.items = vec_safe_copy (src_jf->agg.items);
    4606                 :     2223388 :   dst_jf->agg.by_ref = src_jf->agg.by_ref;
    4607                 :             : 
    4608                 :             :   /* We can avoid calling ipa_set_jfunc_vr since it would only look up the
    4609                 :             :      place in the hash_table where the source m_vr resides.  */
    4610                 :     2223388 :   dst_jf->m_vr = src_jf->m_vr;
    4611                 :             : 
    4612                 :     2223388 :   if (src_jf->type == IPA_JF_CONST)
    4613                 :             :     {
    4614                 :      797973 :       ipa_set_jf_cst_copy (dst_jf, src_jf);
    4615                 :      797973 :       struct ipa_cst_ref_desc *src_rdesc = jfunc_rdesc_usable (src_jf);
    4616                 :             : 
    4617                 :      797973 :       if (!src_rdesc)
    4618                 :      669737 :         dst_jf->value.constant.rdesc = NULL;
    4619                 :      128236 :       else if (src->caller == dst->caller)
    4620                 :             :         {
    4621                 :             :           /* Creation of a speculative edge.  If the source edge is the one
    4622                 :             :              grabbing a reference, we must create a new (duplicate)
    4623                 :             :              reference description.  Otherwise they refer to the same
    4624                 :             :              description corresponding to a reference taken in a function
    4625                 :             :              src->caller is inlined to.  In that case we just must
    4626                 :             :              increment the refcount.  */
    4627                 :          16 :           if (src_rdesc->cs == src)
    4628                 :             :             {
    4629                 :          16 :               symtab_node *n = symtab_node_for_jfunc (src_jf);
    4630                 :          16 :               gcc_checking_assert (n);
    4631                 :          16 :               ipa_ref *ref
    4632                 :          16 :                 = src->caller->find_reference (n, src->call_stmt,
    4633                 :             :                                                src->lto_stmt_uid,
    4634                 :             :                                                IPA_REF_ADDR);
    4635                 :          16 :               gcc_checking_assert (ref);
    4636                 :          16 :               dst->caller->clone_reference (ref, ref->stmt);
    4637                 :             : 
    4638                 :          16 :               ipa_cst_ref_desc *dst_rdesc = ipa_refdesc_pool.allocate ();
    4639                 :          16 :               dst_rdesc->cs = dst;
    4640                 :          16 :               dst_rdesc->refcount = src_rdesc->refcount;
    4641                 :          16 :               dst_rdesc->next_duplicate = NULL;
    4642                 :          16 :               dst_jf->value.constant.rdesc = dst_rdesc;
    4643                 :             :             }
    4644                 :             :           else
    4645                 :             :             {
    4646                 :           0 :               src_rdesc->refcount++;
    4647                 :           0 :               dst_jf->value.constant.rdesc = src_rdesc;
    4648                 :             :             }
    4649                 :             :         }
    4650                 :      128220 :       else if (src_rdesc->cs == src)
    4651                 :             :         {
    4652                 :      128136 :           struct ipa_cst_ref_desc *dst_rdesc = ipa_refdesc_pool.allocate ();
    4653                 :      128136 :           dst_rdesc->cs = dst;
    4654                 :      128136 :           dst_rdesc->refcount = src_rdesc->refcount;
    4655                 :      128136 :           dst_rdesc->next_duplicate = src_rdesc->next_duplicate;
    4656                 :      128136 :           src_rdesc->next_duplicate = dst_rdesc;
    4657                 :      128136 :           dst_jf->value.constant.rdesc = dst_rdesc;
    4658                 :             :         }
    4659                 :             :       else
    4660                 :             :         {
    4661                 :          84 :           struct ipa_cst_ref_desc *dst_rdesc;
    4662                 :             :           /* This can happen during inlining, when a JFUNC can refer to a
    4663                 :             :              reference taken in a function up in the tree of inline clones.
    4664                 :             :              We need to find the duplicate that refers to our tree of
    4665                 :             :              inline clones.  */
    4666                 :             : 
    4667                 :          84 :           gcc_assert (dst->caller->inlined_to);
    4668                 :          84 :           for (dst_rdesc = src_rdesc->next_duplicate;
    4669                 :          84 :                dst_rdesc;
    4670                 :           0 :                dst_rdesc = dst_rdesc->next_duplicate)
    4671                 :             :             {
    4672                 :          84 :               struct cgraph_node *top;
    4673                 :         168 :               top = dst_rdesc->cs->caller->inlined_to
    4674                 :          84 :                 ? dst_rdesc->cs->caller->inlined_to
    4675                 :             :                 : dst_rdesc->cs->caller;
    4676                 :          84 :               if (dst->caller->inlined_to == top)
    4677                 :             :                 break;
    4678                 :             :             }
    4679                 :          84 :           gcc_assert (dst_rdesc);
    4680                 :          84 :           dst_jf->value.constant.rdesc = dst_rdesc;
    4681                 :             :         }
    4682                 :             :     }
    4683                 :     1425415 :   else if (src_jf->type == IPA_JF_PASS_THROUGH)
    4684                 :             :     {
    4685                 :      540636 :       dst_jf->type = IPA_JF_PASS_THROUGH;
    4686                 :      540636 :       dst_jf->value.pass_through = src_jf->value.pass_through;
    4687                 :      540636 :       if (src->caller == dst->caller)
    4688                 :             :         {
    4689                 :        8960 :           struct cgraph_node *inline_root = dst->caller->inlined_to
    4690                 :        4480 :             ? dst->caller->inlined_to : dst->caller;
    4691                 :        4480 :           ipa_node_params *root_info = ipa_node_params_sum->get (inline_root);
    4692                 :        4480 :           int idx = ipa_get_jf_pass_through_formal_id (dst_jf);
    4693                 :             : 
    4694                 :        4480 :           int c = ipa_get_controlled_uses (root_info, idx);
    4695                 :        4480 :           if (c != IPA_UNDESCRIBED_USE)
    4696                 :             :             {
    4697                 :         691 :               c++;
    4698                 :         691 :               ipa_set_controlled_uses (root_info, idx, c);
    4699                 :             :             }
    4700                 :             :         }
    4701                 :             :     }
    4702                 :      884779 :   else if (src_jf->type == IPA_JF_ANCESTOR)
    4703                 :             :     {
    4704                 :       85654 :       dst_jf->type = IPA_JF_ANCESTOR;
    4705                 :       85654 :       dst_jf->value.ancestor = src_jf->value.ancestor;
    4706                 :             :     }
    4707                 :             :   else
    4708                 :      799125 :     gcc_assert (src_jf->type == IPA_JF_UNKNOWN);
    4709                 :     2223388 : }
    4710                 :             : 
    4711                 :             : /* Method invoked when an edge is duplicated.  Copy ipa_edge_args and adjust
    4712                 :             :    reference count data strucutres accordingly.  */
    4713                 :             : 
    4714                 :             : void
    4715                 :      986998 : ipa_edge_args_sum_t::duplicate (cgraph_edge *src, cgraph_edge *dst,
    4716                 :             :                                 ipa_edge_args *old_args, ipa_edge_args *new_args)
    4717                 :             : {
    4718                 :      986998 :   unsigned int i;
    4719                 :             : 
    4720                 :      986998 :   if (old_args->polymorphic_call_contexts)
    4721                 :      107433 :     new_args->polymorphic_call_contexts
    4722                 :      107433 :       = vec_safe_copy (old_args->polymorphic_call_contexts);
    4723                 :             : 
    4724                 :      986998 :   if (!vec_safe_length (old_args->jump_functions))
    4725                 :             :     {
    4726                 :       37153 :       new_args->jump_functions = NULL;
    4727                 :       37153 :       return;
    4728                 :             :     }
    4729                 :      949845 :   vec_safe_grow_cleared (new_args->jump_functions,
    4730                 :      949845 :                          old_args->jump_functions->length (), true);
    4731                 :             : 
    4732                 :     3173233 :   for (i = 0; i < vec_safe_length (old_args->jump_functions); i++)
    4733                 :             :     {
    4734                 :     2223388 :       struct ipa_jump_func *src_jf = ipa_get_ith_jump_func (old_args, i);
    4735                 :     2223388 :       struct ipa_jump_func *dst_jf = ipa_get_ith_jump_func (new_args, i);
    4736                 :             : 
    4737                 :     2223388 :       ipa_duplicate_jump_function (src, dst, src_jf, dst_jf);
    4738                 :             :     }
    4739                 :             : }
    4740                 :             : 
    4741                 :             : /* Analyze newly added function into callgraph.  */
    4742                 :             : 
    4743                 :             : static void
    4744                 :       38740 : ipa_add_new_function (cgraph_node *node, void *data ATTRIBUTE_UNUSED)
    4745                 :             : {
    4746                 :       38740 :   if (node->has_gimple_body_p ())
    4747                 :       38740 :     ipa_analyze_node (node);
    4748                 :       38740 : }
    4749                 :             : 
    4750                 :             : /* Hook that is called by summary when a node is duplicated.  */
    4751                 :             : 
    4752                 :             : void
    4753                 :      636379 : ipa_node_params_t::duplicate(cgraph_node *, cgraph_node *,
    4754                 :             :                              ipa_node_params *old_info,
    4755                 :             :                              ipa_node_params *new_info)
    4756                 :             : {
    4757                 :      636379 :   new_info->descriptors = vec_safe_copy (old_info->descriptors);
    4758                 :      636379 :   gcc_assert (new_info->lattices.is_empty ());
    4759                 :      636379 :   new_info->ipcp_orig_node = old_info->ipcp_orig_node;
    4760                 :      636379 :   new_info->known_csts = old_info->known_csts.copy ();
    4761                 :      636379 :   new_info->known_contexts = old_info->known_contexts.copy ();
    4762                 :             : 
    4763                 :      636379 :   new_info->analysis_done = old_info->analysis_done;
    4764                 :      636379 :   new_info->node_enqueued = old_info->node_enqueued;
    4765                 :      636379 :   new_info->versionable = old_info->versionable;
    4766                 :      636379 : }
    4767                 :             : 
    4768                 :             : /* Duplication of ipcp transformation summaries.  */
    4769                 :             : 
    4770                 :             : void
    4771                 :       49657 : ipcp_transformation_t::duplicate(cgraph_node *, cgraph_node *dst,
    4772                 :             :                                  ipcp_transformation *src_trans,
    4773                 :             :                                  ipcp_transformation *dst_trans)
    4774                 :             : {
    4775                 :             :   /* Avoid redundant work of duplicating vectors we will never use.  */
    4776                 :       49657 :   if (dst->inlined_to)
    4777                 :             :     return;
    4778                 :        7002 :   dst_trans->m_agg_values = vec_safe_copy (src_trans->m_agg_values);
    4779                 :       12830 :   dst_trans->m_vr = vec_safe_copy (src_trans->m_vr);
    4780                 :             : }
    4781                 :             : 
    4782                 :             : /* Register our cgraph hooks if they are not already there.  */
    4783                 :             : 
    4784                 :             : void
    4785                 :      366304 : ipa_register_cgraph_hooks (void)
    4786                 :             : {
    4787                 :      366304 :   ipa_check_create_node_params ();
    4788                 :      366304 :   ipa_check_create_edge_args ();
    4789                 :             : 
    4790                 :      732608 :   function_insertion_hook_holder =
    4791                 :      366304 :       symtab->add_cgraph_insertion_hook (&ipa_add_new_function, NULL);
    4792                 :      366304 : }
    4793                 :             : 
    4794                 :             : /* Unregister our cgraph hooks if they are not already there.  */
    4795                 :             : 
    4796                 :             : static void
    4797                 :      443625 : ipa_unregister_cgraph_hooks (void)
    4798                 :             : {
    4799                 :      443625 :   if (function_insertion_hook_holder)
    4800                 :      221705 :     symtab->remove_cgraph_insertion_hook (function_insertion_hook_holder);
    4801                 :      443625 :   function_insertion_hook_holder = NULL;
    4802                 :      443625 : }
    4803                 :             : 
    4804                 :             : /* Free all ipa_node_params and all ipa_edge_args structures if they are no
    4805                 :             :    longer needed after ipa-cp.  */
    4806                 :             : 
    4807                 :             : void
    4808                 :      123654 : ipa_free_all_structures_after_ipa_cp (void)
    4809                 :             : {
    4810                 :      123654 :   if (!optimize && !in_lto_p)
    4811                 :             :     {
    4812                 :           0 :       ipa_free_all_edge_args ();
    4813                 :           0 :       ipa_free_all_node_params ();
    4814                 :           0 :       ipcp_sources_pool.release ();
    4815                 :           0 :       ipcp_cst_values_pool.release ();
    4816                 :           0 :       ipcp_poly_ctx_values_pool.release ();
    4817                 :           0 :       ipcp_agg_lattice_pool.release ();
    4818                 :           0 :       ipa_unregister_cgraph_hooks ();
    4819                 :           0 :       ipa_refdesc_pool.release ();
    4820                 :             :     }
    4821                 :      123654 : }
    4822                 :             : 
    4823                 :             : /* Free all ipa_node_params and all ipa_edge_args structures if they are no
    4824                 :             :    longer needed after indirect inlining.  */
    4825                 :             : 
    4826                 :             : void
    4827                 :      443625 : ipa_free_all_structures_after_iinln (void)
    4828                 :             : {
    4829                 :      443625 :   ipa_free_all_edge_args ();
    4830                 :      443625 :   ipa_free_all_node_params ();
    4831                 :      443625 :   ipa_unregister_cgraph_hooks ();
    4832                 :      443625 :   ipcp_sources_pool.release ();
    4833                 :      443625 :   ipcp_cst_values_pool.release ();
    4834                 :      443625 :   ipcp_poly_ctx_values_pool.release ();
    4835                 :      443625 :   ipcp_agg_lattice_pool.release ();
    4836                 :      443625 :   ipa_refdesc_pool.release ();
    4837                 :      443625 : }
    4838                 :             : 
    4839                 :             : /* Print ipa_tree_map data structures of all functions in the
    4840                 :             :    callgraph to F.  */
    4841                 :             : 
    4842                 :             : void
    4843                 :         214 : ipa_print_node_params (FILE *f, struct cgraph_node *node)
    4844                 :             : {
    4845                 :         214 :   int i, count;
    4846                 :         214 :   class ipa_node_params *info;
    4847                 :             : 
    4848                 :         214 :   if (!node->definition)
    4849                 :             :     return;
    4850                 :         167 :   info = ipa_node_params_sum->get (node);
    4851                 :         167 :   fprintf (f, "  function  %s parameter descriptors:\n", node->dump_name ());
    4852                 :         167 :   if (!info)
    4853                 :             :     {
    4854                 :           0 :       fprintf (f, " no params return\n");
    4855                 :           0 :       return;
    4856                 :             :     }
    4857                 :         167 :   count = ipa_get_param_count (info);
    4858                 :         334 :   for (i = 0; i < count; i++)
    4859                 :             :     {
    4860                 :         167 :       int c;
    4861                 :             : 
    4862                 :         167 :       fprintf (f, "    ");
    4863                 :         167 :       ipa_dump_param (f, info, i);
    4864                 :         167 :       if (ipa_is_param_used (info, i))
    4865                 :         161 :         fprintf (f, " used");
    4866                 :         167 :       if (ipa_is_param_used_by_ipa_predicates (info, i))
    4867                 :         100 :         fprintf (f, " used_by_ipa_predicates");
    4868                 :         167 :       if (ipa_is_param_used_by_indirect_call (info, i))
    4869                 :          10 :         fprintf (f, " used_by_indirect_call");
    4870                 :         167 :       if (ipa_is_param_used_by_polymorphic_call (info, i))
    4871                 :           0 :         fprintf (f, " used_by_polymorphic_call");
    4872                 :         167 :       c = ipa_get_controlled_uses (info, i);
    4873                 :         167 :       if (c == IPA_UNDESCRIBED_USE)
    4874                 :          98 :         fprintf (f, " undescribed_use");
    4875                 :             :       else
    4876                 :         119 :         fprintf (f, "  controlled_uses=%i %s", c,
    4877                 :          69 :                  ipa_get_param_load_dereferenced (info, i)
    4878                 :             :                  ? "(load_dereferenced)" : "");
    4879                 :         167 :       fprintf (f, "\n");
    4880                 :             :     }
    4881                 :             : }
    4882                 :             : 
    4883                 :             : /* Print ipa_tree_map data structures of all functions in the
    4884                 :             :    callgraph to F.  */
    4885                 :             : 
    4886                 :             : void
    4887                 :          43 : ipa_print_all_params (FILE * f)
    4888                 :             : {
    4889                 :          43 :   struct cgraph_node *node;
    4890                 :             : 
    4891                 :          43 :   fprintf (f, "\nFunction parameters:\n");
    4892                 :         486 :   FOR_EACH_FUNCTION (node)
    4893                 :         200 :     ipa_print_node_params (f, node);
    4894                 :          43 : }
    4895                 :             : 
    4896                 :             : /* Stream out jump function JUMP_FUNC to OB.  */
    4897                 :             : 
    4898                 :             : static void
    4899                 :      602271 : ipa_write_jump_function (struct output_block *ob,
    4900                 :             :                          struct ipa_jump_func *jump_func)
    4901                 :             : {
    4902                 :      602271 :   struct ipa_agg_jf_item *item;
    4903                 :      602271 :   struct bitpack_d bp;
    4904                 :      602271 :   int i, count;
    4905                 :      602271 :   int flag = 0;
    4906                 :             : 
    4907                 :             :   /* ADDR_EXPRs are very comon IP invariants; save some streamer data
    4908                 :             :      as well as WPA memory by handling them specially.  */
    4909                 :      602271 :   if (jump_func->type == IPA_JF_CONST
    4910                 :      462432 :       && TREE_CODE (jump_func->value.constant.value) == ADDR_EXPR)
    4911                 :      602271 :     flag = 1;
    4912                 :             : 
    4913                 :      602271 :   streamer_write_uhwi (ob, jump_func->type * 2 + flag);
    4914                 :      602271 :   switch (jump_func->type)
    4915                 :             :     {
    4916                 :             :     case IPA_JF_UNKNOWN:
    4917                 :             :       break;
    4918                 :      462432 :     case IPA_JF_CONST:
    4919                 :      462432 :       gcc_assert (
    4920                 :             :           EXPR_LOCATION (jump_func->value.constant.value) == UNKNOWN_LOCATION);
    4921                 :      462432 :       stream_write_tree (ob,
    4922                 :             :                          flag
    4923                 :             :                          ? TREE_OPERAND (jump_func->value.constant.value, 0)
    4924                 :             :                          : jump_func->value.constant.value, true);
    4925                 :      462432 :       break;
    4926                 :       75868 :     case IPA_JF_PASS_THROUGH:
    4927                 :       75868 :       streamer_write_uhwi (ob, jump_func->value.pass_through.operation);
    4928                 :       75868 :       if (jump_func->value.pass_through.operation == NOP_EXPR)
    4929                 :             :         {
    4930                 :       75066 :           streamer_write_uhwi (ob, jump_func->value.pass_through.formal_id);
    4931                 :       75066 :           bp = bitpack_create (ob->main_stream);
    4932                 :       75066 :           bp_pack_value (&bp, jump_func->value.pass_through.agg_preserved, 1);
    4933                 :       75066 :           gcc_assert (!jump_func->value.pass_through.refdesc_decremented);
    4934                 :       75066 :           streamer_write_bitpack (&bp);
    4935                 :             :         }
    4936                 :         802 :       else if (TREE_CODE_CLASS (jump_func->value.pass_through.operation)
    4937                 :             :                == tcc_unary)
    4938                 :          38 :         streamer_write_uhwi (ob, jump_func->value.pass_through.formal_id);
    4939                 :             :       else
    4940                 :             :         {
    4941                 :         764 :           stream_write_tree (ob, jump_func->value.pass_through.operand, true);
    4942                 :         764 :           streamer_write_uhwi (ob, jump_func->value.pass_through.formal_id);
    4943                 :             :         }
    4944                 :             :       break;
    4945                 :        1200 :     case IPA_JF_ANCESTOR:
    4946                 :        1200 :       streamer_write_uhwi (ob, jump_func->value.ancestor.offset);
    4947                 :        1200 :       streamer_write_uhwi (ob, jump_func->value.ancestor.formal_id);
    4948                 :        1200 :       bp = bitpack_create (ob->main_stream);
    4949                 :        1200 :       bp_pack_value (&bp, jump_func->value.ancestor.agg_preserved, 1);
    4950                 :        1200 :       bp_pack_value (&bp, jump_func->value.ancestor.keep_null, 1);
    4951                 :        1200 :       streamer_write_bitpack (&bp);
    4952                 :        1200 :       break;
    4953                 :           0 :     default:
    4954                 :           0 :       fatal_error (UNKNOWN_LOCATION, "invalid jump function in LTO stream");
    4955                 :             :     }
    4956                 :             : 
    4957                 :      602271 :   count = vec_safe_length (jump_func->agg.items);
    4958                 :      602271 :   streamer_write_uhwi (ob, count);
    4959                 :      602271 :   if (count)
    4960                 :             :     {
    4961                 :        2958 :       bp = bitpack_create (ob->main_stream);
    4962                 :        2958 :       bp_pack_value (&bp, jump_func->agg.by_ref, 1);
    4963                 :        2958 :       streamer_write_bitpack (&bp);
    4964                 :             :     }
    4965                 :             : 
    4966                 :      608201 :   FOR_EACH_VEC_SAFE_ELT (jump_func->agg.items, i, item)
    4967                 :             :     {
    4968                 :        5930 :       stream_write_tree (ob, item->type, true);
    4969                 :        5930 :       streamer_write_uhwi (ob, item->offset);
    4970                 :        5930 :       streamer_write_uhwi (ob, item->jftype);
    4971                 :        5930 :       switch (item->jftype)
    4972                 :             :         {
    4973                 :             :         case IPA_JF_UNKNOWN:
    4974                 :             :           break;
    4975                 :        5413 :         case IPA_JF_CONST:
    4976                 :        5413 :           stream_write_tree (ob, item->value.constant, true);
    4977                 :        5413 :           break;
    4978                 :         517 :         case IPA_JF_PASS_THROUGH:
    4979                 :         517 :         case IPA_JF_LOAD_AGG:
    4980                 :         517 :           streamer_write_uhwi (ob, item->value.pass_through.operation);
    4981                 :         517 :           streamer_write_uhwi (ob, item->value.pass_through.formal_id);
    4982                 :         517 :           if (TREE_CODE_CLASS (item->value.pass_through.operation)
    4983                 :             :                                                         != tcc_unary)
    4984                 :           4 :             stream_write_tree (ob, item->value.pass_through.operand, true);
    4985                 :         517 :           if (item->jftype == IPA_JF_LOAD_AGG)
    4986                 :             :             {
    4987                 :          86 :               stream_write_tree (ob, item->value.load_agg.type, true);
    4988                 :          86 :               streamer_write_uhwi (ob, item->value.load_agg.offset);
    4989                 :          86 :               bp = bitpack_create (ob->main_stream);
    4990                 :          86 :               bp_pack_value (&bp, item->value.load_agg.by_ref, 1);
    4991                 :          86 :               streamer_write_bitpack (&bp);
    4992                 :             :             }
    4993                 :             :           break;
    4994                 :           0 :         default:
    4995                 :           0 :           fatal_error (UNKNOWN_LOCATION,
    4996                 :             :                        "invalid jump function in LTO stream");
    4997                 :             :         }
    4998                 :             :     }
    4999                 :             : 
    5000                 :      602271 :   bp = bitpack_create (ob->main_stream);
    5001                 :      602271 :   if (jump_func->m_vr)
    5002                 :      418577 :     jump_func->m_vr->streamer_write (ob);
    5003                 :             :   else
    5004                 :             :     {
    5005                 :      183694 :       bp_pack_value (&bp, false, 1);
    5006                 :      183694 :       streamer_write_bitpack (&bp);
    5007                 :             :     }
    5008                 :      602271 : }
    5009                 :             : 
    5010                 :             : /* Read in jump function JUMP_FUNC from IB.  */
    5011                 :             : 
    5012                 :             : static void
    5013                 :      565233 : ipa_read_jump_function (class lto_input_block *ib,
    5014                 :             :                         struct ipa_jump_func *jump_func,
    5015                 :             :                         struct cgraph_edge *cs,
    5016                 :             :                         class data_in *data_in,
    5017                 :             :                         bool prevails)
    5018                 :             : {
    5019                 :      565233 :   enum jump_func_type jftype;
    5020                 :      565233 :   enum tree_code operation;
    5021                 :      565233 :   int i, count;
    5022                 :      565233 :   int val = streamer_read_uhwi (ib);
    5023                 :      565233 :   bool flag = val & 1;
    5024                 :             : 
    5025                 :      565233 :   jftype = (enum jump_func_type) (val / 2);
    5026                 :      565233 :   switch (jftype)
    5027                 :             :     {
    5028                 :       48575 :     case IPA_JF_UNKNOWN:
    5029                 :       48575 :       ipa_set_jf_unknown (jump_func);
    5030                 :       48575 :       break;
    5031                 :      446517 :     case IPA_JF_CONST:
    5032                 :      446517 :       {
    5033                 :      446517 :         tree t = stream_read_tree (ib, data_in);
    5034                 :      446517 :         if (flag && prevails)
    5035                 :      161629 :           t = build1 (ADDR_EXPR, build_pointer_type (TREE_TYPE (t)), t);
    5036                 :      446517 :         ipa_set_jf_constant (jump_func, t, cs);
    5037                 :             :       }
    5038                 :      446517 :       break;
    5039                 :       69567 :     case IPA_JF_PASS_THROUGH:
    5040                 :       69567 :       operation = (enum tree_code) streamer_read_uhwi (ib);
    5041                 :       69567 :       if (operation == NOP_EXPR)
    5042                 :             :         {
    5043                 :       69029 :           int formal_id =  streamer_read_uhwi (ib);
    5044                 :       69029 :           struct bitpack_d bp = streamer_read_bitpack (ib);
    5045                 :       69029 :           bool agg_preserved = bp_unpack_value (&bp, 1);
    5046                 :       69029 :           ipa_set_jf_simple_pass_through (jump_func, formal_id, agg_preserved);
    5047                 :             :         }
    5048                 :         538 :       else if (TREE_CODE_CLASS (operation) == tcc_unary)
    5049                 :             :         {
    5050                 :          18 :           int formal_id =  streamer_read_uhwi (ib);
    5051                 :          18 :           ipa_set_jf_unary_pass_through (jump_func, formal_id, operation);
    5052                 :             :         }
    5053                 :             :       else
    5054                 :             :         {
    5055                 :         520 :           tree operand = stream_read_tree (ib, data_in);
    5056                 :         520 :           int formal_id =  streamer_read_uhwi (ib);
    5057                 :         520 :           ipa_set_jf_arith_pass_through (jump_func, formal_id, operand,
    5058                 :             :                                          operation);
    5059                 :             :         }
    5060                 :             :       break;
    5061                 :         574 :     case IPA_JF_ANCESTOR:
    5062                 :         574 :       {
    5063                 :         574 :         HOST_WIDE_INT offset = streamer_read_uhwi (ib);
    5064                 :         574 :         int formal_id = streamer_read_uhwi (ib);
    5065                 :         574 :         struct bitpack_d bp = streamer_read_bitpack (ib);
    5066                 :         574 :         bool agg_preserved = bp_unpack_value (&bp, 1);
    5067                 :         574 :         bool keep_null = bp_unpack_value (&bp, 1);
    5068                 :         574 :         ipa_set_ancestor_jf (jump_func, offset, formal_id, agg_preserved,
    5069                 :             :                              keep_null);
    5070                 :         574 :         break;
    5071                 :             :       }
    5072                 :           0 :     default:
    5073                 :           0 :       fatal_error (UNKNOWN_LOCATION, "invalid jump function in LTO stream");
    5074                 :             :     }
    5075                 :             : 
    5076                 :      565233 :   count = streamer_read_uhwi (ib);
    5077                 :      565233 :   if (prevails)
    5078                 :             :     {
    5079                 :      565227 :       jump_func->agg.items = NULL;
    5080                 :      565227 :       vec_safe_reserve (jump_func->agg.items, count, true);
    5081                 :             :     }
    5082                 :      565233 :   if (count)
    5083                 :             :     {
    5084                 :        2621 :       struct bitpack_d bp = streamer_read_bitpack (ib);
    5085                 :        2621 :       jump_func->agg.by_ref = bp_unpack_value (&bp, 1);
    5086                 :             :     }
    5087                 :      570602 :   for (i = 0; i < count; i++)
    5088                 :             :     {
    5089                 :        5369 :       struct ipa_agg_jf_item item;
    5090                 :        5369 :       item.type = stream_read_tree (ib, data_in);
    5091                 :        5369 :       item.offset = streamer_read_uhwi (ib);
    5092                 :        5369 :       item.jftype = (enum jump_func_type) streamer_read_uhwi (ib);
    5093                 :             : 
    5094                 :        5369 :       switch (item.jftype)
    5095                 :             :         {
    5096                 :             :         case IPA_JF_UNKNOWN:
    5097                 :             :           break;
    5098                 :        4948 :         case IPA_JF_CONST:
    5099                 :        4948 :           item.value.constant = stream_read_tree (ib, data_in);
    5100                 :        4948 :           break;
    5101                 :         421 :         case IPA_JF_PASS_THROUGH:
    5102                 :         421 :         case IPA_JF_LOAD_AGG:
    5103                 :         421 :           operation = (enum tree_code) streamer_read_uhwi (ib);
    5104                 :         421 :           item.value.pass_through.operation = operation;
    5105                 :         421 :           item.value.pass_through.formal_id = streamer_read_uhwi (ib);
    5106                 :         421 :           if (TREE_CODE_CLASS (operation) == tcc_unary)
    5107                 :         421 :             item.value.pass_through.operand = NULL_TREE;
    5108                 :             :           else
    5109                 :           0 :             item.value.pass_through.operand = stream_read_tree (ib, data_in);
    5110                 :         421 :           if (item.jftype == IPA_JF_LOAD_AGG)
    5111                 :             :             {
    5112                 :          36 :               struct bitpack_d bp;
    5113                 :          36 :               item.value.load_agg.type = stream_read_tree (ib, data_in);
    5114                 :          36 :               item.value.load_agg.offset = streamer_read_uhwi (ib);
    5115                 :          36 :               bp = streamer_read_bitpack (ib);
    5116                 :          36 :               item.value.load_agg.by_ref = bp_unpack_value (&bp, 1);
    5117                 :             :             }
    5118                 :             :           break;
    5119                 :           0 :         default:
    5120                 :           0 :           fatal_error (UNKNOWN_LOCATION,
    5121                 :             :                        "invalid jump function in LTO stream");
    5122                 :             :         }
    5123                 :        5369 :       if (prevails)
    5124                 :        5369 :         jump_func->agg.items->quick_push (item);
    5125                 :             :     }
    5126                 :             : 
    5127                 :      565233 :   ipa_vr vr;
    5128                 :      565233 :   vr.streamer_read (ib, data_in);
    5129                 :      565233 :   if (vr.known_p ())
    5130                 :             :     {
    5131                 :      395020 :       if (prevails)
    5132                 :      395014 :         ipa_set_jfunc_vr (jump_func, vr);
    5133                 :             :     }
    5134                 :             :   else
    5135                 :      170213 :     jump_func->m_vr = NULL;
    5136                 :      565233 : }
    5137                 :             : 
    5138                 :             : /* Stream out parts of cgraph_indirect_call_info corresponding to CS that are
    5139                 :             :    relevant to indirect inlining to OB.  */
    5140                 :             : 
    5141                 :             : static void
    5142                 :        1748 : ipa_write_indirect_edge_info (struct output_block *ob,
    5143                 :             :                               struct cgraph_edge *cs)
    5144                 :             : {
    5145                 :        1748 :   class cgraph_indirect_call_info *ii = cs->indirect_info;
    5146                 :        1748 :   struct bitpack_d bp;
    5147                 :             : 
    5148                 :        1748 :   streamer_write_hwi (ob, ii->param_index);
    5149                 :        1748 :   bp = bitpack_create (ob->main_stream);
    5150                 :        1748 :   bp_pack_value (&bp, ii->polymorphic, 1);
    5151                 :        1748 :   bp_pack_value (&bp, ii->agg_contents, 1);
    5152                 :        1748 :   bp_pack_value (&bp, ii->member_ptr, 1);
    5153                 :        1748 :   bp_pack_value (&bp, ii->by_ref, 1);
    5154                 :        1748 :   bp_pack_value (&bp, ii->guaranteed_unmodified, 1);
    5155                 :        1748 :   bp_pack_value (&bp, ii->vptr_changed, 1);
    5156                 :        1748 :   streamer_write_bitpack (&bp);
    5157                 :        1748 :   if (ii->agg_contents || ii->polymorphic)
    5158                 :         284 :     streamer_write_hwi (ob, ii->offset);
    5159                 :             :   else
    5160                 :        1464 :     gcc_assert (ii->offset == 0);
    5161                 :             : 
    5162                 :        1748 :   if (ii->polymorphic)
    5163                 :             :     {
    5164                 :         241 :       streamer_write_hwi (ob, ii->otr_token);
    5165                 :         241 :       stream_write_tree (ob, ii->otr_type, true);
    5166                 :         241 :       ii->context.stream_out (ob);
    5167                 :             :     }
    5168                 :        1748 : }
    5169                 :             : 
    5170                 :             : /* Read in parts of cgraph_indirect_call_info corresponding to CS that are
    5171                 :             :    relevant to indirect inlining from IB.  */
    5172                 :             : 
    5173                 :             : static void
    5174                 :        1342 : ipa_read_indirect_edge_info (class lto_input_block *ib,
    5175                 :             :                              class data_in *data_in,
    5176                 :             :                              struct cgraph_edge *cs,
    5177                 :             :                              class ipa_node_params *info)
    5178                 :             : {
    5179                 :        1342 :   class cgraph_indirect_call_info *ii = cs->indirect_info;
    5180                 :        1342 :   struct bitpack_d bp;
    5181                 :             : 
    5182                 :        1342 :   ii->param_index = (int) streamer_read_hwi (ib);
    5183                 :        1342 :   bp = streamer_read_bitpack (ib);
    5184                 :        1342 :   ii->polymorphic = bp_unpack_value (&bp, 1);
    5185                 :        1342 :   ii->agg_contents = bp_unpack_value (&bp, 1);
    5186                 :        1342 :   ii->member_ptr = bp_unpack_value (&bp, 1);
    5187                 :        1342 :   ii->by_ref = bp_unpack_value (&bp, 1);
    5188                 :        1342 :   ii->guaranteed_unmodified = bp_unpack_value (&bp, 1);
    5189                 :        1342 :   ii->vptr_changed = bp_unpack_value (&bp, 1);
    5190                 :        1342 :   if (ii->agg_contents || ii->polymorphic)
    5191                 :         101 :     ii->offset = (HOST_WIDE_INT) streamer_read_hwi (ib);
    5192                 :             :   else
    5193                 :        1241 :     ii->offset = 0;
    5194                 :        1342 :   if (ii->polymorphic)
    5195                 :             :     {
    5196                 :          82 :       ii->otr_token = (HOST_WIDE_INT) streamer_read_hwi (ib);
    5197                 :          82 :       ii->otr_type = stream_read_tree (ib, data_in);
    5198                 :          82 :       ii->context.stream_in (ib, data_in);
    5199                 :             :     }
    5200                 :        1342 :   if (info && ii->param_index >= 0)
    5201                 :             :     {
    5202                 :         310 :       if (ii->polymorphic)
    5203                 :          60 :         ipa_set_param_used_by_polymorphic_call (info,
    5204                 :             :                                                 ii->param_index , true);
    5205                 :         310 :       ipa_set_param_used_by_indirect_call (info,
    5206                 :             :                                            ii->param_index, true);
    5207                 :             :     }
    5208                 :        1342 : }
    5209                 :             : 
    5210                 :             : /* Stream out NODE info to OB.  */
    5211                 :             : 
    5212                 :             : static void
    5213                 :       89503 : ipa_write_node_info (struct output_block *ob, struct cgraph_node *node)
    5214                 :             : {
    5215                 :       89503 :   int node_ref;
    5216                 :       89503 :   lto_symtab_encoder_t encoder;
    5217                 :       89503 :   ipa_node_params *info = ipa_node_params_sum->get (node);
    5218                 :       89503 :   int j;
    5219                 :       89503 :   struct cgraph_edge *e;
    5220                 :       89503 :   struct bitpack_d bp;
    5221                 :             : 
    5222                 :       89503 :   encoder = ob->decl_state->symtab_node_encoder;
    5223                 :       89503 :   node_ref = lto_symtab_encoder_encode (encoder, node);
    5224                 :       89503 :   streamer_write_uhwi (ob, node_ref);
    5225                 :             : 
    5226                 :       89503 :   streamer_write_uhwi (ob, ipa_get_param_count (info));
    5227                 :      433460 :   for (j = 0; j < ipa_get_param_count (info); j++)
    5228                 :       97010 :     streamer_write_uhwi (ob, ipa_get_param_move_cost (info, j));
    5229                 :       89503 :   bp = bitpack_create (ob->main_stream);
    5230                 :       89503 :   gcc_assert (info->analysis_done
    5231                 :             :               || ipa_get_param_count (info) == 0);
    5232                 :       89503 :   gcc_assert (!info->node_enqueued);
    5233                 :       89503 :   gcc_assert (!info->ipcp_orig_node);
    5234                 :      343957 :   for (j = 0; j < ipa_get_param_count (info); j++)
    5235                 :             :     {
    5236                 :             :       /* TODO: We could just not stream the bit in the undescribed case. */
    5237                 :       97010 :       bool d = (ipa_get_controlled_uses (info, j) != IPA_UNDESCRIBED_USE)
    5238                 :       97010 :         ? ipa_get_param_load_dereferenced (info, j) : true;
    5239                 :       97010 :       bp_pack_value (&bp, d, 1);
    5240                 :       97010 :       bp_pack_value (&bp, ipa_is_param_used (info, j), 1);
    5241                 :             :     }
    5242                 :       89503 :   streamer_write_bitpack (&bp);
    5243                 :      343957 :   for (j = 0; j < ipa_get_param_count (info); j++)
    5244                 :             :     {
    5245                 :       97010 :       streamer_write_hwi (ob, ipa_get_controlled_uses (info, j));
    5246                 :       97010 :       stream_write_tree (ob, ipa_get_type (info, j), true);
    5247                 :             :     }
    5248                 :      447467 :   for (e = node->callees; e; e = e->next_callee)
    5249                 :             :     {
    5250                 :      357964 :       ipa_edge_args *args = ipa_edge_args_sum->get (e);
    5251                 :             : 
    5252                 :      357964 :       if (!args)
    5253                 :             :         {
    5254                 :         708 :           streamer_write_uhwi (ob, 0);
    5255                 :         708 :           continue;
    5256                 :             :         }
    5257                 :             : 
    5258                 :      357256 :       streamer_write_uhwi (ob,
    5259                 :      357256 :                            ipa_get_cs_argument_count (args) * 2
    5260                 :      357256 :                            + (args->polymorphic_call_contexts != NULL));
    5261                 :     2164497 :       for (j = 0; j < ipa_get_cs_argument_count (args); j++)
    5262                 :             :         {
    5263                 :      600182 :           ipa_write_jump_function (ob, ipa_get_ith_jump_func (args, j));
    5264                 :      600182 :           if (args->polymorphic_call_contexts != NULL)
    5265                 :        2223 :             ipa_get_ith_polymorhic_call_context (args, j)->stream_out (ob);
    5266                 :             :         }
    5267                 :             :     }
    5268                 :       91251 :   for (e = node->indirect_calls; e; e = e->next_callee)
    5269                 :             :     {
    5270                 :        1748 :       ipa_edge_args *args = ipa_edge_args_sum->get (e);
    5271                 :        1748 :       if (!args)
    5272                 :           6 :         streamer_write_uhwi (ob, 0);
    5273                 :             :       else
    5274                 :             :         {
    5275                 :        1742 :           streamer_write_uhwi (ob,
    5276                 :        1742 :                                ipa_get_cs_argument_count (args) * 2
    5277                 :        1742 :                                + (args->polymorphic_call_contexts != NULL));
    5278                 :        9269 :           for (j = 0; j < ipa_get_cs_argument_count (args); j++)
    5279                 :             :             {
    5280                 :        2089 :               ipa_write_jump_function (ob, ipa_get_ith_jump_func (args, j));
    5281                 :        2089 :               if (args->polymorphic_call_contexts != NULL)
    5282                 :         397 :                 ipa_get_ith_polymorhic_call_context (args, j)->stream_out (ob);
    5283                 :             :             }
    5284                 :             :         }
    5285                 :        1748 :       ipa_write_indirect_edge_info (ob, e);
    5286                 :             :     }
    5287                 :       89503 : }
    5288                 :             : 
    5289                 :             : /* Stream in edge E from IB.  */
    5290                 :             : 
    5291                 :             : static void
    5292                 :      330723 : ipa_read_edge_info (class lto_input_block *ib,
    5293                 :             :                     class data_in *data_in,
    5294                 :             :                     struct cgraph_edge *e, bool prevails)
    5295                 :             : {
    5296                 :      330723 :   int count = streamer_read_uhwi (ib);
    5297                 :      330723 :   bool contexts_computed = count & 1;
    5298                 :             : 
    5299                 :      330723 :   count /= 2;
    5300                 :      330723 :   if (!count)
    5301                 :             :     return;
    5302                 :      231357 :   if (prevails
    5303                 :      231357 :       && (e->possibly_call_in_translation_unit_p ()
    5304                 :             :           /* Also stream in jump functions to builtins in hope that they
    5305                 :             :              will get fnspecs.  */
    5306                 :      114273 :           || fndecl_built_in_p (e->callee->decl, BUILT_IN_NORMAL)))
    5307                 :             :     {
    5308                 :      221319 :       ipa_edge_args *args = ipa_edge_args_sum->get_create (e);
    5309                 :      221319 :       vec_safe_grow_cleared (args->jump_functions, count, true);
    5310                 :      221319 :       if (contexts_computed)
    5311                 :         567 :         vec_safe_grow_cleared (args->polymorphic_call_contexts, count, true);
    5312                 :      770771 :       for (int k = 0; k < count; k++)
    5313                 :             :         {
    5314                 :      549452 :           ipa_read_jump_function (ib, ipa_get_ith_jump_func (args, k), e,
    5315                 :             :                                   data_in, prevails);
    5316                 :      549452 :           if (contexts_computed)
    5317                 :         881 :             ipa_get_ith_polymorhic_call_context (args, k)->stream_in
    5318                 :         881 :                                                              (ib, data_in);
    5319                 :             :         }
    5320                 :             :     }
    5321                 :             :   else
    5322                 :             :     {
    5323                 :       25819 :       for (int k = 0; k < count; k++)
    5324                 :             :         {
    5325                 :       15781 :           struct ipa_jump_func dummy;
    5326                 :       15781 :           ipa_read_jump_function (ib, &dummy, e,
    5327                 :             :                                   data_in, prevails);
    5328                 :       15781 :           if (contexts_computed)
    5329                 :             :             {
    5330                 :         406 :               class ipa_polymorphic_call_context ctx;
    5331                 :         406 :               ctx.stream_in (ib, data_in);
    5332                 :             :             }
    5333                 :             :         }
    5334                 :             :     }
    5335                 :             : }
    5336                 :             : 
    5337                 :             : /* Stream in NODE info from IB.  */
    5338                 :             : 
    5339                 :             : static void
    5340                 :       74937 : ipa_read_node_info (class lto_input_block *ib, struct cgraph_node *node,
    5341                 :             :                     class data_in *data_in)
    5342                 :             : {
    5343                 :       74937 :   int k;
    5344                 :       74937 :   struct cgraph_edge *e;
    5345                 :       74937 :   struct bitpack_d bp;
    5346                 :       74937 :   bool prevails = node->prevailing_p ();
    5347                 :       74937 :   ipa_node_params *info
    5348                 :       74937 :     = prevails ? ipa_node_params_sum->get_create (node) : NULL;
    5349                 :             : 
    5350                 :       74937 :   int param_count = streamer_read_uhwi (ib);
    5351                 :       74937 :   if (prevails)
    5352                 :             :     {
    5353                 :       74919 :       ipa_alloc_node_params (node, param_count);
    5354                 :      225061 :       for (k = 0; k < param_count; k++)
    5355                 :       75223 :         (*info->descriptors)[k].move_cost = streamer_read_uhwi (ib);
    5356                 :       74919 :       if (ipa_get_param_count (info) != 0)
    5357                 :       51450 :         info->analysis_done = true;
    5358                 :       74919 :       info->node_enqueued = false;
    5359                 :             :     }
    5360                 :             :   else
    5361                 :          27 :     for (k = 0; k < param_count; k++)
    5362                 :           9 :       streamer_read_uhwi (ib);
    5363                 :             : 
    5364                 :       74937 :   bp = streamer_read_bitpack (ib);
    5365                 :      150169 :   for (k = 0; k < param_count; k++)
    5366                 :             :     {
    5367                 :       75232 :       bool load_dereferenced = bp_unpack_value (&bp, 1);
    5368                 :       75232 :       bool used = bp_unpack_value (&bp, 1);
    5369                 :             : 
    5370                 :       75232 :       if (prevails)
    5371                 :             :         {
    5372                 :       75223 :           ipa_set_param_load_dereferenced (info, k, load_dereferenced);
    5373                 :       75223 :           ipa_set_param_used (info, k, used);
    5374                 :             :         }
    5375                 :             :     }
    5376                 :      150169 :   for (k = 0; k < param_count; k++)
    5377                 :             :     {
    5378                 :       75232 :       int nuses = streamer_read_hwi (ib);
    5379                 :       75232 :       tree type = stream_read_tree (ib, data_in);
    5380                 :             : 
    5381                 :       75232 :       if (prevails)
    5382                 :             :         {
    5383                 :       75223 :           ipa_set_controlled_uses (info, k, nuses);
    5384                 :       75223 :           (*info->descriptors)[k].decl_or_type = type;
    5385                 :             :         }
    5386                 :             :     }
    5387                 :      404318 :   for (e = node->callees; e; e = e->next_callee)
    5388                 :      329381 :     ipa_read_edge_info (ib, data_in, e, prevails);
    5389                 :       76279 :   for (e = node->indirect_calls; e; e = e->next_callee)
    5390                 :             :     {
    5391                 :        1342 :       ipa_read_edge_info (ib, data_in, e, prevails);
    5392                 :        1342 :       ipa_read_indirect_edge_info (ib, data_in, e, info);
    5393                 :             :     }
    5394                 :       74937 : }
    5395                 :             : 
    5396                 :             : /* Write jump functions for nodes in SET.  */
    5397                 :             : 
    5398                 :             : void
    5399                 :       22780 : ipa_prop_write_jump_functions (void)
    5400                 :             : {
    5401                 :       22780 :   struct output_block *ob;
    5402                 :       22780 :   unsigned int count = 0;
    5403                 :       22780 :   lto_symtab_encoder_iterator lsei;
    5404                 :       22780 :   lto_symtab_encoder_t encoder;
    5405                 :             : 
    5406                 :       22780 :   if (!ipa_node_params_sum || !ipa_edge_args_sum)
    5407                 :           0 :     return;
    5408                 :             : 
    5409                 :       22780 :   ob = create_output_block (LTO_section_jump_functions);
    5410                 :       22780 :   encoder = ob->decl_state->symtab_node_encoder;
    5411                 :       22780 :   ob->symbol = NULL;
    5412                 :      125369 :   for (lsei = lsei_start_function_in_partition (encoder); !lsei_end_p (lsei);
    5413                 :      102589 :        lsei_next_function_in_partition (&lsei))
    5414                 :             :     {
    5415                 :      102589 :       cgraph_node *node = lsei_cgraph_node (lsei);
    5416                 :      102589 :       if (node->has_gimple_body_p ()
    5417                 :      102589 :           && ipa_node_params_sum->get (node) != NULL)
    5418                 :       89503 :         count++;
    5419                 :             :     }
    5420                 :             : 
    5421                 :       22780 :   streamer_write_uhwi (ob, count);
    5422                 :             : 
    5423                 :             :   /* Process all of the functions.  */
    5424                 :      125369 :   for (lsei = lsei_start_function_in_partition (encoder); !lsei_end_p (lsei);
    5425                 :      102589 :        lsei_next_function_in_partition (&lsei))
    5426                 :             :     {
    5427                 :      102589 :       cgraph_node *node = lsei_cgraph_node (lsei);
    5428                 :      102589 :       if (node->has_gimple_body_p ()
    5429                 :      102589 :           && ipa_node_params_sum->get (node) != NULL)
    5430                 :       89503 :         ipa_write_node_info (ob, node);
    5431                 :             :     }
    5432                 :       22780 :   streamer_write_char_stream (ob->main_stream, 0);
    5433                 :       22780 :   produce_asm (ob);
    5434                 :       22780 :   destroy_output_block (ob);
    5435                 :             : }
    5436                 :             : 
    5437                 :             : /* Read section in file FILE_DATA of length LEN with data DATA.  */
    5438                 :             : 
    5439                 :             : static void
    5440                 :       13254 : ipa_prop_read_section (struct lto_file_decl_data *file_data, const char *data,
    5441                 :             :                        size_t len)
    5442                 :             : {
    5443                 :       13254 :   const struct lto_function_header *header =
    5444                 :             :     (const struct lto_function_header *) data;
    5445                 :       13254 :   const int cfg_offset = sizeof (struct lto_function_header);
    5446                 :       13254 :   const int main_offset = cfg_offset + header->cfg_size;
    5447                 :       13254 :   const int string_offset = main_offset + header->main_size;
    5448                 :       13254 :   class data_in *data_in;
    5449                 :       13254 :   unsigned int i;
    5450                 :       13254 :   unsigned int count;
    5451                 :             : 
    5452                 :       13254 :   lto_input_block ib_main ((const char *) data + main_offset,
    5453                 :       13254 :                            header->main_size, file_data);
    5454                 :             : 
    5455                 :       13254 :   data_in =
    5456                 :       26508 :     lto_data_in_create (file_data, (const char *) data + string_offset,
    5457                 :       13254 :                         header->string_size, vNULL);
    5458                 :       13254 :   count = streamer_read_uhwi (&ib_main);
    5459                 :             : 
    5460                 :       88191 :   for (i = 0; i < count; i++)
    5461                 :             :     {
    5462                 :       74937 :       unsigned int index;
    5463                 :       74937 :       struct cgraph_node *node;
    5464                 :       74937 :       lto_symtab_encoder_t encoder;
    5465                 :             : 
    5466                 :       74937 :       index = streamer_read_uhwi (&ib_main);
    5467                 :       74937 :       encoder = file_data->symtab_node_encoder;
    5468                 :       74937 :       node = dyn_cast<cgraph_node *> (lto_symtab_encoder_deref (encoder,
    5469                 :             :                                                                 index));
    5470                 :       74937 :       gcc_assert (node->definition);
    5471                 :       74937 :       ipa_read_node_info (&ib_main, node, data_in);
    5472                 :             :     }
    5473                 :       13254 :   lto_free_section_data (file_data, LTO_section_jump_functions, NULL, data,
    5474                 :             :                          len);
    5475                 :       13254 :   lto_data_in_delete (data_in);
    5476                 :       13254 : }
    5477                 :             : 
    5478                 :             : /* Read ipcp jump functions.  */
    5479                 :             : 
    5480                 :             : void
    5481                 :       12230 : ipa_prop_read_jump_functions (void)
    5482                 :             : {
    5483                 :       12230 :   struct lto_file_decl_data **file_data_vec = lto_get_file_decl_data ();
    5484                 :       12230 :   struct lto_file_decl_data *file_data;
    5485                 :       12230 :   unsigned int j = 0;
    5486                 :             : 
    5487                 :       12230 :   ipa_check_create_node_params ();
    5488                 :       12230 :   ipa_check_create_edge_args ();
    5489                 :       12230 :   ipa_register_cgraph_hooks ();
    5490                 :             : 
    5491                 :       37714 :   while ((file_data = file_data_vec[j++]))
    5492                 :             :     {
    5493                 :       13254 :       size_t len;
    5494                 :       13254 :       const char *data
    5495                 :       13254 :         = lto_get_summary_section_data (file_data, LTO_section_jump_functions,
    5496                 :             :                                         &len);
    5497                 :       13254 :       if (data)
    5498                 :       13254 :         ipa_prop_read_section (file_data, data, len);
    5499                 :             :     }
    5500                 :       12230 : }
    5501                 :             : 
    5502                 :             : /* Return true if the IPA-CP transformation summary TS is non-NULL and contains
    5503                 :             :    useful info.  */
    5504                 :             : static bool
    5505                 :      161994 : useful_ipcp_transformation_info_p (ipcp_transformation *ts)
    5506                 :             : {
    5507                 :      161994 :   if (!ts)
    5508                 :             :     return false;
    5509                 :       21564 :   if (!vec_safe_is_empty (ts->m_agg_values)
    5510                 :       21188 :       || !vec_safe_is_empty (ts->m_vr))
    5511                 :       21326 :     return true;
    5512                 :             :   return false;
    5513                 :             : }
    5514                 :             : 
    5515                 :             : /* Write into OB IPA-CP transfromation summary TS describing NODE.  */
    5516                 :             : 
    5517                 :             : void
    5518                 :       10650 : write_ipcp_transformation_info (output_block *ob, cgraph_node *node,
    5519                 :             :                                 ipcp_transformation *ts)
    5520                 :             : {
    5521                 :       10650 :   lto_symtab_encoder_t encoder = ob->decl_state->symtab_node_encoder;
    5522                 :       10650 :   int node_ref = lto_symtab_encoder_encode (encoder, node);
    5523                 :       10650 :   streamer_write_uhwi (ob, node_ref);
    5524                 :             : 
    5525                 :       10835 :   streamer_write_uhwi (ob, vec_safe_length (ts->m_agg_values));
    5526                 :       12100 :   for (const ipa_argagg_value &av : ts->m_agg_values)
    5527                 :             :     {
    5528                 :        1080 :       struct bitpack_d bp;
    5529                 :             : 
    5530                 :        1080 :       stream_write_tree (ob, av.value, true);
    5531                 :        1080 :       streamer_write_uhwi (ob, av.unit_offset);
    5532                 :        1080 :       streamer_write_uhwi (ob, av.index);
    5533                 :             : 
    5534                 :        1080 :       bp = bitpack_create (ob->main_stream);
    5535                 :        1080 :       bp_pack_value (&bp, av.by_ref, 1);
    5536                 :        1080 :       bp_pack_value (&bp, av.killed, 1);
    5537                 :        1080 :       streamer_write_bitpack (&bp);
    5538                 :             :     }
    5539                 :             : 
    5540                 :             :   /* If all instances of this node are inlined, ipcp info is not useful.  */
    5541                 :       10650 :   if (!lto_symtab_encoder_only_for_inlining_p (encoder, node))
    5542                 :             :     {
    5543                 :       19204 :       streamer_write_uhwi (ob, vec_safe_length (ts->m_vr));
    5544                 :       45580 :       for (const ipa_vr &parm_vr : ts->m_vr)
    5545                 :       16776 :         parm_vr.streamer_write (ob);
    5546                 :             :     }
    5547                 :             :   else
    5548                 :        1046 :     streamer_write_uhwi (ob, 0);
    5549                 :       10650 : }
    5550                 :             : 
    5551                 :             : /* Stream in the aggregate value replacement chain for NODE from IB.  */
    5552                 :             : 
    5553                 :             : static void
    5554                 :       10650 : read_ipcp_transformation_info (lto_input_block *ib, cgraph_node *node,
    5555                 :             :                                data_in *data_in)
    5556                 :             : {
    5557                 :       10650 :   unsigned int count, i;
    5558                 :       10650 :   ipcp_transformation_initialize ();
    5559                 :       10650 :   ipcp_transformation *ts = ipcp_transformation_sum->get_create (node);
    5560                 :             : 
    5561                 :       10650 :   count = streamer_read_uhwi (ib);
    5562                 :       10650 :   if (count > 0)
    5563                 :             :     {
    5564                 :         185 :       vec_safe_grow_cleared (ts->m_agg_values, count, true);
    5565                 :        1265 :       for (i = 0; i <count; i++)
    5566                 :             :         {
    5567                 :        1080 :           ipa_argagg_value *av = &(*ts->m_agg_values)[i];;
    5568                 :             : 
    5569                 :        1080 :           av->value = stream_read_tree (ib, data_in);
    5570                 :        1080 :           av->unit_offset = streamer_read_uhwi (ib);
    5571                 :        1080 :           av->index = streamer_read_uhwi (ib);
    5572                 :             : 
    5573                 :        1080 :           bitpack_d bp = streamer_read_bitpack (ib);
    5574                 :        1080 :           av->by_ref = bp_unpack_value (&bp, 1);
    5575                 :        1080 :           av->killed = bp_unpack_value (&bp, 1);
    5576                 :             :         }
    5577                 :             :     }
    5578                 :             : 
    5579                 :       10650 :   count = streamer_read_uhwi (ib);
    5580                 :       10650 :   if (count > 0)
    5581                 :             :     {
    5582                 :        9600 :       vec_safe_grow_cleared (ts->m_vr, count, true);
    5583                 :       26376 :       for (i = 0; i < count; i++)
    5584                 :             :         {
    5585                 :       16776 :           ipa_vr *parm_vr;
    5586                 :       16776 :           parm_vr = &(*ts->m_vr)[i];
    5587                 :       16776 :           parm_vr->streamer_read (ib, data_in);
    5588                 :             :         }
    5589                 :             :     }
    5590                 :       10650 : }
    5591                 :             : 
    5592                 :             : /* Write all aggregate replacement for nodes in set.  */
    5593                 :             : 
    5594                 :             : void
    5595                 :        8388 : ipcp_write_transformation_summaries (void)
    5596                 :             : {
    5597                 :        8388 :   struct output_block *ob;
    5598                 :        8388 :   unsigned int count = 0;
    5599                 :        8388 :   lto_symtab_encoder_t encoder;
    5600                 :             : 
    5601                 :        8388 :   ob = create_output_block (LTO_section_ipcp_transform);
    5602                 :        8388 :   encoder = ob->decl_state->symtab_node_encoder;
    5603                 :        8388 :   ob->symbol = NULL;
    5604                 :             : 
    5605                 :      227095 :   for (int i = 0; i < lto_symtab_encoder_size (encoder); i++)
    5606                 :             :     {
    5607                 :      105164 :       symtab_node *snode = lto_symtab_encoder_deref (encoder, i);
    5608                 :      105164 :       cgraph_node *cnode = dyn_cast <cgraph_node *> (snode);
    5609                 :      105164 :       if (!cnode)
    5610                 :       24167 :         continue;
    5611                 :       80997 :       ipcp_transformation *ts = ipcp_get_transformation_summary (cnode);
    5612                 :       80997 :       if (useful_ipcp_transformation_info_p (ts)
    5613                 :       80997 :           && lto_symtab_encoder_encode_body_p (encoder, cnode))
    5614                 :       10650 :         count++;
    5615                 :             :     }
    5616                 :             : 
    5617                 :        8388 :   streamer_write_uhwi (ob, count);
    5618                 :             : 
    5619                 :      227095 :   for (int i = 0; i < lto_symtab_encoder_size (encoder); i++)
    5620                 :             :     {
    5621                 :      105164 :       symtab_node *snode = lto_symtab_encoder_deref (encoder, i);
    5622                 :      105164 :       cgraph_node *cnode = dyn_cast <cgraph_node *> (snode);
    5623                 :      105164 :       if (!cnode)
    5624                 :       24167 :         continue;
    5625                 :       80997 :       ipcp_transformation *ts = ipcp_get_transformation_summary (cnode);
    5626                 :       80997 :       if (useful_ipcp_transformation_info_p (ts)
    5627                 :       80997 :           && lto_symtab_encoder_encode_body_p (encoder, cnode))
    5628                 :       10650 :         write_ipcp_transformation_info (ob, cnode, ts);
    5629                 :             :     }
    5630                 :        8388 :   streamer_write_char_stream (ob->main_stream, 0);
    5631                 :        8388 :   produce_asm (ob);
    5632                 :        8388 :   destroy_output_block (ob);
    5633                 :        8388 : }
    5634                 :             : 
    5635                 :             : /* Read replacements section in file FILE_DATA of length LEN with data
    5636                 :             :    DATA.  */
    5637                 :             : 
    5638                 :             : static void
    5639                 :        8388 : read_replacements_section (struct lto_file_decl_data *file_data,
    5640                 :             :                            const char *data,
    5641                 :             :                            size_t len)
    5642                 :             : {
    5643                 :        8388 :   const struct lto_function_header *header =
    5644                 :             :     (const struct lto_function_header *) data;
    5645                 :        8388 :   const int cfg_offset = sizeof (struct lto_function_header);
    5646                 :        8388 :   const int main_offset = cfg_offset + header->cfg_size;
    5647                 :        8388 :   const int string_offset = main_offset + header->main_size;
    5648                 :        8388 :   class data_in *data_in;
    5649                 :        8388 :   unsigned int i;
    5650                 :        8388 :   unsigned int count;
    5651                 :             : 
    5652                 :        8388 :   lto_input_block ib_main ((const char *) data + main_offset,
    5653                 :        8388 :                            header->main_size, file_data);
    5654                 :             : 
    5655                 :        8388 :   data_in = lto_data_in_create (file_data, (const char *) data + string_offset,
    5656                 :        8388 :                                 header->string_size, vNULL);
    5657                 :        8388 :   count = streamer_read_uhwi (&ib_main);
    5658                 :             : 
    5659                 :       19038 :   for (i = 0; i < count; i++)
    5660                 :             :     {
    5661                 :       10650 :       unsigned int index;
    5662                 :       10650 :       struct cgraph_node *node;
    5663                 :       10650 :       lto_symtab_encoder_t encoder;
    5664                 :             : 
    5665                 :       10650 :       index = streamer_read_uhwi (&ib_main);
    5666                 :       10650 :       encoder = file_data->symtab_node_encoder;
    5667                 :       10650 :       node = dyn_cast<cgraph_node *> (lto_symtab_encoder_deref (encoder,
    5668                 :             :                                                                 index));
    5669                 :       10650 :       read_ipcp_transformation_info (&ib_main, node, data_in);
    5670                 :             :     }
    5671                 :        8388 :   lto_free_section_data (file_data, LTO_section_jump_functions, NULL, data,
    5672                 :             :                          len);
    5673                 :        8388 :   lto_data_in_delete (data_in);
    5674                 :        8388 : }
    5675                 :             : 
    5676                 :             : /* Read IPA-CP aggregate replacements.  */
    5677                 :             : 
    5678                 :             : void
    5679                 :        8388 : ipcp_read_transformation_summaries (void)
    5680                 :             : {
    5681                 :        8388 :   struct lto_file_decl_data **file_data_vec = lto_get_file_decl_data ();
    5682                 :        8388 :   struct lto_file_decl_data *file_data;
    5683                 :        8388 :   unsigned int j = 0;
    5684                 :             : 
    5685                 :       25164 :   while ((file_data = file_data_vec[j++]))
    5686                 :             :     {
    5687                 :        8388 :       size_t len;
    5688                 :        8388 :       const char *data
    5689                 :        8388 :         = lto_get_summary_section_data (file_data, LTO_section_ipcp_transform,
    5690                 :             :                                         &len);
    5691                 :        8388 :       if (data)
    5692                 :        8388 :         read_replacements_section (file_data, data, len);
    5693                 :             :     }
    5694                 :        8388 : }
    5695                 :             : 
    5696                 :             : /* Adjust the aggregate replacements in TS to reflect any parameter removals
    5697                 :             :    which might have already taken place.  If after adjustments there are no
    5698                 :             :    aggregate replacements left, the m_agg_values will be set to NULL.  In other
    5699                 :             :    cases, it may be shrunk.  */
    5700                 :             : 
    5701                 :             : static void
    5702                 :        1618 : adjust_agg_replacement_values (cgraph_node *node, ipcp_transformation *ts)
    5703                 :             : {
    5704                 :        1618 :   clone_info *cinfo = clone_info::get (node);
    5705                 :        1618 :   if (!cinfo || !cinfo->param_adjustments)
    5706                 :             :     return;
    5707                 :             : 
    5708                 :         806 :   auto_vec<int, 16> new_indices;
    5709                 :         806 :   cinfo->param_adjustments->get_updated_indices (&new_indices);
    5710                 :         806 :   bool removed_item = false;
    5711                 :         806 :   unsigned dst_index = 0;
    5712                 :         806 :   unsigned count = ts->m_agg_values->length ();
    5713                 :        4326 :   for (unsigned i = 0; i < count; i++)
    5714                 :             :     {
    5715                 :        3520 :       ipa_argagg_value *v = &(*ts->m_agg_values)[i];
    5716                 :        3520 :       gcc_checking_assert (v->index >= 0);
    5717                 :             : 
    5718                 :        3520 :       int new_idx = -1;
    5719                 :        3520 :       if ((unsigned) v->index < new_indices.length ())
    5720                 :        2178 :         new_idx = new_indices[v->index];
    5721                 :             : 
    5722                 :        2178 :       if (new_idx >= 0)
    5723                 :             :         {
    5724                 :        1418 :           v->index = new_idx;
    5725                 :        1418 :           if (removed_item)
    5726                 :          23 :             (*ts->m_agg_values)[dst_index] = *v;
    5727                 :        1418 :           dst_index++;
    5728                 :             :         }
    5729                 :             :       else
    5730                 :             :         removed_item = true;
    5731                 :             :     }
    5732                 :             : 
    5733                 :         806 :   if (dst_index == 0)
    5734                 :             :     {
    5735                 :         483 :       ggc_free (ts->m_agg_values);
    5736                 :         483 :       ts->m_agg_values = NULL;
    5737                 :             :     }
    5738                 :         323 :   else if (removed_item)
    5739                 :          34 :     ts->m_agg_values->truncate (dst_index);
    5740                 :             : 
    5741                 :         806 :   return;
    5742                 :         806 : }
    5743                 :             : 
    5744                 :             : /* Dominator walker driving the ipcp modification phase.  */
    5745                 :             : 
    5746                 :             : class ipcp_modif_dom_walker : public dom_walker
    5747                 :             : {
    5748                 :             : public:
    5749                 :        1135 :   ipcp_modif_dom_walker (struct ipa_func_body_info *fbi,
    5750                 :             :                          vec<ipa_param_descriptor, va_gc> *descs,
    5751                 :             :                          ipcp_transformation *ts, bool *sc)
    5752                 :        2270 :     : dom_walker (CDI_DOMINATORS), m_fbi (fbi), m_descriptors (descs),
    5753                 :        1135 :       m_ts (ts), m_something_changed (sc) {}
    5754                 :             : 
    5755                 :             :   edge before_dom_children (basic_block) final override;
    5756                 :        1135 :   bool cleanup_eh ()
    5757                 :        1135 :     { return gimple_purge_all_dead_eh_edges (m_need_eh_cleanup); }
    5758                 :             : 
    5759                 :             : private:
    5760                 :             :   struct ipa_func_body_info *m_fbi;
    5761                 :             :   vec<ipa_param_descriptor, va_gc> *m_descriptors;
    5762                 :             :   ipcp_transformation *m_ts;
    5763                 :             :   bool *m_something_changed;
    5764                 :             :   auto_bitmap m_need_eh_cleanup;
    5765                 :             : };
    5766                 :             : 
    5767                 :             : edge
    5768                 :       18255 : ipcp_modif_dom_walker::before_dom_children (basic_block bb)
    5769                 :             : {
    5770                 :       18255 :   gimple_stmt_iterator gsi;
    5771                 :       99171 :   for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
    5772                 :             :     {
    5773                 :       62661 :       gimple *stmt = gsi_stmt (gsi);
    5774                 :       62661 :       tree rhs, val, t;
    5775                 :       62661 :       HOST_WIDE_INT bit_offset;
    5776                 :       62661 :       poly_int64 size;
    5777                 :       62661 :       int index;
    5778                 :       62661 :       bool by_ref, vce;
    5779                 :             : 
    5780                 :       62661 :       if (!gimple_assign_load_p (stmt))
    5781                 :       61404 :         continue;
    5782                 :        9862 :       rhs = gimple_assign_rhs1 (stmt);
    5783                 :        9862 :       if (!is_gimple_reg_type (TREE_TYPE (rhs)))
    5784                 :         532 :         continue;
    5785                 :             : 
    5786                 :       23182 :       vce = false;
    5787                 :             :       t = rhs;
    5788                 :       23182 :       while (handled_component_p (t))
    5789                 :             :         {
    5790                 :             :           /* V_C_E can do things like convert an array of integers to one
    5791                 :             :              bigger integer and similar things we do not handle below.  */
    5792                 :       13852 :           if (TREE_CODE (t) == VIEW_CONVERT_EXPR)
    5793                 :             :             {
    5794                 :             :               vce = true;
    5795                 :             :               break;
    5796                 :             :             }
    5797                 :       13852 :           t = TREE_OPERAND (t, 0);
    5798                 :             :         }
    5799                 :        9330 :       if (vce)
    5800                 :           0 :         continue;
    5801                 :             : 
    5802                 :        9330 :       if (!ipa_load_from_parm_agg (m_fbi, m_descriptors, stmt, rhs, &index,
    5803                 :             :                                    &bit_offset, &size, &by_ref))
    5804                 :        6867 :         continue;
    5805                 :        2463 :       unsigned unit_offset = bit_offset / BITS_PER_UNIT;
    5806                 :        2463 :       ipa_argagg_value_list avl (m_ts);
    5807                 :        2463 :       tree v = avl.get_value (index, unit_offset, by_ref);
    5808                 :             : 
    5809                 :        3669 :       if (!v
    5810                 :        2463 :           || maybe_ne (tree_to_poly_int64 (TYPE_SIZE (TREE_TYPE (v))), size))
    5811                 :        1206 :         continue;
    5812                 :             : 
    5813                 :        1257 :       gcc_checking_assert (is_gimple_ip_invariant (v));
    5814                 :        1257 :       if (!useless_type_conversion_p (TREE_TYPE (rhs), TREE_TYPE (v)))
    5815                 :             :         {
    5816                 :           0 :           if (fold_convertible_p (TREE_TYPE (rhs), v))
    5817                 :           0 :             val = fold_build1 (NOP_EXPR, TREE_TYPE (rhs), v);
    5818                 :           0 :           else if (TYPE_SIZE (TREE_TYPE (rhs))
    5819                 :           0 :                    == TYPE_SIZE (TREE_TYPE (v)))
    5820                 :           0 :             val = fold_build1 (VIEW_CONVERT_EXPR, TREE_TYPE (rhs), v);
    5821                 :             :           else
    5822                 :             :             {
    5823                 :           0 :               if (dump_file)
    5824                 :             :                 {
    5825                 :           0 :                   fprintf (dump_file, "    const ");
    5826                 :           0 :                   print_generic_expr (dump_file, v);
    5827                 :           0 :                   fprintf (dump_file, "  can't be converted to type of ");
    5828                 :           0 :                   print_generic_expr (dump_file, rhs);
    5829                 :           0 :                   fprintf (dump_file, "\n");
    5830                 :             :                 }
    5831                 :           0 :               continue;
    5832                 :             :             }
    5833                 :             :         }
    5834                 :             :       else
    5835                 :             :         val = v;
    5836                 :             : 
    5837                 :        1257 :       if (dump_file && (dump_flags & TDF_DETAILS))
    5838                 :             :         {
    5839                 :          38 :           fprintf (dump_file, "Modifying stmt:\n  ");
    5840                 :          38 :           print_gimple_stmt (dump_file, stmt, 0);
    5841                 :             :         }
    5842                 :        1257 :       gimple_assign_set_rhs_from_tree (&gsi, val);
    5843                 :        1257 :       update_stmt (stmt);
    5844                 :             : 
    5845                 :        1257 :       if (dump_file && (dump_flags & TDF_DETAILS))
    5846                 :             :         {
    5847                 :          38 :           fprintf (dump_file, "into:\n  ");
    5848                 :          38 :           print_gimple_stmt (dump_file, stmt, 0);
    5849                 :          38 :           fprintf (dump_file, "\n");
    5850                 :             :         }
    5851                 :             : 
    5852                 :        1257 :       *m_something_changed = true;
    5853                 :        1257 :       if (maybe_clean_eh_stmt (stmt))
    5854                 :           9 :         bitmap_set_bit (m_need_eh_cleanup, bb->index);
    5855                 :             :     }
    5856                 :       18255 :   return NULL;
    5857                 :             : }
    5858                 :             : 
    5859                 :             : /* If IPA-CP discovered a constant in parameter PARM at OFFSET of a given SIZE
    5860                 :             :    - whether passed by reference or not is given by BY_REF - return that
    5861                 :             :    constant.  Otherwise return NULL_TREE.  The is supposed to be used only
    5862                 :             :    after clone materialization and transformation is done (because it asserts
    5863                 :             :    that killed constants have been pruned). */
    5864                 :             : 
    5865                 :             : tree
    5866                 :     3673942 : ipcp_get_aggregate_const (struct function *func, tree parm, bool by_ref,
    5867                 :             :                           HOST_WIDE_INT bit_offset, HOST_WIDE_INT bit_size)
    5868                 :             : {
    5869                 :     3673942 :   cgraph_node *node = cgraph_node::get (func->decl);
    5870                 :     3673942 :   ipcp_transformation *ts = ipcp_get_transformation_summary (node);
    5871                 :             : 
    5872                 :     3673942 :   if (!ts || !ts->m_agg_values)
    5873                 :             :     return NULL_TREE;
    5874                 :             : 
    5875                 :        9371 :   int index = ts->get_param_index (func->decl, parm);
    5876                 :        9371 :   if (index < 0)
    5877                 :             :     return NULL_TREE;
    5878                 :             : 
    5879                 :        9306 :   ipa_argagg_value_list avl (ts);
    5880                 :        9306 :   unsigned unit_offset = bit_offset / BITS_PER_UNIT;
    5881                 :        9306 :   const ipa_argagg_value *av = avl.get_elt (index, unit_offset);
    5882                 :        9306 :   if (!av || av->by_ref != by_ref)
    5883                 :             :     return NULL_TREE;
    5884                 :        1764 :   gcc_assert (!av->killed);
    5885                 :        1764 :   tree v = av->value;
    5886                 :        1764 :   if (!v
    5887                 :        1764 :       || maybe_ne (tree_to_poly_int64 (TYPE_SIZE (TREE_TYPE (v))), bit_size))
    5888                 :         686 :     return NULL_TREE;
    5889                 :             : 
    5890                 :             :   return v;
    5891                 :             : }
    5892                 :             : 
    5893                 :             : /* Return true if we have recorded VALUE and MASK about PARM.
    5894                 :             :    Set VALUE and MASk accordingly.  */
    5895                 :             : 
    5896                 :             : bool
    5897                 :     7565952 : ipcp_get_parm_bits (tree parm, tree *value, widest_int *mask)
    5898                 :             : {
    5899                 :     7565952 :   cgraph_node *cnode = cgraph_node::get (current_function_decl);
    5900                 :     7565952 :   ipcp_transformation *ts = ipcp_get_transformation_summary (cnode);
    5901                 :     7565952 :   if (!ts
    5902                 :      115223 :       || vec_safe_length (ts->m_vr) == 0
    5903                 :     7713570 :       || !ipa_vr_supported_type_p (TREE_TYPE (parm)))
    5904                 :             :     return false;
    5905                 :             : 
    5906                 :      108731 :   int i = ts->get_param_index (current_function_decl, parm);
    5907                 :      108731 :   if (i < 0)
    5908                 :             :     return false;
    5909                 :      107393 :   clone_info *cinfo = clone_info::get (cnode);
    5910                 :      107393 :   if (cinfo && cinfo->param_adjustments)
    5911                 :             :     {
    5912                 :       28578 :       i = cinfo->param_adjustments->get_original_index (i);
    5913                 :       28578 :       if (i < 0)
    5914                 :             :         return false;
    5915                 :             :     }
    5916                 :             : 
    5917                 :       98948 :   vec<ipa_vr, va_gc> &vr = *ts->m_vr;
    5918                 :       98948 :   if (!vr[i].known_p ())
    5919                 :             :     return false;
    5920                 :       78478 :   value_range tmp;
    5921                 :       78478 :   vr[i].get_vrange (tmp);
    5922                 :       78478 :   if (tmp.undefined_p () || tmp.varying_p ())
    5923                 :             :     return false;
    5924                 :       78478 :   irange_bitmask bm;
    5925                 :       78478 :   bm = tmp.get_bitmask ();
    5926                 :       78478 :   *mask = widest_int::from (bm.mask (), TYPE_SIGN (TREE_TYPE (parm)));
    5927                 :       78478 :   *value = wide_int_to_tree (TREE_TYPE (parm), bm.value ());
    5928                 :       78478 :   return true;
    5929                 :       78478 : }
    5930                 :             : 
    5931                 :             : /* Update value range of formal parameters of NODE as described in TS.  */
    5932                 :             : 
    5933                 :             : static void
    5934                 :       20354 : ipcp_update_vr (struct cgraph_node *node, ipcp_transformation *ts)
    5935                 :             : {
    5936                 :       20354 :   if (vec_safe_is_empty (ts->m_vr))
    5937                 :         406 :     return;
    5938                 :       19948 :   const vec<ipa_vr, va_gc> &vr = *ts->m_vr;
    5939                 :       19948 :   unsigned count = vr.length ();
    5940                 :       19948 :   if (!count)
    5941                 :             :     return;
    5942                 :             : 
    5943                 :       19948 :   auto_vec<int, 16> new_indices;
    5944                 :       19948 :   bool need_remapping = false;
    5945                 :       19948 :   clone_info *cinfo = clone_info::get (node);
    5946                 :       19948 :   if (cinfo && cinfo->param_adjustments)
    5947                 :             :     {
    5948                 :        5702 :       cinfo->param_adjustments->get_updated_indices (&new_indices);
    5949                 :        5702 :       need_remapping = true;
    5950                 :             :     }
    5951                 :       19948 :   auto_vec <tree, 16> parm_decls;
    5952                 :       19948 :   push_function_arg_decls (&parm_decls, node->decl);
    5953                 :             : 
    5954                 :       67651 :   for (unsigned i = 0; i < count; ++i)
    5955                 :             :     {
    5956                 :       47703 :       tree parm;
    5957                 :       47703 :       int remapped_idx;
    5958                 :       47703 :       if (need_remapping)
    5959                 :             :         {
    5960                 :       16506 :           if (i >= new_indices.length ())
    5961                 :        7441 :             continue;
    5962                 :        9065 :           remapped_idx = new_indices[i];
    5963                 :        9065 :           if (remapped_idx < 0)
    5964                 :        1966 :             continue;
    5965                 :             :         }
    5966                 :             :       else
    5967                 :       31197 :         remapped_idx = i;
    5968                 :             : 
    5969                 :       38296 :       parm = parm_decls[remapped_idx];
    5970                 :             : 
    5971                 :       38296 :       gcc_checking_assert (parm);
    5972                 :       38296 :       tree ddef = ssa_default_def (DECL_STRUCT_FUNCTION (node->decl), parm);
    5973                 :             : 
    5974                 :       38296 :       if (!ddef || !is_gimple_reg (parm))
    5975                 :        4743 :         continue;
    5976                 :             : 
    5977                 :       33553 :       if (vr[i].known_p ())
    5978                 :             :         {
    5979                 :       26165 :           value_range tmp;
    5980                 :       26165 :           vr[i].get_vrange (tmp);
    5981                 :             : 
    5982                 :       26165 :           if (!tmp.undefined_p () && !tmp.varying_p ())
    5983                 :             :             {
    5984                 :       26165 :               if (dump_file)
    5985                 :             :                 {
    5986                 :          95 :                   fprintf (dump_file, "Setting value range of param %u "
    5987                 :             :                            "(now %i) ", i, remapped_idx);
    5988                 :          95 :                   tmp.dump (dump_file);
    5989                 :          95 :                   fprintf (dump_file, "]\n");
    5990                 :             :                 }
    5991                 :       26165 :               set_range_info (ddef, tmp);
    5992                 :             : 
    5993                 :       40389 :               if (POINTER_TYPE_P (TREE_TYPE (parm))
    5994                 :       29102 :                   && opt_for_fn (node->decl, flag_ipa_bit_cp))
    5995                 :             :                 {
    5996                 :       14877 :                   irange_bitmask bm = tmp.get_bitmask ();
    5997                 :       14877 :                   unsigned tem = bm.mask ().to_uhwi ();
    5998                 :       14877 :                   unsigned HOST_WIDE_INT bitpos = bm.value ().to_uhwi ();
    5999                 :       14877 :                   unsigned align = tem & -tem;
    6000                 :       14877 :                   unsigned misalign = bitpos & (align - 1);
    6001                 :             : 
    6002                 :       14877 :                   if (align > 1)
    6003                 :             :                     {
    6004                 :       12462 :                       if (dump_file)
    6005                 :             :                         {
    6006                 :          71 :                           fprintf (dump_file,
    6007                 :             :                                    "Adjusting mask for param %u to ", i);
    6008                 :          71 :                           print_hex (bm.mask (), dump_file);
    6009                 :          71 :                           fprintf (dump_file, "\n");
    6010                 :             :                         }
    6011                 :             : 
    6012                 :       12462 :                       if (dump_file)
    6013                 :          71 :                         fprintf (dump_file,
    6014                 :             :                                  "Adjusting align: %u, misalign: %u\n",
    6015                 :             :                                  align, misalign);
    6016                 :             : 
    6017                 :       12462 :                       unsigned old_align, old_misalign;
    6018                 :       12462 :                       struct ptr_info_def *pi = get_ptr_info (ddef);
    6019                 :       12462 :                       bool old_known = get_ptr_info_alignment (pi, &old_align,
    6020                 :             :                                                                &old_misalign);
    6021                 :             : 
    6022                 :       12462 :                       if (old_known && old_align > align)
    6023                 :             :                         {
    6024                 :           0 :                           if (dump_file)
    6025                 :             :                             {
    6026                 :           0 :                               fprintf (dump_file,
    6027                 :             :                                        "But alignment was already %u.\n",
    6028                 :             :                                        old_align);
    6029                 :           0 :                               if ((old_misalign & (align - 1)) != misalign)
    6030                 :           0 :                                 fprintf (dump_file,
    6031                 :             :                                          "old_misalign (%u) and misalign "
    6032                 :             :                                          "(%u) mismatch\n",
    6033                 :             :                                          old_misalign, misalign);
    6034                 :             :                             }
    6035                 :           0 :                           continue;
    6036                 :             :                         }
    6037                 :             : 
    6038                 :       12462 :                       if (dump_file
    6039                 :          71 :                           && old_known
    6040                 :           0 :                           && ((misalign & (old_align - 1)) != old_misalign))
    6041                 :           0 :                         fprintf (dump_file,
    6042                 :             :                                  "old_misalign (%u) and misalign (%u) "
    6043                 :             :                                  "mismatch\n",
    6044                 :             :                                  old_misalign, misalign);
    6045                 :             : 
    6046                 :       12462 :                       set_ptr_info_alignment (pi, align, misalign);
    6047                 :             :                     }
    6048                 :       14877 :                 }
    6049                 :       11288 :               else if (dump_file && INTEGRAL_TYPE_P (TREE_TYPE (parm)))
    6050                 :             :                 {
    6051                 :          20 :                   irange &r = as_a<irange> (tmp);
    6052                 :          20 :                   irange_bitmask bm = r.get_bitmask ();
    6053                 :          20 :                   unsigned prec = TYPE_PRECISION (TREE_TYPE (parm));
    6054                 :          20 :                   if (wi::ne_p (bm.mask (), wi::shwi (-1, prec)))
    6055                 :             :                     {
    6056                 :          13 :                       fprintf (dump_file,
    6057                 :             :                                "Adjusting mask for param %u to ", i);
    6058                 :          13 :                       print_hex (bm.mask (), dump_file);
    6059                 :          13 :                       fprintf (dump_file, "\n");
    6060                 :             :                     }
    6061                 :          20 :                 }
    6062                 :             :             }
    6063                 :       26165 :         }
    6064                 :             :     }
    6065                 :       19948 : }
    6066                 :             : 
    6067                 :             : /* IPCP transformation phase doing propagation of aggregate values.  */
    6068                 :             : 
    6069                 :             : unsigned int
    6070                 :      926641 : ipcp_transform_function (struct cgraph_node *node)
    6071                 :             : {
    6072                 :      926641 :   struct ipa_func_body_info fbi;
    6073                 :      926641 :   int param_count;
    6074                 :             : 
    6075                 :      926641 :   gcc_checking_assert (cfun);
    6076                 :      926641 :   gcc_checking_assert (current_function_decl);
    6077                 :             : 
    6078                 :      926641 :   if (dump_file)
    6079                 :         651 :     fprintf (dump_file, "Modification phase of node %s\n",
    6080                 :             :              node->dump_name ());
    6081                 :             : 
    6082                 :      926641 :   ipcp_transformation *ts = ipcp_get_transformation_summary (node);
    6083                 :      926641 :   if (!ts
    6084                 :      926641 :       || (vec_safe_is_empty (ts->m_agg_values)
    6085                 :       19667 :           && vec_safe_is_empty (ts->m_vr)))
    6086                 :             :     return 0;
    6087                 :             : 
    6088                 :       20354 :   ts->maybe_create_parm_idx_map (cfun->decl);
    6089                 :       20354 :   ipcp_update_vr (node, ts);
    6090                 :      927325 :   if (vec_safe_is_empty (ts->m_agg_values))
    6091                 :             :       return 0;
    6092                 :        1819 :   param_count = count_formal_params (node->decl);
    6093                 :        1819 :   if (param_count == 0)
    6094                 :             :     return 0;
    6095                 :             : 
    6096                 :        1618 :   adjust_agg_replacement_values (node, ts);
    6097                 :        1618 :   if (vec_safe_is_empty (ts->m_agg_values))
    6098                 :             :     {
    6099                 :         483 :       if (dump_file)
    6100                 :           2 :         fprintf (dump_file, "  All affected aggregate parameters were either "
    6101                 :             :                  "removed or converted into scalars, phase done.\n");
    6102                 :         483 :       return 0;
    6103                 :             :     }
    6104                 :        1135 :   if (dump_file)
    6105                 :             :     {
    6106                 :          47 :       fprintf (dump_file, "     Aggregate replacements:");
    6107                 :          47 :       ipa_argagg_value_list avs (ts);
    6108                 :          47 :       avs.dump (dump_file);
    6109                 :             :     }
    6110                 :             : 
    6111                 :        1135 :   fbi.node = node;
    6112                 :        1135 :   fbi.info = NULL;
    6113                 :        1135 :   fbi.bb_infos = vNULL;
    6114                 :        1135 :   fbi.bb_infos.safe_grow_cleared (last_basic_block_for_fn (cfun), true);
    6115                 :        1135 :   fbi.param_count = param_count;
    6116                 :        1135 :   fbi.aa_walk_budget = opt_for_fn (node->decl, param_ipa_max_aa_steps);
    6117                 :             : 
    6118                 :        1135 :   vec<ipa_param_descriptor, va_gc> *descriptors = NULL;
    6119                 :        1135 :   vec_safe_grow_cleared (descriptors, param_count, true);
    6120                 :        1135 :   ipa_populate_param_decls (node, *descriptors);
    6121                 :        1135 :   bool modified_mem_access = false;
    6122                 :        1135 :   calculate_dominance_info (CDI_DOMINATORS);
    6123                 :        1135 :   ipcp_modif_dom_walker walker (&fbi, descriptors, ts, &modified_mem_access);
    6124                 :        1135 :   walker.walk (ENTRY_BLOCK_PTR_FOR_FN (cfun));
    6125                 :        1135 :   free_dominance_info (CDI_DOMINATORS);
    6126                 :        1135 :   bool cfg_changed = walker.cleanup_eh ();
    6127                 :             : 
    6128                 :        1135 :   int i;
    6129                 :        1135 :   struct ipa_bb_info *bi;
    6130                 :       21660 :   FOR_EACH_VEC_ELT (fbi.bb_infos, i, bi)
    6131                 :       38780 :     free_ipa_bb_info (bi);
    6132                 :        1135 :   fbi.bb_infos.release ();
    6133                 :             : 
    6134                 :        1135 :   ts->remove_argaggs_if ([](const ipa_argagg_value &v)
    6135                 :             :     {
    6136                 :        4282 :       return v.killed;
    6137                 :             :     });
    6138                 :             : 
    6139                 :        1135 :   vec_free (descriptors);
    6140                 :        1135 :   if (cfg_changed)
    6141                 :           1 :     delete_unreachable_blocks_update_callgraph (node, false);
    6142                 :             : 
    6143                 :        1135 :   return modified_mem_access ? TODO_update_ssa_only_virtuals : 0;
    6144                 :        1135 : }
    6145                 :             : 
    6146                 :             : /* Record that current function return value range is VAL.  */
    6147                 :             : 
    6148                 :             : void
    6149                 :      663853 : ipa_record_return_value_range (value_range val)
    6150                 :             : {
    6151                 :      663853 :   cgraph_node *n = cgraph_node::get (current_function_decl);
    6152                 :      663853 :   if (!ipa_return_value_sum)
    6153                 :             :     {
    6154                 :       77251 :       if (!ipa_vr_hash_table)
    6155                 :       71966 :         ipa_vr_hash_table = hash_table<ipa_vr_ggc_hash_traits>::create_ggc (37);
    6156                 :       77251 :       ipa_return_value_sum = new (ggc_alloc_no_dtor <ipa_return_value_sum_t> ())
    6157                 :       77251 :               ipa_return_value_sum_t (symtab, true);
    6158                 :       77251 :       ipa_return_value_sum->disable_insertion_hook ();
    6159                 :             :     }
    6160                 :      663853 :   ipa_return_value_sum->get_create (n)->vr = ipa_get_value_range (val);
    6161                 :      663853 :   if (dump_file && (dump_flags & TDF_DETAILS))
    6162                 :             :     {
    6163                 :          22 :       fprintf (dump_file, "Recording return range ");
    6164                 :          22 :       val.dump (dump_file);
    6165                 :          22 :       fprintf (dump_file, "\n");
    6166                 :             :     }
    6167                 :      663853 : }
    6168                 :             : 
    6169                 :             : /* Return true if value range of DECL is known and if so initialize RANGE.  */
    6170                 :             : 
    6171                 :             : bool
    6172                 :    10877906 : ipa_return_value_range (value_range &range, tree decl)
    6173                 :             : {
    6174                 :    10877906 :   cgraph_node *n = cgraph_node::get (decl);
    6175                 :    10877906 :   if (!n || !ipa_return_value_sum)
    6176                 :             :     return false;
    6177                 :     8752311 :   enum availability avail;
    6178                 :     8752311 :   n = n->ultimate_alias_target (&avail);
    6179                 :     8752311 :   if (avail < AVAIL_AVAILABLE)
    6180                 :             :     return false;
    6181                 :     1762237 :   if (n->decl != decl && !useless_type_conversion_p (TREE_TYPE (decl), TREE_TYPE (n->decl)))
    6182                 :             :     return false;
    6183                 :     1762237 :   ipa_return_value_summary *v = ipa_return_value_sum->get (n);
    6184                 :     1762237 :   if (!v)
    6185                 :             :     return false;
    6186                 :      490694 :   v->vr->get_vrange (range);
    6187                 :      490694 :   return true;
    6188                 :             : }
    6189                 :             : 
    6190                 :             : /* Reset all state within ipa-prop.cc so that we can rerun the compiler
    6191                 :             :    within the same process.  For use by toplev::finalize.  */
    6192                 :             : 
    6193                 :             : void
    6194                 :      248129 : ipa_prop_cc_finalize (void)
    6195                 :             : {
    6196                 :      248129 :   if (function_insertion_hook_holder)
    6197                 :       12298 :     symtab->remove_cgraph_insertion_hook (function_insertion_hook_holder);
    6198                 :      248129 :   function_insertion_hook_holder = NULL;
    6199                 :             : 
    6200                 :      248129 :   if (ipa_edge_args_sum)
    6201                 :       12635 :     ggc_delete (ipa_edge_args_sum);
    6202                 :      248129 :   ipa_edge_args_sum = NULL;
    6203                 :             : 
    6204                 :      248129 :   if (ipa_node_params_sum)
    6205                 :       12635 :     ggc_delete (ipa_node_params_sum);
    6206                 :      248129 :   ipa_node_params_sum = NULL;
    6207                 :      248129 : }
    6208                 :             : 
    6209                 :             : /* Return true if the two pass_through components of two jump functions are
    6210                 :             :    known to be equivalent.  AGG_JF denotes whether they are part of aggregate
    6211                 :             :    functions or not.  The function can be used before the IPA phase of IPA-CP
    6212                 :             :    or inlining because it cannot cope with refdesc changes these passes can
    6213                 :             :    carry out.  */
    6214                 :             : 
    6215                 :             : static bool
    6216                 :       47315 : ipa_agg_pass_through_jf_equivalent_p (ipa_pass_through_data *ipt1,
    6217                 :             :                                       ipa_pass_through_data *ipt2,
    6218                 :             :                                       bool agg_jf)
    6219                 :             : 
    6220                 :             : {
    6221                 :       47315 :   gcc_assert (agg_jf ||
    6222                 :             :               (!ipt1->refdesc_decremented && !ipt2->refdesc_decremented));
    6223                 :       47315 :   if (ipt1->operation != ipt2->operation
    6224                 :       47315 :       || ipt1->formal_id != ipt2->formal_id
    6225                 :       47315 :       || (!agg_jf && (ipt1->agg_preserved != ipt2->agg_preserved)))
    6226                 :             :     return false;
    6227                 :       47315 :   if (((ipt1->operand != NULL_TREE) != (ipt2->operand != NULL_TREE))
    6228                 :       47315 :       || (ipt1->operand
    6229                 :        5214 :           && !values_equal_for_ipcp_p (ipt1->operand, ipt2->operand)))
    6230                 :           0 :     return false;
    6231                 :             :   return true;
    6232                 :             : }
    6233                 :             : 
    6234                 :             : /* Return true if the two aggregate jump functions are known to be equivalent.
    6235                 :             :    The function can be used before the IPA phase of IPA-CP or inlining because
    6236                 :             :    it cannot cope with refdesc changes these passes can carry out.  */
    6237                 :             : 
    6238                 :             : static bool
    6239                 :        4842 : ipa_agg_jump_functions_equivalent_p (ipa_agg_jf_item *ajf1,
    6240                 :             :                                      ipa_agg_jf_item *ajf2)
    6241                 :             : {
    6242                 :        4842 :   if (ajf1->offset != ajf2->offset
    6243                 :        4842 :       || ajf1->jftype != ajf2->jftype
    6244                 :        9684 :       || !types_compatible_p (ajf1->type, ajf2->type))
    6245                 :           0 :     return false;
    6246                 :             : 
    6247                 :        4842 :   switch (ajf1->jftype)
    6248                 :             :     {
    6249                 :        3196 :     case IPA_JF_CONST:
    6250                 :        3196 :       if (!values_equal_for_ipcp_p (ajf1->value.constant,
    6251                 :             :                                     ajf2->value.constant))
    6252                 :             :         return false;
    6253                 :             :       break;
    6254                 :         750 :     case IPA_JF_PASS_THROUGH:
    6255                 :         750 :       {
    6256                 :         750 :         ipa_pass_through_data *ipt1 = &ajf1->value.pass_through;
    6257                 :         750 :         ipa_pass_through_data *ipt2 = &ajf2->value.pass_through;
    6258                 :         750 :         if (!ipa_agg_pass_through_jf_equivalent_p (ipt1, ipt2, true))
    6259                 :             :           return false;
    6260                 :             :       }
    6261                 :             :       break;
    6262                 :         896 :     case IPA_JF_LOAD_AGG:
    6263                 :         896 :       {
    6264                 :         896 :         ipa_load_agg_data *ila1 = &ajf1->value.load_agg;
    6265                 :         896 :         ipa_load_agg_data *ila2 = &ajf2->value.load_agg;
    6266                 :         896 :         if (!ipa_agg_pass_through_jf_equivalent_p (&ila1->pass_through,
    6267                 :             :                                                    &ila2->pass_through, true))
    6268                 :             :           return false;
    6269                 :         896 :         if (ila1->offset != ila2->offset
    6270                 :         896 :             || ila1->by_ref != ila2->by_ref
    6271                 :        1792 :             || !types_compatible_p (ila1->type, ila2->type))
    6272                 :           0 :           return false;
    6273                 :             :       }
    6274                 :             :       break;
    6275                 :           0 :     default:
    6276                 :           0 :         gcc_unreachable ();
    6277                 :             :     }
    6278                 :             :   return true;
    6279                 :             : }
    6280                 :             : 
    6281                 :             : /* Return true if the two jump functions are known to be equivalent.  The
    6282                 :             :    function can be used before the IPA phase of IPA-CP or inlining because it
    6283                 :             :    cannot cope with refdesc changes these passes can carry out.  */
    6284                 :             : 
    6285                 :             : bool
    6286                 :      108442 : ipa_jump_functions_equivalent_p (ipa_jump_func *jf1, ipa_jump_func *jf2)
    6287                 :             : {
    6288                 :      108442 :   if (jf1->type != jf2->type)
    6289                 :             :     return false;
    6290                 :             : 
    6291                 :      108442 :   switch (jf1->type)
    6292                 :             :     {
    6293                 :             :     case IPA_JF_UNKNOWN:
    6294                 :             :       break;
    6295                 :       20112 :     case IPA_JF_CONST:
    6296                 :       20112 :       {
    6297                 :       20112 :         tree cst1 = ipa_get_jf_constant (jf1);
    6298                 :       20112 :         tree cst2 = ipa_get_jf_constant (jf2);
    6299                 :       20112 :         if (!values_equal_for_ipcp_p (cst1, cst2))
    6300                 :             :           return false;
    6301                 :             : 
    6302                 :       20111 :         ipa_cst_ref_desc *rd1 = jfunc_rdesc_usable (jf1);
    6303                 :       20111 :         ipa_cst_ref_desc *rd2 = jfunc_rdesc_usable (jf2);
    6304                 :       20111 :         if (rd1 && rd2)
    6305                 :             :           {
    6306                 :         238 :             gcc_assert (rd1->refcount == 1
    6307                 :             :                         && rd2->refcount == 1);
    6308                 :         238 :             gcc_assert (!rd1->next_duplicate && !rd2->next_duplicate);
    6309                 :             :           }
    6310                 :       19873 :         else if (rd1)
    6311                 :             :           return false;
    6312                 :       19873 :         else if (rd2)
    6313                 :             :           return false;
    6314                 :             :       }
    6315                 :             :       break;
    6316                 :       45669 :     case IPA_JF_PASS_THROUGH:
    6317                 :       45669 :       {
    6318                 :       45669 :         ipa_pass_through_data *ipt1 = &jf1->value.pass_through;
    6319                 :       45669 :         ipa_pass_through_data *ipt2 = &jf2->value.pass_through;
    6320                 :       45669 :         if (!ipa_agg_pass_through_jf_equivalent_p (ipt1, ipt2, false))
    6321                 :             :           return false;
    6322                 :             :       }
    6323                 :             :       break;
    6324                 :        8015 :     case IPA_JF_ANCESTOR:
    6325                 :        8015 :       {
    6326                 :        8015 :         ipa_ancestor_jf_data *ia1 = &jf1->value.ancestor;
    6327                 :        8015 :         ipa_ancestor_jf_data *ia2 = &jf2->value.ancestor;
    6328                 :             : 
    6329                 :        8015 :         if (ia1->formal_id != ia2->formal_id
    6330                 :        8015 :             || ia1->agg_preserved != ia2->agg_preserved
    6331                 :        8015 :             || ia1->keep_null != ia2->keep_null
    6332                 :        8015 :             || ia1->offset != ia2->offset)
    6333                 :             :           return false;
    6334                 :             :       }
    6335                 :             :       break;
    6336                 :           0 :     default:
    6337                 :           0 :       gcc_unreachable ();
    6338                 :             :     }
    6339                 :             : 
    6340                 :      108441 :   if (((jf1->m_vr != nullptr) != (jf2->m_vr != nullptr))
    6341                 :      108441 :       || (jf1->m_vr && !jf1->m_vr->equal_p (*jf2->m_vr)))
    6342                 :           5 :     return false;
    6343                 :             : 
    6344                 :      108436 :   unsigned alen = vec_safe_length (jf1->agg.items);
    6345                 :      111292 :   if (vec_safe_length (jf2->agg.items) != alen)
    6346                 :             :     return false;
    6347                 :             : 
    6348                 :      108435 :   if (!alen)
    6349                 :             :     return true;
    6350                 :             : 
    6351                 :        2856 :   if (jf1->agg.by_ref != jf2->agg.by_ref)
    6352                 :             :     return false;
    6353                 :             : 
    6354                 :        7698 :   for (unsigned i = 0 ; i < alen; i++)
    6355                 :        4842 :     if (!ipa_agg_jump_functions_equivalent_p (&(*jf1->agg.items)[i],
    6356                 :        4842 :                                               &(*jf2->agg.items)[i]))
    6357                 :             :       return false;
    6358                 :             : 
    6359                 :             :   return true;
    6360                 :             : }
    6361                 :             : 
    6362                 :             : #include "gt-ipa-prop.h"
        

Generated by: LCOV version 2.1-beta

LCOV profile is generated on x86_64 machine using following configure options: configure --disable-bootstrap --enable-coverage=opt --enable-languages=c,c++,fortran,go,jit,lto,rust,m2 --enable-host-shared. GCC test suite is run with the built compiler.