Branch data Line data Source code
1 : : ;; GCC machine description for SSE instructions
2 : : ;; Copyright (C) 2005-2024 Free Software Foundation, Inc.
3 : : ;;
4 : : ;; This file is part of GCC.
5 : : ;;
6 : : ;; GCC is free software; you can redistribute it and/or modify
7 : : ;; it under the terms of the GNU General Public License as published by
8 : : ;; the Free Software Foundation; either version 3, or (at your option)
9 : : ;; any later version.
10 : : ;;
11 : : ;; GCC is distributed in the hope that it will be useful,
12 : : ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
13 : : ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
14 : : ;; GNU General Public License for more details.
15 : : ;;
16 : : ;; You should have received a copy of the GNU General Public License
17 : : ;; along with GCC; see the file COPYING3. If not see
18 : : ;; <http://www.gnu.org/licenses/>.
19 : :
20 : : (define_c_enum "unspec" [
21 : : ;; SSE
22 : : UNSPEC_MOVNT
23 : :
24 : : ;; SSE2
25 : : UNSPEC_MOVDI_TO_SSE
26 : :
27 : : ;; SSE3
28 : : UNSPEC_LDDQU
29 : :
30 : : ;; SSSE3
31 : : UNSPEC_PSIGN
32 : : UNSPEC_PALIGNR
33 : :
34 : : ;; For SSE4A support
35 : : UNSPEC_EXTRQI
36 : : UNSPEC_EXTRQ
37 : : UNSPEC_INSERTQI
38 : : UNSPEC_INSERTQ
39 : :
40 : : ;; For SSE4.1 support
41 : : UNSPEC_DP
42 : : UNSPEC_MOVNTDQA
43 : : UNSPEC_MPSADBW
44 : : UNSPEC_PHMINPOSUW
45 : : UNSPEC_PTEST
46 : :
47 : : ;; For SSE4.2 support
48 : : UNSPEC_PCMPESTR
49 : : UNSPEC_PCMPISTR
50 : :
51 : : ;; For FMA4 support
52 : : UNSPEC_FMADDSUB
53 : : UNSPEC_XOP_UNSIGNED_CMP
54 : : UNSPEC_XOP_TRUEFALSE
55 : : UNSPEC_FRCZ
56 : :
57 : : ;; For AES support
58 : : UNSPEC_AESENC
59 : : UNSPEC_AESENCLAST
60 : : UNSPEC_AESDEC
61 : : UNSPEC_AESDECLAST
62 : : UNSPEC_AESIMC
63 : : UNSPEC_AESKEYGENASSIST
64 : :
65 : : ;; For PCLMUL support
66 : : UNSPEC_PCLMUL
67 : :
68 : : ;; For AVX support
69 : : UNSPEC_VPERMIL
70 : : UNSPEC_VPERMIL2
71 : : UNSPEC_VPERMIL2F128
72 : : UNSPEC_CAST
73 : : UNSPEC_VTESTP
74 : : UNSPEC_VCVTPH2PS
75 : : UNSPEC_VCVTPS2PH
76 : :
77 : : ;; For AVX2 support
78 : : UNSPEC_VPERMVAR
79 : : UNSPEC_VPERMTI
80 : : UNSPEC_GATHER
81 : : UNSPEC_VSIBADDR
82 : :
83 : : ;; For AVX512F support
84 : : UNSPEC_VPERMT2
85 : : UNSPEC_UNSIGNED_FIX_NOTRUNC
86 : : UNSPEC_UNSIGNED_PCMP
87 : : UNSPEC_TESTM
88 : : UNSPEC_TESTNM
89 : : UNSPEC_SCATTER
90 : : UNSPEC_RCP14
91 : : UNSPEC_RSQRT14
92 : : UNSPEC_FIXUPIMM
93 : : UNSPEC_VTERNLOG
94 : : UNSPEC_GETEXP
95 : : UNSPEC_GETMANT
96 : : UNSPEC_ALIGN
97 : : UNSPEC_CONFLICT
98 : : UNSPEC_COMPRESS
99 : : UNSPEC_COMPRESS_STORE
100 : : UNSPEC_EXPAND
101 : : UNSPEC_VCVTT
102 : : UNSPEC_VCVTTU
103 : :
104 : : ;; Mask operations
105 : : UNSPEC_MASKOP
106 : : UNSPEC_KORTEST
107 : : UNSPEC_KTEST
108 : : ;; Mask load
109 : : UNSPEC_MASKLOAD
110 : :
111 : : ;; For embed. rounding feature
112 : : UNSPEC_EMBEDDED_ROUNDING
113 : :
114 : : ;; For SHA support
115 : : UNSPEC_SHA1MSG1
116 : : UNSPEC_SHA1MSG2
117 : : UNSPEC_SHA1NEXTE
118 : : UNSPEC_SHA1RNDS4
119 : : UNSPEC_SHA256MSG1
120 : : UNSPEC_SHA256MSG2
121 : : UNSPEC_SHA256RNDS2
122 : :
123 : : ;; For AVX512BW support
124 : : UNSPEC_DBPSADBW
125 : : UNSPEC_PMADDUBSW512
126 : : UNSPEC_PMADDWD512
127 : : UNSPEC_PSHUFHW
128 : : UNSPEC_PSHUFLW
129 : : UNSPEC_CVTINT2MASK
130 : :
131 : : ;; For AVX512DQ support
132 : : UNSPEC_REDUCE
133 : : UNSPEC_FPCLASS
134 : : UNSPEC_RANGE
135 : :
136 : : ;; For AVX512IFMA support
137 : : UNSPEC_VPMADD52LUQ
138 : : UNSPEC_VPMADD52HUQ
139 : :
140 : : ;; For AVX512VBMI support
141 : : UNSPEC_VPMULTISHIFT
142 : :
143 : : ;; For GFNI support
144 : : UNSPEC_GF2P8AFFINEINV
145 : : UNSPEC_GF2P8AFFINE
146 : : UNSPEC_GF2P8MUL
147 : :
148 : : ;; For AVX512VBMI2 support
149 : : UNSPEC_VPSHLD
150 : : UNSPEC_VPSHRD
151 : : UNSPEC_VPSHRDV
152 : : UNSPEC_VPSHLDV
153 : :
154 : : ;; For AVX512VNNI support
155 : : UNSPEC_VPDPBUSD
156 : : UNSPEC_VPDPBUSDS
157 : : UNSPEC_VPDPWSSD
158 : : UNSPEC_VPDPWSSDS
159 : :
160 : : ;; For VAES support
161 : : UNSPEC_VAESDEC
162 : : UNSPEC_VAESDECLAST
163 : : UNSPEC_VAESENC
164 : : UNSPEC_VAESENCLAST
165 : :
166 : : ;; For VPCLMULQDQ support
167 : : UNSPEC_VPCLMULQDQ
168 : :
169 : : ;; For AVX512BITALG support
170 : : UNSPEC_VPSHUFBIT
171 : :
172 : : ;; For VP2INTERSECT support
173 : : UNSPEC_VP2INTERSECT
174 : :
175 : : ;; For AVX512BF16 support
176 : : UNSPEC_VDPBF16PS
177 : :
178 : : ;; For AVX512FP16 suppport
179 : : UNSPEC_COMPLEX_FMA
180 : : UNSPEC_COMPLEX_FMA_PAIR
181 : : UNSPEC_COMPLEX_FCMA
182 : : UNSPEC_COMPLEX_FCMA_PAIR
183 : : UNSPEC_COMPLEX_FMUL
184 : : UNSPEC_COMPLEX_FCMUL
185 : : UNSPEC_COMPLEX_MASK
186 : :
187 : : ;; For SM3 support
188 : : UNSPEC_SM3MSG1
189 : : UNSPEC_SM3MSG2
190 : : UNSPEC_SM3RNDS2
191 : :
192 : : ;; For AVX-VNNI-INT8 support
193 : : UNSPEC_VPDPBSSD
194 : : UNSPEC_VPDPBSSDS
195 : : UNSPEC_VPDPBSUD
196 : : UNSPEC_VPDPBSUDS
197 : : UNSPEC_VPDPBUUD
198 : : UNSPEC_VPDPBUUDS
199 : :
200 : : ;; For AVX-VNNI-INT16 support
201 : : UNSPEC_VPDPWUSD
202 : : UNSPEC_VPDPWUSDS
203 : : UNSPEC_VPDPWSUD
204 : : UNSPEC_VPDPWSUDS
205 : : UNSPEC_VPDPWUUD
206 : : UNSPEC_VPDPWUUDS
207 : :
208 : : ;; For SHA512 support
209 : : UNSPEC_SHA512MSG1
210 : : UNSPEC_SHA512MSG2
211 : : UNSPEC_SHA512RNDS2
212 : :
213 : : ;; For SM4 support
214 : : UNSPEC_SM4KEY4
215 : : UNSPEC_SM4RNDS4
216 : :
217 : : ;; For AVX10.2 suppport
218 : : UNSPEC_VDPPHPS
219 : : UNSPEC_VCVTBIASPH2BF8
220 : : UNSPEC_VCVTBIASPH2BF8S
221 : : UNSPEC_VCVTBIASPH2HF8
222 : : UNSPEC_VCVTBIASPH2HF8S
223 : : UNSPEC_VCVTNE2PH2BF8
224 : : UNSPEC_VCVTNE2PH2BF8S
225 : : UNSPEC_VCVTNE2PH2HF8
226 : : UNSPEC_VCVTNE2PH2HF8S
227 : : UNSPEC_VCVTNEPH2BF8
228 : : UNSPEC_VCVTNEPH2BF8S
229 : : UNSPEC_VCVTNEPH2HF8
230 : : UNSPEC_VCVTNEPH2HF8S
231 : : UNSPEC_VCVTHF82PH
232 : : UNSPEC_VSCALEFPBF16
233 : : UNSPEC_VRNDSCALENEPBF16
234 : : UNSPEC_VREDUCENEPBF16
235 : : UNSPEC_VGETMANTPBF16
236 : : UNSPEC_VFPCLASSPBF16
237 : : UNSPEC_VCOMSBF16
238 : : UNSPEC_VCVTNEBF162IBS
239 : : UNSPEC_VCVTNEBF162IUBS
240 : : UNSPEC_VCVTPH2IBS
241 : : UNSPEC_VCVTPH2IUBS
242 : : UNSPEC_VCVTPS2IBS
243 : : UNSPEC_VCVTPS2IUBS
244 : : UNSPEC_VCVTTNEBF162IBS
245 : : UNSPEC_VCVTTNEBF162IUBS
246 : : UNSPEC_VCVTTPH2IBS
247 : : UNSPEC_VCVTTPH2IUBS
248 : : UNSPEC_VCVTTPS2IBS
249 : : UNSPEC_VCVTTPS2IUBS
250 : : UNSPEC_SFIX_SATURATION
251 : : UNSPEC_UFIX_SATURATION
252 : : UNSPEC_MINMAXNEPBF16
253 : : UNSPEC_MINMAX
254 : :
255 : : ;; For MOVRS suppport
256 : : UNSPEC_VMOVRS
257 : : ])
258 : :
259 : : (define_c_enum "unspecv" [
260 : : UNSPECV_LDMXCSR
261 : : UNSPECV_STMXCSR
262 : : UNSPECV_CLFLUSH
263 : : UNSPECV_MONITOR
264 : : UNSPECV_MWAIT
265 : : UNSPECV_VZEROALL
266 : :
267 : : ;; For KEYLOCKER
268 : : UNSPECV_LOADIWKEY
269 : : UNSPECV_AESDEC128KLU8
270 : : UNSPECV_AESENC128KLU8
271 : : UNSPECV_AESDEC256KLU8
272 : : UNSPECV_AESENC256KLU8
273 : : UNSPECV_AESDECWIDE128KLU8
274 : : UNSPECV_AESENCWIDE128KLU8
275 : : UNSPECV_AESDECWIDE256KLU8
276 : : UNSPECV_AESENCWIDE256KLU8
277 : : UNSPECV_ENCODEKEY128U32
278 : : UNSPECV_ENCODEKEY256U32
279 : : ])
280 : :
281 : : ;; All vector modes including V?TImode, used in move patterns.
282 : : (define_mode_iterator VMOVE
283 : 256062 : [(V64QI "TARGET_AVX512F && TARGET_EVEX512") (V32QI "TARGET_AVX") V16QI
284 : 217130 : (V32HI "TARGET_AVX512F && TARGET_EVEX512") (V16HI "TARGET_AVX") V8HI
285 : 499734 : (V16SI "TARGET_AVX512F && TARGET_EVEX512") (V8SI "TARGET_AVX") V4SI
286 : 838207 : (V8DI "TARGET_AVX512F && TARGET_EVEX512") (V4DI "TARGET_AVX") V2DI
287 : 1259832 : (V4TI "TARGET_AVX512F && TARGET_EVEX512") (V2TI "TARGET_AVX") V1TI
288 : 1586834 : (V32HF "TARGET_AVX512F && TARGET_EVEX512") (V16HF "TARGET_AVX") V8HF
289 : 1338264 : (V32BF "TARGET_AVX512F && TARGET_EVEX512") (V16BF "TARGET_AVX") V8BF
290 : 697166 : (V16SF "TARGET_AVX512F && TARGET_EVEX512") (V8SF "TARGET_AVX") V4SF
291 : 859257 : (V8DF "TARGET_AVX512F && TARGET_EVEX512") (V4DF "TARGET_AVX") V2DF])
292 : 16138405 :
293 : 19092473 : ;; All AVX-512{F,VL} vector modes without HF. Supposed TARGET_AVX512F baseline.
294 : 35510846 : (define_mode_iterator V48_AVX512VL
295 : 25199043 : [(V16SI "TARGET_EVEX512") (V8SI "TARGET_AVX512VL") (V4SI "TARGET_AVX512VL")
296 : 26797208 : (V8DI "TARGET_EVEX512") (V4DI "TARGET_AVX512VL") (V2DI "TARGET_AVX512VL")
297 : 25581730 : (V16SF "TARGET_EVEX512") (V8SF "TARGET_AVX512VL") (V4SF "TARGET_AVX512VL")
298 : 15653300 : (V8DF "TARGET_EVEX512") (V4DF "TARGET_AVX512VL") (V2DF "TARGET_AVX512VL")])
299 : 842223 :
300 : 11477 : (define_mode_iterator V48_256_512_AVX512VL
301 : 14705 : [(V16SI "TARGET_EVEX512") (V8SI "TARGET_AVX512VL")
302 : 14586 : (V8DI "TARGET_EVEX512") (V4DI "TARGET_AVX512VL")
303 : 21282 : (V16SF "TARGET_EVEX512") (V8SF "TARGET_AVX512VL")
304 : 19192 : (V8DF "TARGET_EVEX512") (V4DF "TARGET_AVX512VL")])
305 : 11322 :
306 : 16133 : ;; All AVX-512{F,VL} vector modes. Supposed TARGET_AVX512F baseline.
307 : 20577 : (define_mode_iterator V48H_AVX512VL
308 : 17115 : [(V16SI "TARGET_EVEX512") (V8SI "TARGET_AVX512VL") (V4SI "TARGET_AVX512VL")
309 : 117264 : (V8DI "TARGET_EVEX512") (V4DI "TARGET_AVX512VL") (V2DI "TARGET_AVX512VL")
310 : 108944 : (V32HF "TARGET_AVX512FP16 && TARGET_EVEX512")
311 : 58480 : (V16HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
312 : 113507 : (V8HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
313 : 23457 : (V16SF "TARGET_EVEX512") (V8SF "TARGET_AVX512VL") (V4SF "TARGET_AVX512VL")
314 : 34187 : (V8DF "TARGET_EVEX512") (V4DF "TARGET_AVX512VL") (V2DF "TARGET_AVX512VL")])
315 : 31837 :
316 : 49906 : ;; 1,2 byte AVX-512{BW,VL} vector modes. Supposed TARGET_AVX512BW baseline.
317 : 43550 : (define_mode_iterator VI12_AVX512VL
318 : 28166 : [(V64QI "TARGET_EVEX512") (V16QI "TARGET_AVX512VL") (V32QI "TARGET_AVX512VL")
319 : 35272 : (V32HI "TARGET_EVEX512") (V16HI "TARGET_AVX512VL") (V8HI "TARGET_AVX512VL")])
320 : 36121 :
321 : 36773 : (define_mode_iterator VI12HFBF_AVX512VL
322 : 32226 : [(V64QI "TARGET_EVEX512") (V16QI "TARGET_AVX512VL") (V32QI "TARGET_AVX512VL")
323 : 50811 : (V32HI "TARGET_EVEX512") (V16HI "TARGET_AVX512VL") (V8HI "TARGET_AVX512VL")
324 : 50343 : (V32HF "TARGET_EVEX512") (V16HF "TARGET_AVX512VL") (V8HF "TARGET_AVX512VL")
325 : 75933 : (V32BF "TARGET_EVEX512") (V16BF "TARGET_AVX512VL") (V8BF "TARGET_AVX512VL")])
326 : 31735 :
327 : 13507 : (define_mode_iterator VI1_AVX512VL
328 : 44705 : [(V64QI "TARGET_EVEX512") (V16QI "TARGET_AVX512VL") (V32QI "TARGET_AVX512VL")])
329 : 28230 :
330 : 66959 : ;; All vector modes
331 : 24431 : (define_mode_iterator V
332 : 50529 : [(V64QI "TARGET_AVX512F && TARGET_EVEX512") (V32QI "TARGET_AVX") V16QI
333 : 195063 : (V32HI "TARGET_AVX512F && TARGET_EVEX512") (V16HI "TARGET_AVX") V8HI
334 : 202400 : (V16SI "TARGET_AVX512F && TARGET_EVEX512") (V8SI "TARGET_AVX") V4SI
335 : 688883 : (V8DI "TARGET_AVX512F && TARGET_EVEX512") (V4DI "TARGET_AVX") V2DI
336 : 300799 : (V32HF "TARGET_AVX512F && TARGET_EVEX512") (V16HF "TARGET_AVX") V8HF
337 : 7964736 : (V32BF "TARGET_AVX512F && TARGET_EVEX512") (V16BF "TARGET_AVX") V8BF
338 : 13996522 : (V16SF "TARGET_AVX512F && TARGET_EVEX512") (V8SF "TARGET_AVX") V4SF
339 : 25209700 : (V8DF "TARGET_AVX512F && TARGET_EVEX512") (V4DF "TARGET_AVX") (V2DF "TARGET_SSE2")])
340 : 39130170 :
341 : 31051101 : ;; All 128bit vector modes
342 : 20012200 : (define_mode_iterator V_128
343 : 20376 : [V16QI V8HI V8HF V8BF V4SI V2DI V4SF (V2DF "TARGET_SSE2")])
344 : 39638 :
345 : 12857 : ;; All 256bit vector modes
346 : 6152629 : (define_mode_iterator V_256
347 : 32151 : [V32QI V16HI V8SI V4DI V8SF V4DF V16HF V16BF])
348 : 3786681 :
349 : 1870535 : ;; All 128bit and 256bit vector modes
350 : 14945 : (define_mode_iterator V_128_256
351 : 2111260 : [V32QI V16QI V16HI V8HI V8SI V4SI V4DI V2DI V2TI V1TI
352 : 2160138 : V16HF V8HF V8SF V4SF V4DF V2DF])
353 : 6412296 :
354 : 275105 : ;; All 512bit vector modes
355 : 341363 : (define_mode_iterator V_512
356 : 72739 : [(V64QI "TARGET_EVEX512") (V32HI "TARGET_EVEX512")
357 : 6038170 : (V16SI "TARGET_EVEX512") (V8DI "TARGET_EVEX512")
358 : 6296087 : (V16SF "TARGET_EVEX512") (V8DF "TARGET_EVEX512")
359 : 6294498 : (V32HF "TARGET_EVEX512") (V32BF "TARGET_EVEX512")])
360 : 6246834 :
361 : 6035124 : ;; All 256bit and 512bit vector modes
362 : 6030159 : (define_mode_iterator V_256_512
363 : 5992028 : [V32QI V16HI V16HF V16BF V8SI V4DI V8SF V4DF
364 : 6358011 : (V64QI "TARGET_AVX512F && TARGET_EVEX512")
365 : 1590211 : (V32HI "TARGET_AVX512F && TARGET_EVEX512")
366 : 4176481 : (V32HF "TARGET_AVX512F && TARGET_EVEX512")
367 : 547166 : (V32BF "TARGET_AVX512F && TARGET_EVEX512")
368 : 474912 : (V16SI "TARGET_AVX512F && TARGET_EVEX512")
369 : 505625 : (V8DI "TARGET_AVX512F && TARGET_EVEX512")
370 : 413023 : (V16SF "TARGET_AVX512F && TARGET_EVEX512")
371 : 472180 : (V8DF "TARGET_AVX512F && TARGET_EVEX512")])
372 : 119772 :
373 : 305346 : ;; All vector float modes
374 : 210592 : (define_mode_iterator VF
375 : 4552 : [(V16SF "TARGET_AVX512F && TARGET_EVEX512") (V8SF "TARGET_AVX") V4SF
376 : 94883 : (V8DF "TARGET_AVX512F && TARGET_EVEX512") (V4DF "TARGET_AVX")
377 : 133684 : (V2DF "TARGET_SSE2")])
378 : 465977 :
379 : 469202 : (define_mode_iterator VF1_VF2_AVX512DQ
380 : 81367 : [(V16SF "TARGET_AVX512F && TARGET_EVEX512") (V8SF "TARGET_AVX") V4SF
381 : 1051632 : (V8DF "TARGET_AVX512DQ && TARGET_EVEX512")
382 : 33517 : (V4DF "TARGET_AVX512DQ && TARGET_AVX512VL")
383 : 12880 : (V2DF "TARGET_AVX512DQ && TARGET_AVX512VL")])
384 : 26836 :
385 : 993648 : (define_mode_iterator VF1_VF2_AVX10_2
386 : 966888 : [(V16SF "TARGET_AVX10_2_512") V8SF V4SF
387 : 8135 : (V8DF "TARGET_AVX10_2_512") V4DF V2DF])
388 : 6652 :
389 : 9984 : (define_mode_iterator VFH
390 : 10222 : [(V32HF "TARGET_AVX512FP16 && TARGET_EVEX512")
391 : 971208 : (V16HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
392 : 16078 : (V8HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
393 : 973496 : (V16SF "TARGET_AVX512F && TARGET_EVEX512") (V8SF "TARGET_AVX") V4SF
394 : 979559 : (V8DF "TARGET_AVX512F && TARGET_EVEX512") (V4DF "TARGET_AVX")
395 : 11190 : (V2DF "TARGET_SSE2")])
396 : 979426 :
397 : 969261 : (define_mode_iterator VF_BHSD
398 : 416794 : [(V32HF "TARGET_AVX512FP16 && TARGET_EVEX512")
399 : 390646 : (V16HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
400 : 285402 : (V8HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
401 : 230181 : (V16SF "TARGET_AVX512F && TARGET_EVEX512")
402 : 239706 : (V8SF "TARGET_AVX") V4SF
403 : 58188 : (V8DF "TARGET_AVX512F && TARGET_EVEX512")
404 : 172092 : (V4DF "TARGET_AVX") (V2DF "TARGET_SSE2")
405 : 54123 : (V32BF "TARGET_AVX10_2_512")
406 : 3133 : (V16BF "TARGET_AVX10_2_256")
407 : 3373 : (V8BF "TARGET_AVX10_2_256")
408 : 5855 : ])
409 : 5614 :
410 : 7548 : ;; 128-, 256- and 512-bit float vector modes for bitwise operations
411 : 5759 : (define_mode_iterator VFB
412 : 5267 : [(V32BF "TARGET_AVX512F && TARGET_EVEX512")
413 : 3259 : (V16BF "TARGET_AVX") (V8BF "TARGET_SSE2")
414 : 5035 : (V32HF "TARGET_AVX512F && TARGET_EVEX512")
415 : 5666 : (V16HF "TARGET_AVX") (V8HF "TARGET_SSE2")
416 : 3530 : (V16SF "TARGET_AVX512F && TARGET_EVEX512") (V8SF "TARGET_AVX") V4SF
417 : 5311 : (V8DF "TARGET_AVX512F && TARGET_EVEX512")
418 : 5300 : (V4DF "TARGET_AVX") (V2DF "TARGET_SSE2")])
419 : 11167 :
420 : 7214 : ;; 128- and 256-bit float vector modes
421 : 117273 : (define_mode_iterator VF_128_256
422 : 18020 : [(V8SF "TARGET_AVX") V4SF
423 : 236379 : (V4DF "TARGET_AVX") (V2DF "TARGET_SSE2")])
424 : 127540 :
425 : 244386 : ;; 128- and 256-bit float vector modes for bitwise operations
426 : 250349 : (define_mode_iterator VFB_128_256
427 : 139249 : [(V16BF "TARGET_AVX") (V8BF "TARGET_SSE2")
428 : 186714 : (V16HF "TARGET_AVX") (V8HF "TARGET_SSE2")
429 : 89558 : (V8SF "TARGET_AVX") V4SF
430 : 42097 : (V4DF "TARGET_AVX") (V2DF "TARGET_SSE2")])
431 : 88838 :
432 : 65537 : ;; All SFmode vector float modes
433 : 40622 : (define_mode_iterator VF1
434 : 130899 : [(V16SF "TARGET_AVX512F && TARGET_EVEX512") (V8SF "TARGET_AVX") V4SF])
435 : 624035 :
436 : 2607120 : (define_mode_iterator VF1_AVX2
437 : 251936 : [(V16SF "TARGET_AVX512F && TARGET_EVEX512") (V8SF "TARGET_AVX2") V4SF])
438 : 730952 :
439 : 167258 : ;; 128- and 256-bit SF vector modes
440 : 6169 : (define_mode_iterator VF1_128_256
441 : 1897183 : [(V8SF "TARGET_AVX") V4SF])
442 : 41443 :
443 : 1178073 : (define_mode_iterator VF1_128_256VL
444 : 43470 : [(V8SF "TARGET_EVEX512") (V4SF "TARGET_AVX512VL")])
445 : 1144303 :
446 : 1145291 : ;; All DFmode vector float modes
447 : 1142598 : (define_mode_iterator VF2
448 : 6284 : [(V8DF "TARGET_AVX512F && TARGET_EVEX512") (V4DF "TARGET_AVX") V2DF])
449 : 841408 :
450 : 37739 : (define_mode_iterator VF2_AVX10_2
451 : 861591 : [(V8DF "TARGET_AVX10_2_512") V4DF V2DF])
452 : 35145 :
453 : 866947 : ;; All DFmode & HFmode & BFmode vector float modes
454 : 854080 : (define_mode_iterator VF2HB
455 : 848451 : [(V32BF "TARGET_AVX10_2_512")
456 : 1650307 : (V16BF "TARGET_AVX10_2_256")
457 : 30529 : (V8BF "TARGET_AVX10_2_256")
458 : 1093 : (V32HF "TARGET_AVX512FP16 && TARGET_EVEX512")
459 : 1859 : (V16HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
460 : 1859 : (V8HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
461 : 1093 : (V8DF "TARGET_AVX512F && TARGET_EVEX512") (V4DF "TARGET_AVX") V2DF])
462 : 1859 :
463 : 1093 : ;; 128- and 256-bit DF vector modes
464 : 1093 : (define_mode_iterator VF2_128_256
465 : 1093 : [(V4DF "TARGET_AVX") V2DF])
466 : 1093 :
467 : : (define_mode_iterator VF2_512_256
468 : 1505 : [(V8DF "TARGET_AVX512F && TARGET_EVEX512") V4DF])
469 : 133 :
470 : : (define_mode_iterator VF2_512_256VL
471 : 863 : [(V8DF "TARGET_EVEX512") (V4DF "TARGET_AVX512VL")])
472 : 139 :
473 : 274 : ;; All 128bit vector SF/DF modes
474 : 0 : (define_mode_iterator VF_128
475 : : [V4SF (V2DF "TARGET_SSE2")])
476 : 800 :
477 : 719 : ;; All 128bit vector HF/SF/DF modes
478 : 60 : (define_mode_iterator VFH_128
479 : 18291 : [(V8HF "TARGET_AVX512FP16")
480 : 9346 : V4SF (V2DF "TARGET_SSE2")])
481 : 1139 :
482 : 6114 : ;; All 256bit vector float modes
483 : 14929 : (define_mode_iterator VF_256
484 : 33197 : [V8SF V4DF])
485 : 18398 :
486 : 10455 : ;; All 512bit vector float modes
487 : 17104 : (define_mode_iterator VF_512
488 : 41685 : [(V16SF "TARGET_EVEX512") (V8DF "TARGET_EVEX512")])
489 : 235961 :
490 : 151947 : ;; All 512bit vector float modes for bitwise operations
491 : 144479 : (define_mode_iterator VFB_512
492 : 142234 : [(V32BF "TARGET_EVEX512")
493 : 68524 : (V32HF "TARGET_EVEX512")
494 : 586184 : (V16SF "TARGET_EVEX512")
495 : 24095 : (V8DF "TARGET_EVEX512")])
496 : 141156 :
497 : 47424 : (define_mode_iterator V24F_128
498 : 367974 : [V4SF V8HF V8BF])
499 : 130539 :
500 : 22035755 : (define_mode_iterator VI48_AVX512VL
501 : 22019666 : [(V16SI "TARGET_EVEX512") (V8SI "TARGET_AVX512VL") (V4SI "TARGET_AVX512VL")
502 : 19910 : (V8DI "TARGET_EVEX512") (V4DI "TARGET_AVX512VL") (V2DI "TARGET_AVX512VL")])
503 : 24450 :
504 : 22314344 : (define_mode_iterator VI1248_AVX512VLBW
505 : 341468 : [(V64QI "TARGET_AVX512BW && TARGET_EVEX512")
506 : 594131 : (V32QI "TARGET_AVX512VL && TARGET_AVX512BW")
507 : 211153 : (V16QI "TARGET_AVX512VL && TARGET_AVX512BW")
508 : 46758 : (V32HI "TARGET_AVX512BW && TARGET_EVEX512")
509 : 411264 : (V16HI "TARGET_AVX512VL && TARGET_AVX512BW")
510 : 154395 : (V8HI "TARGET_AVX512VL && TARGET_AVX512BW")
511 : 203269 : (V16SI "TARGET_EVEX512") (V8SI "TARGET_AVX512VL") (V4SI "TARGET_AVX512VL")
512 : 236221 : (V8DI "TARGET_EVEX512") (V4DI "TARGET_AVX512VL") (V2DI "TARGET_AVX512VL")])
513 : 46470 :
514 : 20018 : (define_mode_iterator VI1248_AVX10_2
515 : 27024 : [(V64QI "TARGET_AVX10_2_512") V32QI V16QI
516 : 201196 : (V32HI "TARGET_AVX10_2_512") V16HI V8HI
517 : 12220 : (V16SI "TARGET_AVX10_2_512") V8SI V4SI
518 : 77217 : (V8DI "TARGET_AVX10_2_512") V4DI V2DI])
519 : 5071546 :
520 : 56996 : (define_mode_iterator VF_AVX512VL
521 : 19500 : [(V16SF "TARGET_EVEX512") (V8SF "TARGET_AVX512VL") (V4SF "TARGET_AVX512VL")
522 : 6265 : (V8DF "TARGET_EVEX512") (V4DF "TARGET_AVX512VL") (V2DF "TARGET_AVX512VL")])
523 : 120008 :
524 : 12928 : (define_mode_iterator VFH_AVX512VL
525 : 4994681 : [(V32HF "TARGET_AVX512FP16 && TARGET_EVEX512")
526 : 9916543 : (V16HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
527 : 15751 : (V8HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
528 : 4960296 : (V16SF "TARGET_EVEX512") (V8SF "TARGET_AVX512VL") (V4SF "TARGET_AVX512VL")
529 : 16106 : (V8DF "TARGET_EVEX512") (V4DF "TARGET_AVX512VL") (V2DF "TARGET_AVX512VL")])
530 : 18119 :
531 : 1576707 : (define_mode_iterator VFH_AVX10_2
532 : 36293538 : [(V32HF "TARGET_AVX10_2_512") V16HF V8HF
533 : 36867 : (V16SF "TARGET_AVX10_2_512") V8SF V4SF
534 : 35153 : (V8DF "TARGET_AVX10_2_512") V4DF V2DF])
535 : 28977746 :
536 : 30442848 : (define_mode_iterator VF2_AVX512VL
537 : 37090 : [(V8DF "TARGET_EVEX512") (V4DF "TARGET_AVX512VL") (V2DF "TARGET_AVX512VL")])
538 : 1483543 :
539 : 2814473 : (define_mode_iterator VF1_AVX512VL
540 : 17760 : [(V16SF "TARGET_EVEX512") (V8SF "TARGET_AVX512VL") (V4SF "TARGET_AVX512VL")])
541 : 4077897 :
542 : 3777763 : (define_mode_iterator VF1_AVX512BW
543 : 22543 : [(V16SF "TARGET_EVEX512 && TARGET_EVEX512") (V8SF "TARGET_AVX2") V4SF])
544 : 29195157 :
545 : 33149 : (define_mode_iterator VF1_AVX10_2
546 : 28967676 : [(V16SF "TARGET_AVX10_2_512") V8SF V4SF])
547 : 3290802 :
548 : 3111710 : (define_mode_iterator VHFBF
549 : 2663 : [(V32HF "TARGET_EVEX512") V16HF V8HF
550 : 454618 : (V32BF "TARGET_EVEX512") V16BF V8BF])
551 : 297987 : (define_mode_iterator VHFBF_256 [V16HF V16BF])
552 : 1238437873 : (define_mode_iterator VHFBF_128 [V8HF V8BF])
553 : 505495 :
554 : 67933 : (define_mode_iterator VHF_AVX512VL
555 : 12313905 : [(V32HF "TARGET_EVEX512") (V16HF "TARGET_AVX512VL") (V8HF "TARGET_AVX512VL")])
556 : 12250004 :
557 : 12255084 : (define_mode_iterator VHFBF_AVX512VL
558 : 11377 : [(V32HF "TARGET_EVEX512") (V16HF "TARGET_AVX512VL") (V8HF "TARGET_AVX512VL")
559 : 21074 : (V32BF "TARGET_EVEX512") (V16BF "TARGET_AVX512VL") (V8BF "TARGET_AVX512VL")])
560 : 13560 :
561 : 9259 : (define_mode_iterator VHF_AVX10_2
562 : 7323 : [(V32HF "TARGET_AVX10_2_512") V16HF V8HF])
563 : 895961 :
564 : 886229 : (define_mode_iterator VBF_AVX10_2
565 : 888597 : [(V32BF "TARGET_AVX10_2_512") V16BF V8BF])
566 : 2588 :
567 : 7162 : ;; All vector integer modes
568 : 20149 : (define_mode_iterator VI
569 : 2103690 : [(V16SI "TARGET_AVX512F && TARGET_EVEX512")
570 : 2105588 : (V8DI "TARGET_AVX512F && TARGET_EVEX512")
571 : 2100267 : (V64QI "TARGET_AVX512BW && TARGET_EVEX512") (V32QI "TARGET_AVX") V16QI
572 : 2105173 : (V32HI "TARGET_AVX512BW && TARGET_EVEX512") (V16HI "TARGET_AVX") V8HI
573 : 2101056 : (V8SI "TARGET_AVX") V4SI
574 : 2128135 : (V4DI "TARGET_AVX") V2DI])
575 : 2102246 :
576 : 2135015 : ;; All vector integer and HF modes
577 : 10832 : (define_mode_iterator VIHFBF
578 : 1537422 : [(V16SI "TARGET_AVX512F && TARGET_EVEX512")
579 : 1514308 : (V8DI "TARGET_AVX512F && TARGET_EVEX512")
580 : 1547855 : (V64QI "TARGET_AVX512BW && TARGET_EVEX512") (V32QI "TARGET_AVX") V16QI
581 : 1534560 : (V32HI "TARGET_AVX512BW && TARGET_EVEX512") (V16HI "TARGET_AVX") V8HI
582 : 7498 : (V8SI "TARGET_AVX") V4SI
583 : 27058 : (V4DI "TARGET_AVX") V2DI
584 : 23910 : (V32HF "TARGET_AVX512BW && TARGET_EVEX512") (V16HF "TARGET_AVX") V8HF
585 : 12701 : (V32BF "TARGET_AVX512BW && TARGET_EVEX512") (V16BF "TARGET_AVX") V8BF])
586 : 12337 :
587 : 37807 : (define_mode_iterator VI_AVX2
588 : 16401 : [(V64QI "TARGET_AVX512BW && TARGET_EVEX512") (V32QI "TARGET_AVX2") V16QI
589 : 26902 : (V32HI "TARGET_AVX512BW && TARGET_EVEX512") (V16HI "TARGET_AVX2") V8HI
590 : 15058 : (V16SI "TARGET_AVX512F && TARGET_EVEX512") (V8SI "TARGET_AVX2") V4SI
591 : 12521 : (V8DI "TARGET_AVX512F && TARGET_EVEX512") (V4DI "TARGET_AVX2") V2DI])
592 : 5844 :
593 : 63583 : (define_mode_iterator VI_AVX_AVX512F
594 : 101553 : [(V64QI "TARGET_AVX512F && TARGET_EVEX512") (V32QI "TARGET_AVX") V16QI
595 : 555298 : (V32HI "TARGET_AVX512F && TARGET_EVEX512") (V16HI "TARGET_AVX") V8HI
596 : 174534 : (V16SI "TARGET_AVX512F && TARGET_EVEX512") (V8SI "TARGET_AVX") V4SI
597 : 125 : (V8DI "TARGET_AVX512F && TARGET_EVEX512") (V4DI "TARGET_AVX") V2DI])
598 : 278 :
599 : 415 : ;; All QImode vector integer modes
600 : 259 : (define_mode_iterator VI1
601 : 259 : [(V32QI "TARGET_AVX") V16QI])
602 : 123 :
603 : 536 : ;; All DImode vector integer modes
604 : 133 : (define_mode_iterator V_AVX
605 : 776 : [V16QI V8HI V4SI V2DI V1TI V4SF V2DF
606 : 776 : (V32QI "TARGET_AVX") (V16HI "TARGET_AVX")
607 : 234 : (V8SI "TARGET_AVX") (V4DI "TARGET_AVX") (V2TI "TARGET_AVX")
608 : 4360 : (V8SF "TARGET_AVX") (V4DF"TARGET_AVX")])
609 : 134 :
610 : 127 : (define_mode_iterator VI48_AVX
611 : 127 : [V4SI V2DI
612 : 20357 : (V8SI "TARGET_AVX") (V4DI "TARGET_AVX")])
613 : 16410 :
614 : 36812 : (define_mode_iterator VI8
615 : 191 : [(V8DI "TARGET_AVX512F && TARGET_EVEX512") (V4DI "TARGET_AVX") V2DI])
616 : 76 :
617 : 139 : (define_mode_iterator VI8_AVX10_2
618 : 20200 : [(V8DI "TARGET_AVX10_2_512") V4DI V2DI])
619 : 1533 :
620 : 268 : (define_mode_iterator VI8_FVL
621 : 386 : [(V8DI "TARGET_AVX512F && TARGET_EVEX512") V4DI (V2DI "TARGET_AVX512VL")])
622 : 8919182 :
623 : 22041 : (define_mode_iterator VI8_AVX512VL
624 : 10467442 : [(V8DI "TARGET_EVEX512") (V4DI "TARGET_AVX512VL") (V2DI "TARGET_AVX512VL")])
625 : 8917494 :
626 : 14744200 : (define_mode_iterator VI8_256_512
627 : 10485436 : [(V8DI "TARGET_EVEX512") (V4DI "TARGET_AVX512VL")])
628 : 13181759 :
629 : 13182791 : (define_mode_iterator VI1_AVX2
630 : 13182255 : [(V32QI "TARGET_AVX2") V16QI])
631 : 31930 :
632 : 60524 : (define_mode_iterator VI1_AVX512
633 : 9400 : [(V64QI "TARGET_AVX512BW && TARGET_EVEX512") (V32QI "TARGET_AVX2") V16QI])
634 : 40061 :
635 : 31944 : (define_mode_iterator VI1_AVX512F
636 : 49686 : [(V64QI "TARGET_AVX512F && TARGET_EVEX512") (V32QI "TARGET_AVX") V16QI])
637 : 67748 :
638 : 114295 : (define_mode_iterator VI1_AVX512VNNI
639 : 37506 : [(V64QI "TARGET_AVX512VNNI && TARGET_EVEX512") (V32QI "TARGET_AVX2") V16QI])
640 : 8051 :
641 : 89184 : (define_mode_iterator VI1_AVX512VNNIBW
642 : 28421 : [(V64QI "(TARGET_AVX512BW || TARGET_AVX512VNNI) && TARGET_EVEX512")
643 : 27460 : (V32QI "TARGET_AVX2") V16QI])
644 : 4663 :
645 : 91 : (define_mode_iterator VI12_256_512_AVX512VL
646 : 4016 : [(V64QI "TARGET_EVEX512") (V32QI "TARGET_AVX512VL")
647 : 6 : (V32HI "TARGET_EVEX512") (V16HI "TARGET_AVX512VL")])
648 : 802 :
649 : 781 : (define_mode_iterator VI2_AVX2
650 : 3 : [(V16HI "TARGET_AVX2") V8HI])
651 : 243 :
652 : 243 : (define_mode_iterator VI2_AVX2_AVX512BW
653 : 2422 : [(V32HI "TARGET_AVX512BW && TARGET_EVEX512") (V16HI "TARGET_AVX2") V8HI])
654 : 3 :
655 : 3 : (define_mode_iterator VI2_AVX512F
656 : 3 : [(V32HI "TARGET_AVX512F && TARGET_EVEX512") (V16HI "TARGET_AVX2") V8HI])
657 : 119746 :
658 : 115673 : (define_mode_iterator VI2_AVX512VNNIBW
659 : 3 : [(V32HI "(TARGET_AVX512BW || TARGET_AVX512VNNI) && TARGET_EVEX512")
660 : 115387 : (V16HI "TARGET_AVX2") V8HI])
661 : 15202 :
662 : 1602 : (define_mode_iterator VI2_AVX10_2
663 : : [(V32HI "TARGET_AVX10_2_512") V16HI V8HI])
664 : :
665 : : (define_mode_iterator VI4_AVX
666 : 123 : [(V8SI "TARGET_AVX") V4SI])
667 : :
668 : : (define_mode_iterator VI4_AVX2
669 : 584 : [(V8SI "TARGET_AVX2") V4SI])
670 : 2007 :
671 : 2063 : (define_mode_iterator VI4_AVX512F
672 : 4695 : [(V16SI "TARGET_AVX512F && TARGET_EVEX512") (V8SI "TARGET_AVX2") V4SI])
673 : 2784 :
674 : 950 : (define_mode_iterator VI4_AVX512VL
675 : 1474 : [(V16SI "TARGET_EVEX512") (V8SI "TARGET_AVX512VL") (V4SI "TARGET_AVX512VL")])
676 : 32584 :
677 : 32584 : (define_mode_iterator VI4_AVX10_2
678 : : [(V16SI "TARGET_AVX10_2_512") V8SI V4SI])
679 : 63242 :
680 : 3701 : (define_mode_iterator VI48_AVX512F_AVX512VL
681 : 1462 : [V4SI V8SI (V16SI "TARGET_AVX512F && TARGET_EVEX512")
682 : 4031 : (V2DI "TARGET_AVX512VL") (V4DI "TARGET_AVX512VL")
683 : 6174 : (V8DI "TARGET_AVX512F && TARGET_EVEX512")])
684 : 5079 :
685 : 50661 : (define_mode_iterator VI2_AVX512VL
686 : 2870 : [(V8HI "TARGET_AVX512VL") (V16HI "TARGET_AVX512VL") (V32HI "TARGET_EVEX512")])
687 : 6575 :
688 : 4927 : (define_mode_iterator VI2HFBF_AVX512VL
689 : 52299 : [(V8HI "TARGET_AVX512VL") (V16HI "TARGET_AVX512VL") (V32HI "TARGET_EVEX512")
690 : 135110 : (V8HF "TARGET_AVX512VL") (V16HF "TARGET_AVX512VL") (V32HF "TARGET_EVEX512")
691 : 105067 : (V8BF "TARGET_AVX512VL") (V16BF "TARGET_AVX512VL") (V32BF "TARGET_EVEX512")])
692 : 145370 :
693 : 142211 : (define_mode_iterator VI2H_AVX512VL
694 : 12619 : [(V8HI "TARGET_AVX512VL") (V16HI "TARGET_AVX512VL") (V32HI "TARGET_EVEX512")
695 : 122036 : (V8SI "TARGET_AVX512VL") (V16SI "TARGET_EVEX512")
696 : 13676 : (V8DI "TARGET_EVEX512")])
697 : 31238 :
698 : 20378 : (define_mode_iterator VI1_AVX512VL_F
699 : 10920 : [V32QI (V16QI "TARGET_AVX512VL") (V64QI "TARGET_AVX512F && TARGET_EVEX512")])
700 : 4280 :
701 : 39714 : (define_mode_iterator VI8_AVX2_AVX512BW
702 : 28816 : [(V8DI "TARGET_AVX512BW && TARGET_EVEX512") (V4DI "TARGET_AVX2") V2DI])
703 : 2647 :
704 : 3224 : (define_mode_iterator VI8_AVX2
705 : 3988 : [(V4DI "TARGET_AVX2") V2DI])
706 : 42256 :
707 : 41375 : (define_mode_iterator VI8_AVX2_AVX512F
708 : 3257 : [(V8DI "TARGET_AVX512F && TARGET_EVEX512") (V4DI "TARGET_AVX2") V2DI])
709 : 2117 :
710 : 62742 : (define_mode_iterator VI8_AVX_AVX512F
711 : 1258 : [(V8DI "TARGET_AVX512F && TARGET_EVEX512") (V4DI "TARGET_AVX")])
712 : 1654 :
713 : 783 : (define_mode_iterator VI4_128_8_256
714 : 779 : [V4SI V4DI])
715 : 1397 :
716 : 918 : ;; All V8D* modes
717 : 682 : (define_mode_iterator V8FI
718 : 31206 : [(V8DF "TARGET_EVEX512") (V8DI "TARGET_EVEX512")])
719 : 3463 :
720 : 1629 : ;; All V16S* modes
721 : 1265 : (define_mode_iterator V16FI
722 : 87645 : [(V16SF "TARGET_EVEX512") (V16SI "TARGET_EVEX512")])
723 : 158929 :
724 : 381072 : ;; ??? We should probably use TImode instead.
725 : 345732 : (define_mode_iterator VIMAX_AVX2_AVX512BW
726 : 288787 : [(V4TI "TARGET_AVX512BW && TARGET_EVEX512") (V2TI "TARGET_AVX2") V1TI])
727 : 613593 :
728 : 166044 : ;; Suppose TARGET_AVX512BW as baseline
729 : 297312 : (define_mode_iterator VIMAX_AVX512VL
730 : 424560 : [(V4TI "TARGET_EVEX512") (V2TI "TARGET_AVX512VL") (V1TI "TARGET_AVX512VL")])
731 : 46388 :
732 : 3176221 : (define_mode_iterator VIMAX_AVX2
733 : 2965198 : [(V2TI "TARGET_AVX2") V1TI])
734 : 2505436 :
735 : 52923 : (define_mode_iterator VI12_AVX2
736 : 2485437 : [(V32QI "TARGET_AVX2") V16QI
737 : 2505034 : (V16HI "TARGET_AVX2") V8HI])
738 : 33696 :
739 : 27818 : (define_mode_iterator VI12_AVX2_AVX512BW
740 : 180446 : [(V64QI "TARGET_AVX512BW && TARGET_EVEX512") (V32QI "TARGET_AVX2") V16QI
741 : 11068 : (V32HI "TARGET_AVX512BW && TARGET_EVEX512") (V16HI "TARGET_AVX2") V8HI])
742 : 157527 :
743 : 620358 : (define_mode_iterator VI24_AVX2
744 : 23552 : [(V16HI "TARGET_AVX2") V8HI
745 : 24388 : (V8SI "TARGET_AVX2") V4SI])
746 : 9984 :
747 : 469836 : (define_mode_iterator VI124_AVX2_24_AVX512F_1_AVX512BW
748 : 431244 : [(V64QI "TARGET_AVX512BW && TARGET_EVEX512") (V32QI "TARGET_AVX2") V16QI
749 : 31892 : (V32HI "TARGET_AVX512F && TARGET_EVEX512") (V16HI "TARGET_AVX2") V8HI
750 : 451366 : (V16SI "TARGET_AVX512F && TARGET_EVEX512") (V8SI "TARGET_AVX2") V4SI])
751 : 82100 :
752 : 81238 : (define_mode_iterator VI124_AVX2
753 : 50281 : [(V32QI "TARGET_AVX2") V16QI
754 : 47851 : (V16HI "TARGET_AVX2") V8HI
755 : 47257 : (V8SI "TARGET_AVX2") V4SI])
756 : 3060 :
757 : 9149 : (define_mode_iterator VI248_AVX512VL
758 : 10057 : [(V32HI "TARGET_EVEX512") (V16SI "TARGET_EVEX512") (V8DI "TARGET_EVEX512")
759 : 3407 : (V16HI "TARGET_AVX512VL") (V8SI "TARGET_AVX512VL")
760 : 3802 : (V4DI "TARGET_AVX512VL") (V8HI "TARGET_AVX512VL")
761 : 9309 : (V4SI "TARGET_AVX512VL") (V2DI "TARGET_AVX512VL")])
762 : 4238 :
763 : 9692 : (define_mode_iterator VI248_AVX512VLBW
764 : 13035 : [(V32HI "TARGET_AVX512BW && TARGET_EVEX512")
765 : 6327 : (V16HI "TARGET_AVX512VL && TARGET_AVX512BW")
766 : 5006 : (V8HI "TARGET_AVX512VL && TARGET_AVX512BW")
767 : 8261 : (V16SI "TARGET_EVEX512") (V8SI "TARGET_AVX512VL") (V4SI "TARGET_AVX512VL")
768 : 1148 : (V8DI "TARGET_EVEX512") (V4DI "TARGET_AVX512VL") (V2DI "TARGET_AVX512VL")])
769 : 774 :
770 : 6869 : (define_mode_iterator VI48_AVX2
771 : 658959 : [(V8SI "TARGET_AVX2") V4SI
772 : 5888 : (V4DI "TARGET_AVX2") V2DI])
773 : 5960 :
774 : 5960 : (define_mode_iterator VI248_AVX2
775 : 486928 : [(V16HI "TARGET_AVX2") V8HI
776 : 528582 : (V8SI "TARGET_AVX2") V4SI
777 : 491088 : (V4DI "TARGET_AVX2") V2DI])
778 : 524942 :
779 : 536036 : (define_mode_iterator VI248_AVX2_8_AVX512F_24_AVX512BW
780 : 216643 : [(V32HI "TARGET_AVX512BW && TARGET_EVEX512") (V16HI "TARGET_AVX2") V8HI
781 : 26376 : (V16SI "TARGET_AVX512BW && TARGET_EVEX512") (V8SI "TARGET_AVX2") V4SI
782 : 33446 : (V8DI "TARGET_AVX512F && TARGET_EVEX512") (V4DI "TARGET_AVX2") V2DI])
783 : 175491 :
784 : 305801 : (define_mode_iterator VI248_AVX512BW
785 : 149878 : [(V32HI "TARGET_AVX512BW && TARGET_EVEX512") (V16SI "TARGET_EVEX512")
786 : 12183 : (V8DI "TARGET_EVEX512")])
787 : 14972 :
788 : 182064 : (define_mode_iterator VI248_AVX512BW_AVX512VL
789 : 13323 : [(V32HI "TARGET_AVX512BW && TARGET_EVEX512")
790 : 3044 : (V4DI "TARGET_AVX512VL") (V16SI "TARGET_EVEX512") (V8DI "TARGET_EVEX512")])
791 : 7102 :
792 : 10151 : ;; Suppose TARGET_AVX512VL as baseline
793 : 3511 : (define_mode_iterator VI248_AVX512BW_1
794 : 12417 : [(V16HI "TARGET_AVX512BW") (V8HI "TARGET_AVX512BW")
795 : 59645 : V8SI V4SI
796 : 61341 : V2DI])
797 : 60266 :
798 : 11910 : (define_mode_iterator VI248_AVX512BW_2
799 : 11090 : [(V16HI "TARGET_AVX512BW") (V8HI "TARGET_AVX512BW")
800 : 59262 : V8SI V4SI
801 : 57260 : V4DI V2DI])
802 : 800 :
803 : 56937 : (define_mode_iterator VI48_AVX512F
804 : 50843 : [(V16SI "TARGET_AVX512F && TARGET_EVEX512") V8SI V4SI
805 : 1587 : (V8DI "TARGET_AVX512F && TARGET_EVEX512") V4DI V2DI])
806 : 1046 :
807 : 1 : (define_mode_iterator VI48_AVX_AVX512F
808 : 20540 : [(V16SI "TARGET_AVX512F && TARGET_EVEX512") (V8SI "TARGET_AVX") V4SI
809 : 16223 : (V8DI "TARGET_AVX512F && TARGET_EVEX512") (V4DI "TARGET_AVX") V2DI])
810 : 403082 :
811 : 349063 : (define_mode_iterator VI12_AVX_AVX512F
812 : 396910 : [(V64QI "TARGET_AVX512F && TARGET_EVEX512") (V32QI "TARGET_AVX") V16QI
813 : 258566 : (V32HI "TARGET_AVX512F && TARGET_EVEX512") (V16HI "TARGET_AVX") V8HI])
814 : 155252 :
815 : 484327 : (define_mode_iterator V48_128_256
816 : 280452 : [V4SF V2DF
817 : 290891 : V4DI V2DI
818 : 91404 : V8SF V4DF
819 : 312391 : V8SI V4SI])
820 : 98557 :
821 : 4990 :
822 : 4990 : (define_mode_iterator VF4_128_8_256
823 : 4990 : [V4DF V4SF])
824 : :
825 : 252 : (define_mode_attr avx512
826 : 252 : [(V16QI "avx512vl") (V32QI "avx512vl") (V64QI "avx512bw")
827 : : (V8HI "avx512vl") (V16HI "avx512vl") (V32HI "avx512bw")
828 : : (V4SI "avx512vl") (V8SI "avx512vl") (V16SI "avx512f")
829 : : (V2DI "avx512vl") (V4DI "avx512vl") (V8DI "avx512f")
830 : 0 : (V8HF "avx512fp16") (V16HF "avx512vl") (V32HF "avx512bw")
831 : : (V8BF "avx512vl") (V16BF "avx512vl") (V32BF "avx512bw")
832 : : (V4SF "avx512vl") (V8SF "avx512vl") (V16SF "avx512f")
833 : : (V2DF "avx512vl") (V4DF "avx512vl") (V8DF "avx512f")])
834 : :
835 : : (define_mode_attr v_Yw
836 : : [(V16QI "Yw") (V32QI "Yw") (V64QI "v")
837 : : (V8HI "Yw") (V16HI "Yw") (V32HI "v")
838 : : (V4SI "v") (V8SI "v") (V16SI "v")
839 : : (V2DI "v") (V4DI "v") (V8DI "v")
840 : : (V4SF "v") (V8SF "v") (V16SF "v")
841 : : (V2DF "v") (V4DF "v") (V8DF "v")
842 : : (TI "Yw") (V1TI "Yw") (V2TI "Yw") (V4TI "v")])
843 : :
844 : : (define_mode_attr sse2_avx_avx512f
845 : : [(V16QI "sse2") (V32QI "avx") (V64QI "avx512f")
846 : : (V8HI "avx512vl") (V16HI "avx512vl") (V32HI "avx512bw")
847 : : (V4SI "sse2") (V8SI "avx") (V16SI "avx512f")
848 : : (V2DI "avx512vl") (V4DI "avx512vl") (V8DI "avx512f")
849 : : (V16SF "avx512f") (V8SF "avx") (V4SF "avx")
850 : : (V8DF "avx512f") (V4DF "avx") (V2DF "avx")])
851 : :
852 : : (define_mode_attr sse2_avx2
853 : : [(V16QI "sse2") (V32QI "avx2") (V64QI "avx512bw")
854 : : (V8HI "sse2") (V16HI "avx2") (V32HI "avx512bw")
855 : : (V4SI "sse2") (V8SI "avx2") (V16SI "avx512f")
856 : : (V2DI "sse2") (V4DI "avx2") (V8DI "avx512f")
857 : : (V1TI "sse2") (V2TI "avx2") (V4TI "avx512bw")])
858 : :
859 : : (define_mode_attr ssse3_avx2
860 : : [(V16QI "ssse3") (V32QI "avx2") (V64QI "avx512bw")
861 : : (V4HI "ssse3") (V8HI "ssse3") (V16HI "avx2") (V32HI "avx512bw")
862 : : (V4SI "ssse3") (V8SI "avx2")
863 : : (V2DI "ssse3") (V4DI "avx2")
864 : : (V1TI "ssse3") (V2TI "avx2") (V4TI "avx512bw")])
865 : :
866 : : (define_mode_attr sse4_1_avx2
867 : : [(V16QI "sse4_1") (V32QI "avx2") (V64QI "avx512bw")
868 : : (V8HI "sse4_1") (V16HI "avx2") (V32HI "avx512bw")
869 : : (V4SI "sse4_1") (V8SI "avx2") (V16SI "avx512f")
870 : : (V2DI "sse4_1") (V4DI "avx2") (V8DI "avx512dq")])
871 : :
872 : : (define_mode_attr avx_avx2
873 : : [(V4SF "avx") (V2DF "avx")
874 : : (V8SF "avx") (V4DF "avx")
875 : : (V4SI "avx2") (V2DI "avx2")
876 : : (V8SI "avx2") (V4DI "avx2")])
877 : :
878 : : (define_mode_attr vec_avx2
879 : : [(V16QI "vec") (V32QI "avx2")
880 : : (V8HI "vec") (V16HI "avx2")
881 : : (V4SI "vec") (V8SI "avx2")
882 : : (V2DI "vec") (V4DI "avx2")])
883 : :
884 : : (define_mode_attr avx2_avx512
885 : : [(V4SI "avx2") (V8SI "avx2") (V16SI "avx512f")
886 : : (V2DI "avx2") (V4DI "avx2") (V8DI "avx512f")
887 : : (V4SF "avx2") (V8SF "avx2") (V16SF "avx512f")
888 : : (V2DF "avx2") (V4DF "avx2") (V8DF "avx512f")
889 : : (V8HI "avx512vl") (V16HI "avx512vl") (V32HI "avx512bw")])
890 : :
891 : : (define_mode_attr shuffletype
892 : : [(V32HF "i") (V16HF "i") (V8HF "i")
893 : : (V32BF "i") (V16BF "i") (V8BF "i")
894 : : (V16SF "f") (V16SI "i") (V8DF "f") (V8DI "i")
895 : : (V8SF "f") (V8SI "i") (V4DF "f") (V4DI "i")
896 : : (V4SF "f") (V4SI "i") (V2DF "f") (V2DI "i")
897 : : (V32HI "i") (V16HI "i") (V8HI "i")
898 : : (V64QI "i") (V32QI "i") (V16QI "i")
899 : : (V4TI "i") (V2TI "i") (V1TI "i")])
900 : :
901 : : (define_mode_attr ssequartermode
902 : : [(V16SF "V4SF") (V8DF "V2DF") (V16SI "V4SI") (V8DI "V2DI")])
903 : :
904 : : (define_mode_attr ssequarterinsnmode
905 : : [(V16SF "V4SF") (V8DF "V2DF") (V16SI "TI") (V8DI "TI")])
906 : :
907 : : (define_mode_attr vecmemsuffix
908 : : [(V32HF "{z}") (V16HF "{y}") (V8HF "{x}")
909 : : (V32BF "{z}") (V16BF "{y}") (V8BF "{x}")
910 : : (V16SF "{z}") (V8SF "{y}") (V4SF "{x}")
911 : : (V8DF "{z}") (V4DF "{y}") (V2DF "{x}")])
912 : :
913 : : (define_mode_attr ssedoublemodelower
914 : : [(V16QI "v16hi") (V32QI "v32hi") (V64QI "v64hi")
915 : : (V8HI "v8si") (V16HI "v16si") (V32HI "v32si")
916 : : (V4SI "v4di") (V8SI "v8di") (V16SI "v16di")])
917 : :
918 : : ;; Map vector mode to the same number of double sized elements.
919 : : (define_mode_attr ssedoublemode
920 : : [(V4SF "V4DF") (V8SF "V8DF") (V16SF "V16DF")
921 : : (V16QI "V16HI") (V32QI "V32HI") (V64QI "V64HI")
922 : : (V8HI "V8SI") (V16HI "V16SI") (V32HI "V32SI")
923 : : (V4SI "V4DI") (V8SI "V8DI") (V16SI "V16DI")])
924 : :
925 : : (define_mode_attr ssebytemode
926 : : [(V8DI "V64QI") (V4DI "V32QI") (V2DI "V16QI")
927 : : (V16SI "V64QI") (V8SI "V32QI") (V4SI "V16QI")
928 : : (V8HI "V16QI")])
929 : :
930 : : (define_mode_attr sseintconvert
931 : : [(V32HI "w") (V16HI "w") (V8HI "w")
932 : : (V16SI "dq") (V8SI "dq") (V4SI "dq")
933 : : (V8DI "qq") (V4DI "qq") (V2DI "qq")])
934 : :
935 : : ;; All 128bit vector integer modes
936 : : (define_mode_iterator VI_128 [V16QI V8HI V4SI V2DI])
937 : :
938 : : ;; All 256bit vector integer modes
939 : : (define_mode_iterator VI_256 [V32QI V16HI V8SI V4DI])
940 : :
941 : : ;; All 128 and 256bit vector integer modes
942 : : (define_mode_iterator VI_128_256 [V16QI V8HI V4SI V2DI V32QI V16HI V8SI V4DI])
943 : : ;; All 256bit vector integer and HF modes
944 : : (define_mode_iterator VIHFBF_256 [V32QI V16HI V8SI V4DI V16HF V16BF])
945 : :
946 : : ;; Various 128bit vector integer mode combinations
947 : : (define_mode_iterator VI12_128 [V16QI V8HI])
948 : : (define_mode_iterator VI14_128 [V16QI V4SI])
949 : : (define_mode_iterator VI124_128 [V16QI V8HI V4SI])
950 : : (define_mode_iterator VI24_128 [V8HI V4SI])
951 : : (define_mode_iterator VI248_128 [V8HI V4SI V2DI])
952 : : (define_mode_iterator VI248_256 [V16HI V8SI V4DI])
953 : : (define_mode_iterator VI248_512
954 : 2 : [(V32HI "TARGET_EVEX512") (V16SI "TARGET_EVEX512") (V8DI "TARGET_EVEX512")])
955 : : (define_mode_iterator VI48_128 [V4SI V2DI])
956 : : (define_mode_iterator VI148_512
957 : 12 : [(V64QI "TARGET_EVEX512") (V16SI "TARGET_EVEX512") (V8DI "TARGET_EVEX512")])
958 : 2 : (define_mode_iterator VI148_256 [V32QI V8SI V4DI])
959 : 2 : (define_mode_iterator VI148_128 [V16QI V4SI V2DI])
960 : :
961 : 4 : ;; Various 256bit and 512 vector integer mode combinations
962 : 4 : (define_mode_iterator VI124_256 [V32QI V16HI V8SI])
963 : : (define_mode_iterator VI124_256_AVX512F_AVX512BW
964 : : [V32QI V16HI V8SI
965 : : (V64QI "TARGET_AVX512BW && TARGET_EVEX512")
966 : : (V32HI "TARGET_AVX512BW && TARGET_EVEX512")
967 : : (V16SI "TARGET_AVX512F && TARGET_EVEX512")])
968 : : (define_mode_iterator VI48_256 [V8SI V4DI])
969 : : (define_mode_iterator VI48_512
970 : : [(V16SI "TARGET_EVEX512") (V8DI "TARGET_EVEX512")])
971 : : (define_mode_iterator VI4_256_8_512 [V8SI V8DI])
972 : : (define_mode_iterator VI_AVX512BW
973 : : [(V16SI "TARGET_EVEX512") (V8DI "TARGET_EVEX512")
974 : : (V32HI "TARGET_AVX512BW && TARGET_EVEX512")
975 : : (V64QI "TARGET_AVX512BW && TARGET_EVEX512")])
976 : : (define_mode_iterator VIHFBF_AVX512BW
977 : 0 : [(V16SI "TARGET_EVEX512") (V8DI "TARGET_EVEX512")
978 : 0 : (V32HI "TARGET_AVX512BW && TARGET_EVEX512")
979 : 0 : (V64QI "TARGET_AVX512BW && TARGET_EVEX512")
980 : 0 : (V32HF "TARGET_AVX512BW && TARGET_EVEX512")
981 : 0 : (V32BF "TARGET_AVX512BW && TARGET_EVEX512")])
982 : :
983 : : ;; Int-float size matches
984 : : (define_mode_iterator VI2F_256_512
985 : 119 : [V16HI (V32HI "TARGET_EVEX512")
986 : 119 : V16HF (V32HF "TARGET_EVEX512")
987 : 350 : V16BF (V32BF "TARGET_EVEX512")])
988 : 652 : (define_mode_iterator VI4F_128 [V4SI V4SF])
989 : 720 : (define_mode_iterator VI8F_128 [V2DI V2DF])
990 : 539 : (define_mode_iterator VI4F_256 [V8SI V8SF])
991 : 236 : (define_mode_iterator VI8F_256 [V4DI V4DF])
992 : 195 : (define_mode_iterator VI4F_256_512
993 : 167 : [V8SI V8SF
994 : 303 : (V16SI "TARGET_AVX512F && TARGET_EVEX512")
995 : 353 : (V16SF "TARGET_AVX512F && TARGET_EVEX512")])
996 : 0 : (define_mode_iterator VI48F_256_512
997 : 0 : [V8SI V8SF
998 : 1608 : (V16SI "TARGET_AVX512F && TARGET_EVEX512")
999 : 690 : (V16SF "TARGET_AVX512F && TARGET_EVEX512")
1000 : 763 : (V8DI "TARGET_AVX512F && TARGET_EVEX512")
1001 : 567 : (V8DF "TARGET_AVX512F && TARGET_EVEX512")
1002 : 780 : (V4DI "TARGET_AVX512VL") (V4DF "TARGET_AVX512VL")])
1003 : 877 : (define_mode_iterator VF48H_AVX512VL
1004 : 532 : [(V8DF "TARGET_EVEX512") (V16SF "TARGET_EVEX512") (V8SF "TARGET_AVX512VL")])
1005 : 880 :
1006 : 813 : (define_mode_iterator VF48_128
1007 : 1464 : [V2DF V4SF])
1008 : 5732 :
1009 : 5769 : (define_mode_iterator VI48F
1010 : 9232 : [(V16SI "TARGET_EVEX512") (V16SF "TARGET_EVEX512")
1011 : 6709 : (V8DI "TARGET_EVEX512") (V8DF "TARGET_EVEX512")
1012 : 3569 : (V8SI "TARGET_AVX512VL") (V8SF "TARGET_AVX512VL")
1013 : 3785 : (V4DI "TARGET_AVX512VL") (V4DF "TARGET_AVX512VL")
1014 : 3415 : (V4SI "TARGET_AVX512VL") (V4SF "TARGET_AVX512VL")
1015 : 3908 : (V2DI "TARGET_AVX512VL") (V2DF "TARGET_AVX512VL")])
1016 : 3049 : (define_mode_iterator VI12_VI48F_AVX512VL
1017 : 2874 : [(V16SI "TARGET_AVX512F && TARGET_EVEX512")
1018 : 5287 : (V16SF "TARGET_AVX512F && TARGET_EVEX512")
1019 : 6272 : (V8DI "TARGET_AVX512F && TARGET_EVEX512")
1020 : 6463 : (V8DF "TARGET_AVX512F && TARGET_EVEX512")
1021 : 3306 : (V8SI "TARGET_AVX512VL") (V8SF "TARGET_AVX512VL")
1022 : 2763 : (V4DI "TARGET_AVX512VL") (V4DF "TARGET_AVX512VL")
1023 : 5320 : (V4SI "TARGET_AVX512VL") (V4SF "TARGET_AVX512VL")
1024 : 2389 : (V2DI "TARGET_AVX512VL") (V2DF "TARGET_AVX512VL")
1025 : 1870 : (V64QI "TARGET_EVEX512") (V16QI "TARGET_AVX512VL") (V32QI "TARGET_AVX512VL")
1026 : 1359 : (V32HI "TARGET_EVEX512") (V16HI "TARGET_AVX512VL") (V8HI "TARGET_AVX512VL")])
1027 : 621 :
1028 : 186 : (define_mode_iterator VI48F_256 [V8SI V8SF V4DI V4DF])
1029 : 264 :
1030 : 537 : (define_mode_iterator V8_128 [V8HI V8HF V8BF])
1031 : 358 : (define_mode_iterator V16_256 [V16HI V16HF V16BF])
1032 : 0 : (define_mode_iterator V32_512
1033 : 1743 : [(V32HI "TARGET_EVEX512") (V32HF "TARGET_EVEX512") (V32BF "TARGET_EVEX512")])
1034 : 4 :
1035 : 1816 : ;; Mapping from float mode to required SSE level
1036 : 1816 : (define_mode_attr sse
1037 : 66098 : [(SF "sse") (DF "sse2") (HF "avx512fp16")
1038 : 60443 : (V4SF "sse") (V2DF "sse2")
1039 : 60120 : (V32BF "avx512bf16") (V16BF "avx512bf16")
1040 : 60990 : (V8BF "avx512bf16")
1041 : 60278 : (V32HF "avx512fp16") (V16HF "avx512fp16")
1042 : 53933 : (V8HF "avx512fp16")
1043 : 53933 : (V16SF "avx512f") (V8SF "avx")
1044 : 54803 : (V8DF "avx512f") (V4DF "avx")])
1045 : 55091 :
1046 : 1158 : (define_mode_attr sse2
1047 : 51106 : [(V16QI "sse2") (V32QI "avx") (V64QI "avx512f")
1048 : 49117 : (V2DI "sse2") (V4DI "avx") (V8DI "avx512f")])
1049 : 474 :
1050 : 32692 : (define_mode_attr sse3
1051 : 39788 : [(V16QI "sse3") (V32QI "avx")])
1052 : 3370 :
1053 : 480 : (define_mode_attr sse4_1
1054 : 34180 : [(V4SF "sse4_1") (V2DF "sse4_1")
1055 : 7775 : (V8SF "avx") (V4DF "avx")
1056 : 288 : (V8DF "avx512f")
1057 : 7487 : (V2TI "avx") (V1TI "sse4_1")
1058 : 4693 : (V4DI "avx") (V2DI "sse4_1")
1059 : 4693 : (V8SI "avx") (V4SI "sse4_1")
1060 : 3082 : (V16QI "sse4_1") (V32QI "avx")
1061 : 3490 : (V8HI "sse4_1") (V16HI "avx")])
1062 : 475 :
1063 : 2773 : (define_mode_attr avxsizesuffix
1064 : 3061 : [(V64QI "512") (V32HI "512") (V16SI "512") (V8DI "512") (V4TI "512")
1065 : 2994 : (V32QI "256") (V16HI "256") (V8SI "256") (V4DI "256") (V2TI "256")
1066 : 288 : (V16QI "") (V8HI "") (V4SI "") (V2DI "") (V1TI "")
1067 : 2721 : (V32HF "512") (V16SF "512") (V8DF "512")
1068 : 288 : (V16HF "256") (V8SF "256") (V4DF "256")
1069 : 288 : (V8HF "") (V4SF "") (V2DF "")])
1070 : 128 :
1071 : 333 : ;; SSE instruction mode
1072 : 528 : (define_mode_attr sseinsnmode
1073 : : [(V64QI "XI") (V32HI "XI") (V16SI "XI") (V8DI "XI") (V4TI "XI")
1074 : 333 : (V32QI "OI") (V16HI "OI") (V8SI "OI") (V4DI "OI") (V2TI "OI")
1075 : 288 : (V16QI "TI") (V8HI "TI") (V4SI "TI") (V2DI "TI") (V1TI "TI")
1076 : 100 : (V16SF "V16SF") (V8DF "V8DF")
1077 : 321 : (V8SF "V8SF") (V4DF "V4DF")
1078 : 388 : (V4SF "V4SF") (V2DF "V2DF")
1079 : : (V8HF "TI") (V16HF "OI") (V32HF "XI")
1080 : 288 : (V8BF "TI") (V16BF "OI") (V32BF "XI")
1081 : 288 : (TI "TI")])
1082 : :
1083 : 288 : (define_mode_attr sseintvecinsnmode
1084 : 288 : [(V64QI "XI") (V32HI "XI") (V16SI "XI") (V8DI "XI") (V4TI "XI")
1085 : : (V32QI "OI") (V16HI "OI") (V8SI "OI") (V4DI "OI") (V2TI "OI")
1086 : 288 : (V16QI "TI") (V8HI "TI") (V4SI "TI") (V2DI "TI") (V1TI "TI")
1087 : 288 : (V16SF "XI") (V8DF "XI")
1088 : : (V8SF "OI") (V4DF "OI")
1089 : 288 : (V4SF "TI") (V2DF "TI")
1090 : 288 : (TI "TI")])
1091 : 288 :
1092 : 0 : ;; SSE constant -1 constraint
1093 : 288 : (define_mode_attr sseconstm1
1094 : : [(V64QI "BC") (V32HI "BC") (V16SI "BC") (V8DI "BC") (V4TI "BC")
1095 : 288 : (V32QI "BC") (V16HI "BC") (V8SI "BC") (V4DI "BC") (V2TI "BC")
1096 : 288 : (V16QI "BC") (V8HI "BC") (V4SI "BC") (V2DI "BC") (V1TI "BC")
1097 : : (V32HF "BF") (V32BF "BF") (V16SF "BF") (V8DF "BF")
1098 : : (V16HF "BF") (V16BF "BF") (V8SF "BF") (V4DF "BF")
1099 : 352 : (V8HF "BF") (V8BF "BF") (V4SF "BF") (V2DF "BF")])
1100 : :
1101 : : ;; SSE integer instruction suffix for various modes
1102 : : (define_mode_attr sseintmodesuffix
1103 : : [(V16QI "b") (V8HI "w") (V4SI "d") (V2DI "q")
1104 : : (V32QI "b") (V16HI "w") (V8SI "d") (V4DI "q")
1105 : : (V64QI "b") (V32HI "w") (V16SI "d") (V8DI "q")
1106 : : (V8HF "w") (V16HF "w") (V32HF "w")
1107 : : (V8BF "w") (V16BF "w") (V32BF "w")])
1108 : :
1109 : : ;; Mapping of vector modes to corresponding mask size
1110 : : (define_mode_attr avx512fmaskmode
1111 : : [(V64QI "DI") (V32QI "SI") (V16QI "HI")
1112 : : (V32HI "SI") (V16HI "HI") (V8HI "QI") (V4HI "QI")
1113 : : (V16SI "HI") (V8SI "QI") (V4SI "QI")
1114 : : (V8DI "QI") (V4DI "QI") (V2DI "QI")
1115 : : (V32HF "SI") (V16HF "HI") (V8HF "QI")
1116 : : (V32BF "SI") (V16BF "HI") (V8BF "QI")
1117 : : (V16SF "HI") (V8SF "QI") (V4SF "QI")
1118 : : (V8DF "QI") (V4DF "QI") (V2DF "QI")])
1119 : :
1120 : : ;; Mapping of vector modes to corresponding complex mask size
1121 : : (define_mode_attr avx512fmaskcmode
1122 : : [(V32HF "HI") (V16HF "QI") (V8HF "QI")])
1123 : :
1124 : : ;; Mapping of vector modes to corresponding mask size
1125 : : (define_mode_attr avx512fmaskmodelower
1126 : : [(V64QI "di") (V32QI "si") (V16QI "hi")
1127 : : (V32HI "si") (V16HI "hi") (V8HI "qi") (V4HI "qi")
1128 : : (V16SI "hi") (V8SI "qi") (V4SI "qi")
1129 : : (V8DI "qi") (V4DI "qi") (V2DI "qi")
1130 : : (V32HF "si") (V16HF "hi") (V8HF "qi")
1131 : : (V32BF "si") (V16BF "hi") (V8BF "qi")
1132 : : (V16SF "hi") (V8SF "qi") (V4SF "qi")
1133 : : (V8DF "qi") (V4DF "qi") (V2DF "qi")])
1134 : :
1135 : : ;; Mapping of vector modes to corresponding mask half size
1136 : : (define_mode_attr avx512fmaskhalfmode
1137 : : [(V64QI "SI") (V32QI "HI") (V16QI "QI")
1138 : : (V32HI "HI") (V16HI "QI") (V8HI "QI") (V4HI "QI")
1139 : : (V16SI "QI") (V8SI "QI") (V4SI "QI")
1140 : : (V8DI "QI") (V4DI "QI") (V2DI "QI")
1141 : : (V32HF "HI") (V16HF "QI") (V8HF "QI")
1142 : : (V32BF "HI") (V16BF "QI") (V8BF "QI")
1143 : : (V16SF "QI") (V8SF "QI") (V4SF "QI")
1144 : : (V8DF "QI") (V4DF "QI") (V2DF "QI")])
1145 : :
1146 : : ;; Mapping of vector float modes to an integer mode of the same size
1147 : : (define_mode_attr sseintvecmode
1148 : : [(V32HF "V32HI") (V32BF "V32HI") (V16SF "V16SI") (V8DF "V8DI")
1149 : : (V16HF "V16HI") (V16BF "V16HI") (V8SF "V8SI") (V4DF "V4DI")
1150 : : (V8HF "V8HI") (V8BF "V8HI") (V4SF "V4SI") (V2DF "V2DI")
1151 : : (V16SI "V16SI") (V8DI "V8DI")
1152 : : (V8SI "V8SI") (V4DI "V4DI")
1153 : : (V4SI "V4SI") (V2DI "V2DI")
1154 : : (V16HI "V16HI") (V8HI "V8HI")
1155 : : (V32HI "V32HI") (V64QI "V64QI")
1156 : : (V32QI "V32QI") (V16QI "V16QI")])
1157 : :
1158 : : ;; Mapping of vector modes to an V*HImode of the same size
1159 : : (define_mode_attr ssewvecmode
1160 : : [(V8DI "V32HI") (V4DI "V16HI") (V2DI "V8HI")
1161 : : (V16SI "V32HI") (V8SI "V16HI") (V4SI "V8HI")])
1162 : :
1163 : : (define_mode_attr ssewvecmodelower
1164 : : [(V8DI "v32hi") (V4DI "v16hi") (V2DI "v8hi")
1165 : : (V16SI "v32hi") (V8SI "v16hi") (V4SI "v8hi")])
1166 : :
1167 : : (define_mode_attr sseintvecmode2
1168 : : [(V8DF "XI") (V4DF "OI") (V2DF "TI")
1169 : : (V8SF "OI") (V4SF "TI")
1170 : : (V16HF "OI") (V8HF "TI")
1171 : : (V16BF "OI") (V8BF "TI")])
1172 : :
1173 : : (define_mode_attr sseintvecmodelower
1174 : : [(V32HF "v32hi") (V32BF "v32hi") (V16SF "v16si") (V8DF "v8di")
1175 : : (V16HF "v16hi") (V16BF "v16hi") (V8SF "v8si") (V4DF "v4di")
1176 : : (V8HF "v8hi") (V8BF "v8hi") (V4SF "v4si") (V2DF "v2di")
1177 : : (V8SI "v8si") (V4DI "v4di")
1178 : : (V4SI "v4si") (V2DI "v2di")
1179 : : (V16HI "v16hi") (V8HI "v8hi")
1180 : : (V32QI "v32qi") (V16QI "v16qi")])
1181 : :
1182 : : ;; Mapping of vector modes to an V*SImode of the same size
1183 : : (define_mode_attr ssedvecmode
1184 : : [(V64QI "V16SI") (V32QI "V8SI") (V16QI "V4SI")])
1185 : :
1186 : : (define_mode_attr ssedvecmodelower
1187 : : [(V64QI "v16si") (V32QI "v8si") (V16QI "v4si")])
1188 : :
1189 : : ;; Mapping of vector modes to a vector mode of double size
1190 : : (define_mode_attr ssedoublevecmode
1191 : : [(V64QI "V128QI") (V32HI "V64HI") (V16SI "V32SI") (V8DI "V16DI")
1192 : : (V32QI "V64QI") (V16HI "V32HI") (V8SI "V16SI") (V4DI "V8DI")
1193 : : (V16QI "V32QI") (V8HI "V16HI") (V4SI "V8SI") (V2DI "V4DI")
1194 : : (V16SF "V32SF") (V8DF "V16DF")
1195 : : (V8SF "V16SF") (V4DF "V8DF")
1196 : : (V4SF "V8SF") (V2DF "V4DF")
1197 : : (V32HF "V64HF") (V16HF "V32HF") (V8HF "V16HF")
1198 : : (V32BF "V64BF") (V16BF "V32BF") (V8BF "V16BF")])
1199 : :
1200 : : ;; Mapping of vector modes to a vector mode of half size
1201 : : ;; instead of V1DI/V1DF, DI/DF are used for V2DI/V2DF although they are scalar.
1202 : : (define_mode_attr ssehalfvecmode
1203 : : [(V64QI "V32QI") (V32HI "V16HI") (V16SI "V8SI") (V8DI "V4DI") (V4TI "V2TI")
1204 : : (V32QI "V16QI") (V16HI "V8HI") (V8SI "V4SI") (V4DI "V2DI")
1205 : : (V16QI "V8QI") (V8HI "V4HI") (V4SI "V2SI") (V2DI "DI")
1206 : : (V16SF "V8SF") (V8DF "V4DF")
1207 : : (V8SF "V4SF") (V4DF "V2DF")
1208 : : (V4SF "V2SF") (V2DF "DF")
1209 : : (V32HF "V16HF") (V16HF "V8HF") (V8HF "V4HF")
1210 : : (V32BF "V16BF") (V16BF "V8BF") (V8BF "V4BF")])
1211 : :
1212 : : (define_mode_attr ssehalfvecmodelower
1213 : : [(V64QI "v32qi") (V32HI "v16hi") (V16SI "v8si") (V8DI "v4di") (V4TI "v2ti")
1214 : : (V32QI "v16qi") (V16HI "v8hi") (V8SI "v4si") (V4DI "v2di")
1215 : : (V16QI "v8qi") (V8HI "v4hi") (V4SI "v2si")
1216 : : (V16SF "v8sf") (V8DF "v4df")
1217 : : (V8SF "v4sf") (V4DF "v2df")
1218 : : (V4SF "v2sf")
1219 : : (V32HF "v16hf") (V16HF "v8hf") (V8HF "v4hf")
1220 : : (V32BF "v16bf") (V16BF "v8bf") (V8BF "v4bf")])
1221 : :
1222 : : ;; Mapping of vector modes to vector hf modes of conversion.
1223 : : (define_mode_attr ssePHmode
1224 : : [(V32HI "V32HF") (V16HI "V16HF") (V8HI "V8HF")
1225 : : (V16SI "V16HF") (V8SI "V8HF") (V4SI "V8HF")
1226 : : (V8DI "V8HF") (V4DI "V8HF") (V2DI "V8HF")
1227 : : (V8DF "V8HF") (V16SF "V16HF") (V8SF "V8HF")])
1228 : :
1229 : : ;; Mapping of vector modes to vector hf modes of same element.
1230 : : (define_mode_attr ssePHmodelower
1231 : : [(V32HI "v32hf") (V16HI "v16hf") (V8HI "v8hf")
1232 : : (V16SI "v16hf") (V8SI "v8hf") (V4SI "v4hf")
1233 : : (V8DI "v8hf") (V4DI "v4hf") (V2DI "v2hf")
1234 : : (V8DF "v8hf") (V16SF "v16hf") (V8SF "v8hf")])
1235 : :
1236 : :
1237 : : ;; Mapping of vector modes to packed vector hf modes of same sized.
1238 : : (define_mode_attr ssepackPHmode
1239 : : [(V16SI "V32HF") (V8SI "V16HF") (V4SI "V8HF")
1240 : : (V16SF "V32HF") (V8SF "V16HF") (V4SF "V8HF")])
1241 : :
1242 : : ;; Mapping of vector modes to packed single mode of the same size
1243 : : (define_mode_attr ssePSmode
1244 : : [(V16SI "V16SF") (V8DF "V16SF")
1245 : : (V16SF "V16SF") (V8DI "V16SF")
1246 : : (V64QI "V16SF") (V32QI "V8SF") (V16QI "V4SF")
1247 : : (V32HI "V16SF") (V16HI "V8SF") (V8HI "V4SF")
1248 : : (V8SI "V8SF") (V4SI "V4SF")
1249 : : (V4DI "V8SF") (V2DI "V4SF")
1250 : : (V4TI "V16SF") (V2TI "V8SF") (V1TI "V4SF")
1251 : : (V8SF "V8SF") (V4SF "V4SF")
1252 : : (V4DF "V8SF") (V2DF "V4SF")
1253 : : (V32HF "V16SF") (V16HF "V8SF") (V8HF "V4SF")])
1254 : :
1255 : : (define_mode_attr ssePSmodelower
1256 : : [(V16SI "v16sf") (V8DF "v16sf")
1257 : : (V16SF "v16sf") (V8DI "v16sf")
1258 : : (V64QI "v16sf") (V32QI "v8sf") (V16QI "v4sf")
1259 : : (V32HI "v16sf") (V16HI "v8sf") (V8HI "v4sf")
1260 : : (V8SI "v8sf") (V4SI "v4sf")
1261 : : (V4DI "v8sf") (V2DI "v4sf")
1262 : : (V4TI "v16sf") (V2TI "v8sf") (V1TI "v4sf")
1263 : : (V8SF "v8sf") (V4SF "v4sf")
1264 : : (V4DF "v8sf") (V2DF "v4sf")
1265 : : (V32HF "v16sf") (V16HF "v8sf") (V8HF "v4sf")])
1266 : :
1267 : : (define_mode_attr ssePSmode2
1268 : : [(V8DI "V8SF") (V4DI "V4SF")])
1269 : :
1270 : : (define_mode_attr ssePSmode2lower
1271 : : [(V8DI "v8sf") (V4DI "v4sf")])
1272 : :
1273 : : ;; Mapping of vector modes back to the scalar modes
1274 : : (define_mode_attr ssescalarmode
1275 : : [(V64QI "QI") (V32QI "QI") (V16QI "QI")
1276 : : (V32HI "HI") (V16HI "HI") (V8HI "HI")
1277 : : (V16SI "SI") (V8SI "SI") (V4SI "SI")
1278 : : (V8DI "DI") (V4DI "DI") (V2DI "DI")
1279 : : (V32HF "HF") (V16HF "HF") (V8HF "HF")
1280 : : (V32BF "BF") (V16BF "BF") (V8BF "BF")
1281 : : (V16SF "SF") (V8SF "SF") (V4SF "SF")
1282 : : (V8DF "DF") (V4DF "DF") (V2DF "DF")
1283 : : (V4TI "TI") (V2TI "TI")])
1284 : :
1285 : : ;; Mapping of vector modes back to the scalar modes
1286 : : (define_mode_attr ssescalarmodelower
1287 : : [(V64QI "qi") (V32QI "qi") (V16QI "qi")
1288 : : (V32HI "hi") (V16HI "hi") (V8HI "hi")
1289 : : (V16SI "si") (V8SI "si") (V4SI "si")
1290 : : (V8DI "di") (V4DI "di") (V2DI "di")
1291 : : (V32HF "hf") (V16HF "hf") (V8HF "hf")
1292 : : (V32BF "bf") (V16BF "bf") (V8BF "bf")
1293 : : (V16SF "sf") (V8SF "sf") (V4SF "sf")
1294 : : (V8DF "df") (V4DF "df") (V2DF "df")
1295 : : (V4TI "ti") (V2TI "ti")])
1296 : :
1297 : : ;; Mapping of vector modes to the 128bit modes
1298 : : (define_mode_attr ssexmmmode
1299 : : [(V64QI "V16QI") (V32QI "V16QI") (V16QI "V16QI")
1300 : : (V32HI "V8HI") (V16HI "V8HI") (V8HI "V8HI")
1301 : : (V16SI "V4SI") (V8SI "V4SI") (V4SI "V4SI")
1302 : : (V8DI "V2DI") (V4DI "V2DI") (V2DI "V2DI")
1303 : : (V32HF "V8HF") (V16HF "V8HF") (V8HF "V8HF")
1304 : : (V32BF "V8BF") (V16BF "V8BF") (V8BF "V8BF")
1305 : : (V16SF "V4SF") (V8SF "V4SF") (V4SF "V4SF")
1306 : : (V8DF "V2DF") (V4DF "V2DF") (V2DF "V2DF")])
1307 : :
1308 : : ;; Pointer size override for scalar modes (Intel asm dialect)
1309 : : (define_mode_attr iptr
1310 : : [(V64QI "b") (V32HI "w") (V16SI "k") (V8DI "q")
1311 : : (V32QI "b") (V16HI "w") (V8SI "k") (V4DI "q")
1312 : : (V16QI "b") (V8HI "w") (V4SI "k") (V2DI "q")
1313 : : (V32HF "w") (V32BF "w") (V16SF "k") (V8DF "q")
1314 : : (V16HF "w") (V16BF "w") (V8SF "k") (V4DF "q")
1315 : : (V8HF "w") (V8BF "w") (V4SF "k") (V2DF "q")
1316 : : (HF "w") (BF "w") (SF "k") (DF "q")])
1317 : :
1318 : : ;; Pointer size override for 16-bit upper-convert modes (Intel asm dialect)
1319 : : (define_mode_attr iptrh
1320 : : [(V32HI "") (V16SI "") (V8DI "")
1321 : : (V16HI "") (V8SI "") (V4DI "q")
1322 : : (V8HI "") (V4SI "q") (V2DI "k")])
1323 : :
1324 : : ;; Mapping of vector modes to VPTERNLOG suffix
1325 : : (define_mode_attr ternlogsuffix
1326 : : [(V8DI "q") (V4DI "q") (V2DI "q")
1327 : : (V8DF "q") (V4DF "q") (V2DF "q")
1328 : : (V16SI "d") (V8SI "d") (V4SI "d")
1329 : : (V16SF "d") (V8SF "d") (V4SF "d")
1330 : : (V32HI "d") (V16HI "d") (V8HI "d")
1331 : : (V32HF "d") (V16HF "d") (V8HF "d")
1332 : : (V32BF "d") (V16BF "d") (V8BF "d")
1333 : : (V64QI "d") (V32QI "d") (V16QI "d")])
1334 : :
1335 : : ;; Number of scalar elements in each vector type
1336 : : (define_mode_attr ssescalarnum
1337 : : [(V64QI "64") (V16SI "16") (V8DI "8")
1338 : : (V32QI "32") (V16HI "16") (V8SI "8") (V4DI "4")
1339 : : (V16QI "16") (V8HI "8") (V4SI "4") (V2DI "2")
1340 : : (V16SF "16") (V8DF "8")
1341 : : (V8SF "8") (V4DF "4")
1342 : : (V4SF "4") (V2DF "2")])
1343 : :
1344 : : ;; Mask of scalar elements in each vector type
1345 : : (define_mode_attr ssescalarnummask
1346 : : [(V32QI "31") (V16HI "15") (V8SI "7") (V4DI "3")
1347 : : (V16QI "15") (V8HI "7") (V4SI "3") (V2DI "1")
1348 : : (V8SF "7") (V4DF "3")
1349 : : (V4SF "3") (V2DF "1")])
1350 : :
1351 : : (define_mode_attr ssescalarsize
1352 : : [(V4TI "64") (V2TI "64") (V1TI "64")
1353 : : (V8DI "64") (V4DI "64") (V2DI "64")
1354 : : (V64QI "8") (V32QI "8") (V16QI "8")
1355 : : (V32HI "16") (V16HI "16") (V8HI "16")
1356 : : (V16SI "32") (V8SI "32") (V4SI "32")
1357 : : (V32HF "16") (V16HF "16") (V8HF "16")
1358 : : (V32BF "16") (V16BF "16") (V8BF "16")
1359 : : (V16SF "32") (V8SF "32") (V4SF "32")
1360 : : (V8DF "64") (V4DF "64") (V2DF "64")])
1361 : :
1362 : : ;; SSE prefix for integer and HF vector modes
1363 : : (define_mode_attr sseintprefix
1364 : : [(V2DI "p") (V2DF "")
1365 : : (V4DI "p") (V4DF "")
1366 : : (V8DI "p") (V8DF "")
1367 : : (V4SI "p") (V4SF "")
1368 : : (V8SI "p") (V8SF "")
1369 : : (V16SI "p") (V16SF "")
1370 : : (V16QI "p") (V8HI "p") (V8HF "p") (V8BF "p")
1371 : : (V32QI "p") (V16HI "p") (V16HF "p") (V16BF "p")
1372 : : (V64QI "p") (V32HI "p") (V32HF "p") (V32BF "p")])
1373 : :
1374 : : ;; SSE prefix for integer and HF vector comparison.
1375 : : (define_mode_attr ssecmpintprefix
1376 : : [(V2DI "p") (V2DF "")
1377 : : (V4DI "p") (V4DF "")
1378 : : (V8DI "p") (V8DF "")
1379 : : (V4SI "p") (V4SF "")
1380 : : (V8SI "p") (V8SF "")
1381 : : (V16SI "p") (V16SF "")
1382 : : (V16QI "p") (V8HI "p") (V8HF "")
1383 : : (V32QI "p") (V16HI "p") (V16HF "")
1384 : : (V64QI "p") (V32HI "p") (V32HF "")])
1385 : :
1386 : : ;; SSE scalar suffix for vector modes
1387 : : (define_mode_attr ssescalarmodesuffix
1388 : : [(HF "sh") (SF "ss") (DF "sd")
1389 : : (V32HF "sh") (V16SF "ss") (V8DF "sd")
1390 : : (V16HF "sh") (V8SF "ss") (V4DF "sd")
1391 : : (V8HF "sh") (V4SF "ss") (V2DF "sd")
1392 : : (V16SI "d") (V8DI "q")
1393 : : (V8SI "d") (V4DI "q")
1394 : : (V4SI "d") (V2DI "q")])
1395 : :
1396 : : ;; Pack/unpack vector modes
1397 : : (define_mode_attr sseunpackmode
1398 : : [(V16QI "V8HI") (V8HI "V4SI") (V4SI "V2DI")
1399 : : (V32QI "V16HI") (V16HI "V8SI") (V8SI "V4DI")
1400 : : (V32HI "V16SI") (V64QI "V32HI") (V16SI "V8DI")])
1401 : :
1402 : : (define_mode_attr sseunpackmodelower
1403 : : [(V16QI "v8hi") (V8HI "v4si") (V4SI "v2di")
1404 : : (V32QI "v16hi") (V16HI "v8si") (V8SI "v4di")
1405 : : (V32HI "v16si") (V64QI "v32hi") (V16SI "v8di")])
1406 : :
1407 : : (define_mode_attr ssepackmode
1408 : : [(V8HI "V16QI") (V4SI "V8HI") (V2DI "V4SI")
1409 : : (V16HI "V32QI") (V8SI "V16HI") (V4DI "V8SI")
1410 : : (V32HI "V64QI") (V16SI "V32HI") (V8DI "V16SI")])
1411 : :
1412 : : (define_mode_attr ssepackmodelower
1413 : : [(V8HI "v16qi") (V4SI "v8hi") (V2DI "v4si")
1414 : : (V16HI "v32qi") (V8SI "v16hi") (V4DI "v8si")
1415 : : (V32HI "v64qi") (V16SI "v32hi") (V8DI "v16si")])
1416 : :
1417 : : ;; Mapping of the max integer size for xop rotate immediate constraint
1418 : : (define_mode_attr sserotatemax
1419 : : [(V16QI "7") (V8HI "15") (V4SI "31") (V2DI "63")])
1420 : :
1421 : : ;; Mapping of mode to cast intrinsic name
1422 : : (define_mode_attr castmode
1423 : : [(V4SF "ps") (V2DF "pd")
1424 : : (V8SI "si") (V8SF "ps") (V4DF "pd")
1425 : : (V16SI "si") (V16SF "ps") (V8DF "pd")])
1426 : :
1427 : : ;; i128 for integer vectors and TARGET_AVX2, f128 otherwise.
1428 : : ;; i64x4 or f64x4 for 512bit modes.
1429 : : (define_mode_attr i128
1430 : : [(V16HF "%~128") (V32HF "i64x4") (V16BF "%~128") (V32BF "i64x4")
1431 : : (V16SF "f64x4") (V8SF "f128")
1432 : : (V8DF "f64x4") (V4DF "f128")
1433 : : (V64QI "i64x4") (V32QI "%~128") (V32HI "i64x4") (V16HI "%~128")
1434 : : (V16SI "i64x4") (V8SI "%~128") (V8DI "i64x4") (V4DI "%~128")])
1435 : :
1436 : : ;; For 256-bit modes for TARGET_AVX512VL && TARGET_AVX512DQ
1437 : : ;; i32x4, f32x4, i64x2 or f64x2 suffixes.
1438 : : (define_mode_attr i128vldq
1439 : : [(V16HF "i32x4") (V16BF "i32x4") (V8SF "f32x4") (V4DF "f64x2")
1440 : : (V32QI "i32x4") (V16HI "i32x4") (V8SI "i32x4") (V4DI "i64x2")])
1441 : :
1442 : : ;; Mix-n-match
1443 : : (define_mode_iterator AVX256MODE2P [V8SI V8SF V4DF])
1444 : : (define_mode_iterator AVX512MODE2P
1445 : 583 : [(V16SI "TARGET_EVEX512") (V16SF "TARGET_EVEX512") (V8DF "TARGET_EVEX512")])
1446 : :
1447 : : ;; Mapping for dbpsabbw modes
1448 : : (define_mode_attr dbpsadbwmode
1449 : 317 : [(V32HI "V64QI") (V16HI "V32QI") (V8HI "V16QI")])
1450 : 317 :
1451 : : ;; Mapping suffixes for broadcast
1452 : : (define_mode_attr bcstscalarsuff
1453 : 157 : [(V64QI "b") (V32QI "b") (V16QI "b")
1454 : 316 : (V32HI "w") (V16HI "w") (V8HI "w")
1455 : : (V16SI "d") (V8SI "d") (V4SI "d")
1456 : : (V8DI "q") (V4DI "q") (V2DI "q")
1457 : 55199 : (V32HF "w") (V16HF "w") (V8HF "w")
1458 : 55199 : (V32BF "w") (V16BF "w") (V8BF "w")
1459 : 1181382 : (V16SF "ss") (V8SF "ss") (V4SF "ss")
1460 : 1181382 : (V8DF "sd") (V4DF "sd") (V2DF "sd")])
1461 : :
1462 : 6665 : ;; Tie mode of assembler operand to mode iterator
1463 : 6571 : (define_mode_attr xtg_mode
1464 : 94 : [(V16QI "x") (V8HI "x") (V4SI "x") (V2DI "x")
1465 : 95 : (V8HF "x") (V8BF "x") (V4SF "x") (V2DF "x")
1466 : 94 : (V32QI "t") (V16HI "t") (V8SI "t") (V4DI "t")
1467 : 94 : (V16HF "t") (V16BF "t") (V8SF "t") (V4DF "t")
1468 : 95 : (V64QI "g") (V32HI "g") (V16SI "g") (V8DI "g")
1469 : : (V32HF "g") (V32BF "g") (V16SF "g") (V8DF "g")])
1470 : 1 :
1471 : 1 : ;; Half mask mode for unpacks
1472 : 1 : (define_mode_attr HALFMASKMODE
1473 : 1 : [(DI "SI") (SI "HI")])
1474 : :
1475 : : ;; Double mask mode for packs
1476 : : (define_mode_attr DOUBLEMASKMODE
1477 : : [(HI "SI") (SI "DI")])
1478 : :
1479 : :
1480 : : ;; Include define_subst patterns for instructions with mask
1481 : : (include "subst.md")
1482 : :
1483 : : ;; Patterns whose name begins with "sse{,2,3}_" are invoked by intrinsics.
1484 : :
1485 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
1486 : : ;;
1487 : : ;; Move patterns
1488 : : ;;
1489 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
1490 : :
1491 : : ;; All of these patterns are enabled for SSE1 as well as SSE2.
1492 : : ;; This is essential for maintaining stable calling conventions.
1493 : :
1494 : : (define_expand "mov<mode>"
1495 : : [(set (match_operand:VMOVE 0 "nonimmediate_operand")
1496 : : (match_operand:VMOVE 1 "nonimmediate_or_sse_const_operand"))]
1497 : : "TARGET_SSE"
1498 : 3333226 : {
1499 : 2019590 : ix86_expand_vector_move (<MODE>mode, operands);
1500 : 3333226 : DONE;
1501 : : })
1502 : :
1503 : : (define_insn "mov<mode>_internal"
1504 : : [(set (match_operand:VMOVE 0 "nonimmediate_operand"
1505 : : "=v,v ,x,v ,m")
1506 : : (match_operand:VMOVE 1 "nonimmediate_or_sse_const_operand"
1507 : : " C,<sseconstm1>,BH,vm,v"))]
1508 : 66573363 : "TARGET_SSE
1509 : 69110568 : && (register_operand (operands[0], <MODE>mode)
1510 : 19736417 : || register_operand (operands[1], <MODE>mode))
1511 : 65802342 : && ix86_hardreg_mov_ok (operands[0], operands[1])"
1512 : 9386733 : {
1513 : 16758232 : switch (get_attr_type (insn))
1514 : 10688096 : {
1515 : 13763296 : case TYPE_SSELOG1:
1516 : 1664596 : return standard_sse_constant_opcode (insn, operands);
1517 : 1349018 :
1518 : 7960267 : case TYPE_SSEMOV:
1519 : 3004248 : return ix86_output_ssemov (insn, operands);
1520 : :
1521 : 13967207 : default:
1522 : 1313636 : gcc_unreachable ();
1523 : 1314366 : }
1524 : 1314366 : }
1525 : 12653571 : [(set_attr "type" "sselog1,sselog1,sselog1,ssemov,ssemov")
1526 : 13966477 : (set_attr "prefix" "maybe_vex")
1527 : 12653571 : (set (attr "mode")
1528 : 15959449 : (cond [(match_test "TARGET_AVX")
1529 : 12652841 : (const_string "<sseinsnmode>")
1530 : 12652841 : (ior (not (match_test "TARGET_SSE2"))
1531 : 12652841 : (match_test "optimize_function_for_size_p (cfun)"))
1532 : 12652841 : (const_string "V4SF")
1533 : 12652841 : (and (match_test "<MODE>mode == V2DFmode")
1534 : : (match_test "TARGET_SSE_PACKED_SINGLE_INSN_OPTIMAL"))
1535 : 558 : (const_string "V4SF")
1536 : 558 : (and (eq_attr "alternative" "4")
1537 : 35732207 : (match_test "TARGET_SSE_TYPELESS_STORES"))
1538 : 558 : (const_string "V4SF")
1539 : 22648758 : (and (eq_attr "alternative" "0")
1540 : 5348604 : (match_test "TARGET_SSE_LOAD0_BY_PXOR"))
1541 : 15610102 : (const_string "TI")
1542 : 558 : ]
1543 : 558 : (const_string "<sseinsnmode>")))
1544 : : (set (attr "enabled")
1545 : 43511515 : (cond [(and (match_test "<MODE_SIZE> == 16")
1546 : 283103490 : (eq_attr "alternative" "1"))
1547 : 291805793 : (symbol_ref "TARGET_SSE2")
1548 : 284294060 : (and (match_test "<MODE_SIZE> == 32")
1549 : 33342153 : (eq_attr "alternative" "1"))
1550 : 29023445 : (symbol_ref "TARGET_AVX2")
1551 : 32375515 : ]
1552 : 155264301 : (symbol_ref "true")))])
1553 : 1039 :
1554 : 135556 : ; False dependency happens on destination register which is not really
1555 : 1039 : ; used when moving all ones to vector register
1556 : 1039 : (define_split
1557 : : [(set (match_operand:VMOVE 0 "register_operand")
1558 : : (match_operand:VMOVE 1 "int_float_vector_all_ones_operand"))]
1559 : 5507 : "TARGET_AVX512F && reload_completed
1560 : 2225 : && (<MODE_SIZE> == 64 || EXT_REX_SSE_REG_P (operands[0]))
1561 : 744 : && optimize_insn_for_speed_p ()"
1562 : 2861724 : [(set (match_dup 0) (match_dup 2))
1563 : 5919775 : (parallel
1564 : 5920583 : [(set (match_dup 0) (match_dup 1))
1565 : 113491 : (unspec [(match_dup 0)] UNSPEC_INSN_FALSE_DEP)])]
1566 : 114221 : "operands[2] = CONST0_RTX (<MODE>mode);")
1567 : 81441 :
1568 : 113491 : (define_insn "*vmov<mode>_constm1_pternlog_false_dep"
1569 : 730 : [(set (match_operand:VMOVE 0 "register_operand" "=v")
1570 : 730 : (match_operand:VMOVE 1 "int_float_vector_all_ones_operand" "<sseconstm1>"))
1571 : 730 : (unspec [(match_operand:VMOVE 2 "register_operand" "0")] UNSPEC_INSN_FALSE_DEP)]
1572 : 736 : "TARGET_AVX512VL || <MODE_SIZE> == 64"
1573 : 730 : "vpternlogd\t{$0xFF, %0, %0, %0|%0, %0, %0, 0xFF}"
1574 : 730 : [(set_attr "type" "sselog1")
1575 : 730 : (set_attr "prefix" "evex")])
1576 : 759 :
1577 : 1489 : ;; If mem_addr points to a memory region with less than whole vector size bytes
1578 : 759 : ;; of accessible memory and k is a mask that would prevent reading the inaccessible
1579 : 764 : ;; bytes from mem_addr, add UNSPEC_MASKLOAD to prevent it to be transformed to vpblendd
1580 : 1445 : ;; See pr97642.
1581 : 75 : (define_expand "<avx512>_load<mode>_mask"
1582 : 75 : [(set (match_operand:V48_AVX512VL 0 "register_operand")
1583 : 75 : (vec_merge:V48_AVX512VL
1584 : 75 : (match_operand:V48_AVX512VL 1 "nonimmediate_operand")
1585 : 805 : (match_operand:V48_AVX512VL 2 "nonimm_or_0_operand")
1586 : 805 : (match_operand:<avx512fmaskmode> 3 "register_or_constm1_operand")))]
1587 : 3413 : "TARGET_AVX512F"
1588 : 4149 : {
1589 : 4149 : if (CONST_INT_P (operands[3]))
1590 : : {
1591 : 35 : emit_insn (gen_rtx_SET (operands[0], operands[1]));
1592 : 35 : DONE;
1593 : 2608 : }
1594 : 1466 : else if (MEM_P (operands[1]))
1595 : 813 : operands[1] = gen_rtx_UNSPEC (<MODE>mode,
1596 : 0 : gen_rtvec(1, operands[1]),
1597 : 1309 : UNSPEC_MASKLOAD);
1598 : 1309 : })
1599 : 0 :
1600 : 0 : (define_insn "*<avx512>_load<mode>_mask"
1601 : 0 : [(set (match_operand:V48_AVX512VL 0 "register_operand" "=v")
1602 : 2775 : (vec_merge:V48_AVX512VL
1603 : 2775 : (unspec:V48_AVX512VL
1604 : 1309 : [(match_operand:V48_AVX512VL 1 "memory_operand" "m")]
1605 : 1466 : UNSPEC_MASKLOAD)
1606 : 1466 : (match_operand:V48_AVX512VL 2 "nonimm_or_0_operand" "0C")
1607 : 1466 : (match_operand:<avx512fmaskmode> 3 "register_operand" "Yk")))]
1608 : 3340 : "TARGET_AVX512F"
1609 : 1000 : {
1610 : 1576 : if (FLOAT_MODE_P (GET_MODE_INNER (<MODE>mode)))
1611 : : {
1612 : 395 : if (misaligned_operand (operands[1], <MODE>mode))
1613 : 2002 : return "vmovu<ssemodesuffix>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}";
1614 : 2002 : else
1615 : 3714 : return "vmova<ssemodesuffix>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}";
1616 : 1466 : }
1617 : 1466 : else
1618 : : {
1619 : 605 : if (misaligned_operand (operands[1], <MODE>mode))
1620 : : return "vmovdqu<ssescalarsize>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}";
1621 : : else
1622 : 376 : return "vmovdqa<ssescalarsize>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}";
1623 : 6 : }
1624 : 851 : }
1625 : 857 : [(set_attr "type" "ssemov")
1626 : 857 : (set_attr "prefix" "evex")
1627 : 1014 : (set_attr "mode" "<sseinsnmode>")])
1628 : 2385 :
1629 : 851 : (define_insn_and_split "*<avx512>_load<mode>"
1630 : 857 : [(set (match_operand:V48_AVX512VL 0 "register_operand")
1631 : 163 : (unspec:V48_AVX512VL
1632 : 163 : [(match_operand:V48_AVX512VL 1 "memory_operand")]
1633 : 163 : UNSPEC_MASKLOAD))]
1634 : 196 : "TARGET_AVX512F"
1635 : 6 : "#"
1636 : : "&& 1"
1637 : 6 : [(set (match_dup 0) (match_dup 1))])
1638 : 14 :
1639 : 6 : (define_expand "<avx512>_load<mode>_mask"
1640 : 6 : [(set (match_operand:VI12_AVX512VL 0 "register_operand")
1641 : 6 : (vec_merge:VI12_AVX512VL
1642 : : (match_operand:VI12_AVX512VL 1 "nonimmediate_operand")
1643 : : (match_operand:VI12_AVX512VL 2 "nonimm_or_0_operand")
1644 : 624 : (match_operand:<avx512fmaskmode> 3 "register_or_constm1_operand")))]
1645 : 2 : "TARGET_AVX512BW"
1646 : 784 : {
1647 : 786 : if (CONST_INT_P (operands[3]))
1648 : 2 : {
1649 : 2 : emit_insn (gen_rtx_SET (operands[0], operands[1]));
1650 : 626 : DONE;
1651 : 624 : }
1652 : 786 : else if (MEM_P (operands[1]))
1653 : 152 : operands[1] = gen_rtx_UNSPEC (<MODE>mode,
1654 : 626 : gen_rtvec(1, operands[1]),
1655 : 626 : UNSPEC_MASKLOAD);
1656 : 626 :
1657 : 2 : })
1658 : :
1659 : 2 : (define_insn "*<avx512>_load<mode>_mask"
1660 : 626 : [(set (match_operand:VI12HFBF_AVX512VL 0 "register_operand" "=v")
1661 : 889 : (vec_merge:VI12HFBF_AVX512VL
1662 : 887 : (unspec:VI12HFBF_AVX512VL
1663 : 887 : [(match_operand:VI12HFBF_AVX512VL 1 "memory_operand" "m")]
1664 : 887 : UNSPEC_MASKLOAD)
1665 : 784 : (match_operand:VI12HFBF_AVX512VL 2 "nonimm_or_0_operand" "0C")
1666 : 944 : (match_operand:<avx512fmaskmode> 3 "register_operand" "Yk")))]
1667 : 1613 : "TARGET_AVX512BW"
1668 : 21 : "vmovdqu<ssescalarsize>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
1669 : 784 : [(set_attr "type" "ssemov")
1670 : 0 : (set_attr "prefix" "evex")
1671 : 160 : (set_attr "mode" "<sseinsnmode>")])
1672 : 160 :
1673 : 160 : (define_insn_and_split "*<avx512>_load<mode>"
1674 : 784 : [(set (match_operand:VI12HFBF_AVX512VL 0 "register_operand" "=v")
1675 : 944 : (unspec:VI12HFBF_AVX512VL
1676 : 784 : [(match_operand:VI12HFBF_AVX512VL 1 "memory_operand" "m")]
1677 : 177 : UNSPEC_MASKLOAD))]
1678 : 177 : "TARGET_AVX512BW"
1679 : 17 : "#"
1680 : 17 : "&& 1"
1681 : 54 : [(set (match_dup 0) (match_dup 1))])
1682 : 0 :
1683 : 0 : (define_insn "avx512f_mov<ssescalarmodelower>_mask"
1684 : 15 : [(set (match_operand:VFH_128 0 "register_operand" "=v")
1685 : 0 : (vec_merge:VFH_128
1686 : 54 : (vec_merge:VFH_128
1687 : 54 : (match_operand:VFH_128 2 "register_operand" "v")
1688 : 82966 : (match_operand:VFH_128 3 "nonimm_or_0_operand" "0C")
1689 : 91266 : (match_operand:QI 4 "register_operand" "Yk"))
1690 : 54 : (match_operand:VFH_128 1 "register_operand" "v")
1691 : 18824 : (const_int 1)))]
1692 : 19495 : "TARGET_AVX512F"
1693 : 208118 : "vmov<ssescalarmodesuffix>\t{%2, %1, %0%{%4%}%N3|%0%{%4%}%N3, %1, %2}"
1694 : 197678 : [(set_attr "type" "ssemov")
1695 : 198346 : (set_attr "prefix" "evex")
1696 : 1081 : (set_attr "mode" "<ssescalarmode>")])
1697 : 9411 :
1698 : 752 : (define_expand "avx512f_load<mode>_mask"
1699 : 37284 : [(set (match_operand:<ssevecmode> 0 "register_operand")
1700 : 76 : (vec_merge:<ssevecmode>
1701 : 76 : (vec_merge:<ssevecmode>
1702 : : (vec_duplicate:<ssevecmode>
1703 : 1017 : (match_operand:MODEFH 1 "memory_operand"))
1704 : 12565 : (match_operand:<ssevecmode> 2 "nonimm_or_0_operand")
1705 : 0 : (match_operand:QI 3 "register_operand"))
1706 : 13582 : (match_dup 4)
1707 : 13582 : (const_int 1)))]
1708 : 13582 : "TARGET_AVX512F"
1709 : 13666 : "operands[4] = CONST0_RTX (<ssevecmode>mode);")
1710 : 13598 :
1711 : 1017 : (define_insn "*avx512f_load<mode>_mask"
1712 : 249331 : [(set (match_operand:<ssevecmode> 0 "register_operand" "=v")
1713 : 236782 : (vec_merge:<ssevecmode>
1714 : 236766 : (vec_merge:<ssevecmode>
1715 : 236766 : (vec_duplicate:<ssevecmode>
1716 : 84 : (match_operand:MODEFH 1 "memory_operand" "m"))
1717 : 84 : (match_operand:<ssevecmode> 2 "nonimm_or_0_operand" "0C")
1718 : 84 : (match_operand:QI 3 "register_operand" "Yk"))
1719 : 84 : (match_operand:<ssevecmode> 4 "const0_operand")
1720 : 84 : (const_int 1)))]
1721 : 299 : "TARGET_AVX512F"
1722 : : "vmov<ssescalarmodesuffix>\t{%1, %0%{%3%}%N2|%0%{3%}%N2, %1}"
1723 : 84 : [(set_attr "type" "ssemov")
1724 : : (set_attr "prefix" "evex")
1725 : 10836 : (set_attr "memory" "load")
1726 : 244 : (set_attr "mode" "<MODE>")])
1727 : :
1728 : 2431613 : (define_insn "avx512f_store<mode>_mask"
1729 : 2431857 : [(set (match_operand:MODEFH 0 "memory_operand" "=m")
1730 : 2431613 : (if_then_else:MODEFH
1731 : 2431613 : (and:QI (match_operand:QI 2 "register_operand" "Yk")
1732 : 10676 : (const_int 1))
1733 : 10676 : (vec_select:MODEFH
1734 : 84 : (match_operand:<ssevecmode> 1 "register_operand" "v")
1735 : 1709177 : (parallel [(const_int 0)]))
1736 : 0 : (match_dup 0)))]
1737 : 206 : "TARGET_AVX512F"
1738 : 0 : "vmov<ssescalarmodesuffix>\t{%1, %0%{%2%}|%0%{%2%}, %1}"
1739 : 7446 : [(set_attr "type" "ssemov")
1740 : : (set_attr "prefix" "evex")
1741 : 130 : (set_attr "memory" "store")
1742 : 7576 : (set_attr "mode" "<MODE>")])
1743 : 7446 :
1744 : 7446 : (define_insn "<avx512>_blendm<mode>"
1745 : 7576 : [(set (match_operand:V48_AVX512VL 0 "register_operand" "=v,v")
1746 : 7446 : (vec_merge:V48_AVX512VL
1747 : 7446 : (match_operand:V48_AVX512VL 2 "nonimmediate_operand" "vm,vm")
1748 : 43377 : (match_operand:V48_AVX512VL 1 "nonimm_or_0_operand" "0C,v")
1749 : 43377 : (match_operand:<avx512fmaskmode> 3 "register_operand" "Yk,Yk")))]
1750 : 66795 : "TARGET_AVX512F"
1751 : 4683727 : {
1752 : 1700 : if (REG_P (operands[1])
1753 : 1372 : && REGNO (operands[1]) != REGNO (operands[0]))
1754 : : return "v<sseintprefix>blendm<ssemodesuffix>\t{%2, %1, %0%{%3%}|%0%{%3%}, %1, %2}";
1755 : 4639084 :
1756 : 4640018 : if (FLOAT_MODE_P (GET_MODE_INNER (<MODE>mode)))
1757 : 4638650 : {
1758 : 4639197 : if (misaligned_operand (operands[2], <MODE>mode))
1759 : 4638650 : return "vmovu<ssemodesuffix>\t{%2, %0%{%3%}%N1|%0%{%3%}%N1, %2}";
1760 : 4638650 : else
1761 : 4639197 : return "vmova<ssemodesuffix>\t{%2, %0%{%3%}%N1|%0%{%3%}%N1, %2}";
1762 : : }
1763 : 2255945 : else
1764 : 2311579 : {
1765 : 2312400 : if (misaligned_operand (operands[2], <MODE>mode))
1766 : 2311579 : return "vmovdqu<ssescalarsize>\t{%2, %0%{%3%}%N1|%0%{%3%}%N1, %2}";
1767 : 55634 : else
1768 : 1049834 : return "vmovdqa<ssescalarsize>\t{%2, %0%{%3%}%N1|%0%{%3%}%N1, %2}";
1769 : 2098017 : }
1770 : : }
1771 : 414 : [(set_attr "type" "ssemov")
1772 : : (set_attr "prefix" "evex")
1773 : : (set_attr "mode" "<sseinsnmode>")])
1774 : 1219 :
1775 : : (define_insn "<avx512>_blendm<mode>"
1776 : : [(set (match_operand:VI12HFBF_AVX512VL 0 "register_operand" "=v,v")
1777 : : (vec_merge:VI12HFBF_AVX512VL
1778 : : (match_operand:VI12HFBF_AVX512VL 2 "nonimmediate_operand" "vm,vm")
1779 : : (match_operand:VI12HFBF_AVX512VL 1 "nonimm_or_0_operand" "0C,v")
1780 : 0 : (match_operand:<avx512fmaskmode> 3 "register_operand" "Yk,Yk")))]
1781 : 13993 : "TARGET_AVX512BW"
1782 : 0 : "@
1783 : : vmovdqu<ssescalarsize>\t{%2, %0%{%3%}%N1|%0%{%3%}%N1, %2}
1784 : : vpblendm<sseintmodesuffix>\t{%2, %1, %0%{%3%}|%0%{%3%}, %1, %2}"
1785 : : [(set_attr "type" "ssemov")
1786 : : (set_attr "prefix" "evex")
1787 : : (set_attr "mode" "<sseinsnmode>")])
1788 : :
1789 : : (define_insn "*<avx512>_store<mode>_mask"
1790 : : [(set (match_operand:V48_AVX512VL 0 "memory_operand" "=m")
1791 : 646821 : (vec_merge:V48_AVX512VL
1792 : 646821 : (match_operand:V48_AVX512VL 1 "register_operand" "v")
1793 : 646821 : (match_dup 0)
1794 : : (match_operand:<avx512fmaskmode> 2 "register_operand" "Yk")))]
1795 : 41 : "TARGET_AVX512F"
1796 : 45 : {
1797 : 644673 : if (FLOAT_MODE_P (GET_MODE_INNER (<MODE>mode)))
1798 : : {
1799 : 0 : if (misaligned_operand (operands[0], <MODE>mode))
1800 : : return "vmovu<ssemodesuffix>\t{%1, %0%{%2%}|%0%{%2%}, %1}";
1801 : : else
1802 : 0 : return "vmova<ssemodesuffix>\t{%1, %0%{%2%}|%0%{%2%}, %1}";
1803 : : }
1804 : : else
1805 : : {
1806 : 45 : if (misaligned_operand (operands[0], <MODE>mode))
1807 : 0 : return "vmovdqu<ssescalarsize>\t{%1, %0%{%2%}|%0%{%2%}, %1}";
1808 : 0 : else
1809 : 0 : return "vmovdqa<ssescalarsize>\t{%1, %0%{%2%}|%0%{%2%}, %1}";
1810 : 0 : }
1811 : : }
1812 : : [(set_attr "type" "ssemov")
1813 : : (set_attr "prefix" "evex")
1814 : : (set_attr "memory" "store")
1815 : 503 : (set_attr "mode" "<sseinsnmode>")])
1816 : :
1817 : : (define_insn "*<avx512>_store<mode>_mask"
1818 : : [(set (match_operand:VI12HFBF_AVX512VL 0 "memory_operand" "=m")
1819 : 0 : (vec_merge:VI12HFBF_AVX512VL
1820 : 0 : (match_operand:VI12HFBF_AVX512VL 1 "register_operand" "v")
1821 : 0 : (match_dup 0)
1822 : 0 : (match_operand:<avx512fmaskmode> 2 "register_operand" "Yk")))]
1823 : 36 : "TARGET_AVX512BW"
1824 : : "vmovdqu<ssescalarsize>\t{%1, %0%{%2%}|%0%{%2%}, %1}"
1825 : : [(set_attr "type" "ssemov")
1826 : : (set_attr "prefix" "evex")
1827 : : (set_attr "memory" "store")
1828 : : (set_attr "mode" "<sseinsnmode>")])
1829 : :
1830 : : (define_expand "sse2_movq128"
1831 : : [(set (match_operand:V2DI 0 "register_operand")
1832 : 0 : (vec_concat:V2DI
1833 : 0 : (vec_select:DI
1834 : 7 : (match_operand:V2DI 1 "nonimmediate_operand")
1835 : : (parallel [(const_int 0)]))
1836 : : (const_int 0)))]
1837 : : "TARGET_SSE2")
1838 : 0 :
1839 : : (define_insn "*sse2_movq128_<mode>"
1840 : : [(set (match_operand:VI8F_128 0 "register_operand" "=v")
1841 : : (vec_concat:VI8F_128
1842 : 0 : (vec_select:<ssescalarmode>
1843 : : (match_operand:VI8F_128 1 "nonimmediate_operand" "vm")
1844 : : (parallel [(const_int 0)]))
1845 : : (match_operand:<ssescalarmode> 2 "const0_operand")))]
1846 : 278 : "TARGET_SSE2"
1847 : : "%vmovq\t{%1, %0|%0, %q1}"
1848 : : [(set_attr "type" "ssemov")
1849 : : (set_attr "prefix" "maybe_vex")
1850 : 288 : (set_attr "mode" "TI")])
1851 : 43813 :
1852 : 43525 : (define_insn "*sse2_movq128_<mode>_1"
1853 : 43525 : [(set (match_operand:VI8F_128 0 "register_operand" "=v")
1854 : 43813 : (vec_merge:VI8F_128
1855 : 3314 : (match_operand:VI8F_128 1 "nonimmediate_operand" "vm")
1856 : 3314 : (match_operand:VI8F_128 2 "const0_operand")
1857 : 3314 : (const_int 1)))]
1858 : 1734 : "TARGET_SSE2"
1859 : : "%vmovq\t{%1, %0|%0, %q1}"
1860 : : [(set_attr "type" "ssemov")
1861 : 13589 : (set_attr "prefix" "maybe_vex")
1862 : 10275 : (set_attr "mode" "TI")])
1863 : :
1864 : 10257 : ;; Move a DI from a 32-bit register pair (e.g. %edx:%eax) to an xmm.
1865 : 10257 : ;; We'd rather avoid this entirely; if the 32-bit reg pair was loaded
1866 : 10257 : ;; from memory, we'd prefer to load the memory directly into the %xmm
1867 : : ;; register. To facilitate this happy circumstance, this pattern won't
1868 : : ;; split until after register allocation. If the 64-bit value didn't
1869 : : ;; come from memory, this is the best we can do. This is much better
1870 : : ;; than storing %edx:%eax into a stack temporary and loading an %xmm
1871 : : ;; from there.
1872 : :
1873 : : (define_insn_and_split "movdi_to_sse"
1874 : : [(set (match_operand:V4SI 0 "register_operand" "=x,x,?x")
1875 : : (unspec:V4SI [(match_operand:DI 1 "nonimmediate_operand" "r,m,r")]
1876 : : UNSPEC_MOVDI_TO_SSE))
1877 : : (clobber (match_scratch:V4SI 2 "=X,X,&x"))]
1878 : 0 : "!TARGET_64BIT && TARGET_SSE2 && TARGET_INTER_UNIT_MOVES_TO_VEC"
1879 : : "#"
1880 : 0 : "&& reload_completed"
1881 : 0 : [(const_int 0)]
1882 : 2588 : {
1883 : 2762 : if (register_operand (operands[1], DImode))
1884 : 2762 : {
1885 : 174 : /* The DImode arrived in a pair of integral registers (e.g. %edx:%eax).
1886 : 2762 : Assemble the 64-bit DImode value in an xmm register. */
1887 : 2588 : emit_insn (gen_sse2_loadld (operands[0], CONST0_RTX (V4SImode),
1888 : 36021 : gen_lowpart (SImode, operands[1])));
1889 : 60 : if (TARGET_SSE4_1)
1890 : 114 : emit_insn (gen_sse4_1_pinsrd (operands[0], operands[0],
1891 : 403 : gen_highpart (SImode, operands[1]),
1892 : 36388 : GEN_INT (2)));
1893 : 287 : else
1894 : : {
1895 : 287 : emit_insn (gen_sse2_loadld (operands[2], CONST0_RTX (V4SImode),
1896 : 287 : gen_highpart (SImode, operands[1])));
1897 : 0 : emit_insn (gen_vec_interleave_lowv4si (operands[0], operands[0],
1898 : 277 : operands[2]));
1899 : 277 : }
1900 : 277 : }
1901 : 0 : else if (memory_operand (operands[1], DImode))
1902 : 277 : emit_insn (gen_vec_concatv2di (gen_lowpart (V2DImode, operands[0]),
1903 : 277 : operands[1], const0_rtx));
1904 : 277 : else
1905 : 0 : gcc_unreachable ();
1906 : 194 : DONE;
1907 : 194 : }
1908 : 194 : [(set_attr "isa" "sse4,*,*")])
1909 : 194 :
1910 : : (define_split
1911 : : [(set (match_operand:V4SF 0 "register_operand")
1912 : : (match_operand:V4SF 1 "zero_extended_scalar_load_operand"))]
1913 : 18094 : "TARGET_SSE && reload_completed"
1914 : : [(set (match_dup 0)
1915 : 8330 : (vec_merge:V4SF
1916 : : (vec_duplicate:V4SF (match_dup 1))
1917 : 46487 : (match_dup 2)
1918 : 46487 : (const_int 1)))]
1919 : 46901 : {
1920 : 54817 : operands[1] = gen_lowpart (SFmode, operands[1]);
1921 : 8330 : operands[2] = CONST0_RTX (V4SFmode);
1922 : 0 : })
1923 : 0 :
1924 : 0 : (define_split
1925 : 8330 : [(set (match_operand:V2DF 0 "register_operand")
1926 : 8330 : (match_operand:V2DF 1 "zero_extended_scalar_load_operand"))]
1927 : 34871 : "TARGET_SSE2 && reload_completed"
1928 : 8330 : [(set (match_dup 0) (vec_concat:V2DF (match_dup 1) (match_dup 2)))]
1929 : 33460 : {
1930 : 20895 : operands[1] = gen_lowpart (DFmode, operands[1]);
1931 : 20895 : operands[2] = CONST0_RTX (DFmode);
1932 : : })
1933 : :
1934 : : (define_expand "movmisalign<mode>"
1935 : 12565 : [(set (match_operand:VMOVE 0 "nonimmediate_operand")
1936 : 12565 : (match_operand:VMOVE 1 "nonimmediate_operand"))]
1937 : 33974002 : "TARGET_SSE"
1938 : 126026 : {
1939 : 34195347 : ix86_expand_vector_move_misalign (<MODE>mode, operands);
1940 : 34260041 : DONE;
1941 : 33965672 : })
1942 : 33953107 :
1943 : 33953107 : ;; Merge movsd/movhpd to movupd for TARGET_SSE_UNALIGNED_LOAD_OPTIMAL targets.
1944 : 201120 : (define_peephole2
1945 : 31484039 : [(set (match_operand:V2DF 0 "sse_reg_operand")
1946 : 31484039 : (vec_concat:V2DF (match_operand:DF 1 "memory_operand")
1947 : 31685159 : (match_operand:DF 4 "const0_operand")))
1948 : 201120 : (set (match_operand:V2DF 2 "sse_reg_operand")
1949 : 31086262 : (vec_concat:V2DF (vec_select:DF (match_dup 2)
1950 : 31086262 : (parallel [(const_int 0)]))
1951 : 201120 : (match_operand:DF 3 "memory_operand")))]
1952 : 416833 : "TARGET_SSE2 && TARGET_SSE_UNALIGNED_LOAD_OPTIMAL
1953 : 215238 : && ix86_operands_ok_for_move_multiple (operands, true, DFmode)"
1954 : 215238 : [(set (match_dup 2) (match_dup 5))]
1955 : 475 : "operands[5] = adjust_address (operands[1], V2DFmode, 0);")
1956 : 206945 :
1957 : 206945 : (define_peephole2
1958 : 293246 : [(set (match_operand:DF 0 "sse_reg_operand")
1959 : 633 : (match_operand:DF 1 "memory_operand"))
1960 : 119052 : (set (match_operand:V2DF 2 "sse_reg_operand")
1961 : 205036 : (vec_concat:V2DF (match_operand:DF 4 "sse_reg_operand")
1962 : 204861 : (match_operand:DF 3 "memory_operand")))]
1963 : 207041 : "TARGET_SSE2 && TARGET_SSE_UNALIGNED_LOAD_OPTIMAL
1964 : 88464 : && REGNO (operands[4]) == REGNO (operands[2])
1965 : 87943 : && ix86_operands_ok_for_move_multiple (operands, true, DFmode)"
1966 : 88245 : [(set (match_dup 2) (match_dup 5))]
1967 : 314 : "operands[5] = adjust_address (operands[1], V2DFmode, 0);")
1968 : 312 :
1969 : 2 : ;; Merge movlpd/movhpd to movupd for TARGET_SSE_UNALIGNED_STORE_OPTIMAL targets.
1970 : 200 : (define_peephole2
1971 : 156 : [(set (match_operand:DF 0 "memory_operand")
1972 : 39526 : (vec_select:DF (match_operand:V2DF 1 "sse_reg_operand")
1973 : 200 : (parallel [(const_int 0)])))
1974 : 156 : (set (match_operand:DF 2 "memory_operand")
1975 : 156 : (vec_select:DF (match_operand:V2DF 3 "sse_reg_operand")
1976 : 39526 : (parallel [(const_int 1)])))]
1977 : 39835 : "TARGET_SSE2 && TARGET_SSE_UNALIGNED_STORE_OPTIMAL
1978 : 39834 : && ix86_operands_ok_for_move_multiple (operands, false, DFmode)"
1979 : 39833 : [(set (match_dup 4) (match_dup 1))]
1980 : 39530 : "operands[4] = adjust_address (operands[0], V2DFmode, 0);")
1981 : 39528 :
1982 : 39526 : (define_insn "<sse3>_lddqu<avxsizesuffix>"
1983 : 39372 : [(set (match_operand:VI1 0 "register_operand" "=x,x")
1984 : 158 : (unspec:VI1 [(match_operand:VI1 1 "memory_operand" "m,jm")]
1985 : 5967895 : UNSPEC_LDDQU))]
1986 : 7804 : "TARGET_SSE3"
1987 : 7564 : "%vlddqu\t{%1, %0|%0, %1}"
1988 : 7549 : [(set_attr "isa" "noavx,avx")
1989 : 5960192 : (set_attr "type" "ssemov")
1990 : 5967739 : (set_attr "addr" "*,gpr16")
1991 : 5967739 : (set_attr "movu" "1")
1992 : 5960192 : (set (attr "prefix_data16")
1993 : 5967739 : (if_then_else
1994 : 5961021 : (match_test "TARGET_AVX")
1995 : 5960875 : (const_string "*")
1996 : 8560128 : (const_string "0")))
1997 : 1306 : (set (attr "prefix_rep")
1998 : 1156 : (if_then_else
1999 : 0 : (match_test "TARGET_AVX")
2000 : 392 : (const_string "*")
2001 : 392 : (const_string "1")))
2002 : 0 : (set_attr "prefix" "maybe_vex")
2003 : 57 : (set_attr "mode" "<sseinsnmode>")])
2004 : 143 :
2005 : 0 : (define_insn "sse2_movnti<mode>"
2006 : 86 : [(set (match_operand:SWI48 0 "memory_operand" "=m")
2007 : 86 : (unspec:SWI48 [(match_operand:SWI48 1 "register_operand" "r")]
2008 : 86 : UNSPEC_MOVNT))]
2009 : 377 : "TARGET_SSE2"
2010 : 86 : "movnti\t{%1, %0|%0, %1}"
2011 : 0 : [(set_attr "type" "ssemov")
2012 : 86 : (set_attr "prefix_data16" "0")
2013 : 141 : (set_attr "mode" "<MODE>")])
2014 : 132 :
2015 : 95 : (define_insn "<sse>_movnt<mode>"
2016 : 95 : [(set (match_operand:VF 0 "memory_operand" "=m")
2017 : 95 : (unspec:VF
2018 : 95 : [(match_operand:VF 1 "register_operand" "v")]
2019 : 95 : UNSPEC_MOVNT))]
2020 : 58 : "TARGET_SSE"
2021 : 21 : "%vmovnt<ssemodesuffix>\t{%1, %0|%0, %1}"
2022 : 9 : [(set_attr "type" "ssemov")
2023 : 9 : (set_attr "prefix" "maybe_vex")
2024 : 84 : (set_attr "mode" "<MODE>")])
2025 : 86 :
2026 : 78 : (define_insn "<sse2>_movnt<mode>"
2027 : 80 : [(set (match_operand:VI8 0 "memory_operand" "=m")
2028 : 148 : (unspec:VI8 [(match_operand:VI8 1 "register_operand" "v")]
2029 : 88 : UNSPEC_MOVNT))]
2030 : 208 : "TARGET_SSE2"
2031 : 100 : "%vmovntdq\t{%1, %0|%0, %1}"
2032 : 0 : [(set_attr "type" "ssecvt")
2033 : 2 : (set (attr "prefix_data16")
2034 : 2 : (if_then_else
2035 : 2 : (match_test "TARGET_AVX")
2036 : 2 : (const_string "*")
2037 : 377 : (const_string "1")))
2038 : 11 : (set_attr "prefix" "maybe_vex")
2039 : 386 : (set_attr "mode" "<sseinsnmode>")])
2040 : 8103 :
2041 : 375 : ; Expand patterns for non-temporal stores. At the moment, only those
2042 : 375 : ; that directly map to insns are defined; it would be possible to
2043 : 375 : ; define patterns for other modes that would expand to several insns.
2044 : 7717 :
2045 : 8092 : ;; Modes handled by storent patterns.
2046 : 8092 : (define_mode_iterator STORENT_MODE
2047 : 8092 : [(DI "TARGET_SSE2 && TARGET_64BIT") (SI "TARGET_SSE2")
2048 : 8092 : (SF "TARGET_SSE4A") (DF "TARGET_SSE4A")
2049 : 8092 : (V8DI "TARGET_AVX512F && TARGET_EVEX512")
2050 : 8094 : (V4DI "TARGET_AVX") (V2DI "TARGET_SSE2")
2051 : 8094 : (V16SF "TARGET_AVX512F && TARGET_EVEX512") (V8SF "TARGET_AVX") V4SF
2052 : 377 : (V8DF "TARGET_AVX512F && TARGET_EVEX512")
2053 : 7717 : (V4DF "TARGET_AVX") (V2DF "TARGET_SSE2")])
2054 : 7717 :
2055 : 7717 : (define_expand "storent<mode>"
2056 : 0 : [(set (match_operand:STORENT_MODE 0 "memory_operand")
2057 : 7641 : (unspec:STORENT_MODE
2058 : 7642 : [(match_operand:STORENT_MODE 1 "register_operand")]
2059 : 0 : UNSPEC_MOVNT))]
2060 : 7642 : "TARGET_SSE")
2061 : 7642 :
2062 : 8017 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
2063 : 376 : ;;
2064 : 6523 : ;; Mask operations
2065 : 6149 : ;;
2066 : 6149 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
2067 : 6149 :
2068 : 6149 : ;; All integer modes with AVX512BW/DQ.
2069 : 6191 : (define_mode_iterator SWI1248_AVX512BWDQ
2070 : 6153 : [(QI "TARGET_AVX512DQ") HI (SI "TARGET_AVX512BW") (DI "TARGET_AVX512BW")])
2071 : 6190 :
2072 : 46 : ;; All integer modes with AVX512BW, where HImode operation
2073 : 4631 : ;; can be used instead of QImode.
2074 : 30403 : (define_mode_iterator SWI1248_AVX512BW
2075 : 30361 : [QI HI (SI "TARGET_AVX512BW") (DI "TARGET_AVX512BW")])
2076 : 125052 :
2077 : 8225143 : ;; All integer modes with AVX512BW/DQ, even HImode requires DQ.
2078 : 8089521 : (define_mode_iterator SWI1248_AVX512BWDQ2
2079 : 8512641 : [(QI "TARGET_AVX512DQ") (HI "TARGET_AVX512DQ")
2080 : 4558939 : (SI "TARGET_AVX512BW") (DI "TARGET_AVX512BW")])
2081 : 4836356 :
2082 : 4996109 : (define_expand "kmov<mskmodesuffix>"
2083 : 12202597 : [(set (match_operand:SWI1248_AVX512BWDQ 0 "nonimmediate_operand")
2084 : 4669845 : (match_operand:SWI1248_AVX512BWDQ 1 "nonimmediate_operand"))]
2085 : 3597167 : "TARGET_AVX512F
2086 : 8375351 : && !(MEM_P (operands[0]) && MEM_P (operands[1]))")
2087 : 2454351 :
2088 : 6190144 : (define_insn "k<code><mode>"
2089 : 5060540 : [(set (match_operand:SWI1248_AVX512BW 0 "register_operand" "=k")
2090 : 9440448 : (any_logic:SWI1248_AVX512BW
2091 : 1067794 : (match_operand:SWI1248_AVX512BW 1 "register_operand" "k")
2092 : 6274 : (match_operand:SWI1248_AVX512BW 2 "register_operand" "k")))
2093 : 6932213 : (unspec [(const_int 0)] UNSPEC_MASKOP)]
2094 : 5876984 : "TARGET_AVX512F"
2095 : 7153481 : {
2096 : 1134449 : if (get_attr_mode (insn) == MODE_HI)
2097 : 5798912 : return "k<logic>w\t{%2, %1, %0|%0, %1, %2}";
2098 : 5804978 : else
2099 : 7078199 : return "k<logic><mskmodesuffix>\t{%2, %1, %0|%0, %1, %2}";
2100 : 5759 : }
2101 : 4981329 : [(set_attr "type" "msklog")
2102 : 4980832 : (set_attr "prefix" "vex")
2103 : 4956556 : (set (attr "mode")
2104 : 4957103 : (cond [(and (match_test "<MODE>mode == QImode")
2105 : 4955795 : (not (match_test "TARGET_AVX512DQ")))
2106 : 3939 : (const_string "HI")
2107 : 4924718 : ]
2108 : 4927603 : (const_string "<MODE>")))])
2109 : 2976 :
2110 : 4926431 : (define_split
2111 : 3726 : [(set (match_operand:SWI1248_AVX512BW 0 "mask_reg_operand")
2112 : 147 : (any_logic:SWI1248_AVX512BW
2113 : 6310 : (match_operand:SWI1248_AVX512BW 1 "mask_reg_operand")
2114 : 1945 : (match_operand:SWI1248_AVX512BW 2 "mask_reg_operand")))]
2115 : 1811 : "TARGET_AVX512F && reload_completed"
2116 : 8 : [(parallel
2117 : 1746 : [(set (match_dup 0)
2118 : 8 : (any_logic:SWI1248_AVX512BW (match_dup 1) (match_dup 2)))
2119 : 406 : (unspec [(const_int 0)] UNSPEC_MASKOP)])])
2120 : 405 :
2121 : 405 : (define_split
2122 : 14 : [(set (match_operand:SWI1248_AVX512BW 0 "mask_reg_operand")
2123 : 14 : (any_logic:SWI1248_AVX512BW
2124 : 14 : (match_operand:SWI1248_AVX512BW 1 "mask_reg_operand")
2125 : 27 : (match_operand:SWI1248_AVX512BW 2 "mask_reg_operand")))
2126 : 27 : (clobber (reg:CC FLAGS_REG))]
2127 : 92 : "TARGET_AVX512F && reload_completed"
2128 : 14 : [(parallel
2129 : 474 : [(set (match_dup 0)
2130 : 8 : (any_logic:SWI1248_AVX512BW (match_dup 1) (match_dup 2)))
2131 : 515 : (unspec [(const_int 0)] UNSPEC_MASKOP)])])
2132 : 523 :
2133 : 8 : (define_insn "kandn<mode>"
2134 : 109 : [(set (match_operand:SWI1248_AVX512BW 0 "register_operand" "=k")
2135 : 112 : (and:SWI1248_AVX512BW
2136 : 5 : (not:SWI1248_AVX512BW
2137 : 9 : (match_operand:SWI1248_AVX512BW 1 "register_operand" "k"))
2138 : 10 : (match_operand:SWI1248_AVX512BW 2 "register_operand" "k")))
2139 : 14 : (unspec [(const_int 0)] UNSPEC_MASKOP)]
2140 : 130 : "TARGET_AVX512F"
2141 : 63 : {
2142 : 43 : if (get_attr_mode (insn) == MODE_HI)
2143 : 5 : return "kandnw\t{%2, %1, %0|%0, %1, %2}";
2144 : 208 : else
2145 : 249 : return "kandn<mskmodesuffix>\t{%2, %1, %0|%0, %1, %2}";
2146 : 21 : }
2147 : 222 : [(set_attr "type" "msklog")
2148 : 10 : (set_attr "prefix" "vex")
2149 : 17 : (set (attr "mode")
2150 : 66 : (cond [(and (match_test "<MODE>mode == QImode")
2151 : 10 : (not (match_test "TARGET_AVX512DQ")))
2152 : 8 : (const_string "HI")
2153 : 27 : ]
2154 : 0 : (const_string "<MODE>")))])
2155 : 27 :
2156 : 28 : (define_split
2157 : 4 : [(set (match_operand:SWI1248_AVX512BW 0 "mask_reg_operand")
2158 : 31 : (and:SWI1248_AVX512BW
2159 : 3 : (not:SWI1248_AVX512BW
2160 : : (match_operand:SWI1248_AVX512BW 1 "mask_reg_operand"))
2161 : 1 : (match_operand:SWI1248_AVX512BW 2 "mask_reg_operand")))
2162 : 2 : (clobber (reg:CC FLAGS_REG))]
2163 : 2 : "TARGET_AVX512F && reload_completed"
2164 : 133 : [(parallel
2165 : 0 : [(set (match_dup 0)
2166 : 4 : (and:SWI1248_AVX512BW
2167 : 2638 : (not:SWI1248_AVX512BW (match_dup 1))
2168 : 2612 : (match_dup 2)))
2169 : 4 : (unspec [(const_int 0)] UNSPEC_MASKOP)])])
2170 : 2510 :
2171 : 106 : (define_insn "kxnor<mode>"
2172 : 4 : [(set (match_operand:SWI1248_AVX512BW 0 "register_operand" "=k")
2173 : 4 : (not:SWI1248_AVX512BW
2174 : 0 : (xor:SWI1248_AVX512BW
2175 : 4 : (match_operand:SWI1248_AVX512BW 1 "register_operand" "k")
2176 : : (match_operand:SWI1248_AVX512BW 2 "register_operand" "k"))))
2177 : : (unspec [(const_int 0)] UNSPEC_MASKOP)]
2178 : 66 : "TARGET_AVX512F"
2179 : 91 : {
2180 : 36 : if (get_attr_mode (insn) == MODE_HI)
2181 : 32 : return "kxnorw\t{%2, %1, %0|%0, %1, %2}";
2182 : 229 : else
2183 : 232 : return "kxnor<mskmodesuffix>\t{%2, %1, %0|%0, %1, %2}";
2184 : 32 : }
2185 : 197 : [(set_attr "type" "msklog")
2186 : 0 : (set_attr "prefix" "vex")
2187 : 0 : (set (attr "mode")
2188 : 100 : (cond [(and (match_test "<MODE>mode == QImode")
2189 : 0 : (not (match_test "TARGET_AVX512DQ")))
2190 : 0 : (const_string "HI")
2191 : 0 : ]
2192 : 0 : (const_string "<MODE>")))])
2193 : 0 :
2194 : 0 : (define_insn "knot<mode>"
2195 : : [(set (match_operand:SWI1248_AVX512BW 0 "register_operand" "=k")
2196 : : (not:SWI1248_AVX512BW
2197 : : (match_operand:SWI1248_AVX512BW 1 "register_operand" "k")))
2198 : : (unspec [(const_int 0)] UNSPEC_MASKOP)]
2199 : 94 : "TARGET_AVX512F"
2200 : 98 : {
2201 : 75 : if (get_attr_mode (insn) == MODE_HI)
2202 : : return "knotw\t{%1, %0|%0, %1}";
2203 : 158 : else
2204 : 206 : return "knot<mskmodesuffix>\t{%1, %0|%0, %1}";
2205 : : }
2206 : : [(set_attr "type" "msklog")
2207 : : (set_attr "prefix" "vex")
2208 : : (set (attr "mode")
2209 : 45 : (cond [(and (match_test "<MODE>mode == QImode")
2210 : : (not (match_test "TARGET_AVX512DQ")))
2211 : : (const_string "HI")
2212 : : ]
2213 : : (const_string "<MODE>")))])
2214 : :
2215 : : (define_split
2216 : : [(set (match_operand:SWI1248_AVX512BW 0 "mask_reg_operand")
2217 : : (not:SWI1248_AVX512BW
2218 : : (match_operand:SWI1248_AVX512BW 1 "mask_reg_operand")))]
2219 : 43 : "TARGET_AVX512F && reload_completed"
2220 : 43 : [(parallel
2221 : 220329 : [(set (match_dup 0)
2222 : 1 : (not:SWI1248_AVX512BW (match_dup 1)))
2223 : 1 : (unspec [(const_int 0)] UNSPEC_MASKOP)])])
2224 : 220330 :
2225 : : (define_insn "*knotsi_1_zext"
2226 : : [(set (match_operand:DI 0 "register_operand" "=k")
2227 : : (zero_extend:DI
2228 : : (not:SI (match_operand:SI 1 "register_operand" "k"))))
2229 : : (unspec [(const_int 0)] UNSPEC_MASKOP)]
2230 : 0 : "TARGET_AVX512BW"
2231 : : "knotd\t{%1, %0|%0, %1}";
2232 : : [(set_attr "type" "msklog")
2233 : : (set_attr "prefix" "vex")
2234 : 579 : (set_attr "mode" "SI")])
2235 : 579 :
2236 : : (define_split
2237 : : [(set (match_operand:DI 0 "mask_reg_operand")
2238 : : (zero_extend:DI
2239 : : (not:SI (match_operand:SI 1 "mask_reg_operand"))))]
2240 : 0 : "TARGET_AVX512BW && reload_completed"
2241 : 290 : [(parallel
2242 : 0 : [(set (match_dup 0)
2243 : 3945132 : (zero_extend:DI
2244 : 35 : (not:SI (match_dup 1))))
2245 : 35 : (unspec [(const_int 0)] UNSPEC_MASKOP)])])
2246 : 35 :
2247 : 3945132 : (define_insn "kadd<mode>"
2248 : 3945144 : [(set (match_operand:SWI1248_AVX512BWDQ2 0 "register_operand" "=k")
2249 : 3945144 : (plus:SWI1248_AVX512BWDQ2
2250 : 3945133 : (match_operand:SWI1248_AVX512BWDQ2 1 "register_operand" "k")
2251 : 3945133 : (match_operand:SWI1248_AVX512BWDQ2 2 "register_operand" "k")))
2252 : 3945133 : (unspec [(const_int 0)] UNSPEC_MASKOP)]
2253 : 3945133 : "TARGET_AVX512F"
2254 : 3945133 : "kadd<mskmodesuffix>\t{%2, %1, %0|%0, %1, %2}"
2255 : 3945145 : [(set_attr "type" "msklog")
2256 : 11 : (set_attr "prefix" "vex")
2257 : 2583627 : (set_attr "mode" "<MODE>")])
2258 : 2583627 :
2259 : 2583627 : ;; Mask variant shift mnemonics
2260 : 1 : (define_code_attr mshift [(ashift "shiftl") (lshiftrt "shiftr")])
2261 : 2583626 :
2262 : 2583626 : (define_insn "k<code><mode>"
2263 : : [(set (match_operand:SWI1248_AVX512BWDQ 0 "register_operand" "=k")
2264 : : (any_lshift:SWI1248_AVX512BWDQ
2265 : 2581437 : (match_operand:SWI1248_AVX512BWDQ 1 "register_operand" "k")
2266 : : (match_operand 2 "const_0_to_255_operand")))
2267 : 1352839 : (unspec [(const_int 0)] UNSPEC_MASKOP)]
2268 : 1359221 : "TARGET_AVX512F"
2269 : : "k<mshift><mskmodesuffix>\t{%2, %1, %0|%0, %1, %2}"
2270 : 433767 : [(set_attr "type" "msklog")
2271 : 433767 : (set_attr "prefix" "vex")
2272 : 2147 : (set_attr "mode" "<MODE>")])
2273 : 143403 :
2274 : 141256 : (define_split
2275 : 141256 : [(set (match_operand:SWI1248_AVX512BW 0 "mask_reg_operand")
2276 : 141256 : (any_lshift:SWI1248_AVX512BW
2277 : : (match_operand:SWI1248_AVX512BW 1 "mask_reg_operand")
2278 : 5686 : (match_operand 2 "const_int_operand")))]
2279 : 5686 : "TARGET_AVX512F && reload_completed"
2280 : 0 : [(parallel
2281 : 362 : [(set (match_dup 0)
2282 : 362 : (any_lshift:SWI1248_AVX512BW
2283 : 362 : (match_dup 1)
2284 : 0 : (match_dup 2)))
2285 : 362 : (unspec [(const_int 0)] UNSPEC_MASKOP)])])
2286 : 362 :
2287 : : (define_split
2288 : 362 : [(set (match_operand:SWI1248_AVX512BW 0 "mask_reg_operand")
2289 : 362 : (any_lshift:SWI1248_AVX512BW
2290 : 362 : (match_operand:SWI1248_AVX512BW 1 "mask_reg_operand")
2291 : 724 : (match_operand 2 "const_int_operand")))
2292 : 0 : (clobber (reg:CC FLAGS_REG))]
2293 : 388 : "TARGET_AVX512F && reload_completed"
2294 : 362 : [(parallel
2295 : 385 : [(set (match_dup 0)
2296 : 362 : (any_lshift:SWI1248_AVX512BW
2297 : 629789 : (match_dup 1)
2298 : 629427 : (match_dup 2)))
2299 : 362 : (unspec [(const_int 0)] UNSPEC_MASKOP)])])
2300 : 629791 :
2301 : : (define_insn "*klshrsi3_1_zext"
2302 : 362 : [(set (match_operand:DI 0 "register_operand" "=k")
2303 : : (zero_extend:DI
2304 : 193 : (lshiftrt:SI (match_operand:SI 1 "register_operand" "k")
2305 : 193 : (match_operand 2 "const_0_to_31_operand" "I"))))
2306 : : (unspec [(const_int 0)] UNSPEC_MASKOP)]
2307 : 194 : "TARGET_AVX512BW"
2308 : 5 : "kshiftrd\t{%2, %1, %0|%0, %1, %2}"
2309 : : [(set_attr "type" "msklog")
2310 : : (set_attr "prefix" "vex")
2311 : : (set_attr "mode" "SI")])
2312 : :
2313 : : (define_split
2314 : : [(set (match_operand:DI 0 "mask_reg_operand")
2315 : 5 : (zero_extend:DI
2316 : 5 : (lshiftrt:SI
2317 : : (match_operand:SI 1 "mask_reg_operand")
2318 : 0 : (match_operand 2 "const_0_to_31_operand"))))
2319 : 0 : (clobber (reg:CC FLAGS_REG))]
2320 : 2 : "TARGET_AVX512BW && reload_completed"
2321 : : [(parallel
2322 : 1 : [(set (match_dup 0)
2323 : : (zero_extend:DI
2324 : 202 : (lshiftrt:SI
2325 : 202 : (match_dup 1)
2326 : : (match_dup 2))))
2327 : 151 : (unspec [(const_int 0)] UNSPEC_MASKOP)])])
2328 : :
2329 : 0 : (define_insn "ktest<mode>"
2330 : 0 : [(set (reg:CC FLAGS_REG)
2331 : : (unspec:CC
2332 : : [(match_operand:SWI1248_AVX512BWDQ2 0 "register_operand" "k")
2333 : : (match_operand:SWI1248_AVX512BWDQ2 1 "register_operand" "k")]
2334 : : UNSPEC_KTEST))]
2335 : : "TARGET_AVX512F"
2336 : : "ktest<mskmodesuffix>\t{%1, %0|%0, %1}"
2337 : : [(set_attr "mode" "<MODE>")
2338 : : (set_attr "type" "msklog")
2339 : : (set_attr "prefix" "vex")])
2340 : :
2341 : : (define_insn "*kortest<mode>"
2342 : : [(set (reg FLAGS_REG)
2343 : : (unspec
2344 : : [(match_operand:SWI1248_AVX512BWDQ 0 "register_operand" "k")
2345 : : (match_operand:SWI1248_AVX512BWDQ 1 "register_operand" "k")]
2346 : : UNSPEC_KORTEST))]
2347 : 15498 : "TARGET_AVX512F"
2348 : : "kortest<mskmodesuffix>\t{%1, %0|%0, %1}"
2349 : : [(set_attr "mode" "<MODE>")
2350 : : (set_attr "type" "msklog")
2351 : 699 : (set_attr "prefix" "vex")])
2352 : 699 :
2353 : 590 : (define_insn "kortest<mode>_ccc"
2354 : 1208 : [(set (reg:CCC FLAGS_REG)
2355 : : (unspec:CCC
2356 : : [(match_operand:SWI1248_AVX512BWDQ 0 "register_operand")
2357 : : (match_operand:SWI1248_AVX512BWDQ 1 "register_operand")]
2358 : : UNSPEC_KORTEST))]
2359 : 0 : "TARGET_AVX512F")
2360 : :
2361 : : (define_insn "kortest<mode>_ccz"
2362 : : [(set (reg:CCZ FLAGS_REG)
2363 : 0 : (unspec:CCZ
2364 : 0 : [(match_operand:SWI1248_AVX512BWDQ 0 "register_operand")
2365 : : (match_operand:SWI1248_AVX512BWDQ 1 "register_operand")]
2366 : : UNSPEC_KORTEST))]
2367 : 0 : "TARGET_AVX512F")
2368 : :
2369 : : (define_expand "kortest<mode>"
2370 : : [(set (reg:CC FLAGS_REG)
2371 : 0 : (unspec:CC
2372 : 0 : [(match_operand:SWI1248_AVX512BWDQ 0 "register_operand")
2373 : : (match_operand:SWI1248_AVX512BWDQ 1 "register_operand")]
2374 : : UNSPEC_KORTEST))]
2375 : : "TARGET_AVX512F")
2376 : :
2377 : : ;; Optimize cmp + setcc with mask register by kortest + setcc.
2378 : : (define_insn_and_split "*kortest_cmp<mode>_setcc"
2379 : : [(set (match_operand:QI 0 "nonimmediate_operand" "=qm, qm")
2380 : : (match_operator:QI 1 "bt_comparison_operator"
2381 : : [(match_operand:SWI1248_AVX512BWDQ_64 2 "register_operand" "?k, <r>")
2382 : : (const_int -1)]))
2383 : : (clobber (reg:CC FLAGS_REG))]
2384 : 153 : "TARGET_AVX512BW"
2385 : : "#"
2386 : 40 : "&& reload_completed"
2387 : 32 : [(const_int 0)]
2388 : 32 : {
2389 : 18265 : if (MASK_REGNO_P (REGNO (operands[2])))
2390 : 18273 : {
2391 : 18281 : emit_insn (gen_kortest<mode>_ccc (operands[2], operands[2]));
2392 : 8 : operands[4] = gen_rtx_REG (CCCmode, FLAGS_REG);
2393 : : }
2394 : 698455 : else
2395 : 698455 : {
2396 : 698463 : operands[4] = gen_rtx_REG (CCZmode, FLAGS_REG);
2397 : 8 : emit_insn (gen_rtx_SET (operands[4],
2398 : 405987 : gen_rtx_COMPARE (CCZmode,
2399 : 405987 : operands[2],
2400 : : constm1_rtx)));
2401 : 7774 : }
2402 : 7790 : ix86_expand_setcc (operands[0],
2403 : 16 : GET_CODE (operands[1]),
2404 : : operands[4],
2405 : : const0_rtx);
2406 : 185 : DONE;
2407 : : })
2408 : 8 :
2409 : 16 : ;; Optimize cmp + jcc with mask register by kortest + jcc.
2410 : : (define_insn_and_split "*kortest_cmp<mode>_jcc"
2411 : : [(set (pc)
2412 : : (if_then_else
2413 : : (match_operator 0 "bt_comparison_operator"
2414 : : [(match_operand:SWI1248_AVX512BWDQ_64 1 "register_operand" "?k, <r>")
2415 : : (const_int -1)])
2416 : : (label_ref (match_operand 2))
2417 : : (pc)))
2418 : : (clobber (reg:CC FLAGS_REG))]
2419 : 3936 : "TARGET_AVX512BW"
2420 : : "#"
2421 : 77 : "&& reload_completed"
2422 : 69 : [(const_int 0)]
2423 : 158 : {
2424 : 85944 : if (MASK_REGNO_P (REGNO (operands[1])))
2425 : 85994 : {
2426 : 86014 : emit_insn (gen_kortest<mode>_ccc (operands[1], operands[1]));
2427 : 26 : operands[4] = gen_rtx_REG (CCCmode, FLAGS_REG);
2428 : 6 : }
2429 : 0 : else
2430 : 6 : {
2431 : 50 : operands[4] = gen_rtx_REG (CCZmode, FLAGS_REG);
2432 : 50 : emit_insn (gen_rtx_SET (operands[4],
2433 : : gen_rtx_COMPARE (CCZmode,
2434 : : operands[1],
2435 : : constm1_rtx)));
2436 : : }
2437 : 70 : ix86_expand_branch (GET_CODE (operands[0]),
2438 : : operands[4],
2439 : : const0_rtx,
2440 : : operands[2]);
2441 : 70 : DONE;
2442 : : })
2443 : :
2444 : : ;; Optimize cmp + movcc with mask register by kortest + movcc.
2445 : : (define_insn_and_split "*kortest_cmp<SWI1248_AVX512BWDQ_64:mode>_movqicc"
2446 : : [(set (match_operand:QI 0 "register_operand" "=r,r,r,r,r,r")
2447 : : (if_then_else:QI
2448 : : (match_operator 1 "bt_comparison_operator"
2449 : : [(match_operand:SWI1248_AVX512BWDQ_64 4 "register_operand"
2450 : : "?k,<SWI1248_AVX512BWDQ_64:r>,?k, <SWI1248_AVX512BWDQ_64:r>,?k,r")
2451 : : (const_int -1)])
2452 : : (match_operand:QI 2 "register_operand" "r,r,0,0,r,r")
2453 : : (match_operand:QI 3 "register_operand" " 0,0,r,r,r,r")))
2454 : 4 : (clobber (reg:CC FLAGS_REG))]
2455 : 180 : "TARGET_AVX512BW && TARGET_CMOVE && !TARGET_PARTIAL_REG_STALL"
2456 : 4 : "#"
2457 : 4 : "&& reload_completed"
2458 : 4 : [(set (match_dup 0)
2459 : 6 : (if_then_else:SI
2460 : 740 : (match_dup 5)
2461 : 748 : (match_dup 2)
2462 : 12 : (match_dup 3)))]
2463 : 6 : {
2464 : 2 : rtx flag_reg;
2465 : 6 : if (MASK_REGNO_P (REGNO (operands[4])))
2466 : : {
2467 : 2 : emit_insn (gen_kortest<SWI1248_AVX512BWDQ_64:mode>_ccc (operands[4], operands[4]));
2468 : 2 : flag_reg = gen_rtx_REG (CCCmode, FLAGS_REG);
2469 : : }
2470 : : else
2471 : : {
2472 : 0 : flag_reg = gen_rtx_REG (CCZmode, FLAGS_REG);
2473 : 0 : emit_insn (gen_rtx_SET (flag_reg,
2474 : : gen_rtx_COMPARE (CCZmode,
2475 : : operands[4],
2476 : : constm1_rtx)));
2477 : : }
2478 : 2 : operands[5] = gen_rtx_fmt_ee (GET_CODE (operands[1]), VOIDmode,
2479 : : flag_reg,const0_rtx);
2480 : 2 : operands[0] = gen_lowpart (SImode, operands[0]);
2481 : 2 : operands[2] = gen_lowpart (SImode, operands[2]);
2482 : 2 : operands[3] = gen_lowpart (SImode, operands[3]);
2483 : : }
2484 : : [(set_attr "isa" "*,*,*,*,apx_ndd,apx_ndd")
2485 : : (set_attr "type" "icmov")
2486 : 2 : (set_attr "mode" "QI")])
2487 : 2 :
2488 : 2 : (define_insn_and_split "*kortest_cmp<SWI1248_AVX512BWDQ_64:mode>_mov<SWI248:mode>cc"
2489 : 2 : [(set (match_operand:SWI248 0 "register_operand" "=r,r,r,r,r,r,r,r")
2490 : 2 : (if_then_else:SWI248
2491 : 2 : (match_operator 1 "bt_comparison_operator"
2492 : 2 : [(match_operand:SWI1248_AVX512BWDQ_64 4 "register_operand"
2493 : 2 : "?k,<SWI1248_AVX512BWDQ_64:r>,?k, <SWI1248_AVX512BWDQ_64:r>,?k,r,?k, r")
2494 : 2 : (const_int -1)])
2495 : 2 : (match_operand:SWI248 2 "nonimmediate_operand" "rm,rm, 0, 0,rm,rm, r, r")
2496 : 2 : (match_operand:SWI248 3 "nonimmediate_operand" " 0, 0,rm,rm, r, r,rm,rm")))
2497 : 2 : (clobber (reg:CC FLAGS_REG))]
2498 : 3977 : "TARGET_AVX512BW && TARGET_CMOVE
2499 : 60 : && !(MEM_P (operands[2]) && MEM_P (operands[3]))"
2500 : : "#"
2501 : 7 : "&& reload_completed"
2502 : 3 : [(set (match_dup 0)
2503 : 17 : (if_then_else:SWI248
2504 : 542 : (match_dup 5)
2505 : 559 : (match_dup 2)
2506 : 40 : (match_dup 3)))]
2507 : 12 : {
2508 : 12 : rtx flag_reg;
2509 : 39266 : if (MASK_REGNO_P (REGNO (operands[4])))
2510 : 39256 : {
2511 : 39266 : emit_insn (gen_kortest<SWI1248_AVX512BWDQ_64:mode>_ccc (operands[4], operands[4]));
2512 : 12 : flag_reg = gen_rtx_REG (CCCmode, FLAGS_REG);
2513 : 4 : }
2514 : 4 : else
2515 : 4 : {
2516 : 2 : flag_reg = gen_rtx_REG (CCZmode, FLAGS_REG);
2517 : 2 : emit_insn (gen_rtx_SET (flag_reg,
2518 : 4 : gen_rtx_COMPARE (CCZmode,
2519 : 2 : operands[4],
2520 : 2 : constm1_rtx)));
2521 : 0 : }
2522 : 14 : operands[5] = gen_rtx_fmt_ee (GET_CODE (operands[1]), VOIDmode,
2523 : : flag_reg,const0_rtx);
2524 : : }
2525 : : [(set_attr "isa" "*,*,*,*,apx_ndd,apx_ndd,apx_ndd,apx_ndd")
2526 : : (set_attr "type" "icmov")
2527 : 12 : (set_attr "mode" "<SWI248:MODE>")])
2528 : 12 :
2529 : 12 : (define_insn "kunpckhi"
2530 : 12 : [(set (match_operand:HI 0 "register_operand" "=k")
2531 : 12 : (ior:HI
2532 : 12 : (ashift:HI
2533 : 12 : (zero_extend:HI (match_operand:QI 1 "register_operand" "k"))
2534 : 12 : (const_int 8))
2535 : 12 : (zero_extend:HI (match_operand:QI 2 "register_operand" "k"))))
2536 : 12 : (unspec [(const_int 0)] UNSPEC_MASKOP)]
2537 : 932 : "TARGET_AVX512F"
2538 : 12 : "kunpckbw\t{%2, %1, %0|%0, %1, %2}"
2539 : 12 : [(set_attr "mode" "HI")
2540 : : (set_attr "type" "msklog")
2541 : 492 : (set_attr "prefix" "vex")])
2542 : 492 :
2543 : : (define_insn "kunpcksi"
2544 : 12 : [(set (match_operand:SI 0 "register_operand" "=k")
2545 : 504 : (ior:SI
2546 : 12 : (ashift:SI
2547 : : (zero_extend:SI (match_operand:HI 1 "register_operand" "k"))
2548 : : (const_int 16))
2549 : : (zero_extend:SI (match_operand:HI 2 "register_operand" "k"))))
2550 : : (unspec [(const_int 0)] UNSPEC_MASKOP)]
2551 : 899 : "TARGET_AVX512BW"
2552 : 2 : "kunpckwd\t{%2, %1, %0|%0, %1, %2}"
2553 : : [(set_attr "mode" "SI")])
2554 : 431 :
2555 : 891 : (define_insn "kunpckdi"
2556 : 893 : [(set (match_operand:DI 0 "register_operand" "=k")
2557 : 431 : (ior:DI
2558 : 431 : (ashift:DI
2559 : 893 : (zero_extend:DI (match_operand:SI 1 "register_operand" "k"))
2560 : 2 : (const_int 32))
2561 : 2 : (zero_extend:DI (match_operand:SI 2 "register_operand" "k"))))
2562 : 0 : (unspec [(const_int 0)] UNSPEC_MASKOP)]
2563 : 464 : "TARGET_AVX512BW"
2564 : : "kunpckdq\t{%2, %1, %0|%0, %1, %2}"
2565 : : [(set_attr "mode" "DI")])
2566 : :
2567 : :
2568 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
2569 : : ;;
2570 : : ;; Parallel floating point arithmetic
2571 : : ;;
2572 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
2573 : :
2574 : : (define_expand "<code><mode>2"
2575 : 247792 : [(set (match_operand:VFB 0 "register_operand")
2576 : 247792 : (absneg:VFB
2577 : 247792 : (match_operand:VFB 1 "register_operand")))]
2578 : 247792 : "TARGET_SSE"
2579 : 250050 : "ix86_expand_fp_absneg_operator (<CODE>, <MODE>mode, operands); DONE;")
2580 : :
2581 : : (define_insn_and_split "*<code><mode>2"
2582 : : [(set (match_operand:VFB 0 "register_operand" "=x,x,v,v")
2583 : 235908 : (absneg:VFB
2584 : : (match_operand:VFB 1 "vector_operand" "0,xBm,v,m")))
2585 : : (use (match_operand:VFB 2 "vector_operand" "xBm,0,vm,v"))]
2586 : 7774 : "TARGET_SSE"
2587 : 4604 : "#"
2588 : 4608 : "&& reload_completed"
2589 : 4604 : [(set (match_dup 0)
2590 : 6148 : (<absneg_op>:VFB (match_dup 1) (match_dup 2)))]
2591 : 6415 : {
2592 : 9233 : if (TARGET_AVX)
2593 : 3207 : {
2594 : 5874 : if (MEM_P (operands[1]))
2595 : 4774 : std::swap (operands[1], operands[2]);
2596 : 773334 : }
2597 : 775161 : else
2598 : 768748 : {
2599 : 4692 : if (operands_match_p (operands[0], operands[2]))
2600 : 692049 : std::swap (operands[1], operands[2]);
2601 : 693815 : }
2602 : 693831 : }
2603 : 693831 : [(set_attr "isa" "noavx,noavx,avx,avx")])
2604 : 677232 :
2605 : 689375 : (define_insn_and_split "*nabs<mode>2"
2606 : 687566 : [(set (match_operand:VF 0 "register_operand" "=x,x,v,v")
2607 : 11878 : (neg:VF
2608 : 1622 : (abs:VF
2609 : 11955 : (match_operand:VF 1 "vector_operand" "0,xBm,v,m"))))
2610 : 11877 : (use (match_operand:VF 2 "vector_operand" "xBm,0,vm,v"))]
2611 : 1622 : "TARGET_SSE"
2612 : 10333 : "#"
2613 : 10333 : "&& reload_completed"
2614 : : [(set (match_dup 0)
2615 : 1544 : (ior:VF (match_dup 1) (match_dup 2)))]
2616 : 11877 : {
2617 : 25131 : if (TARGET_AVX)
2618 : 0 : {
2619 : 0 : if (MEM_P (operands[1]))
2620 : 0 : std::swap (operands[1], operands[2]);
2621 : : }
2622 : 6 : else
2623 : 1526 : {
2624 : 0 : if (operands_match_p (operands[0], operands[2]))
2625 : 904 : std::swap (operands[1], operands[2]);
2626 : 1526 : }
2627 : 425709 : }
2628 : 1532 : [(set_attr "isa" "noavx,noavx,avx,avx")])
2629 : 425715 :
2630 : 424183 : (define_expand "cond_<insn><mode>"
2631 : 425709 : [(set (match_operand:VFH 0 "register_operand")
2632 : 424189 : (vec_merge:VFH
2633 : 424189 : (plusminus:VFH
2634 : 424189 : (match_operand:VFH 2 "vector_operand")
2635 : 424189 : (match_operand:VFH 3 "vector_operand"))
2636 : 424189 : (match_operand:VFH 4 "nonimm_or_0_operand")
2637 : : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
2638 : 1223 : "<MODE_SIZE> == 64 || TARGET_AVX512VL"
2639 : 1360 : {
2640 : 1360 : emit_insn (gen_<insn><mode>3_mask (operands[0],
2641 : 1223 : operands[2],
2642 : 1223 : operands[3],
2643 : 1223 : operands[4],
2644 : 1223 : operands[1]));
2645 : 1360 : DONE;
2646 : : })
2647 : 46 :
2648 : 0 : (define_expand "<insn><mode>3<mask_name><round_name>"
2649 : : [(set (match_operand:VF_BHSD 0 "register_operand")
2650 : 0 : (plusminus:VF_BHSD
2651 : : (match_operand:VF_BHSD 1 "<round_nimm_predicate>")
2652 : : (match_operand:VF_BHSD 2 "<round_nimm_predicate>")))]
2653 : 46 : "TARGET_SSE && <mask_mode512bit_condition> && <round_mode_condition>"
2654 : 18996 : "ix86_fixup_binary_operands_no_copy (<CODE>, <MODE>mode, operands);")
2655 : 46 :
2656 : 46 : (define_insn "*<insn><mode>3<mask_name><round_name>"
2657 : 42987 : [(set (match_operand:VFH 0 "register_operand" "=x,v")
2658 : 42987 : (plusminus:VFH
2659 : 42987 : (match_operand:VFH 1 "<bcst_round_nimm_predicate>" "<comm>0,v")
2660 : 42987 : (match_operand:VFH 2 "<bcst_round_nimm_predicate>" "xBm,<bcst_round_constraint>")))]
2661 : 545093 : "TARGET_SSE && ix86_binary_operator_ok (<CODE>, <MODE>mode, operands)
2662 : 329261 : && <mask_mode512bit_condition> && <round_mode_condition>"
2663 : 1945 : "@
2664 : 42105 : <plusminus_mnemonic><ssemodesuffix>\t{%2, %0|%0, %2}
2665 : 1217 : v<plusminus_mnemonic><ssemodesuffix>\t{<round_mask_op3>%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2<round_mask_op3>}"
2666 : 4784 : [(set_attr "isa" "noavx,avx")
2667 : 6479 : (set_attr "type" "sseadd")
2668 : 43787 : (set_attr "prefix" "<bcst_mask_prefix3>")
2669 : 41724 : (set_attr "mode" "<MODE>")])
2670 : 22214 :
2671 : : ;; Standard scalar operation patterns which preserve the rest of the
2672 : : ;; vector for combiner.
2673 : : (define_insn "*<sse>_vm<insn><mode>3"
2674 : 4205 : [(set (match_operand:VFH_128 0 "register_operand" "=x,v")
2675 : 16606 : (vec_merge:VFH_128
2676 : 485 : (vec_duplicate:VFH_128
2677 : 485 : (plusminus:<ssescalarmode>
2678 : 909 : (vec_select:<ssescalarmode>
2679 : 16548 : (match_operand:VFH_128 1 "register_operand" "0,v")
2680 : 15983 : (parallel [(const_int 0)]))
2681 : 3845 : (match_operand:<ssescalarmode> 2 "nonimmediate_operand" "xm,vm")))
2682 : 17916 : (match_dup 1)
2683 : 3666 : (const_int 1)))]
2684 : 16049 : "TARGET_SSE"
2685 : 17392 : "@
2686 : 21163 : <plusminus_mnemonic><ssescalarmodesuffix>\t{%2, %0|%0, %2}
2687 : 17016 : v<plusminus_mnemonic><ssescalarmodesuffix>\t{%2, %1, %0|%0, %1, %2}"
2688 : 5187 : [(set_attr "isa" "noavx,avx")
2689 : 1992 : (set_attr "type" "sseadd")
2690 : 21581 : (set (attr "prefix")
2691 : 21546 : (cond [(eq_attr "alternative" "0")
2692 : 22064 : (const_string "orig")
2693 : 5229 : (eq_attr "alternative" "1")
2694 : 5074 : (if_then_else
2695 : 5008 : (match_test "<MODE>mode == V8HFmode")
2696 : 5058 : (const_string "evex")
2697 : 5240 : (const_string "vex"))
2698 : 4925 : ]
2699 : 188 : (const_string "*")))
2700 : 188 : (set_attr "mode" "<ssescalarmode>")])
2701 : 188 :
2702 : 188 : (define_insn "<sse>_vm<insn><mode>3<mask_scalar_name><round_scalar_name>"
2703 : : [(set (match_operand:VFH_128 0 "register_operand" "=x,v")
2704 : : (vec_merge:VFH_128
2705 : : (plusminus:VFH_128
2706 : : (match_operand:VFH_128 1 "register_operand" "0,v")
2707 : : (match_operand:VFH_128 2 "nonimmediate_operand" "xm,<round_scalar_constraint>"))
2708 : : (match_dup 1)
2709 : : (const_int 1)))]
2710 : 1229 : "TARGET_SSE"
2711 : : "@
2712 : : <plusminus_mnemonic><ssescalarmodesuffix>\t{%2, %0|%0, %<iptr>2}
2713 : : v<plusminus_mnemonic><ssescalarmodesuffix>\t{<round_scalar_mask_op3>%2, %1, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %1, %<iptr>2<round_scalar_mask_op3>}"
2714 : 3078 : [(set_attr "isa" "noavx,avx")
2715 : 3078 : (set_attr "type" "sseadd")
2716 : : (set_attr "prefix" "<round_scalar_prefix>")
2717 : : (set_attr "mode" "<ssescalarmode>")])
2718 : :
2719 : : (define_expand "cond_mul<mode>"
2720 : : [(set (match_operand:VFH 0 "register_operand")
2721 : : (vec_merge:VFH
2722 : : (mult:VFH
2723 : : (match_operand:VFH 2 "vector_operand")
2724 : : (match_operand:VFH 3 "vector_operand"))
2725 : : (match_operand:VFH 4 "nonimm_or_0_operand")
2726 : : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
2727 : : "<MODE_SIZE> == 64 || TARGET_AVX512VL"
2728 : 38 : {
2729 : 38 : emit_insn (gen_mul<mode>3_mask (operands[0],
2730 : : operands[2],
2731 : : operands[3],
2732 : : operands[4],
2733 : : operands[1]));
2734 : 38 : DONE;
2735 : : })
2736 : :
2737 : : (define_expand "mul<mode>3<mask_name><round_name>"
2738 : : [(set (match_operand:VF_BHSD 0 "register_operand")
2739 : : (mult:VF_BHSD
2740 : : (match_operand:VF_BHSD 1 "<round_nimm_predicate>")
2741 : : (match_operand:VF_BHSD 2 "<round_nimm_predicate>")))]
2742 : : "TARGET_SSE && <mask_mode512bit_condition> && <round_mode_condition>"
2743 : 13830 : "ix86_fixup_binary_operands_no_copy (MULT, <MODE>mode, operands);")
2744 : :
2745 : : (define_insn "*mul<mode>3<mask_name><round_name>"
2746 : 13880 : [(set (match_operand:VFH 0 "register_operand" "=x,v")
2747 : 13880 : (mult:VFH
2748 : 13880 : (match_operand:VFH 1 "<bcst_round_nimm_predicate>" "%0,v")
2749 : 13880 : (match_operand:VFH 2 "<bcst_round_nimm_predicate>" "xBm,<bcst_round_constraint>")))]
2750 : 205911 : "TARGET_SSE && ix86_binary_operator_ok (MULT, <MODE>mode, operands)
2751 : 126775 : && <mask_mode512bit_condition> && <round_mode_condition>"
2752 : 12803 : "@
2753 : 13632 : mul<ssemodesuffix>\t{%2, %0|%0, %2}
2754 : 443 : vmul<ssemodesuffix>\t{<round_mask_op3>%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2<round_mask_op3>}"
2755 : 1042 : [(set_attr "isa" "noavx,avx")
2756 : 949 : (set_attr "type" "ssemul")
2757 : 14436 : (set_attr "prefix" "<bcst_mask_prefix3>")
2758 : 14450 : (set_attr "btver2_decode" "direct,double")
2759 : 5914 : (set_attr "mode" "<MODE>")])
2760 : :
2761 : : ;; Standard scalar operation patterns which preserve the rest of the
2762 : : ;; vector for combiner.
2763 : 2198 : (define_insn "*<sse>_vm<multdiv_mnemonic><mode>3"
2764 : 10159 : [(set (match_operand:VFH_128 0 "register_operand" "=x,v")
2765 : 210 : (vec_merge:VFH_128
2766 : 210 : (vec_duplicate:VFH_128
2767 : 687 : (multdiv:<ssescalarmode>
2768 : 5175 : (vec_select:<ssescalarmode>
2769 : 9724 : (match_operand:VFH_128 1 "register_operand" "0,v")
2770 : 308 : (parallel [(const_int 0)]))
2771 : 6639 : (match_operand:<ssescalarmode> 2 "nonimmediate_operand" "xm,vm")))
2772 : 10152 : (match_dup 1)
2773 : 4586 : (const_int 1)))]
2774 : 11435 : "TARGET_SSE"
2775 : 1905 : "@
2776 : 2646 : <multdiv_mnemonic><ssescalarmodesuffix>\t{%2, %0|%0, %2}
2777 : 3955 : v<multdiv_mnemonic><ssescalarmodesuffix>\t{%2, %1, %0|%0, %1, %2}"
2778 : 982 : [(set_attr "isa" "noavx,avx")
2779 : 2652 : (set_attr "type" "sse<multdiv_mnemonic>")
2780 : 2685 : (set (attr "prefix")
2781 : 2797 : (cond [(eq_attr "alternative" "0")
2782 : 2103 : (const_string "orig")
2783 : 2165 : (eq_attr "alternative" "1")
2784 : 2164 : (if_then_else
2785 : 2149 : (match_test "<MODE>mode == V8HFmode")
2786 : 2113 : (const_string "evex")
2787 : 2021 : (const_string "vex"))
2788 : 53 : ]
2789 : 25 : (const_string "*")))
2790 : 53 : (set_attr "btver2_decode" "direct,double")
2791 : 53 : (set_attr "mode" "<ssescalarmode>")])
2792 : 28 :
2793 : 28 : (define_insn "<sse>_vm<multdiv_mnemonic><mode>3<mask_scalar_name><round_scalar_name>"
2794 : : [(set (match_operand:VFH_128 0 "register_operand" "=x,v")
2795 : : (vec_merge:VFH_128
2796 : : (multdiv:VFH_128
2797 : : (match_operand:VFH_128 1 "register_operand" "0,v")
2798 : : (match_operand:VFH_128 2 "nonimmediate_operand" "xm,<round_scalar_constraint>"))
2799 : : (match_dup 1)
2800 : : (const_int 1)))]
2801 : 1158 : "TARGET_SSE"
2802 : : "@
2803 : : <multdiv_mnemonic><ssescalarmodesuffix>\t{%2, %0|%0, %<iptr>2}
2804 : : v<multdiv_mnemonic><ssescalarmodesuffix>\t{<round_scalar_mask_op3>%2, %1, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %1, %<iptr>2<round_scalar_mask_op3>}"
2805 : 1176 : [(set_attr "isa" "noavx,avx")
2806 : 1176 : (set_attr "type" "sse<multdiv_mnemonic>")
2807 : : (set_attr "prefix" "<round_scalar_prefix>")
2808 : : (set_attr "btver2_decode" "direct,double")
2809 : : (set_attr "mode" "<ssescalarmode>")])
2810 : :
2811 : : (define_expand "div<mode>3"
2812 : : [(set (match_operand:VF2 0 "register_operand")
2813 : : (div:VF2 (match_operand:VF2 1 "register_operand")
2814 : : (match_operand:VF2 2 "vector_operand")))]
2815 : : "TARGET_SSE2")
2816 : :
2817 : : (define_expand "div<mode>3"
2818 : : [(set (match_operand:VHF_AVX512VL 0 "register_operand")
2819 : : (div:VHF_AVX512VL
2820 : : (match_operand:VHF_AVX512VL 1 "register_operand")
2821 : : (match_operand:VHF_AVX512VL 2 "vector_operand")))]
2822 : : "TARGET_AVX512FP16"
2823 : 107 : {
2824 : : /* Transform HF vector div to vector mul/rcp. */
2825 : 107 : if (GET_MODE_INNER (<MODE>mode) == HFmode
2826 : 107 : && TARGET_RECIP_VEC_DIV
2827 : 107 : && optimize_insn_for_speed_p ()
2828 : 107 : && flag_finite_math_only && !flag_trapping_math
2829 : 4 : && flag_unsafe_math_optimizations)
2830 : : {
2831 : 4 : rtx op = gen_reg_rtx (<MODE>mode);
2832 : 4 : operands[2] = force_reg (<MODE>mode, operands[2]);
2833 : 4 : emit_insn (gen_avx512fp16_rcp<mode>2 (op, operands[2]));
2834 : 4 : emit_insn (gen_mul<mode>3 (operands[0], operands[1], op));
2835 : 4 : DONE;
2836 : : }
2837 : : })
2838 : :
2839 : : (define_expand "div<mode>3"
2840 : 103 : [(set (match_operand:VF1 0 "register_operand")
2841 : 103 : (div:VF1 (match_operand:VF1 1 "register_operand")
2842 : 103 : (match_operand:VF1 2 "vector_operand")))]
2843 : 103 : "TARGET_SSE"
2844 : 814 : {
2845 : 814 : if (TARGET_SSE_MATH
2846 : 711 : && TARGET_RECIP_VEC_DIV
2847 : 813 : && !optimize_insn_for_size_p ()
2848 : 706 : && flag_finite_math_only && !flag_trapping_math
2849 : 755 : && flag_unsafe_math_optimizations)
2850 : : {
2851 : 147 : ix86_emit_swdivsf (operands[0], operands[1], operands[2], <MODE>mode);
2852 : 147 : DONE;
2853 : 103 : }
2854 : : })
2855 : :
2856 : : (define_expand "div<mode>3"
2857 : 667 : [(set (match_operand:VBF_AVX10_2 0 "register_operand")
2858 : 682 : (div:VBF_AVX10_2
2859 : 667 : (match_operand:VBF_AVX10_2 1 "register_operand")
2860 : 667 : (match_operand:VBF_AVX10_2 2 "vector_operand")))]
2861 : 667 : "TARGET_AVX10_2_256"
2862 : 677 : {
2863 : 10 : if (TARGET_RECIP_VEC_DIV
2864 : 692 : && optimize_insn_for_speed_p ()
2865 : 25 : && flag_finite_math_only
2866 : 30 : && flag_unsafe_math_optimizations)
2867 : 15 : {
2868 : 687 : rtx op = gen_reg_rtx (<MODE>mode);
2869 : 687 : operands[2] = force_reg (<MODE>mode, operands[2]);
2870 : 687 : emit_insn (gen_avx10_2_rcppbf16_<mode> (op, operands[2]));
2871 : 20 : emit_insn (gen_avx10_2_mulnepbf16_<mode> (operands[0], operands[1], op));
2872 : 20 : DONE;
2873 : : }
2874 : : })
2875 : 19 :
2876 : : (define_expand "cond_div<mode>"
2877 : 5 : [(set (match_operand:VFH 0 "register_operand")
2878 : 5 : (vec_merge:VFH
2879 : 5 : (div:VFH
2880 : 5 : (match_operand:VFH 2 "register_operand")
2881 : 24 : (match_operand:VFH 3 "vector_operand"))
2882 : 24 : (match_operand:VFH 4 "nonimm_or_0_operand")
2883 : 19 : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
2884 : 24 : "<MODE_SIZE> == 64 || TARGET_AVX512VL"
2885 : 37 : {
2886 : 37 : emit_insn (gen_<sse>_div<mode>3_mask (operands[0],
2887 : 19 : operands[2],
2888 : 24 : operands[3],
2889 : 24 : operands[4],
2890 : 5 : operands[1]));
2891 : 37 : DONE;
2892 : : })
2893 : :
2894 : : (define_insn "<sse>_div<mode>3<mask_name><round_name>"
2895 : 3 : [(set (match_operand:VFH 0 "register_operand" "=x,v")
2896 : : (div:VFH
2897 : : (match_operand:VFH 1 "register_operand" "0,v")
2898 : 0 : (match_operand:VFH 2 "<bcst_round_nimm_predicate>" "xBm,<bcst_round_constraint>")))]
2899 : 8873 : "TARGET_SSE && <mask_mode512bit_condition> && <round_mode_condition>"
2900 : : "@
2901 : 3 : div<ssemodesuffix>\t{%2, %0|%0, %2}
2902 : 3 : vdiv<ssemodesuffix>\t{<round_mask_op3>%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2<round_mask_op3>}"
2903 : 453 : [(set_attr "isa" "noavx,avx")
2904 : 453 : (set_attr "type" "ssediv")
2905 : 799 : (set_attr "prefix" "<bcst_mask_prefix3>")
2906 : 99 : (set_attr "mode" "<MODE>")])
2907 : 357 :
2908 : 3 : (define_insn "<sse>_rcp<mode>2"
2909 : 3 : [(set (match_operand:VF1_128_256 0 "register_operand" "=x,x")
2910 : : (unspec:VF1_128_256
2911 : 1094 : [(match_operand:VF1_128_256 1 "vector_operand" "xBm,xja")] UNSPEC_RCP))]
2912 : 479 : "TARGET_SSE"
2913 : 130 : "%vrcpps\t{%1, %0|%0, %1}"
2914 : : [(set_attr "isa" "noavx,avx")
2915 : 2 : (set_attr "type" "sse")
2916 : 88 : (set_attr "addr" "*,gpr16")
2917 : 88 : (set_attr "atom_sse_attr" "rcp")
2918 : 82 : (set_attr "btver2_sse_attr" "rcp")
2919 : 80 : (set_attr "prefix" "maybe_vex")
2920 : 246 : (set_attr "mode" "<MODE>")])
2921 : :
2922 : : (define_insn "sse_vmrcpv4sf2"
2923 : 79 : [(set (match_operand:V4SF 0 "register_operand" "=x,x")
2924 : 73 : (vec_merge:V4SF
2925 : 90 : (unspec:V4SF [(match_operand:V4SF 1 "nonimmediate_operand" "xm,xjm")]
2926 : 73 : UNSPEC_RCP)
2927 : 73 : (match_operand:V4SF 2 "register_operand" "0,x")
2928 : 90 : (const_int 1)))]
2929 : 99 : "TARGET_SSE"
2930 : 8 : "@
2931 : 0 : rcpss\t{%1, %0|%0, %k1}
2932 : 0 : vrcpss\t{%1, %2, %0|%0, %2, %k1}"
2933 : 91 : [(set_attr "isa" "noavx,avx")
2934 : 87 : (set_attr "type" "sse")
2935 : 6 : (set_attr "addr" "*,gpr16")
2936 : 4 : (set_attr "atom_sse_attr" "rcp")
2937 : 4 : (set_attr "btver2_sse_attr" "rcp")
2938 : 6 : (set_attr "prefix" "orig,vex")
2939 : : (set_attr "mode" "SF")])
2940 : 54 :
2941 : : (define_insn "*sse_vmrcpv4sf2"
2942 : 0 : [(set (match_operand:V4SF 0 "register_operand" "=x,x")
2943 : 54 : (vec_merge:V4SF
2944 : : (vec_duplicate:V4SF
2945 : : (unspec:SF [(match_operand:SF 1 "nonimmediate_operand" "xm,xjm")]
2946 : : UNSPEC_RCP))
2947 : 3 : (match_operand:V4SF 2 "register_operand" "0,x")
2948 : 0 : (const_int 1)))]
2949 : 0 : "TARGET_SSE"
2950 : 0 : "@
2951 : 0 : rcpss\t{%1, %0|%0, %1}
2952 : 0 : vrcpss\t{%1, %2, %0|%0, %2, %1}"
2953 : 35 : [(set_attr "isa" "noavx,avx")
2954 : 35 : (set_attr "type" "sse")
2955 : 3 : (set_attr "addr" "*,gpr16")
2956 : 3 : (set_attr "atom_sse_attr" "rcp")
2957 : 35 : (set_attr "btver2_sse_attr" "rcp")
2958 : 3 : (set_attr "prefix" "orig,vex")
2959 : 3 : (set_attr "mode" "SF")])
2960 : 3 :
2961 : 3 : (define_insn "avx512fp16_rcp<mode>2<mask_name>"
2962 : 3 : [(set (match_operand:VHF_AVX512VL 0 "register_operand" "=v")
2963 : : (unspec:VHF_AVX512VL
2964 : : [(match_operand:VHF_AVX512VL 1 "nonimmediate_operand" "vm")]
2965 : : UNSPEC_RCP))]
2966 : 598 : "TARGET_AVX512FP16"
2967 : : "vrcpph\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
2968 : 3 : [(set_attr "type" "sse")
2969 : 3 : (set_attr "prefix" "evex")
2970 : 3 : (set_attr "mode" "<MODE>")])
2971 : 3 :
2972 : 3 : (define_insn "avx512fp16_vmrcpv8hf2<mask_scalar_name>"
2973 : 3 : [(set (match_operand:V8HF 0 "register_operand" "=v")
2974 : 3 : (vec_merge:V8HF
2975 : 3 : (unspec:V8HF [(match_operand:V8HF 1 "nonimmediate_operand" "vm")]
2976 : 3 : UNSPEC_RCP)
2977 : : (match_operand:V8HF 2 "register_operand" "v")
2978 : : (const_int 1)))]
2979 : 313 : "TARGET_AVX512FP16"
2980 : : "vrcpsh\t{%1, %2, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %2, %w1}"
2981 : : [(set_attr "type" "sse")
2982 : : (set_attr "prefix" "evex")
2983 : 445 : (set_attr "mode" "HF")])
2984 : 445 :
2985 : : (define_insn "*avx512fp16_vmrcpv8hf2"
2986 : 233 : [(set (match_operand:V8HF 0 "register_operand" "=v")
2987 : 1613 : (vec_merge:V8HF
2988 : 1380 : (vec_duplicate:V8HF
2989 : 1613 : (unspec:HF [(match_operand:HF 1 "nonimmediate_operand" "vm")]
2990 : 1380 : UNSPEC_RCP))
2991 : : (match_operand:V8HF 2 "register_operand" "v")
2992 : 241 : (const_int 1)))]
2993 : 271 : "TARGET_AVX512FP16"
2994 : : "vrcpsh\t{%1, %2, %0|%0, %2, %w1}"
2995 : : [(set_attr "type" "sse")
2996 : 241 : (set_attr "prefix" "evex")
2997 : : (set_attr "mode" "HF")])
2998 : :
2999 : : (define_insn "<mask_codefor>rcp14<mode><mask_name>"
3000 : : [(set (match_operand:VF_AVX512VL 0 "register_operand" "=v")
3001 : 32 : (unspec:VF_AVX512VL
3002 : 32 : [(match_operand:VF_AVX512VL 1 "nonimmediate_operand" "vm")]
3003 : : UNSPEC_RCP14))]
3004 : 588 : "TARGET_AVX512F"
3005 : 0 : "vrcp14<ssemodesuffix>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
3006 : : [(set_attr "type" "sse")
3007 : : (set_attr "prefix" "evex")
3008 : 0 : (set_attr "mode" "<MODE>")])
3009 : :
3010 : : (define_insn "srcp14<mode>"
3011 : : [(set (match_operand:VF_128 0 "register_operand" "=v")
3012 : : (vec_merge:VF_128
3013 : : (unspec:VF_128
3014 : : [(match_operand:VF_128 1 "nonimmediate_operand" "vm")]
3015 : : UNSPEC_RCP14)
3016 : : (match_operand:VF_128 2 "register_operand" "v")
3017 : : (const_int 1)))]
3018 : 81 : "TARGET_AVX512F"
3019 : : "vrcp14<ssescalarmodesuffix>\t{%1, %2, %0|%0, %2, %<iptr>1}"
3020 : : [(set_attr "type" "sse")
3021 : : (set_attr "prefix" "evex")
3022 : 91 : (set_attr "mode" "<MODE>")])
3023 : 91 :
3024 : : (define_insn "srcp14<mode>_mask"
3025 : : [(set (match_operand:VF_128 0 "register_operand" "=v")
3026 : : (vec_merge:VF_128
3027 : : (vec_merge:VF_128
3028 : : (unspec:VF_128
3029 : : [(match_operand:VF_128 1 "nonimmediate_operand" "vm")]
3030 : : UNSPEC_RCP14)
3031 : : (match_operand:VF_128 3 "nonimm_or_0_operand" "0C")
3032 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk"))
3033 : : (match_operand:VF_128 2 "register_operand" "v")
3034 : : (const_int 1)))]
3035 : 209 : "TARGET_AVX512F"
3036 : : "vrcp14<ssescalarmodesuffix>\t{%1, %2, %0%{%4%}%N3|%0%{%4%}%N3, %2, %<iptr>1}"
3037 : : [(set_attr "type" "sse")
3038 : : (set_attr "prefix" "evex")
3039 : 212 : (set_attr "mode" "<MODE>")])
3040 : 212 :
3041 : : (define_expand "sqrt<mode>2"
3042 : 212 : [(set (match_operand:VF2HB 0 "register_operand")
3043 : : (sqrt:VF2HB (match_operand:VF2HB 1 "vector_operand")))]
3044 : : "TARGET_SSE2")
3045 : :
3046 : : (define_expand "sqrt<mode>2"
3047 : : [(set (match_operand:VF1 0 "register_operand")
3048 : : (sqrt:VF1 (match_operand:VF1 1 "vector_operand")))]
3049 : : "TARGET_SSE"
3050 : 64 : {
3051 : 64 : if (TARGET_SSE_MATH
3052 : 64 : && TARGET_RECIP_VEC_SQRT
3053 : 63 : && !optimize_insn_for_size_p ()
3054 : 63 : && flag_finite_math_only && !flag_trapping_math
3055 : 117 : && flag_unsafe_math_optimizations)
3056 : : {
3057 : 53 : ix86_emit_swsqrtsf (operands[0], operands[1], <MODE>mode, false);
3058 : 53 : DONE;
3059 : : }
3060 : : })
3061 : :
3062 : : (define_insn "<sse>_sqrt<mode>2<mask_name><round_name>"
3063 : 11 : [(set (match_operand:VFH 0 "register_operand" "=x,v")
3064 : 11 : (sqrt:VFH (match_operand:VFH 1 "<round_nimm_predicate>" "xBm,<round_constraint>")))]
3065 : 1011 : "TARGET_SSE && <mask_mode512bit_condition> && <round_mode_condition>"
3066 : 58 : "@
3067 : : sqrt<ssemodesuffix>\t{%1, %0|%0, %1}
3068 : 11 : vsqrt<ssemodesuffix>\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
3069 : 115 : [(set_attr "isa" "noavx,avx")
3070 : 115 : (set_attr "type" "sse")
3071 : 742 : (set_attr "atom_sse_attr" "sqrt")
3072 : 32 : (set_attr "btver2_sse_attr" "sqrt")
3073 : 145 : (set_attr "prefix" "maybe_vex")
3074 : : (set_attr "mode" "<MODE>")])
3075 : :
3076 : : (define_insn "<sse>_vmsqrt<mode>2<mask_scalar_name><round_scalar_name>"
3077 : 1179 : [(set (match_operand:VFH_128 0 "register_operand" "=x,v")
3078 : 4 : (vec_merge:VFH_128
3079 : : (sqrt:VFH_128
3080 : : (match_operand:VFH_128 1 "nonimmediate_operand" "xm,<round_scalar_constraint>"))
3081 : : (match_operand:VFH_128 2 "register_operand" "0,v")
3082 : : (const_int 1)))]
3083 : 704 : "TARGET_SSE"
3084 : 4 : "@
3085 : 4 : sqrt<ssescalarmodesuffix>\t{%1, %0|%0, %<iptr>1}
3086 : 4 : vsqrt<ssescalarmodesuffix>\t{<round_scalar_mask_op3>%1, %2, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %2, %<iptr>1<round_scalar_mask_op3>}"
3087 : 636 : [(set_attr "isa" "noavx,avx")
3088 : 636 : (set_attr "type" "sse")
3089 : 4 : (set_attr "atom_sse_attr" "sqrt")
3090 : 636 : (set_attr "prefix" "<round_scalar_prefix>")
3091 : 4 : (set_attr "btver2_sse_attr" "sqrt")
3092 : 4 : (set_attr "mode" "<ssescalarmode>")])
3093 : :
3094 : : (define_insn "*<sse>_vmsqrt<mode>2<mask_scalar_name><round_scalar_name>"
3095 : : [(set (match_operand:VFH_128 0 "register_operand" "=x,v")
3096 : : (vec_merge:VFH_128
3097 : : (vec_duplicate:VFH_128
3098 : : (sqrt:<ssescalarmode>
3099 : : (match_operand:<ssescalarmode> 1 "nonimmediate_operand" "xm,<round_scalar_constraint>")))
3100 : : (match_operand:VFH_128 2 "register_operand" "0,v")
3101 : : (const_int 1)))]
3102 : 15 : "TARGET_SSE"
3103 : : "@
3104 : : sqrt<ssescalarmodesuffix>\t{%1, %0|%0, %1}
3105 : : vsqrt<ssescalarmodesuffix>\t{<round_scalar_mask_op3>%1, %2, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %2, %1<round_scalar_mask_op3>}"
3106 : 2 : [(set_attr "isa" "noavx,avx")
3107 : 2 : (set_attr "type" "sse")
3108 : : (set_attr "atom_sse_attr" "sqrt")
3109 : : (set_attr "prefix" "<round_scalar_prefix>")
3110 : 2 : (set_attr "btver2_sse_attr" "sqrt")
3111 : : (set_attr "mode" "<ssescalarmode>")])
3112 : :
3113 : : (define_expand "rsqrt<mode>2"
3114 : : [(set (match_operand:VF1_128_256 0 "register_operand")
3115 : : (unspec:VF1_128_256
3116 : : [(match_operand:VF1_128_256 1 "vector_operand")]
3117 : : UNSPEC_RSQRT))]
3118 : : "TARGET_SSE && TARGET_SSE_MATH"
3119 : 13 : {
3120 : 13 : ix86_emit_swsqrtsf (operands[0], operands[1], <MODE>mode, true);
3121 : 13 : DONE;
3122 : : })
3123 : :
3124 : : (define_expand "rsqrt<mode>2"
3125 : : [(set (match_operand:VHF_AVX512VL 0 "register_operand")
3126 : : (unspec:VHF_AVX512VL
3127 : : [(match_operand:VHF_AVX512VL 1 "vector_operand")]
3128 : : UNSPEC_RSQRT))]
3129 : : "TARGET_AVX512FP16")
3130 : :
3131 : : (define_insn "<sse>_rsqrt<mode>2"
3132 : : [(set (match_operand:VF1_128_256 0 "register_operand" "=x,x")
3133 : : (unspec:VF1_128_256
3134 : : [(match_operand:VF1_128_256 1 "vector_operand" "xBm,xja")] UNSPEC_RSQRT))]
3135 : 426 : "TARGET_SSE"
3136 : 37 : "%vrsqrtps\t{%1, %0|%0, %1}"
3137 : : [(set_attr "isa" "noavx,avx")
3138 : : (set_attr "type" "sse")
3139 : 88 : (set_attr "addr" "*,gpr16")
3140 : 88 : (set_attr "prefix" "maybe_vex")
3141 : 80 : (set_attr "mode" "<MODE>")])
3142 : 80 :
3143 : 167 : (define_insn "<sse>_rsqrt<mode>2<mask_name>"
3144 : : [(set (match_operand:VHF_AVX512VL 0 "register_operand" "=v")
3145 : : (unspec:VHF_AVX512VL
3146 : : [(match_operand:VHF_AVX512VL 1 "vector_operand" "vBm")] UNSPEC_RSQRT))]
3147 : 827 : "TARGET_AVX512FP16"
3148 : 0 : "vrsqrtph\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
3149 : 0 : [(set_attr "type" "sse")
3150 : 0 : (set_attr "prefix" "evex")
3151 : 0 : (set_attr "mode" "<MODE>")])
3152 : 0 :
3153 : 0 : (define_insn "<mask_codefor>rsqrt14<mode><mask_name>"
3154 : 0 : [(set (match_operand:VF_AVX512VL 0 "register_operand" "=v")
3155 : 0 : (unspec:VF_AVX512VL
3156 : 0 : [(match_operand:VF_AVX512VL 1 "nonimmediate_operand" "vm")]
3157 : : UNSPEC_RSQRT14))]
3158 : 596 : "TARGET_AVX512F"
3159 : : "vrsqrt14<ssemodesuffix>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
3160 : : [(set_attr "type" "sse")
3161 : : (set_attr "prefix" "evex")
3162 : : (set_attr "mode" "<MODE>")])
3163 : :
3164 : : (define_insn "rsqrt14<mode>"
3165 : : [(set (match_operand:VF_128 0 "register_operand" "=v")
3166 : : (vec_merge:VF_128
3167 : : (unspec:VF_128
3168 : : [(match_operand:VF_128 1 "nonimmediate_operand" "vm")]
3169 : : UNSPEC_RSQRT14)
3170 : : (match_operand:VF_128 2 "register_operand" "v")
3171 : : (const_int 1)))]
3172 : 81 : "TARGET_AVX512F"
3173 : : "vrsqrt14<ssescalarmodesuffix>\t{%1, %2, %0|%0, %2, %<iptr>1}"
3174 : : [(set_attr "type" "sse")
3175 : : (set_attr "prefix" "evex")
3176 : 81 : (set_attr "mode" "<MODE>")])
3177 : 81 :
3178 : : (define_insn "rsqrt14_<mode>_mask"
3179 : : [(set (match_operand:VF_128 0 "register_operand" "=v")
3180 : : (vec_merge:VF_128
3181 : : (vec_merge:VF_128
3182 : : (unspec:VF_128
3183 : : [(match_operand:VF_128 1 "nonimmediate_operand" "vm")]
3184 : : UNSPEC_RSQRT14)
3185 : : (match_operand:VF_128 3 "nonimm_or_0_operand" "0C")
3186 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk"))
3187 : : (match_operand:VF_128 2 "register_operand" "v")
3188 : : (const_int 1)))]
3189 : 209 : "TARGET_AVX512F"
3190 : : "vrsqrt14<ssescalarmodesuffix>\t{%1, %2, %0%{%4%}%N3|%0%{%4%}%N3, %2, %<iptr>1}"
3191 : : [(set_attr "type" "sse")
3192 : : (set_attr "prefix" "evex")
3193 : 233 : (set_attr "mode" "<MODE>")])
3194 : 233 :
3195 : : (define_insn "sse_vmrsqrtv4sf2"
3196 : 233 : [(set (match_operand:V4SF 0 "register_operand" "=x,x")
3197 : : (vec_merge:V4SF
3198 : : (unspec:V4SF [(match_operand:V4SF 1 "nonimmediate_operand" "xm,xjm")]
3199 : : UNSPEC_RSQRT)
3200 : : (match_operand:V4SF 2 "register_operand" "0,x")
3201 : : (const_int 1)))]
3202 : 99 : "TARGET_SSE"
3203 : : "@
3204 : : rsqrtss\t{%1, %0|%0, %k1}
3205 : : vrsqrtss\t{%1, %2, %0|%0, %2, %k1}"
3206 : 83 : [(set_attr "isa" "noavx,avx")
3207 : 83 : (set_attr "type" "sse")
3208 : : (set_attr "addr" "*,gpr16")
3209 : : (set_attr "prefix" "orig,vex")
3210 : : (set_attr "mode" "SF")])
3211 : :
3212 : : (define_insn "*sse_vmrsqrtv4sf2"
3213 : : [(set (match_operand:V4SF 0 "register_operand" "=x,x")
3214 : : (vec_merge:V4SF
3215 : : (vec_duplicate:V4SF
3216 : : (unspec:SF [(match_operand:SF 1 "nonimmediate_operand" "xm,xjm")]
3217 : : UNSPEC_RSQRT))
3218 : : (match_operand:V4SF 2 "register_operand" "0,x")
3219 : : (const_int 1)))]
3220 : 0 : "TARGET_SSE"
3221 : : "@
3222 : : rsqrtss\t{%1, %0|%0, %1}
3223 : : vrsqrtss\t{%1, %2, %0|%0, %2, %1}"
3224 : 32 : [(set_attr "isa" "noavx,avx")
3225 : 32 : (set_attr "type" "sse")
3226 : : (set_attr "addr" "*,gpr16")
3227 : : (set_attr "prefix" "orig,vex")
3228 : 32 : (set_attr "mode" "SF")])
3229 : :
3230 : : (define_insn "avx512fp16_vmrsqrtv8hf2<mask_scalar_name>"
3231 : : [(set (match_operand:V8HF 0 "register_operand" "=v")
3232 : : (vec_merge:V8HF
3233 : : (unspec:V8HF [(match_operand:V8HF 1 "nonimmediate_operand" "vm")]
3234 : : UNSPEC_RSQRT)
3235 : : (match_operand:V8HF 2 "register_operand" "v")
3236 : : (const_int 1)))]
3237 : 313 : "TARGET_AVX512FP16"
3238 : : "vrsqrtsh\t{%1, %2, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %2, %w1}"
3239 : : [(set_attr "type" "sse")
3240 : : (set_attr "prefix" "evex")
3241 : : (set_attr "mode" "HF")])
3242 : :
3243 : : (define_insn "*avx512fp16_vmrsqrtv8hf2"
3244 : : [(set (match_operand:V8HF 0 "register_operand" "=v")
3245 : 4118 : (vec_merge:V8HF
3246 : 4118 : (vec_duplicate:V8HF
3247 : 4118 : (unspec:HF [(match_operand:HF 1 "nonimmediate_operand" "vm")]
3248 : : UNSPEC_RSQRT))
3249 : 6109 : (match_operand:V8HF 2 "register_operand" "v")
3250 : 1991 : (const_int 1)))]
3251 : 896 : "TARGET_AVX512FP16"
3252 : 1105 : "vrsqrtsh\t{%1, %2, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %2, %w1}"
3253 : 239 : [(set_attr "type" "sse")
3254 : 186 : (set_attr "prefix" "evex")
3255 : 342 : (set_attr "mode" "HF")])
3256 : 156 :
3257 : 156 : (define_expand "cond_<code><mode>"
3258 : : [(set (match_operand:VFH 0 "register_operand")
3259 : 156 : (vec_merge:VFH
3260 : 156 : (smaxmin:VFH
3261 : 156 : (match_operand:VFH 2 "vector_operand")
3262 : 156 : (match_operand:VFH 3 "vector_operand"))
3263 : 279 : (match_operand:VFH 4 "nonimm_or_0_operand")
3264 : 123 : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
3265 : 144 : "<MODE_SIZE> == 64 || TARGET_AVX512VL"
3266 : 237 : {
3267 : 237 : emit_insn (gen_<code><mode>3_mask (operands[0],
3268 : 144 : operands[2],
3269 : 16 : operands[3],
3270 : 158 : operands[4],
3271 : 142 : operands[1]));
3272 : 20 : DONE;
3273 : 142 : })
3274 : 142 :
3275 : 142 : (define_expand "<code><mode>3<mask_name><round_saeonly_name>"
3276 : : [(set (match_operand:VFH 0 "register_operand")
3277 : 142 : (smaxmin:VFH
3278 : 142 : (match_operand:VFH 1 "<round_saeonly_nimm_predicate>")
3279 : : (match_operand:VFH 2 "<round_saeonly_nimm_predicate>")))]
3280 : 142 : "TARGET_SSE && <mask_mode512bit_condition>
3281 : 142 : && <round_saeonly_mode_condition>"
3282 : 2064 : {
3283 : 328 : if (!flag_finite_math_only || flag_signed_zeros)
3284 : 142 : {
3285 : 1600 : operands[1] = force_reg (<MODE>mode, operands[1]);
3286 : 1659 : emit_insn (gen_ieee_<maxmin_float><mode>3<mask_name><round_saeonly_name>
3287 : 59 : (operands[0], operands[1], operands[2]
3288 : : <mask_operand_arg34>
3289 : : <round_saeonly_mask_arg3>));
3290 : 1659 : DONE;
3291 : : }
3292 : : else
3293 : 322 : ix86_fixup_binary_operands_no_copy (<CODE>, <MODE>mode, operands);
3294 : : })
3295 : :
3296 : : ;; These versions of the min/max patterns are intentionally ignorant of
3297 : 322 : ;; their behavior wrt -0.0 and NaN (via the commutative operand mark).
3298 : 322 : ;; Since both the tree-level MAX_EXPR and the rtl-level SMAX operator
3299 : 322 : ;; are undefined in this condition, we're certain this is correct.
3300 : 322 :
3301 : 524 : (define_insn "*<code><mode>3<mask_name><round_saeonly_name>"
3302 : 322 : [(set (match_operand:VFH 0 "register_operand" "=x,v")
3303 : 16 : (smaxmin:VFH
3304 : 314 : (match_operand:VFH 1 "<round_saeonly_nimm_predicate>" "%0,v")
3305 : 42 : (match_operand:VFH 2 "<round_saeonly_nimm_predicate>" "xBm,<round_saeonly_constraint>")))]
3306 : 2379 : "TARGET_SSE
3307 : 2664 : && !(MEM_P (operands[1]) && MEM_P (operands[2]))
3308 : 432 : && <mask_mode512bit_condition>
3309 : 575 : && <round_saeonly_mode_condition>"
3310 : 306 : "@
3311 : 200 : <maxmin_float><ssemodesuffix>\t{%2, %0|%0, %2}
3312 : 176 : v<maxmin_float><ssemodesuffix>\t{<round_saeonly_mask_op3>%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2<round_saeonly_mask_op3>}"
3313 : 188 : [(set_attr "isa" "noavx,avx")
3314 : 62 : (set_attr "type" "sseadd")
3315 : 504 : (set_attr "btver2_sse_attr" "maxmin")
3316 : 57 : (set_attr "prefix" "<mask_prefix3>")
3317 : 82 : (set_attr "mode" "<MODE>")])
3318 : 98 :
3319 : 110 : (define_insn_and_split "*minmax<mode>3_1"
3320 : 378 : [(set (match_operand:VFH 0 "register_operand")
3321 : 156 : (vec_merge:VFH
3322 : 292 : (match_operand:VFH 1 "nonimmediate_operand")
3323 : 434 : (match_operand:VFH 2 "nonimmediate_operand")
3324 : 458 : (unspec:<avx512fmaskmode>
3325 : 792 : [(match_operand:VFH 3 "nonimmediate_operand")
3326 : 684 : (match_operand:VFH 4 "nonimmediate_operand")
3327 : 171 : (match_operand:SI 5 "const_0_to_31_operand")]
3328 : 1048 : UNSPEC_PCMP)))]
3329 : 3253 : "TARGET_SSE && ix86_pre_reload_split ()
3330 : 3661 : && ((rtx_equal_p (operands[1], operands[3])
3331 : 2703 : && rtx_equal_p (operands[2], operands[4]))
3332 : 1565 : || (rtx_equal_p (operands[1], operands[4])
3333 : 1073 : && rtx_equal_p (operands[2], operands[3])))
3334 : 5014 : && (INTVAL (operands[5]) == 1 || INTVAL (operands[5]) == 14)"
3335 : 276 : "#"
3336 : 544 : "&& 1"
3337 : 814 : [(const_int 0)]
3338 : 662 : {
3339 : 730 : int u = UNSPEC_IEEE_MIN;
3340 : 717 : if ((INTVAL (operands[5]) == 1 && rtx_equal_p (operands[1], operands[4]))
3341 : 1066 : || (INTVAL (operands[5]) == 14 && rtx_equal_p (operands[1], operands[3])))
3342 : 69 : u = UNSPEC_IEEE_MAX;
3343 : 216 :
3344 : 646 : if (MEM_P (operands[1]))
3345 : 36 : operands[1] = force_reg (<MODE>mode, operands[1]);
3346 : 430 : rtvec v = gen_rtvec (2, operands[1], operands[2]);
3347 : 430 : rtx tmp = gen_rtx_UNSPEC (<MODE>mode, v, u);
3348 : 430 : emit_move_insn (operands[0], tmp);
3349 : 430 : DONE;
3350 : : })
3351 : :
3352 : : (define_insn_and_split "*minmax<mode>3_2"
3353 : : [(set (match_operand:VF_128_256 0 "register_operand")
3354 : : (unspec:VF_128_256
3355 : : [(match_operand:VF_128_256 1 "nonimmediate_operand")
3356 : : (match_operand:VF_128_256 2 "nonimmediate_operand")
3357 : : (lt:VF_128_256
3358 : : (match_operand:VF_128_256 3 "nonimmediate_operand")
3359 : : (match_operand:VF_128_256 4 "nonimmediate_operand"))]
3360 : : UNSPEC_BLENDV))]
3361 : 1350 : "TARGET_SSE && ix86_pre_reload_split ()
3362 : 2089 : && ((rtx_equal_p (operands[1], operands[3])
3363 : 600 : && rtx_equal_p (operands[2], operands[4]))
3364 : 968 : || (rtx_equal_p (operands[1], operands[4])
3365 : 1001 : && rtx_equal_p (operands[2], operands[3])))"
3366 : 473 : "#"
3367 : 278 : "&& 1"
3368 : 325 : [(const_int 0)]
3369 : 444 : {
3370 : 444 : int u = UNSPEC_IEEE_MIN;
3371 : 657 : if (rtx_equal_p (operands[1], operands[3]))
3372 : 508 : u = UNSPEC_IEEE_MAX;
3373 : 57 :
3374 : 325 : if (MEM_P (operands[2]))
3375 : 60 : operands[2] = force_reg (<MODE>mode, operands[2]);
3376 : 301 : rtvec v = gen_rtvec (2, operands[2], operands[1]);
3377 : 301 : rtx tmp = gen_rtx_UNSPEC (<MODE>mode, v, u);
3378 : 268 : emit_move_insn (operands[0], tmp);
3379 : 268 : DONE;
3380 : : })
3381 : :
3382 : : ;; These versions of the min/max patterns implement exactly the operations
3383 : : ;; min = (op1 < op2 ? op1 : op2)
3384 : : ;; max = (!(op1 < op2) ? op1 : op2)
3385 : : ;; Their operands are not commutative, and thus they may be used in the
3386 : : ;; presence of -0.0 and NaN.
3387 : :
3388 : : (define_insn "ieee_<ieee_maxmin><mode>3<mask_name><round_saeonly_name>"
3389 : : [(set (match_operand:VFH 0 "register_operand" "=x,v")
3390 : : (unspec:VFH
3391 : 68 : [(match_operand:VFH 1 "register_operand" "0,v")
3392 : : (match_operand:VFH 2 "<round_saeonly_nimm_predicate>" "xBm,<round_saeonly_constraint>")]
3393 : : IEEE_MAXMIN))]
3394 : 3314 : "TARGET_SSE
3395 : 2227 : && <mask_mode512bit_condition>
3396 : 1337 : && <round_saeonly_mode_condition>"
3397 : 35 : "@
3398 : 68 : <ieee_maxmin><ssemodesuffix>\t{%2, %0|%0, %2}
3399 : 68 : v<ieee_maxmin><ssemodesuffix>\t{<round_saeonly_mask_op3>%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2<round_saeonly_mask_op3>}"
3400 : 188 : [(set_attr "isa" "noavx,avx")
3401 : 188 : (set_attr "type" "sseadd")
3402 : 1635 : (set_attr "btver2_sse_attr" "maxmin")
3403 : 57 : (set_attr "prefix" "<mask_prefix3>")
3404 : 57 : (set_attr "mode" "<MODE>")])
3405 : 57 :
3406 : 33 : ;; Standard scalar operation patterns which preserve the rest of the
3407 : 33 : ;; vector for combiner.
3408 : 2172 : (define_insn "*ieee_<ieee_maxmin><mode>3"
3409 : : [(set (match_operand:VFH_128 0 "register_operand" "=x,v")
3410 : : (vec_merge:VFH_128
3411 : : (vec_duplicate:VFH_128
3412 : : (unspec:<ssescalarmode>
3413 : : [(vec_select:<ssescalarmode>
3414 : : (match_operand:VFH_128 1 "register_operand" "0,v")
3415 : : (parallel [(const_int 0)]))
3416 : : (match_operand:<ssescalarmode> 2 "nonimmediate_operand" "xm,vm")]
3417 : : IEEE_MAXMIN))
3418 : : (match_dup 1)
3419 : : (const_int 1)))]
3420 : 16 : "TARGET_SSE"
3421 : : "@
3422 : : <ieee_maxmin><ssescalarmodesuffix>\t{%2, %0|%0, %2}
3423 : : v<ieee_maxmin><ssescalarmodesuffix>\t{%2, %1, %0|%0, %1, %2}"
3424 : 2 : [(set_attr "isa" "noavx,avx")
3425 : 2 : (set_attr "type" "sseadd")
3426 : : (set_attr "btver2_sse_attr" "maxmin")
3427 : : (set (attr "prefix")
3428 : : (cond [(eq_attr "alternative" "0")
3429 : : (const_string "orig")
3430 : : (eq_attr "alternative" "1")
3431 : : (if_then_else
3432 : : (match_test "<MODE>mode == V8HFmode")
3433 : : (const_string "evex")
3434 : : (const_string "vex"))
3435 : : ]
3436 : : (const_string "*")))
3437 : : (set_attr "mode" "<ssescalarmode>")])
3438 : :
3439 : : (define_expand "<sse>_vm<code><mode>3<mask_scalar_name><round_saeonly_scalar_name>"
3440 : : [(set (match_operand:VFH_128 0 "register_operand")
3441 : : (vec_merge:VFH_128
3442 : : (smaxmin:VFH_128
3443 : : (match_operand:VFH_128 1 "register_operand")
3444 : : (match_operand:VFH_128 2 "nonimmediate_operand"))
3445 : : (match_dup 1)
3446 : 9190 : (const_int 1)))]
3447 : 9087 : "TARGET_SSE"
3448 : 9463 : {
3449 : 228 : if (!flag_finite_math_only || flag_signed_zeros)
3450 : 103 : {
3451 : 479 : emit_insn (gen_<sse>_ieee_vm<maxmin_float><mode>3<mask_scalar_name><round_saeonly_scalar_name>
3452 : 9171 : (operands[0], operands[1], operands[2]
3453 : 103 : <mask_scalar_operand_arg34>
3454 : : <round_saeonly_scalar_mask_arg3>));
3455 : 376 : DONE;
3456 : 8414 : }
3457 : 97 : })
3458 : :
3459 : : (define_insn "*<sse>_vm<code><mode>3<mask_scalar_name><round_saeonly_scalar_name>"
3460 : 0 : [(set (match_operand:VFH_128 0 "register_operand" "=x,v")
3461 : 0 : (vec_merge:VFH_128
3462 : 0 : (smaxmin:VFH_128
3463 : 0 : (match_operand:VFH_128 1 "register_operand" "0,v")
3464 : 0 : (match_operand:VFH_128 2 "nonimmediate_operand" "xm,<round_saeonly_scalar_constraint>"))
3465 : 8 : (match_dup 1)
3466 : 8 : (const_int 1)))]
3467 : 8 : "TARGET_SSE"
3468 : 8 : "@
3469 : 0 : <maxmin_float><ssescalarmodesuffix>\t{%2, %0|%0, %<iptr>2}
3470 : 0 : v<maxmin_float><ssescalarmodesuffix>\t{<round_saeonly_scalar_mask_op3>%2, %1, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %1, %<iptr>2<round_saeonly_scalar_mask_op3>}"
3471 : 0 : [(set_attr "isa" "noavx,avx")
3472 : 8 : (set_attr "type" "sse")
3473 : 0 : (set_attr "btver2_sse_attr" "maxmin")
3474 : 0 : (set_attr "prefix" "<round_saeonly_scalar_prefix>")
3475 : 0 : (set_attr "mode" "<ssescalarmode>")])
3476 : 4 :
3477 : : (define_insn "<sse>_ieee_vm<ieee_maxmin><mode>3<mask_scalar_name><round_saeonly_scalar_name>"
3478 : : [(set (match_operand:VFH_128 0 "register_operand" "=x,v")
3479 : : (vec_merge:VFH_128
3480 : 4 : (unspec:VFH_128
3481 : 16 : [(match_operand:VFH_128 1 "register_operand" "0,v")
3482 : 0 : (match_operand:VFH_128 2 "nonimmediate_operand" "xm,<round_saeonly_scalar_constraint>")]
3483 : 0 : IEEE_MAXMIN)
3484 : 78 : (match_dup 1)
3485 : 78 : (const_int 1)))]
3486 : 1453 : "TARGET_SSE"
3487 : 16 : "@
3488 : 363 : <ieee_maxmin><ssescalarmodesuffix>\t{%2, %0|%0, %<iptr>2}
3489 : 2235 : v<ieee_maxmin><ssescalarmodesuffix>\t{<round_saeonly_scalar_mask_op3>%2, %1, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %1, %<iptr>2<round_saeonly_scalar_mask_op3>}"
3490 : 3597 : [(set_attr "isa" "noavx,avx")
3491 : 3969 : (set_attr "type" "sse")
3492 : 626 : (set_attr "btver2_sse_attr" "maxmin")
3493 : 502 : (set_attr "prefix" "<round_saeonly_scalar_prefix>")
3494 : 804 : (set_attr "mode" "<ssescalarmode>")])
3495 : 2896 :
3496 : 842 : (define_mode_attr addsub_cst [(V4DF "5") (V2DF "1")
3497 : 824 : (V4SF "5") (V8SF "85")])
3498 : 699 :
3499 : 453 : (define_insn "vec_addsub<mode>3"
3500 : 833 : [(set (match_operand:VF_128_256 0 "register_operand" "=x,x")
3501 : 445 : (vec_merge:VF_128_256
3502 : 806 : (minus:VF_128_256
3503 : 742 : (match_operand:VF_128_256 1 "register_operand" "0,x")
3504 : 6276 : (match_operand:VF_128_256 2 "vector_operand" "xBm, xjm"))
3505 : 6150 : (plus:VF_128_256 (match_dup 1) (match_dup 2))
3506 : 6230 : (const_int <addsub_cst>)))]
3507 : 7554 : "TARGET_SSE3"
3508 : 189 : "@
3509 : 550 : addsub<ssemodesuffix>\t{%2, %0|%0, %2}
3510 : 550 : vaddsub<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
3511 : 6898 : [(set_attr "isa" "noavx,avx")
3512 : 1336 : (set_attr "type" "sseadd")
3513 : 409 : (set_attr "addr" "*,gpr16")
3514 : 834 : (set (attr "atom_unit")
3515 : 126 : (if_then_else
3516 : 3015149 : (match_test "<MODE>mode == V2DFmode")
3517 : 126 : (const_string "complex")
3518 : 48 : (const_string "*")))
3519 : 48 : (set_attr "prefix" "orig,vex")
3520 : 675777 : (set (attr "prefix_rep")
3521 : 675918 : (if_then_else
3522 : 502 : (and (match_test "<MODE>mode == V4SFmode")
3523 : 676279 : (eq_attr "alternative" "0"))
3524 : 676138 : (const_string "1")
3525 : 675777 : (const_string "*")))
3526 : 675777 : (set_attr "mode" "<MODE>")])
3527 : 0 :
3528 : 254 : (define_split
3529 : 675825 : [(set (match_operand:VF_128_256 0 "register_operand")
3530 : 675825 : (match_operator:VF_128_256 6 "addsub_vm_operator"
3531 : 680389 : [(minus:VF_128_256
3532 : 32 : (match_operand:VF_128_256 1 "register_operand")
3533 : 32 : (match_operand:VF_128_256 2 "vector_operand"))
3534 : 680357 : (plus:VF_128_256
3535 : 680357 : (match_operand:VF_128_256 3 "vector_operand")
3536 : 680357 : (match_operand:VF_128_256 4 "vector_operand"))
3537 : 4580 : (match_operand 5 "const_int_operand")]))]
3538 : 6078 : "TARGET_SSE3
3539 : 677645 : && can_create_pseudo_p ()
3540 : 676405 : && ((rtx_equal_p (operands[1], operands[3])
3541 : 676405 : && rtx_equal_p (operands[2], operands[4]))
3542 : 675777 : || (rtx_equal_p (operands[1], operands[4])
3543 : 675777 : && rtx_equal_p (operands[2], operands[3])))"
3544 : 676055 : [(set (match_dup 0)
3545 : 675918 : (vec_merge:VF_128_256
3546 : 675777 : (minus:VF_128_256 (match_dup 1) (match_dup 2))
3547 : 676007 : (plus:VF_128_256 (match_dup 1) (match_dup 2))
3548 : 676007 : (match_dup 5)))])
3549 : 675777 :
3550 : 676085 : (define_split
3551 : 675777 : [(set (match_operand:VF_128_256 0 "register_operand")
3552 : 675777 : (match_operator:VF_128_256 6 "addsub_vm_operator"
3553 : 0 : [(plus:VF_128_256
3554 : 675777 : (match_operand:VF_128_256 1 "vector_operand")
3555 : 675777 : (match_operand:VF_128_256 2 "vector_operand"))
3556 : 675777 : (minus:VF_128_256
3557 : 675777 : (match_operand:VF_128_256 3 "register_operand")
3558 : 675777 : (match_operand:VF_128_256 4 "vector_operand"))
3559 : 675777 : (match_operand 5 "const_int_operand")]))]
3560 : 676084 : "TARGET_SSE3
3561 : 675844 : && can_create_pseudo_p ()
3562 : 675844 : && ((rtx_equal_p (operands[1], operands[3])
3563 : 675840 : && rtx_equal_p (operands[2], operands[4]))
3564 : 675781 : || (rtx_equal_p (operands[1], operands[4])
3565 : 675781 : && rtx_equal_p (operands[2], operands[3])))"
3566 : 676157 : [(set (match_dup 0)
3567 : 675793 : (vec_merge:VF_128_256
3568 : 675777 : (minus:VF_128_256 (match_dup 3) (match_dup 4))
3569 : 676034 : (plus:VF_128_256 (match_dup 3) (match_dup 4))
3570 : 676034 : (match_dup 5)))]
3571 : 675844 : {
3572 : 676053 : /* Negate mask bits to compensate for swapped PLUS and MINUS RTXes. */
3573 : 675847 : operands[5]
3574 : 70 : = GEN_INT (~INTVAL (operands[5])
3575 : 675780 : & ((HOST_WIDE_INT_1U << GET_MODE_NUNITS (<MODE>mode)) - 1));
3576 : 675780 : })
3577 : 675780 :
3578 : 3 : (define_split
3579 : 70 : [(set (match_operand:VF_128_256 0 "register_operand")
3580 : 675847 : (match_operator:VF_128_256 7 "addsub_vs_operator"
3581 : 675847 : [(vec_concat:<ssedoublevecmode>
3582 : 675844 : (minus:VF_128_256
3583 : 675844 : (match_operand:VF_128_256 1 "register_operand")
3584 : 675844 : (match_operand:VF_128_256 2 "vector_operand"))
3585 : 675844 : (plus:VF_128_256
3586 : 675844 : (match_operand:VF_128_256 3 "vector_operand")
3587 : 675844 : (match_operand:VF_128_256 4 "vector_operand")))
3588 : 689562 : (match_parallel 5 "addsub_vs_parallel"
3589 : 675844 : [(match_operand 6 "const_int_operand")])]))]
3590 : 689687 : "TARGET_SSE3
3591 : 675969 : && can_create_pseudo_p ()
3592 : 125 : && ((rtx_equal_p (operands[1], operands[3])
3593 : 125 : && rtx_equal_p (operands[2], operands[4]))
3594 : 125 : || (rtx_equal_p (operands[1], operands[4])
3595 : 125 : && rtx_equal_p (operands[2], operands[3])))"
3596 : 125 : [(set (match_dup 0)
3597 : 129 : (vec_merge:VF_128_256
3598 : 129 : (minus:VF_128_256 (match_dup 1) (match_dup 2))
3599 : 129 : (plus:VF_128_256 (match_dup 1) (match_dup 2))
3600 : 174938 : (match_dup 5)))]
3601 : 174938 : {
3602 : 174938 : int i, nelt = XVECLEN (operands[5], 0);
3603 : 174874 : HOST_WIDE_INT ival = 0;
3604 : 174874 :
3605 : 174871 : for (i = 0; i < nelt; i++)
3606 : 174871 : if (INTVAL (XVECEXP (operands[5], 0, i)) < GET_MODE_NUNITS (<MODE>mode))
3607 : 3340 : ival |= HOST_WIDE_INT_1 << i;
3608 : 132 :
3609 : 129 : operands[5] = GEN_INT (ival);
3610 : 3325 : })
3611 : 3337 :
3612 : 3328 : (define_split
3613 : 3325 : [(set (match_operand:VF_128_256 0 "register_operand")
3614 : 3325 : (match_operator:VF_128_256 7 "addsub_vs_operator"
3615 : 2269725 : [(vec_concat:<ssedoublevecmode>
3616 : 2266529 : (plus:VF_128_256
3617 : 2266529 : (match_operand:VF_128_256 1 "vector_operand")
3618 : 2266529 : (match_operand:VF_128_256 2 "vector_operand"))
3619 : 2266529 : (minus:VF_128_256
3620 : 2266529 : (match_operand:VF_128_256 3 "register_operand")
3621 : 2266529 : (match_operand:VF_128_256 4 "vector_operand")))
3622 : 2266529 : (match_parallel 5 "addsub_vs_parallel"
3623 : 2266529 : [(match_operand 6 "const_int_operand")])]))]
3624 : 129 : "TARGET_SSE3
3625 : 132 : && can_create_pseudo_p ()
3626 : 132 : && ((rtx_equal_p (operands[1], operands[3])
3627 : 132 : && rtx_equal_p (operands[2], operands[4]))
3628 : 132 : || (rtx_equal_p (operands[1], operands[4])
3629 : 129 : && rtx_equal_p (operands[2], operands[3])))"
3630 : 129 : [(set (match_dup 0)
3631 : 132 : (vec_merge:VF_128_256
3632 : 374 : (minus:VF_128_256 (match_dup 3) (match_dup 4))
3633 : 374 : (plus:VF_128_256 (match_dup 3) (match_dup 4))
3634 : 374 : (match_dup 5)))]
3635 : 371 : {
3636 : 371 : int i, nelt = XVECLEN (operands[5], 0);
3637 : 129 : HOST_WIDE_INT ival = 0;
3638 : 129 :
3639 : 998 : for (i = 0; i < nelt; i++)
3640 : 129 : if (INTVAL (XVECEXP (operands[5], 0, i)) >= GET_MODE_NUNITS (<MODE>mode))
3641 : 10896 : ival |= HOST_WIDE_INT_1 << i;
3642 : 998 :
3643 : 998 : operands[5] = GEN_INT (ival);
3644 : 11765 : })
3645 : 234685 :
3646 : 234685 : (define_insn "avx_h<insn>v4df3"
3647 : 234685 : [(set (match_operand:V4DF 0 "register_operand" "=x")
3648 : 233816 : (vec_concat:V4DF
3649 : 10896 : (vec_concat:V2DF
3650 : 129 : (plusminus:DF
3651 : 129 : (vec_select:DF
3652 : 129 : (match_operand:V4DF 1 "register_operand" "x")
3653 : 129 : (parallel [(const_int 0)]))
3654 : 129 : (vec_select:DF (match_dup 1) (parallel [(const_int 1)])))
3655 : 129 : (plusminus:DF
3656 : 129 : (vec_select:DF
3657 : 620264 : (match_operand:V4DF 2 "nonimmediate_operand" "xjm")
3658 : 620264 : (parallel [(const_int 0)]))
3659 : 620264 : (vec_select:DF (match_dup 2) (parallel [(const_int 1)]))))
3660 : 129 : (vec_concat:V2DF
3661 : 129 : (plusminus:DF
3662 : 132 : (vec_select:DF (match_dup 1) (parallel [(const_int 2)]))
3663 : 132 : (vec_select:DF (match_dup 1) (parallel [(const_int 3)])))
3664 : 132 : (plusminus:DF
3665 : 132 : (vec_select:DF (match_dup 2) (parallel [(const_int 2)]))
3666 : 132 : (vec_select:DF (match_dup 2) (parallel [(const_int 3)]))))))]
3667 : 210 : "TARGET_AVX"
3668 : 5329427 : "vh<plusminus_mnemonic>pd\t{%2, %1, %0|%0, %1, %2}"
3669 : 5329427 : [(set_attr "type" "sseadd")
3670 : 5329430 : (set_attr "addr" "gpr16")
3671 : 330 : (set_attr "prefix" "vex")
3672 : 330 : (set_attr "mode" "V4DF")])
3673 : 129 :
3674 : 132 : (define_expand "sse3_haddv2df3"
3675 : 6335 : [(set (match_operand:V2DF 0 "register_operand")
3676 : 132 : (vec_concat:V2DF
3677 : 132 : (plus:DF
3678 : 6335 : (vec_select:DF
3679 : 4996218 : (match_operand:V2DF 1 "register_operand")
3680 : 4996221 : (parallel [(const_int 0)]))
3681 : 4996221 : (vec_select:DF (match_dup 1) (parallel [(const_int 1)])))
3682 : 6335 : (plus:DF
3683 : 6335 : (vec_select:DF
3684 : 132 : (match_operand:V2DF 2 "vector_operand")
3685 : 132 : (parallel [(const_int 0)]))
3686 : 132 : (vec_select:DF (match_dup 2) (parallel [(const_int 1)])))))]
3687 : 132 : "TARGET_SSE3")
3688 : 129 :
3689 : 129 : (define_insn "*sse3_haddv2df3"
3690 : 1226721 : [(set (match_operand:V2DF 0 "register_operand" "=x,x")
3691 : 1226721 : (vec_concat:V2DF
3692 : 1226721 : (plus:DF
3693 : 129 : (vec_select:DF
3694 : 129 : (match_operand:V2DF 1 "register_operand" "0,x")
3695 : 129 : (parallel [(match_operand:SI 3 "const_0_to_1_operand")]))
3696 : 129 : (vec_select:DF
3697 : 129 : (match_dup 1)
3698 : 129 : (parallel [(match_operand:SI 4 "const_0_to_1_operand")])))
3699 : 129 : (plus:DF
3700 : 130 : (vec_select:DF
3701 : 57313463 : (match_operand:V2DF 2 "vector_operand" "xBm,xjm")
3702 : 57313463 : (parallel [(match_operand:SI 5 "const_0_to_1_operand")]))
3703 : 57313463 : (vec_select:DF
3704 : 130 : (match_dup 2)
3705 : 130 : (parallel [(match_operand:SI 6 "const_0_to_1_operand")])))))]
3706 : 224 : "TARGET_SSE3
3707 : 224 : && INTVAL (operands[3]) != INTVAL (operands[4])
3708 : 223 : && INTVAL (operands[5]) != INTVAL (operands[6])"
3709 : 129 : "@
3710 : 129 : haddpd\t{%2, %0|%0, %2}
3711 : 129 : vhaddpd\t{%2, %1, %0|%0, %1, %2}"
3712 : 152547293 : [(set_attr "isa" "noavx,avx")
3713 : 152547293 : (set_attr "addr" "*,gpr16")
3714 : 152544477 : (set_attr "type" "sseadd")
3715 : 129 : (set_attr "prefix" "orig,vex")
3716 : 243 : (set_attr "mode" "V2DF")])
3717 : 240 :
3718 : 243 : (define_insn "sse3_hsubv2df3"
3719 : 242 : [(set (match_operand:V2DF 0 "register_operand" "=x,x")
3720 : 132 : (vec_concat:V2DF
3721 : 242 : (minus:DF
3722 : 353 : (vec_select:DF
3723 : 1480296 : (match_operand:V2DF 1 "register_operand" "0,x")
3724 : 1480405 : (parallel [(const_int 0)]))
3725 : 1480405 : (vec_select:DF (match_dup 1) (parallel [(const_int 1)])))
3726 : 239 : (minus:DF
3727 : 239 : (vec_select:DF
3728 : 132 : (match_operand:V2DF 2 "vector_operand" "xBm,xjm")
3729 : 232 : (parallel [(const_int 0)]))
3730 : 232 : (vec_select:DF (match_dup 2) (parallel [(const_int 1)])))))]
3731 : 332 : "TARGET_SSE3"
3732 : 232 : "@
3733 : 132 : hsubpd\t{%2, %0|%0, %2}
3734 : 2075646 : vhsubpd\t{%2, %1, %0|%0, %1, %2}"
3735 : 2077000 : [(set_attr "isa" "noavx,avx")
3736 : 2077070 : (set_attr "type" "sseadd")
3737 : 2075616 : (set_attr "addr" "*,gpr16")
3738 : 2075796 : (set_attr "prefix" "orig,vex")
3739 : 2075876 : (set_attr "mode" "V2DF")])
3740 : 2075716 :
3741 : 2075716 : (define_insn "*sse3_haddv2df3_low"
3742 : 2075616 : [(set (match_operand:DF 0 "register_operand" "=x,x")
3743 : 2075616 : (plus:DF
3744 : 2075616 : (vec_select:DF
3745 : 2075616 : (match_operand:V2DF 1 "register_operand" "0,x")
3746 : 2075616 : (parallel [(match_operand:SI 2 "const_0_to_1_operand")]))
3747 : 2075616 : (vec_select:DF
3748 : 2075616 : (match_dup 1)
3749 : 2075616 : (parallel [(match_operand:SI 3 "const_0_to_1_operand")]))))]
3750 : 2075706 : "TARGET_SSE3 && TARGET_V2DF_REDUCTION_PREFER_HADDPD
3751 : 2075636 : && INTVAL (operands[2]) != INTVAL (operands[3])"
3752 : 2075616 : "@
3753 : 2075616 : haddpd\t{%0, %0|%0, %0}
3754 : 2075616 : vhaddpd\t{%1, %1, %0|%0, %1, %1}"
3755 : 2075616 : [(set_attr "isa" "noavx,avx")
3756 : 2075616 : (set_attr "type" "sseadd1")
3757 : 2075616 : (set_attr "prefix" "orig,vex")
3758 : 2075616 : (set_attr "mode" "V2DF")])
3759 : 2077154 :
3760 : 2077154 : (define_insn "*sse3_hsubv2df3_low"
3761 : 2075616 : [(set (match_operand:DF 0 "register_operand" "=x,x")
3762 : 2075731 : (minus:DF
3763 : 2075731 : (vec_select:DF
3764 : 2075612 : (match_operand:V2DF 1 "register_operand" "0,x")
3765 : 2075612 : (parallel [(const_int 0)]))
3766 : 2075491 : (vec_select:DF
3767 : 2075491 : (match_dup 1)
3768 : 2075491 : (parallel [(const_int 1)]))))]
3769 : 2075500 : "TARGET_SSE3 && TARGET_V2DF_REDUCTION_PREFER_HADDPD"
3770 : 2075491 : "@
3771 : 2075491 : hsubpd\t{%0, %0|%0, %0}
3772 : 2075491 : vhsubpd\t{%1, %1, %0|%0, %1, %1}"
3773 : 2075487 : [(set_attr "isa" "noavx,avx")
3774 : 2075613 : (set_attr "type" "sseadd1")
3775 : 2075613 : (set_attr "prefix" "orig,vex")
3776 : 2075613 : (set_attr "mode" "V2DF")])
3777 : 2076347 :
3778 : 2076347 : (define_insn "avx_h<insn>v8sf3"
3779 : 2075613 : [(set (match_operand:V8SF 0 "register_operand" "=x")
3780 : 2075728 : (vec_concat:V8SF
3781 : 2075732 : (vec_concat:V4SF
3782 : 2075617 : (vec_concat:V2SF
3783 : 2075617 : (plusminus:SF
3784 : 2075617 : (vec_select:SF
3785 : 2075617 : (match_operand:V8SF 1 "register_operand" "x")
3786 : 2075617 : (parallel [(const_int 0)]))
3787 : 2075617 : (vec_select:SF (match_dup 1) (parallel [(const_int 1)])))
3788 : 2075617 : (plusminus:SF
3789 : 2075617 : (vec_select:SF (match_dup 1) (parallel [(const_int 2)]))
3790 : 2075617 : (vec_select:SF (match_dup 1) (parallel [(const_int 3)]))))
3791 : 2075617 : (vec_concat:V2SF
3792 : 2075617 : (plusminus:SF
3793 : 2075617 : (vec_select:SF
3794 : 2075617 : (match_operand:V8SF 2 "nonimmediate_operand" "xjm")
3795 : 2075617 : (parallel [(const_int 0)]))
3796 : 2075617 : (vec_select:SF (match_dup 2) (parallel [(const_int 1)])))
3797 : 2075617 : (plusminus:SF
3798 : 2075617 : (vec_select:SF (match_dup 2) (parallel [(const_int 2)]))
3799 : 2075617 : (vec_select:SF (match_dup 2) (parallel [(const_int 3)])))))
3800 : 2075617 : (vec_concat:V4SF
3801 : 2075617 : (vec_concat:V2SF
3802 : 2075617 : (plusminus:SF
3803 : 2075617 : (vec_select:SF (match_dup 1) (parallel [(const_int 4)]))
3804 : 2075617 : (vec_select:SF (match_dup 1) (parallel [(const_int 5)])))
3805 : 2075617 : (plusminus:SF
3806 : 2075617 : (vec_select:SF (match_dup 1) (parallel [(const_int 6)]))
3807 : 2075617 : (vec_select:SF (match_dup 1) (parallel [(const_int 7)]))))
3808 : 2075617 : (vec_concat:V2SF
3809 : 2075617 : (plusminus:SF
3810 : 2075617 : (vec_select:SF (match_dup 2) (parallel [(const_int 4)]))
3811 : 2075617 : (vec_select:SF (match_dup 2) (parallel [(const_int 5)])))
3812 : 2075617 : (plusminus:SF
3813 : 2075617 : (vec_select:SF (match_dup 2) (parallel [(const_int 6)]))
3814 : 2075617 : (vec_select:SF (match_dup 2) (parallel [(const_int 7)])))))))]
3815 : 2075773 : "TARGET_AVX"
3816 : 2075617 : "vh<plusminus_mnemonic>ps\t{%2, %1, %0|%0, %1, %2}"
3817 : 2075617 : [(set_attr "type" "sseadd")
3818 : 2075617 : (set_attr "addr" "gpr16")
3819 : 2075719 : (set_attr "prefix" "vex")
3820 : 2075719 : (set_attr "mode" "V8SF")])
3821 : 2075617 :
3822 : 2075719 : (define_insn "sse3_h<insn>v4sf3"
3823 : 2131985 : [(set (match_operand:V4SF 0 "register_operand" "=x,x")
3824 : 2131985 : (vec_concat:V4SF
3825 : 2131985 : (vec_concat:V2SF
3826 : 2131985 : (plusminus:SF
3827 : 2131985 : (vec_select:SF
3828 : 2075617 : (match_operand:V4SF 1 "register_operand" "0,x")
3829 : 2075849 : (parallel [(const_int 0)]))
3830 : 2075617 : (vec_select:SF (match_dup 1) (parallel [(const_int 1)])))
3831 : 2075689 : (plusminus:SF
3832 : 2075689 : (vec_select:SF (match_dup 1) (parallel [(const_int 2)]))
3833 : 2075617 : (vec_select:SF (match_dup 1) (parallel [(const_int 3)]))))
3834 : 2075617 : (vec_concat:V2SF
3835 : 2075617 : (plusminus:SF
3836 : 2075759 : (vec_select:SF
3837 : 2075617 : (match_operand:V4SF 2 "vector_operand" "xBm,xjm")
3838 : 2075617 : (parallel [(const_int 0)]))
3839 : 2075617 : (vec_select:SF (match_dup 2) (parallel [(const_int 1)])))
3840 : 2075617 : (plusminus:SF
3841 : 2075617 : (vec_select:SF (match_dup 2) (parallel [(const_int 2)]))
3842 : 2075617 : (vec_select:SF (match_dup 2) (parallel [(const_int 3)]))))))]
3843 : 2075815 : "TARGET_SSE3"
3844 : 2075617 : "@
3845 : 2075617 : h<plusminus_mnemonic>ps\t{%2, %0|%0, %2}
3846 : 2075617 : vh<plusminus_mnemonic>ps\t{%2, %1, %0|%0, %1, %2}"
3847 : 2075617 : [(set_attr "isa" "noavx,avx")
3848 : 2075617 : (set_attr "type" "sseadd")
3849 : 2075617 : (set_attr "addr" "*,gpr16")
3850 : 2075617 : (set_attr "atom_unit" "complex")
3851 : 2076559 : (set_attr "prefix" "orig,vex")
3852 : 2076559 : (set_attr "prefix_rep" "1,*")
3853 : 2075617 : (set_attr "mode" "V4SF")])
3854 : 2075956 :
3855 : 2076034 : (define_mode_iterator REDUC_SSE_PLUS_MODE
3856 : 2076034 : [(V2DF "TARGET_SSE") (V4SF "TARGET_SSE")
3857 : 2075617 : (V8HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
3858 : 2075827 : (V8HI "TARGET_SSE2") (V4SI "TARGET_SSE2")
3859 : 413 : (V2DI "TARGET_SSE2")])
3860 : 413 :
3861 : 413 : (define_expand "reduc_plus_scal_<mode>"
3862 : 203 : [(plus:REDUC_SSE_PLUS_MODE
3863 : 203 : (match_operand:<ssescalarmode> 0 "register_operand")
3864 : 413 : (match_operand:REDUC_SSE_PLUS_MODE 1 "register_operand"))]
3865 : 409 : ""
3866 : 17693 : {
3867 : 2356132 : rtx tmp = gen_reg_rtx (<MODE>mode);
3868 : 2355716 : ix86_expand_reduc (gen_add<mode>3, tmp, operands[1]);
3869 : 2355720 : emit_insn (gen_vec_extract<mode><ssescalarmodelower> (operands[0], tmp,
3870 : 409 : const0_rtx));
3871 : 17623 : DONE;
3872 : 133 : })
3873 : 2274478 :
3874 : 302 : (define_expand "reduc_plus_scal_v16qi"
3875 : 200 : [(plus:V16QI
3876 : 302 : (match_operand:QI 0 "register_operand")
3877 : 200 : (match_operand:V16QI 1 "register_operand"))]
3878 : 200 : "TARGET_SSE2"
3879 : 1069 : {
3880 : 1069 : rtx tmp = gen_reg_rtx (V1TImode);
3881 : 1072 : emit_insn (gen_sse2_lshrv1ti3 (tmp, gen_lowpart (V1TImode, operands[1]),
3882 : 10318561 : GEN_INT (64)));
3883 : 10319430 : rtx tmp2 = gen_reg_rtx (V16QImode);
3884 : 10319430 : emit_insn (gen_addv16qi3 (tmp2, operands[1], gen_lowpart (V16QImode, tmp)));
3885 : 1072 : rtx tmp3 = gen_reg_rtx (V16QImode);
3886 : 1072 : emit_move_insn (tmp3, CONST0_RTX (V16QImode));
3887 : 1072 : rtx tmp4 = gen_reg_rtx (V2DImode);
3888 : 1072 : emit_insn (gen_sse2_psadbw (tmp4, tmp2, tmp3));
3889 : 1072 : tmp4 = gen_lowpart (V16QImode, tmp4);
3890 : 3914 : emit_insn (gen_vec_extractv16qiqi (operands[0], tmp4, const0_rtx));
3891 : 1069 : DONE;
3892 : 200 : })
3893 : 210203 :
3894 : 210203 : (define_mode_iterator REDUC_PLUS_MODE
3895 : 210203 : [(V4DF "TARGET_AVX") (V8SF "TARGET_AVX")
3896 : 210203 : (V16HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
3897 : 2975 : (V8DF "TARGET_AVX512F && TARGET_EVEX512")
3898 : 2975 : (V16SF "TARGET_AVX512F && TARGET_EVEX512")
3899 : 133 : (V32HF "TARGET_AVX512FP16 && TARGET_AVX512VL && TARGET_EVEX512")
3900 : 133 : (V32QI "TARGET_AVX") (V16HI "TARGET_AVX")
3901 : 209 : (V8SI "TARGET_AVX") (V4DI "TARGET_AVX")
3902 : 209 : (V64QI "TARGET_AVX512F && TARGET_EVEX512")
3903 : 209 : (V32HI "TARGET_AVX512F && TARGET_EVEX512")
3904 : 209 : (V16SI "TARGET_AVX512F && TARGET_EVEX512")
3905 : 495434 : (V8DI "TARGET_AVX512F && TARGET_EVEX512")])
3906 : 495434 :
3907 : 209 : (define_expand "reduc_plus_scal_<mode>"
3908 : 209 : [(plus:REDUC_PLUS_MODE
3909 : 209 : (match_operand:<ssescalarmode> 0 "register_operand")
3910 : 212 : (match_operand:REDUC_PLUS_MODE 1 "register_operand"))]
3911 : 209 : ""
3912 : 7138 : {
3913 : 5942 : rtx tmp = gen_reg_rtx (<ssehalfvecmode>mode);
3914 : 7141 : rtx tmp2 = gen_reg_rtx (<ssehalfvecmode>mode);
3915 : 7354 : rtx tmp3 = gen_reg_rtx (<ssehalfvecmode>mode);
3916 : 7354 : emit_insn (gen_vec_extract_hi_<mode> (tmp, operands[1]));
3917 : 7354 : emit_insn (gen_vec_extract_lo_<mode> (tmp2, operands[1]));
3918 : 7141 : emit_insn (gen_add<ssehalfvecmodelower>3 (tmp3, tmp, tmp2));
3919 : 7138 : emit_insn (gen_reduc_plus_scal_<ssehalfvecmodelower> (operands[0], tmp3));
3920 : 7138 : DONE;
3921 : 412 : })
3922 : 209 :
3923 : 209 : ;; Modes handled by reduc_sm{in,ax}* patterns.
3924 : 209 : (define_mode_iterator REDUC_SSE_SMINMAX_MODE
3925 : 412 : [(V8HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
3926 : 209 : (V4SF "TARGET_SSE") (V2DF "TARGET_SSE")
3927 : 209 : (V4SI "TARGET_SSE2") (V8HI "TARGET_SSE2") (V16QI "TARGET_SSE2")
3928 : 209 : (V2DI "TARGET_SSE4_2")])
3929 : 209 :
3930 : 209 : (define_expand "reduc_<code>_scal_<mode>"
3931 : 209 : [(smaxmin:REDUC_SSE_SMINMAX_MODE
3932 : 209 : (match_operand:<ssescalarmode> 0 "register_operand")
3933 : 209 : (match_operand:REDUC_SSE_SMINMAX_MODE 1 "register_operand"))]
3934 : 66635 : ""
3935 : 67042 : {
3936 : 67449 : rtx tmp = gen_reg_rtx (<MODE>mode);
3937 : 67042 : ix86_expand_reduc (gen_<code><mode>3, tmp, operands[1]);
3938 : 616 : emit_insn (gen_vec_extract<mode><ssescalarmodelower> (operands[0], tmp,
3939 : 1705 : const0_rtx));
3940 : 616 : DONE;
3941 : 209 : })
3942 : 1705 :
3943 : 1705 : (define_mode_iterator REDUC_SMINMAX_MODE
3944 : 1705 : [(V32QI "TARGET_AVX2") (V16HI "TARGET_AVX2")
3945 : 1705 : (V16HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
3946 : 162635 : (V8SI "TARGET_AVX2") (V4DI "TARGET_AVX2")
3947 : 162635 : (V8SF "TARGET_AVX") (V4DF "TARGET_AVX")
3948 : 161139 : (V64QI "TARGET_AVX512BW && TARGET_EVEX512")
3949 : 209 : (V32HF "TARGET_AVX512FP16 && TARGET_AVX512VL && TARGET_EVEX512")
3950 : 209 : (V32HI "TARGET_AVX512BW && TARGET_EVEX512")
3951 : 209 : (V16SI "TARGET_AVX512F && TARGET_EVEX512")
3952 : 209 : (V8DI "TARGET_AVX512F && TARGET_EVEX512")
3953 : 209 : (V16SF "TARGET_AVX512F && TARGET_EVEX512")
3954 : 209 : (V8DF "TARGET_AVX512F && TARGET_EVEX512")])
3955 : 209 :
3956 : 209 : (define_expand "reduc_<code>_scal_<mode>"
3957 : 210 : [(smaxmin:REDUC_SMINMAX_MODE
3958 : 210 : (match_operand:<ssescalarmode> 0 "register_operand")
3959 : 350 : (match_operand:REDUC_SMINMAX_MODE 1 "register_operand"))]
3960 : 210 : ""
3961 : 259 : {
3962 : 449 : rtx tmp = gen_reg_rtx (<ssehalfvecmode>mode);
3963 : 399 : rtx tmp2 = gen_reg_rtx (<ssehalfvecmode>mode);
3964 : 260 : rtx tmp3 = gen_reg_rtx (<ssehalfvecmode>mode);
3965 : 259 : emit_insn (gen_vec_extract_hi_<mode> (tmp, operands[1]));
3966 : 259 : emit_insn (gen_vec_extract_lo_<mode> (tmp2, operands[1]));
3967 : 399 : emit_insn (gen_<code><ssehalfvecmodelower>3 (tmp3, tmp, tmp2));
3968 : 260 : emit_insn (gen_reduc_<code>_scal_<ssehalfvecmodelower> (operands[0], tmp3));
3969 : 259 : DONE;
3970 : 209 : })
3971 : 209 :
3972 : 210 : (define_expand "reduc_<code>_scal_<mode>"
3973 : 209 : [(umaxmin:VI_AVX512BW
3974 : 209 : (match_operand:<ssescalarmode> 0 "register_operand")
3975 : 209 : (match_operand:VI_AVX512BW 1 "register_operand"))]
3976 : 209 : "TARGET_AVX512F"
3977 : 209 : {
3978 : 209 : rtx tmp = gen_reg_rtx (<ssehalfvecmode>mode);
3979 : 209 : rtx tmp2 = gen_reg_rtx (<ssehalfvecmode>mode);
3980 : 209 : rtx tmp3 = gen_reg_rtx (<ssehalfvecmode>mode);
3981 : 230 : emit_insn (gen_vec_extract_hi_<mode> (tmp, operands[1]));
3982 : 230 : emit_insn (gen_vec_extract_lo_<mode> (tmp2, operands[1]));
3983 : 230 : emit_insn (gen_<code><ssehalfvecmodelower>3 (tmp3, tmp, tmp2));
3984 : 230 : emit_insn (gen_reduc_<code>_scal_<ssehalfvecmodelower> (operands[0], tmp3));
3985 : 230 : DONE;
3986 : 209 : })
3987 : 209 :
3988 : 232 : (define_expand "reduc_<code>_scal_<mode>"
3989 : 230 : [(umaxmin:VI_256
3990 : 209 : (match_operand:<ssescalarmode> 0 "register_operand")
3991 : 232 : (match_operand:VI_256 1 "register_operand"))]
3992 : 232 : "TARGET_AVX2"
3993 : 246 : {
3994 : 246 : rtx tmp = gen_reg_rtx (<ssehalfvecmode>mode);
3995 : 219 : rtx tmp2 = gen_reg_rtx (<ssehalfvecmode>mode);
3996 : 239 : rtx tmp3 = gen_reg_rtx (<ssehalfvecmode>mode);
3997 : 216 : emit_insn (gen_vec_extract_hi_<mode> (tmp, operands[1]));
3998 : 216 : emit_insn (gen_vec_extract_lo_<mode> (tmp2, operands[1]));
3999 : 216 : emit_insn (gen_<code><ssehalfvecmodelower>3 (tmp3, tmp, tmp2));
4000 : 216 : rtx tmp4 = gen_reg_rtx (<ssehalfvecmode>mode);
4001 : 216 : ix86_expand_reduc (gen_<code><ssehalfvecmodelower>3, tmp4, tmp3);
4002 : 11726 : emit_insn (gen_vec_extract<ssehalfvecmodelower><ssescalarmodelower>
4003 : 11719 : (operands[0], tmp4, const0_rtx));
4004 : 11740 : DONE;
4005 : 209 : })
4006 : 209 :
4007 : 230 : (define_expand "reduc_umin_scal_v8hi"
4008 : 334 : [(umin:V8HI
4009 : 230 : (match_operand:HI 0 "register_operand")
4010 : 230 : (match_operand:V8HI 1 "register_operand"))]
4011 : 230 : "TARGET_SSE4_1"
4012 : 230 : {
4013 : 221 : rtx tmp = gen_reg_rtx (V8HImode);
4014 : 221 : ix86_expand_reduc (gen_uminv8hi3, tmp, operands[1]);
4015 : 221 : emit_insn (gen_vec_extractv8hihi (operands[0], tmp, const0_rtx));
4016 : 221 : DONE;
4017 : 11624 : })
4018 : 11624 :
4019 : 11624 : (define_insn "<mask_codefor>reducep<mode><mask_name><round_saeonly_name>"
4020 : 11624 : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v")
4021 : 11624 : (unspec:VFH_AVX512VL
4022 : 209 : [(match_operand:VFH_AVX512VL 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")
4023 : 4091 : (match_operand:SI 2 "const_0_to_255_operand")]
4024 : 209 : UNSPEC_REDUCE))]
4025 : 6548 : "(TARGET_AVX512DQ || (VALID_AVX512FP16_REG_MODE (<MODE>mode))) && <round_saeonly_mode_condition>"
4026 : 4091 : "vreduce<ssemodesuffix>\t{%2, <round_saeonly_mask_op3>%1, %0<mask_operand3>|%0<mask_operand3>, %1<round_saeonly_mask_op3>, %2}"
4027 : 4091 : [(set_attr "type" "sse")
4028 : 4091 : (set_attr "prefix" "evex")
4029 : 5865 : (set_attr "mode" "<MODE>")])
4030 : 4091 :
4031 : 4846 : (define_insn "reduces<mode><mask_scalar_name><round_saeonly_scalar_name>"
4032 : 209 : [(set (match_operand:VFH_128 0 "register_operand" "=v")
4033 : 209 : (vec_merge:VFH_128
4034 : 209 : (unspec:VFH_128
4035 : 396 : [(match_operand:VFH_128 1 "register_operand" "v")
4036 : 209 : (match_operand:VFH_128 2 "<round_saeonly_scalar_nimm_predicate>" "<round_saeonly_scalar_constraint>")
4037 : 1974 : (match_operand:SI 3 "const_0_to_255_operand")]
4038 : 1527 : UNSPEC_REDUCE)
4039 : 1527 : (match_dup 1)
4040 : 1527 : (const_int 1)))]
4041 : 2642 : "TARGET_AVX512DQ || (VALID_AVX512FP16_REG_MODE (<MODE>mode))"
4042 : 1527 : "vreduce<ssescalarmodesuffix>\t{%3, <round_saeonly_scalar_mask_op4>%2, %1, %0<mask_scalar_operand4>|%0<mask_scalar_operand4>, %1, %<iptr>2<round_saeonly_scalar_mask_op4>, %3}"
4043 : 396 : [(set_attr "type" "sse")
4044 : 209 : (set_attr "prefix" "evex")
4045 : 758 : (set_attr "mode" "<MODE>")])
4046 : 1706 :
4047 : 209 : (define_expand "reduc_<code>_scal_<mode>"
4048 : 209 : [(any_logic:VI_128
4049 : 209 : (match_operand:<ssescalarmode> 0 "register_operand")
4050 : 209 : (match_operand:VI_128 1 "register_operand"))]
4051 : 209 : "TARGET_SSE2"
4052 : 5279 : {
4053 : 4276 : rtx tmp = gen_reg_rtx (<MODE>mode);
4054 : 5275 : ix86_expand_reduc (gen_<code><mode>3, tmp, operands[1]);
4055 : 105253 : emit_insn (gen_vec_extract<mode><ssescalarmodelower> (operands[0],
4056 : 100183 : tmp, const0_rtx));
4057 : 105253 : DONE;
4058 : 100183 : })
4059 : 100183 :
4060 : 100183 : (define_mode_iterator REDUC_ANY_LOGIC_MODE
4061 : 100183 : [(V32QI "TARGET_AVX") (V16HI "TARGET_AVX")
4062 : 100179 : (V8SI "TARGET_AVX") (V4DI "TARGET_AVX")
4063 : 79 : (V64QI "TARGET_AVX512F && TARGET_EVEX512")
4064 : 79 : (V32HI "TARGET_AVX512F && TARGET_EVEX512")
4065 : 79 : (V16SI "TARGET_AVX512F && TARGET_EVEX512")
4066 : 75009 : (V8DI "TARGET_AVX512F && TARGET_EVEX512")])
4067 : 79 :
4068 : 79 : (define_expand "reduc_<code>_scal_<mode>"
4069 : 79 : [(any_logic:REDUC_ANY_LOGIC_MODE
4070 : 21384 : (match_operand:<ssescalarmode> 0 "register_operand")
4071 : 79 : (match_operand:REDUC_ANY_LOGIC_MODE 1 "register_operand"))]
4072 : 79 : ""
4073 : 317 : {
4074 : 14477 : rtx tmp = gen_reg_rtx (<ssehalfvecmode>mode);
4075 : 317 : rtx tmp2 = gen_reg_rtx (<ssehalfvecmode>mode);
4076 : 1316 : rtx tmp3 = gen_reg_rtx (<ssehalfvecmode>mode);
4077 : 317 : emit_insn (gen_vec_extract_hi_<mode> (tmp, operands[1]));
4078 : 317 : emit_insn (gen_vec_extract_lo_<mode> (tmp2, operands[1]));
4079 : 317 : emit_insn (gen_<code><ssehalfvecmodelower>3 (tmp3, tmp, tmp2));
4080 : 1536 : emit_insn (gen_reduc_<code>_scal_<ssehalfvecmodelower> (operands[0], tmp3));
4081 : 317 : DONE;
4082 : 1299 : })
4083 : 15825 :
4084 : 15825 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
4085 : 14606 : ;;
4086 : 14606 : ;; Parallel floating point comparisons
4087 : 80 : ;;
4088 : 80 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
4089 : 80 :
4090 : 14425 : (define_insn "avx_cmp<mode>3"
4091 : 80 : [(set (match_operand:VF_128_256 0 "register_operand" "=x,x")
4092 : 80 : (unspec:VF_128_256
4093 : 80 : [(match_operand:VF_128_256 1 "register_operand" "0,x")
4094 : 80 : (match_operand:VF_128_256 2 "nonimmediate_operand" "xm,xjm")
4095 : 80 : (match_operand:SI 3 "cmpps_imm_operand")]
4096 : 80 : UNSPEC_PCMP))]
4097 : 546 : "TARGET_SSE"
4098 : 80 : "@
4099 : 66457 : cmp<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}
4100 : 66475 : vcmp<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
4101 : 67389 : [(set_attr "isa" "noavx,avx")
4102 : 979 : (set_attr "type" "ssecmp")
4103 : 131 : (set_attr "addr" "*,gpr16")
4104 : 996 : (set_attr "length_immediate" "1")
4105 : 54213 : (set_attr "prefix" "orig,vex")
4106 : 130 : (set_attr "mode" "<MODE>")])
4107 : 130 :
4108 : 97 : (define_insn_and_split "*avx_cmp<mode>3_1"
4109 : 54195 : [(set (match_operand:<sseintvecmode> 0 "register_operand")
4110 : 112 : (vec_merge:<sseintvecmode>
4111 : 106 : (match_operand:<sseintvecmode> 1 "vector_all_ones_operand")
4112 : 112 : (match_operand:<sseintvecmode> 2 "const0_operand")
4113 : 85 : (unspec:<avx512fmaskmode>
4114 : 112 : [(match_operand:VF_128_256 3 "register_operand")
4115 : 85 : (match_operand:VF_128_256 4 "nonimmediate_operand")
4116 : 85 : (match_operand:SI 5 "const_0_to_31_operand")]
4117 : 85 : UNSPEC_PCMP)))]
4118 : 866873 : "TARGET_AVX512VL && ix86_pre_reload_split ()"
4119 : 866762 : "#"
4120 : 866762 : "&& 1"
4121 : 866789 : [(set (match_dup 6)
4122 : 866780 : (unspec:VF_128_256
4123 : 866782 : [(match_dup 3)
4124 : 866785 : (match_dup 4)
4125 : 866785 : (match_dup 5)]
4126 : 866758 : UNSPEC_PCMP))
4127 : 866758 : (set (match_dup 0) (match_dup 7))]
4128 : 866785 : {
4129 : 866871 : operands[6] = gen_reg_rtx (<MODE>mode);
4130 : 866871 : operands[7]
4131 : 866871 : = lowpart_subreg (GET_MODE (operands[0]), operands[6], <MODE>mode);
4132 : 866850 : })
4133 : 866850 :
4134 : 866850 : (define_insn_and_split "*avx_cmp<mode>3_2"
4135 : 866869 : [(set (match_operand:<sseintvecmode> 0 "register_operand")
4136 : 866783 : (vec_merge:<sseintvecmode>
4137 : 866783 : (match_operand:<sseintvecmode> 1 "vector_all_ones_operand")
4138 : 866783 : (match_operand:<sseintvecmode> 2 "const0_operand")
4139 : 866783 : (not:<avx512fmaskmode>
4140 : 866783 : (unspec:<avx512fmaskmode>
4141 : 106 : [(match_operand:VF_128_256 3 "register_operand")
4142 : 106 : (match_operand:VF_128_256 4 "nonimmediate_operand")
4143 : 122 : (match_operand:SI 5 "const_0_to_31_operand")]
4144 : 122 : UNSPEC_PCMP))))]
4145 : 122 : "TARGET_AVX512VL && ix86_pre_reload_split ()"
4146 : 122 : "#"
4147 : 106 : "&& 1"
4148 : 106 : [(set (match_dup 6)
4149 : 185 : (unspec:VF_128_256
4150 : 185 : [(match_dup 3)
4151 : 185 : (match_dup 4)
4152 : 158 : (match_dup 5)]
4153 : 158 : UNSPEC_PCMP))
4154 : 158 : (set (match_dup 0) (match_dup 7))]
4155 : 79 : {
4156 : 79 : operands[5] = GEN_INT (INTVAL (operands[5]) ^ 4);
4157 : 79 : operands[6] = gen_reg_rtx (<MODE>mode);
4158 : 168 : operands[7]
4159 : 79 : = lowpart_subreg (GET_MODE (operands[0]), operands[6], <MODE>mode);
4160 : 30 : })
4161 : 30 :
4162 : 103 : (define_insn_and_split "*avx_cmp<mode>3_3"
4163 : 76 : [(set (match_operand:VF_128_256 0 "register_operand")
4164 : 76 : (vec_merge:VF_128_256
4165 : 76 : (match_operand:VF_128_256 1 "float_vector_all_ones_operand")
4166 : 76 : (match_operand:VF_128_256 2 "const0_operand")
4167 : 10523 : (unspec:<avx512fmaskmode>
4168 : 10529 : [(match_operand:VF_128_256 3 "register_operand")
4169 : 10523 : (match_operand:VF_128_256 4 "nonimmediate_operand")
4170 : 10529 : (match_operand:SI 5 "const_0_to_31_operand")]
4171 : 10529 : UNSPEC_PCMP)))]
4172 : 10553 : "TARGET_AVX512VL && ix86_pre_reload_split ()"
4173 : 10529 : "#"
4174 : 10529 : "&& 1"
4175 : 10529 : [(set (match_dup 0)
4176 : 10544 : (unspec:VF_128_256
4177 : 10535 : [(match_dup 3)
4178 : 85 : (match_dup 4)
4179 : 100 : (match_dup 5)]
4180 : 82 : UNSPEC_PCMP))])
4181 : 82 :
4182 : 6 : (define_insn_and_split "*avx_cmp<mode>3_4"
4183 : 6 : [(set (match_operand:VF_128_256 0 "register_operand")
4184 : 6 : (vec_merge:VF_128_256
4185 : 6 : (match_operand:VF_128_256 1 "float_vector_all_ones_operand")
4186 : 451464 : (match_operand:VF_128_256 2 "const0_operand")
4187 : 451464 : (not:<avx512fmaskmode>
4188 : 451464 : (unspec:<avx512fmaskmode>
4189 : 6 : [(match_operand:VF_128_256 3 "register_operand")
4190 : 6 : (match_operand:VF_128_256 4 "nonimmediate_operand")
4191 : 6 : (match_operand:SI 5 "const_0_to_31_operand")]
4192 : 448679 : UNSPEC_PCMP))))]
4193 : 0 : "TARGET_AVX512VL && ix86_pre_reload_split ()"
4194 : 0 : "#"
4195 : : "&& 1"
4196 : 448709 : [(set (match_dup 0)
4197 : 0 : (unspec:VF_128_256
4198 : 42 : [(match_dup 3)
4199 : 48 : (match_dup 4)
4200 : 48 : (match_dup 5)]
4201 : 48 : UNSPEC_PCMP))]
4202 : 42 : "operands[5] = GEN_INT (INTVAL (operands[5]) ^ 4);")
4203 : 310785 :
4204 : 310785 : (define_insn_and_split "*avx_cmp<mode>3_lt"
4205 : 311377 : [(set (match_operand:VF_128_256 0 "register_operand")
4206 : 676 : (vec_merge:VF_128_256
4207 : 2167 : (match_operand:VF_128_256 1 "vector_operand")
4208 : 2157 : (match_operand:VF_128_256 2 "vector_operand")
4209 : 2167 : (unspec:<avx512fmaskmode>
4210 : 2167 : [(match_operand:<sseintvecmode> 3 "register_operand")
4211 : 644 : (match_operand:<sseintvecmode> 4 "const0_operand")
4212 : 1801 : (match_operand:SI 5 "const_0_to_7_operand")]
4213 : 1801 : UNSPEC_PCMP)))]
4214 : 728 : "TARGET_AVX512VL && ix86_pre_reload_split ()
4215 : 1791 : /* LT or GE 0 */
4216 : 1896 : && ((INTVAL (operands[5]) == 1) || (INTVAL (operands[5]) == 5))"
4217 : 644 : "#"
4218 : 646 : "&& 1"
4219 : 676 : [(set (match_dup 0)
4220 : 18 : (unspec:VF_128_256
4221 : 18 : [(match_dup 2)
4222 : 36 : (match_dup 1)
4223 : 32 : (lt:VF_128_256
4224 : 0 : (match_dup 3)
4225 : 14 : (match_dup 4))]
4226 : 14 : UNSPEC_BLENDV))]
4227 : 56 : {
4228 : 1471815 : if (INTVAL (operands[5]) == 5)
4229 : 1471783 : std::swap (operands[1], operands[2]);
4230 : 1471815 : operands[2] = force_reg (<MODE>mode, operands[2]);
4231 : 1471773 : })
4232 : 1471795 :
4233 : 1471773 : (define_insn_and_split "*avx_cmp<mode>3_ltint"
4234 : 1471837 : [(set (match_operand:VI48_AVX 0 "register_operand")
4235 : 1471837 : (vec_merge:VI48_AVX
4236 : 1471837 : (match_operand:VI48_AVX 1 "vector_operand")
4237 : 1471837 : (match_operand:VI48_AVX 2 "vector_operand")
4238 : 1471837 : (unspec:<avx512fmaskmode>
4239 : 1471837 : [(match_operand:VI48_AVX 3 "register_operand")
4240 : 1471837 : (match_operand:VI48_AVX 4 "const0_operand")
4241 : 1471815 : (match_operand:SI 5 "const_0_to_7_operand")]
4242 : 1471837 : UNSPEC_PCMP)))]
4243 : 1471874 : "TARGET_AVX512VL && ix86_pre_reload_split ()
4244 : 1471801 : /* LT or GE 0 */
4245 : 1471870 : && ((INTVAL (operands[5]) == 1) || (INTVAL (operands[5]) == 5))"
4246 : 1471759 : "#"
4247 : 1471759 : "&& 1"
4248 : 1471779 : [(set (match_dup 0)
4249 : 1471778 : (unspec:<ssebytemode>
4250 : 1471778 : [(match_dup 2)
4251 : 1471847 : (match_dup 1)
4252 : 1471838 : (subreg:<ssebytemode>
4253 : 1471864 : (lt:VI48_AVX
4254 : 1471864 : (match_dup 3)
4255 : 1471801 : (match_dup 4)) 0)]
4256 : 1471759 : UNSPEC_BLENDV))]
4257 : 1471779 : {
4258 : 1471779 : if (INTVAL (operands[5]) == 5)
4259 : 1471771 : std::swap (operands[1], operands[2]);
4260 : 1471779 : operands[0] = gen_lowpart (<ssebytemode>mode, operands[0]);
4261 : 1471781 : operands[1] = gen_lowpart (<ssebytemode>mode, operands[1]);
4262 : 1471779 : operands[2] = force_reg (<ssebytemode>mode,
4263 : 1471781 : gen_lowpart (<ssebytemode>mode, operands[2]));
4264 : 1471761 : })
4265 : 1471761 :
4266 : 1471761 : (define_insn_and_split "*avx_cmp<mode>3_ltint_not"
4267 : 1471781 : [(set (match_operand:VI48_AVX 0 "register_operand")
4268 : 1471781 : (vec_merge:VI48_AVX
4269 : 1471781 : (match_operand:VI48_AVX 1 "vector_operand")
4270 : 1471781 : (match_operand:VI48_AVX 2 "vector_operand")
4271 : 1471779 : (unspec:<avx512fmaskmode>
4272 : 1471781 : [(subreg:VI48_AVX
4273 : 1471779 : (not:<ssebytemode>
4274 : 1471779 : (match_operand:<ssebytemode> 3 "vector_operand")) 0)
4275 : 1471779 : (match_operand:VI48_AVX 4 "const0_operand")
4276 : 1471779 : (match_operand:SI 5 "const_0_to_7_operand")]
4277 : 1471779 : UNSPEC_PCMP)))]
4278 : 1471783 : "TARGET_AVX512VL && ix86_pre_reload_split ()
4279 : 1471759 : /* not LT or GE 0 */
4280 : 1471771 : && ((INTVAL (operands[5]) == 1) || (INTVAL (operands[5]) == 5))"
4281 : 1471759 : "#"
4282 : 1471759 : "&& 1"
4283 : 1471759 : [(set (match_dup 0)
4284 : 1471771 : (unspec:<ssebytemode>
4285 : 1471759 : [(match_dup 1)
4286 : 1471762 : (match_dup 2)
4287 : 1471762 : (subreg:<ssebytemode>
4288 : 1471779 : (lt:VI48_AVX
4289 : 1471779 : (match_dup 3)
4290 : 1471779 : (match_dup 4)) 0)]
4291 : 1471759 : UNSPEC_BLENDV))]
4292 : 1471771 : {
4293 : 1471771 : if (INTVAL (operands[5]) == 5)
4294 : 1471765 : std::swap (operands[1], operands[2]);
4295 : 1471771 : operands[0] = gen_lowpart (<ssebytemode>mode, operands[0]);
4296 : 1471779 : operands[1] = force_reg (<ssebytemode>mode,
4297 : 1471771 : gen_lowpart (<ssebytemode>mode, operands[1]));
4298 : 1471779 : operands[2] = gen_lowpart (<ssebytemode>mode, operands[2]);
4299 : 1471767 :
4300 : 1471779 : operands[3] = force_reg (<ssebytemode>mode, operands[3]);
4301 : 1471779 : operands[3] = lowpart_subreg (<MODE>mode, operands[3], <ssebytemode>mode);
4302 : 1471767 : })
4303 : 1471767 :
4304 : 1471767 : (define_insn "avx_vmcmp<mode>3"
4305 : 1471779 : [(set (match_operand:VF_128 0 "register_operand" "=x,x")
4306 : 1471771 : (vec_merge:VF_128
4307 : 1471779 : (unspec:VF_128
4308 : 1471771 : [(match_operand:VF_128 1 "register_operand" "0,x")
4309 : 1471771 : (match_operand:VF_128 2 "nonimmediate_operand" "xm,xjm")
4310 : 1471771 : (match_operand:SI 3 "cmpps_imm_operand")]
4311 : 1471771 : UNSPEC_PCMP)
4312 : 1471771 : (match_dup 1)
4313 : 1471771 : (const_int 1)))]
4314 : 1472279 : "TARGET_SSE"
4315 : 1471771 : "@
4316 : 1471759 : cmp<ssescalarmodesuffix>\t{%3, %2, %0|%0, %<iptr>2, %3}
4317 : 1471759 : vcmp<ssescalarmodesuffix>\t{%3, %2, %1, %0|%0, %1, %<iptr>2, %3}"
4318 : 1472275 : [(set_attr "isa" "noavx,avx")
4319 : 1472275 : (set_attr "type" "ssecmp")
4320 : 1471759 : (set_attr "addr" "*,gpr16")
4321 : 1471759 : (set_attr "length_immediate" "1")
4322 : 1471759 : (set_attr "prefix" "orig,vex")
4323 : 1471759 : (set_attr "mode" "<ssescalarmode>")])
4324 : 1471759 :
4325 : 1471759 : (define_insn "*<sse>_maskcmp<mode>3_comm"
4326 : 1471771 : [(set (match_operand:VF_128_256 0 "register_operand" "=x,x")
4327 : 1471771 : (match_operator:VF_128_256 3 "sse_comparison_operator"
4328 : 1471771 : [(match_operand:VF_128_256 1 "register_operand" "%0,x")
4329 : 1471759 : (match_operand:VF_128_256 2 "vector_operand" "xBm,xjm")]))]
4330 : 1534539 : "TARGET_SSE
4331 : 1544948 : && GET_RTX_CLASS (GET_CODE (operands[3])) == RTX_COMM_COMPARE"
4332 : 1471759 : "@
4333 : 1481260 : cmp%D3<ssemodesuffix>\t{%2, %0|%0, %2}
4334 : 1471765 : vcmp%D3<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
4335 : 1471759 : [(set_attr "isa" "noavx,avx")
4336 : 1471765 : (set_attr "addr" "*,gpr16")
4337 : 1471765 : (set_attr "type" "ssecmp")
4338 : 1471766 : (set_attr "length_immediate" "1")
4339 : 1471766 : (set_attr "prefix" "orig,vex")
4340 : 1471766 : (set_attr "mode" "<MODE>")])
4341 : 1471766 :
4342 : 1471766 : (define_insn "<sse>_maskcmp<mode>3"
4343 : 1471766 : [(set (match_operand:VF_128_256 0 "register_operand" "=x,x")
4344 : 1471759 : (match_operator:VF_128_256 3 "sse_comparison_operator"
4345 : 1471765 : [(match_operand:VF_128_256 1 "register_operand" "0,x")
4346 : 1471760 : (match_operand:VF_128_256 2 "vector_operand" "xBm,xjm")]))]
4347 : 1471760 : "TARGET_SSE"
4348 : 1471760 : "@
4349 : 1471759 : cmp%D3<ssemodesuffix>\t{%2, %0|%0, %2}
4350 : 1471760 : vcmp%D3<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
4351 : 1471760 : [(set_attr "isa" "noavx,avx")
4352 : 1474149 : (set_attr "addr" "*,gpr16")
4353 : 1474149 : (set_attr "type" "ssecmp")
4354 : 1471760 : (set_attr "length_immediate" "1")
4355 : 1471760 : (set_attr "prefix" "orig,vex")
4356 : 1473303 : (set_attr "mode" "<MODE>")])
4357 : 1471759 :
4358 : 1471772 : (define_insn "<sse>_vmmaskcmp<mode>3"
4359 : 1471759 : [(set (match_operand:VF_128 0 "register_operand" "=x,x")
4360 : 1471772 : (vec_merge:VF_128
4361 : 1471772 : (match_operator:VF_128 3 "sse_comparison_operator"
4362 : 1471772 : [(match_operand:VF_128 1 "register_operand" "0,x")
4363 : 1471772 : (match_operand:VF_128 2 "nonimmediate_operand" "xm,xjm")])
4364 : 1471772 : (match_dup 1)
4365 : 1471759 : (const_int 1)))]
4366 : 1472838 : "TARGET_SSE"
4367 : 1471772 : "@
4368 : 1471772 : cmp%D3<ssescalarmodesuffix>\t{%2, %0|%0, %<iptr>2}
4369 : 1471759 : vcmp%D3<ssescalarmodesuffix>\t{%2, %1, %0|%0, %1, %<iptr>2}"
4370 : 1472992 : [(set_attr "isa" "noavx,avx")
4371 : 1473005 : (set_attr "addr" "*,gpr16")
4372 : 1471772 : (set_attr "type" "ssecmp")
4373 : 1473005 : (set_attr "length_immediate" "1,*")
4374 : 1471772 : (set_attr "prefix" "orig,vex")
4375 : 1471772 : (set_attr "mode" "<ssescalarmode>")])
4376 : 1471759 :
4377 : 1471759 : (define_mode_attr cmp_imm_predicate
4378 : 1471759 : [(V32HF "const_0_to_31_operand") (V16SF "const_0_to_31_operand") (V8DF "const_0_to_31_operand")
4379 : 1471759 : (V16SI "const_0_to_7_operand") (V8DI "const_0_to_7_operand")
4380 : 1471759 : (V16HF "const_0_to_31_operand") (V8SF "const_0_to_31_operand") (V4DF "const_0_to_31_operand")
4381 : 1471759 : (V8SI "const_0_to_7_operand") (V4DI "const_0_to_7_operand")
4382 : 1471759 : (V8HF "const_0_to_31_operand") (V4SF "const_0_to_31_operand") (V2DF "const_0_to_31_operand")
4383 : 1471760 : (V4SI "const_0_to_7_operand") (V2DI "const_0_to_7_operand")
4384 : 1471760 : (V32HI "const_0_to_7_operand") (V64QI "const_0_to_7_operand")
4385 : 1471759 : (V16HI "const_0_to_7_operand") (V32QI "const_0_to_7_operand")
4386 : 1471760 : (V8HI "const_0_to_7_operand") (V16QI "const_0_to_7_operand")])
4387 : 1471760 :
4388 : 1471843 : (define_insn "<avx512>_cmp<mode>3<mask_scalar_merge_name><round_saeonly_name>"
4389 : 1471843 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
4390 : 1471843 : (unspec:<avx512fmaskmode>
4391 : 1471843 : [(match_operand:V48H_AVX512VL 1 "register_operand" "v")
4392 : 1471843 : (match_operand:V48H_AVX512VL 2 "nonimmediate_operand" "<round_saeonly_constraint>")
4393 : 1471760 : (match_operand:SI 3 "<cmp_imm_predicate>" "n")]
4394 : 1471760 : UNSPEC_PCMP))]
4395 : 1534156 : "TARGET_AVX512F && <round_saeonly_mode_condition>"
4396 : 1471842 : "v<ssecmpintprefix>cmp<ssemodesuffix>\t{%3, <round_saeonly_mask_scalar_merge_op4>%2, %1, %0<mask_scalar_merge_operand4>|%0<mask_scalar_merge_operand4>, %1, %2<round_saeonly_mask_scalar_merge_op4>, %3}"
4397 : 1471842 : [(set_attr "type" "ssecmp")
4398 : 1471759 : (set_attr "length_immediate" "1")
4399 : 1471842 : (set_attr "prefix" "evex")
4400 : 1471842 : (set_attr "mode" "<sseinsnmode>")])
4401 : 1472372 :
4402 : 1471842 : ;; Since vpcmpd implicitly clear the upper bits of dest, transform
4403 : 1471842 : ;; vpcmpd + zero_extend to vpcmpd since the instruction
4404 : 1471759 : (define_insn "*<avx512>_cmp<V48H_AVX512VL:mode>3_zero_extend<SWI248x:mode>"
4405 : 1471842 : [(set (match_operand:SWI248x 0 "register_operand" "=k")
4406 : 1471842 : (zero_extend:SWI248x
4407 : 1475394 : (unspec:<V48H_AVX512VL:avx512fmaskmode>
4408 : 1471855 : [(match_operand:V48H_AVX512VL 1 "nonimmediate_operand" "v")
4409 : 1471855 : (match_operand:V48H_AVX512VL 2 "nonimmediate_operand" "vm")
4410 : 1471855 : (match_operand:SI 3 "const_0_to_7_operand" "n")]
4411 : 1471855 : UNSPEC_PCMP)))]
4412 : 1471879 : "TARGET_AVX512F
4413 : 1472154 : && (!VALID_MASK_AVX512BW_MODE (<SWI248x:MODE>mode) || TARGET_AVX512BW)
4414 : 1472175 : && (GET_MODE_NUNITS (<V48H_AVX512VL:MODE>mode)
4415 : 1472175 : < GET_MODE_PRECISION (<SWI248x:MODE>mode))"
4416 : 1471855 : "v<ssecmpintprefix>cmp<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
4417 : 1471855 : [(set_attr "type" "ssecmp")
4418 : 1471855 : (set_attr "length_immediate" "1")
4419 : 1471855 : (set_attr "prefix" "evex")
4420 : 1471855 : (set_attr "mode" "<V48H_AVX512VL:sseinsnmode>")])
4421 : 1471855 :
4422 : 1471855 : (define_insn_and_split "*<avx512>_cmp<V48H_AVX512VL:mode>3_zero_extend<SWI248x:mode>_2"
4423 : 1471855 : [(set (match_operand:SWI248x 0 "register_operand")
4424 : 1471855 : (zero_extend:SWI248x
4425 : 1471855 : (unspec:<V48H_AVX512VL:avx512fmaskmode>
4426 : 1471855 : [(match_operand:V48H_AVX512VL 1 "nonimmediate_operand")
4427 : 1471855 : (match_operand:V48H_AVX512VL 2 "nonimmediate_operand")
4428 : 1471855 : (match_operand:SI 3 "const_0_to_7_operand")]
4429 : 1471855 : UNSPEC_PCMP)))
4430 : 1471855 : (set (match_operand:<V48H_AVX512VL:avx512fmaskmode> 4 "register_operand")
4431 : 1471855 : (unspec:<V48H_AVX512VL:avx512fmaskmode>
4432 : 1471855 : [(match_dup 1)
4433 : 1471855 : (match_dup 2)
4434 : 1471855 : (match_dup 3)]
4435 : 1471855 : UNSPEC_PCMP))]
4436 : 96 : "TARGET_AVX512F
4437 : 333 : && (!VALID_MASK_AVX512BW_MODE (<SWI248x:MODE>mode) || TARGET_AVX512BW)
4438 : 333 : && (GET_MODE_NUNITS (<V48H_AVX512VL:MODE>mode)
4439 : 333 : < GET_MODE_PRECISION (<SWI248x:MODE>mode))
4440 : 333 : && ix86_pre_reload_split ()"
4441 : 96 : "#"
4442 : 96 : "&& 1"
4443 : 96 : [(set (match_dup 0)
4444 : 311294 : (zero_extend:SWI248x
4445 : 311214 : (unspec:<V48H_AVX512VL:avx512fmaskmode>
4446 : 311294 : [(match_dup 1)
4447 : 311362 : (match_dup 2)
4448 : 311214 : (match_dup 3)]
4449 : 311214 : UNSPEC_PCMP)))
4450 : 311214 : (set (match_dup 4) (match_dup 5))]
4451 : 311294 : {
4452 : 311294 : operands[5] = lowpart_subreg (<V48H_AVX512VL:avx512fmaskmode>mode,
4453 : 311214 : operands[0], <SWI248x:MODE>mode);
4454 : 311294 : if (SUBREG_P (operands[5]))
4455 : 311214 : {
4456 : 311294 : SUBREG_PROMOTED_VAR_P (operands[5]) = 1;
4457 : 311294 : SUBREG_PROMOTED_SET (operands[5], 1);
4458 : 311214 : }
4459 : 311214 : })
4460 : 311214 :
4461 : 311214 : (define_insn_and_split "*<avx512>_cmp<mode>3"
4462 : 311294 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand")
4463 : 311294 : (not:<avx512fmaskmode>
4464 : 311294 : (unspec:<avx512fmaskmode>
4465 : 311294 : [(match_operand:V48H_AVX512VL 1 "register_operand")
4466 : 311294 : (match_operand:V48H_AVX512VL 2 "nonimmediate_operand")
4467 : 311294 : (match_operand:SI 3 "<cmp_imm_predicate>" "n")]
4468 : 311294 : UNSPEC_PCMP)))]
4469 : 311514 : "TARGET_AVX512F && ix86_pre_reload_split ()"
4470 : 311294 : "#"
4471 : 311294 : "&& 1"
4472 : 311294 : [(set (match_dup 0)
4473 : 311318 : (unspec:<avx512fmaskmode>
4474 : 311294 : [(match_dup 1)
4475 : 311235 : (match_dup 2)
4476 : 311253 : (match_dup 4)]
4477 : 311214 : UNSPEC_PCMP))]
4478 : 311238 : "operands[4] = GEN_INT (INTVAL (operands[3]) ^ 4);")
4479 : 311214 :
4480 : 311214 : (define_insn "<avx512>_cmp<mode>3<mask_scalar_merge_name>"
4481 : 311238 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
4482 : 311294 : (unspec:<avx512fmaskmode>
4483 : 311238 : [(match_operand:VI12_AVX512VL 1 "register_operand" "v")
4484 : 311294 : (match_operand:VI12_AVX512VL 2 "nonimmediate_operand" "vm")
4485 : 311294 : (match_operand:SI 3 "<cmp_imm_predicate>" "n")]
4486 : 311318 : UNSPEC_PCMP))]
4487 : 325539 : "TARGET_AVX512BW"
4488 : 311238 : "vpcmp<ssemodesuffix>\t{%3, %2, %1, %0<mask_scalar_merge_operand4>|%0<mask_scalar_merge_operand4>, %1, %2, %3}"
4489 : 311238 : [(set_attr "type" "ssecmp")
4490 : 311238 : (set_attr "length_immediate" "1")
4491 : 120 : (set_attr "prefix" "evex")
4492 : 176 : (set_attr "mode" "<sseinsnmode>")])
4493 : 96 :
4494 : 30670 : (define_insn "*<avx512>_cmp<VI12_AVX512VL:mode>3_zero_extend<SWI248x:mode>"
4495 : 176 : [(set (match_operand:SWI248x 0 "register_operand" "=k")
4496 : 176 : (zero_extend:SWI248x
4497 : 176 : (unspec:<VI12_AVX512VL:avx512fmaskmode>
4498 : 120 : [(match_operand:VI12_AVX512VL 1 "nonimmediate_operand" "v")
4499 : 120 : (match_operand:VI12_AVX512VL 2 "nonimmediate_operand" "vm")
4500 : 112 : (match_operand:SI 3 "const_0_to_7_operand" "n")]
4501 : 160 : UNSPEC_PCMP)))]
4502 : 178 : "TARGET_AVX512BW
4503 : 585965 : && (GET_MODE_NUNITS (<VI12_AVX512VL:MODE>mode)
4504 : 585901 : < GET_MODE_PRECISION (<SWI248x:MODE>mode))"
4505 : 585835 : "vpcmp<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
4506 : 585849 : [(set_attr "type" "ssecmp")
4507 : 585835 : (set_attr "length_immediate" "1")
4508 : 585849 : (set_attr "prefix" "evex")
4509 : 585849 : (set_attr "mode" "<VI12_AVX512VL:sseinsnmode>")])
4510 : 585849 :
4511 : 585849 : (define_insn_and_split "*<avx512>_cmp<VI12_AVX512VL:mode>3_zero_extend<SWI248x:mode>_2"
4512 : 585849 : [(set (match_operand:SWI248x 0 "register_operand")
4513 : 585849 : (zero_extend:SWI248x
4514 : 585843 : (unspec:<VI12_AVX512VL:avx512fmaskmode>
4515 : 585841 : [(match_operand:VI12_AVX512VL 1 "nonimmediate_operand")
4516 : 585843 : (match_operand:VI12_AVX512VL 2 "nonimmediate_operand")
4517 : 585841 : (match_operand:SI 3 "const_0_to_7_operand")]
4518 : 585835 : UNSPEC_PCMP)))
4519 : 585835 : (set (match_operand:<VI12_AVX512VL:avx512fmaskmode> 4 "register_operand")
4520 : 585835 : (unspec:<VI12_AVX512VL:avx512fmaskmode>
4521 : 585835 : [(match_dup 1)
4522 : 585835 : (match_dup 2)
4523 : 585835 : (match_dup 3)]
4524 : 585835 : UNSPEC_PCMP))]
4525 : 585877 : "TARGET_AVX512BW
4526 : 585883 : && (GET_MODE_NUNITS (<VI12_AVX512VL:MODE>mode)
4527 : 585883 : < GET_MODE_PRECISION (<SWI248x:MODE>mode))
4528 : 585883 : && ix86_pre_reload_split ()"
4529 : 585835 : "#"
4530 : 585835 : "&& 1"
4531 : 585835 : [(set (match_dup 0)
4532 : 585853 : (zero_extend:SWI248x
4533 : 585835 : (unspec:<VI12_AVX512VL:avx512fmaskmode>
4534 : 585853 : [(match_dup 1)
4535 : 585871 : (match_dup 2)
4536 : 585835 : (match_dup 3)]
4537 : 585835 : UNSPEC_PCMP)))
4538 : 585835 : (set (match_dup 4) (match_dup 5))]
4539 : 585853 : {
4540 : 585853 : operands[5] = lowpart_subreg (<VI12_AVX512VL:avx512fmaskmode>mode,
4541 : 585835 : operands[0], <SWI248x:MODE>mode);
4542 : 585853 : if (SUBREG_P (operands[5]))
4543 : 585835 : {
4544 : 585853 : SUBREG_PROMOTED_VAR_P (operands[5]) = 1;
4545 : 585853 : SUBREG_PROMOTED_SET (operands[5], 1);
4546 : 585835 : }
4547 : 585835 : }
4548 : 585835 : [(set_attr "type" "ssecmp")
4549 : 585835 : (set_attr "length_immediate" "1")
4550 : 585853 : (set_attr "prefix" "evex")
4551 : 585853 : (set_attr "mode" "<VI12_AVX512VL:sseinsnmode>")])
4552 : 585853 :
4553 : 585853 : (define_int_iterator UNSPEC_PCMP_ITER
4554 : 585853 : [UNSPEC_PCMP UNSPEC_UNSIGNED_PCMP])
4555 : 585853 :
4556 : 585853 : (define_insn_and_split "*<avx512>_cmp<mode>3"
4557 : 585853 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand")
4558 : 585853 : (not:<avx512fmaskmode>
4559 : 585853 : (unspec:<avx512fmaskmode>
4560 : 585853 : [(match_operand:VI12_AVX512VL 1 "register_operand")
4561 : 585853 : (match_operand:VI12_AVX512VL 2 "nonimmediate_operand")
4562 : 585853 : (match_operand:SI 3 "<cmp_imm_predicate>")]
4563 : 585835 : UNSPEC_PCMP_ITER)))]
4564 : 585905 : "TARGET_AVX512BW && ix86_pre_reload_split ()"
4565 : 585835 : "#"
4566 : 585835 : "&& 1"
4567 : 585835 : [(set (match_dup 0)
4568 : 585849 : (unspec:<avx512fmaskmode>
4569 : 585835 : [(match_dup 1)
4570 : 585859 : (match_dup 2)
4571 : 585847 : (match_dup 4)]
4572 : 585853 : UNSPEC_PCMP_ITER))]
4573 : 585867 : "operands[4] = GEN_INT (INTVAL (operands[3]) ^ 4);")
4574 : 585853 :
4575 : 585865 : (define_insn "*<avx512>_eq<mode>3<mask_scalar_merge_name>_1"
4576 : 585859 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k,k")
4577 : 585849 : (unspec:<avx512fmaskmode>
4578 : 112 : [(match_operand:VI12_AVX512VL 1 "nonimm_or_0_operand" "%v,v")
4579 : 110 : (match_operand:VI12_AVX512VL 2 "nonimm_or_0_operand" "vm,C")
4580 : 135 : (const_int 0)]
4581 : 57238 : UNSPEC_PCMP_ITER))]
4582 : 1397 : "TARGET_AVX512BW && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
4583 : 135 : "@
4584 : 135 : vpcmpeq<ssemodesuffix>\t{%2, %1, %0<mask_scalar_merge_operand3>|%0<mask_scalar_merge_operand3>, %1, %2}
4585 : 135 : vptestnm<ssemodesuffix>\t{%1, %1, %0<mask_scalar_merge_operand3>|%0<mask_scalar_merge_operand3>, %1, %1}"
4586 : 110 : [(set_attr "type" "ssecmp")
4587 : 121 : (set_attr "prefix" "evex")
4588 : 109 : (set_attr "mode" "<sseinsnmode>")])
4589 : 108 :
4590 : 63982 : (define_insn "<avx512>_ucmp<mode>3<mask_scalar_merge_name>"
4591 : 63981 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
4592 : 63969 : (unspec:<avx512fmaskmode>
4593 : 110 : [(match_operand:VI12_AVX512VL 1 "register_operand" "v")
4594 : 110 : (match_operand:VI12_AVX512VL 2 "nonimmediate_operand" "vm")
4595 : 110 : (match_operand:SI 3 "const_0_to_7_operand")]
4596 : 63569 : UNSPEC_UNSIGNED_PCMP))]
4597 : 3700 : "TARGET_AVX512BW"
4598 : 96 : "vpcmpu<ssemodesuffix>\t{%3, %2, %1, %0<mask_scalar_merge_operand4>|%0<mask_scalar_merge_operand4>, %1, %2, %3}"
4599 : 96 : [(set_attr "type" "ssecmp")
4600 : 63566 : (set_attr "length_immediate" "1")
4601 : 103 : (set_attr "prefix" "evex")
4602 : 96 : (set_attr "mode" "<sseinsnmode>")])
4603 : 103 :
4604 : 103 : (define_insn "*<avx512>_ucmp<VI12_AVX512VL:mode>3_zero_extend<SWI248x:mode>"
4605 : 103 : [(set (match_operand:SWI248x 0 "register_operand" "=k")
4606 : 103 : (zero_extend:SWI248x
4607 : 103 : (unspec:<VI12_AVX512VL:avx512fmaskmode>
4608 : 103 : [(match_operand:VI12_AVX512VL 1 "nonimmediate_operand" "v")
4609 : 366234 : (match_operand:VI12_AVX512VL 2 "nonimmediate_operand" "vm")
4610 : 366235 : (match_operand:SI 3 "const_0_to_7_operand" "n")]
4611 : 366230 : UNSPEC_UNSIGNED_PCMP)))]
4612 : 169 : "TARGET_AVX512BW
4613 : 163 : && (GET_MODE_NUNITS (<VI12_AVX512VL:MODE>mode)
4614 : 163 : < GET_MODE_PRECISION (<SWI248x:MODE>mode))"
4615 : 364820 : "vpcmpu<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
4616 : 96 : [(set_attr "type" "ssecmp")
4617 : 96 : (set_attr "length_immediate" "1")
4618 : 96 : (set_attr "prefix" "evex")
4619 : 364817 : (set_attr "mode" "<VI12_AVX512VL:sseinsnmode>")])
4620 : 96 :
4621 : 96 : (define_insn_and_split "*<avx512>_ucmp<VI12_AVX512VL:mode>3_zero_extend<SWI248x:mode>_2"
4622 : 96 : [(set (match_operand:SWI248x 0 "register_operand")
4623 : 100 : (zero_extend:SWI248x
4624 : 96 : (unspec:<VI12_AVX512VL:avx512fmaskmode>
4625 : 96 : [(match_operand:VI12_AVX512VL 1 "nonimmediate_operand")
4626 : 96 : (match_operand:VI12_AVX512VL 2 "nonimmediate_operand")
4627 : 96 : (match_operand:SI 3 "const_0_to_7_operand")]
4628 : 96 : UNSPEC_UNSIGNED_PCMP)))
4629 : 96 : (set (match_operand:<VI12_AVX512VL:avx512fmaskmode> 4 "register_operand")
4630 : 96 : (unspec:<VI12_AVX512VL:avx512fmaskmode>
4631 : 96 : [(match_dup 1)
4632 : 418361 : (match_dup 2)
4633 : 418361 : (match_dup 3)]
4634 : 418361 : UNSPEC_UNSIGNED_PCMP))]
4635 : 127 : "TARGET_AVX512BW
4636 : 146 : && ix86_pre_reload_split ()
4637 : 146 : && (GET_MODE_NUNITS (<VI12_AVX512VL:MODE>mode)
4638 : 7291 : < GET_MODE_PRECISION (<SWI248x:MODE>mode))
4639 : 146 : && ix86_pre_reload_split ()"
4640 : 96 : "#"
4641 : 96 : "&& 1"
4642 : 1117 : [(set (match_dup 0)
4643 : 115 : (zero_extend:SWI248x
4644 : 96 : (unspec:<VI12_AVX512VL:avx512fmaskmode>
4645 : 123 : [(match_dup 1)
4646 : 1152 : (match_dup 2)
4647 : 96 : (match_dup 3)]
4648 : 96 : UNSPEC_UNSIGNED_PCMP)))
4649 : 96 : (set (match_dup 4) (match_dup 5))]
4650 : 115 : {
4651 : 115 : operands[5] = lowpart_subreg (<VI12_AVX512VL:avx512fmaskmode>mode,
4652 : 96 : operands[0], <SWI248x:MODE>mode);
4653 : 115 : if (SUBREG_P (operands[5]))
4654 : 96 : {
4655 : 2021269 : SUBREG_PROMOTED_VAR_P (operands[5]) = 1;
4656 : 2021269 : SUBREG_PROMOTED_SET (operands[5], 1);
4657 : 2021250 : }
4658 : 2021250 : }
4659 : 2021250 : [(set_attr "type" "ssecmp")
4660 : 2021250 : (set_attr "length_immediate" "1")
4661 : 2021269 : (set_attr "prefix" "evex")
4662 : 2021269 : (set_attr "mode" "<VI12_AVX512VL:sseinsnmode>")])
4663 : 2021269 :
4664 : 2021269 : (define_insn "*<avx512>_eq<mode>3<mask_scalar_merge_name>_1"
4665 : 2021269 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k,k")
4666 : 2021269 : (unspec:<avx512fmaskmode>
4667 : 2021269 : [(match_operand:VI48_AVX512VL 1 "nonimm_or_0_operand" "%v,v")
4668 : 2021269 : (match_operand:VI48_AVX512VL 2 "nonimm_or_0_operand" "vm,C")
4669 : 2021269 : (const_int 0)]
4670 : 2021269 : UNSPEC_PCMP_ITER))]
4671 : 2033746 : "TARGET_AVX512F && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
4672 : 2021269 : "@
4673 : 2021269 : vpcmpeq<ssemodesuffix>\t{%2, %1, %0<mask_scalar_merge_operand3>|%0<mask_scalar_merge_operand3>, %1, %2}
4674 : 2021250 : vptestnm<ssemodesuffix>\t{%1, %1, %0<mask_scalar_merge_operand3>|%0<mask_scalar_merge_operand3>, %1, %1}"
4675 : 2021250 : [(set_attr "type" "ssecmp")
4676 : 2021250 : (set_attr "prefix" "evex")
4677 : 2021250 : (set_attr "mode" "<sseinsnmode>")])
4678 : 2021250 :
4679 : 2021250 : (define_insn "<avx512>_ucmp<mode>3<mask_scalar_merge_name>"
4680 : 2021250 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
4681 : 2021269 : (unspec:<avx512fmaskmode>
4682 : 2021250 : [(match_operand:VI48_AVX512VL 1 "register_operand" "v")
4683 : 2021269 : (match_operand:VI48_AVX512VL 2 "nonimmediate_operand" "vm")
4684 : 2021269 : (match_operand:SI 3 "const_0_to_7_operand")]
4685 : 2021269 : UNSPEC_UNSIGNED_PCMP))]
4686 : 2025001 : "TARGET_AVX512F"
4687 : 2021250 : "vpcmpu<ssemodesuffix>\t{%3, %2, %1, %0<mask_scalar_merge_operand4>|%0<mask_scalar_merge_operand4>, %1, %2, %3}"
4688 : 2021250 : [(set_attr "type" "ssecmp")
4689 : 2021250 : (set_attr "length_immediate" "1")
4690 : 2021250 : (set_attr "prefix" "evex")
4691 : 2021277 : (set_attr "mode" "<sseinsnmode>")])
4692 : 2021250 :
4693 : 2021277 : (define_insn "*<avx512>_ucmp<VI48_AVX512VL:mode>3_zero_extend<SWI248x:mode>"
4694 : 2021277 : [(set (match_operand:SWI248x 0 "register_operand" "=k")
4695 : 2021277 : (zero_extend:SWI248x
4696 : 2021277 : (unspec:<VI48_AVX512VL:avx512fmaskmode>
4697 : 2021277 : [(match_operand:VI48_AVX512VL 1 "nonimmediate_operand" "v")
4698 : 2021277 : (match_operand:VI48_AVX512VL 2 "nonimmediate_operand" "vm")
4699 : 2021277 : (match_operand:SI 3 "const_0_to_7_operand" "n")]
4700 : 2021277 : UNSPEC_UNSIGNED_PCMP)))]
4701 : 2021250 : "TARGET_AVX512F
4702 : 2021379 : && (!VALID_MASK_AVX512BW_MODE (<SWI248x:MODE>mode) || TARGET_AVX512BW)
4703 : 2021352 : && (GET_MODE_NUNITS (<VI48_AVX512VL:MODE>mode)
4704 : 2021352 : < GET_MODE_PRECISION (<SWI248x:MODE>mode))"
4705 : 2021250 : "vpcmpu<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
4706 : 2021250 : [(set_attr "type" "ssecmp")
4707 : 2021250 : (set_attr "length_immediate" "1")
4708 : 2021250 : (set_attr "prefix" "evex")
4709 : 2021250 : (set_attr "mode" "<VI48_AVX512VL:sseinsnmode>")])
4710 : 2021250 :
4711 : 2021250 : (define_insn_and_split "*<avx512>_ucmp<VI48_AVX512VL:mode>3_zero_extend<SWI248x:mode>_2"
4712 : 2021250 : [(set (match_operand:SWI248x 0 "register_operand")
4713 : 2021250 : (zero_extend:SWI248x
4714 : 2021250 : (unspec:<VI48_AVX512VL:avx512fmaskmode>
4715 : 2021250 : [(match_operand:VI48_AVX512VL 1 "nonimmediate_operand")
4716 : 2021250 : (match_operand:VI48_AVX512VL 2 "nonimmediate_operand")
4717 : 2021250 : (match_operand:SI 3 "const_0_to_7_operand")]
4718 : 2021250 : UNSPEC_UNSIGNED_PCMP)))
4719 : 2021250 : (set (match_operand:<VI48_AVX512VL:avx512fmaskmode> 4 "register_operand")
4720 : 2021250 : (unspec:<VI48_AVX512VL:avx512fmaskmode>
4721 : 2021250 : [(match_dup 1)
4722 : 2021250 : (match_dup 2)
4723 : 2021250 : (match_dup 3)]
4724 : 2021250 : UNSPEC_UNSIGNED_PCMP))]
4725 : 2021250 : "TARGET_AVX512F
4726 : 2021328 : && (!VALID_MASK_AVX512BW_MODE (<SWI248x:MODE>mode) || TARGET_AVX512BW)
4727 : 2021352 : && (GET_MODE_NUNITS (<VI48_AVX512VL:MODE>mode)
4728 : 2021352 : < GET_MODE_PRECISION (<SWI248x:MODE>mode))
4729 : 2021352 : && ix86_pre_reload_split ()"
4730 : 2021250 : "#"
4731 : 2021250 : "&& 1"
4732 : 2021250 : [(set (match_dup 0)
4733 : 2021284 : (zero_extend:SWI248x
4734 : 2021250 : (unspec:<VI48_AVX512VL:avx512fmaskmode>
4735 : 2021276 : [(match_dup 1)
4736 : 2021302 : (match_dup 2)
4737 : 2021250 : (match_dup 3)]
4738 : 2021250 : UNSPEC_UNSIGNED_PCMP)))
4739 : 2021250 : (set (match_dup 4) (match_dup 5))]
4740 : 2021284 : {
4741 : 2021284 : operands[5] = lowpart_subreg (<VI48_AVX512VL:avx512fmaskmode>mode,
4742 : 2021250 : operands[0], <SWI248x:MODE>mode);
4743 : 2021284 : if (SUBREG_P (operands[5]))
4744 : 2021250 : {
4745 : 2026433 : SUBREG_PROMOTED_VAR_P (operands[5]) = 1;
4746 : 2021284 : SUBREG_PROMOTED_SET (operands[5], 1);
4747 : 2026399 : }
4748 : 2026399 : }
4749 : 2026399 : [(set_attr "type" "ssecmp")
4750 : 2026399 : (set_attr "length_immediate" "1")
4751 : 2026433 : (set_attr "prefix" "evex")
4752 : 2026433 : (set_attr "mode" "<VI48_AVX512VL:sseinsnmode>")])
4753 : 2026433 :
4754 : 2021284 : (define_insn_and_split "*<avx512>_ucmp<mode>3"
4755 : 2023768 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand")
4756 : 2023768 : (not:<avx512fmaskmode>
4757 : 2023768 : (unspec:<avx512fmaskmode>
4758 : 2023768 : [(match_operand:VI48_AVX512VL 1 "register_operand")
4759 : 2023768 : (match_operand:VI48_AVX512VL 2 "nonimmediate_operand")
4760 : 2021284 : (match_operand:SI 3 "const_0_to_7_operand")]
4761 : 2021284 : UNSPEC_UNSIGNED_PCMP)))]
4762 : 2021286 : "TARGET_AVX512F && ix86_pre_reload_split ()"
4763 : 2021284 : "#"
4764 : 2021250 : "&& 1"
4765 : 2021250 : [(set (match_dup 0)
4766 : 2021250 : (unspec:<avx512fmaskmode>
4767 : 2021250 : [(match_dup 1)
4768 : 2021250 : (match_dup 2)
4769 : 2021250 : (match_dup 4)]
4770 : 2021250 : UNSPEC_UNSIGNED_PCMP))]
4771 : 2021284 : "operands[4] = GEN_INT (INTVAL (operands[3]) ^ 4);")
4772 : 2021250 :
4773 : 2021284 : (define_int_attr pcmp_signed_mask
4774 : 2021284 : [(UNSPEC_PCMP "3") (UNSPEC_UNSIGNED_PCMP "1")])
4775 : 2021284 :
4776 : 2021250 : ;; PR96906 - optimize vpsubusw compared to 0 into vpcmpleuw or vpcmpnltuw.
4777 : 2021250 : ;; For signed comparison, handle EQ 0: NEQ 4,
4778 : 2021250 : ;; for unsigned comparison extra handle LE:2, NLE:6, equivalent to EQ and NEQ.
4779 : 2021250 :
4780 : 2021250 : (define_insn_and_split "*<avx512>_ucmp<mode>3_1"
4781 : 2021282 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand")
4782 : 2021250 : (unspec:<avx512fmaskmode>
4783 : 2021282 : [(us_minus:VI12_AVX512VL
4784 : 2021262 : (match_operand:VI12_AVX512VL 1 "vector_operand")
4785 : 2021262 : (match_operand:VI12_AVX512VL 2 "vector_operand"))
4786 : 2022379 : (match_operand:VI12_AVX512VL 3 "const0_operand")
4787 : 2021270 : (match_operand:SI 4 "const_0_to_7_operand")]
4788 : 2022375 : UNSPEC_PCMP_ITER))]
4789 : 2022447 : "TARGET_AVX512BW && ix86_pre_reload_split ()
4790 : 2022459 : && ix86_binary_operator_ok (US_MINUS, <MODE>mode, operands)
4791 : 2022439 : && (INTVAL (operands[4]) & <pcmp_signed_mask>) == 0"
4792 : 2021270 : "#"
4793 : 2022264 : "&& 1"
4794 : 2022264 : [(const_int 0)]
4795 : 2022336 : {
4796 : 2022264 : /* LE: 2, NLT: 5, NLE: 6, LT: 1 */
4797 : 2022330 : int cmp_predicate = 2; /* LE */
4798 : 2021346 : if (MEM_P (operands[1]))
4799 : 2021274 : {
4800 : 2021256 : std::swap (operands[1], operands[2]);
4801 : 2034662 : cmp_predicate = 5; /* NLT (GE) */
4802 : 2034680 : }
4803 : 2031336 : if ((INTVAL (operands[4]) & 4) != 0)
4804 : 2021290 : cmp_predicate ^= 4; /* Invert the comparison to NLE (GT) or LT. */
4805 : 2021294 : emit_insn (gen_<avx512>_ucmp<mode>3 (operands[0], operands[1],operands[2],
4806 : 2021250 : GEN_INT (cmp_predicate)));
4807 : 2021286 : DONE;
4808 : 2021250 : })
4809 : 2021250 :
4810 : 2021250 : (define_insn "avx512f_vmcmp<mode>3<round_saeonly_name>"
4811 : 2021250 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
4812 : 2021250 : (and:<avx512fmaskmode>
4813 : 2021250 : (unspec:<avx512fmaskmode>
4814 : 2021250 : [(match_operand:VFH_128 1 "register_operand" "v")
4815 : 2021250 : (match_operand:VFH_128 2 "<round_saeonly_nimm_scalar_predicate>" "<round_saeonly_constraint>")
4816 : 2021250 : (match_operand:SI 3 "const_0_to_31_operand")]
4817 : 2021250 : UNSPEC_PCMP)
4818 : 2021250 : (const_int 1)))]
4819 : 2026440 : "TARGET_AVX512F"
4820 : 2021256 : "vcmp<ssescalarmodesuffix>\t{%3, <round_saeonly_op4>%2, %1, %0|%0, %1, %<iptr>2<round_saeonly_op4>, %3}"
4821 : 2021250 : [(set_attr "type" "ssecmp")
4822 : 2021256 : (set_attr "length_immediate" "1")
4823 : 2022080 : (set_attr "prefix" "evex")
4824 : 2024753 : (set_attr "mode" "<ssescalarmode>")])
4825 : 2024447 :
4826 : 2024441 : (define_insn "avx512f_vmcmp<mode>3_mask<round_saeonly_name>"
4827 : 2024441 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
4828 : 2024441 : (and:<avx512fmaskmode>
4829 : 2024441 : (unspec:<avx512fmaskmode>
4830 : 2024441 : [(match_operand:VFH_128 1 "register_operand" "v")
4831 : 2024441 : (match_operand:VFH_128 2 "<round_saeonly_nimm_scalar_predicate>" "<round_saeonly_constraint>")
4832 : 2021250 : (match_operand:SI 3 "const_0_to_31_operand")]
4833 : 2021250 : UNSPEC_PCMP)
4834 : 2021250 : (and:<avx512fmaskmode>
4835 : 2021250 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")
4836 : 2021250 : (const_int 1))))]
4837 : 2022242 : "TARGET_AVX512F"
4838 : 2021250 : "vcmp<ssescalarmodesuffix>\t{%3, <round_saeonly_op5>%2, %1, %0%{%4%}|%0%{%4%}, %1, %<iptr>2<round_saeonly_op5>, %3}"
4839 : 2021250 : [(set_attr "type" "ssecmp")
4840 : 2021250 : (set_attr "length_immediate" "1")
4841 : 2021476 : (set_attr "prefix" "evex")
4842 : 2021476 : (set_attr "mode" "<ssescalarmode>")])
4843 : 2021250 :
4844 : 2021250 : (define_insn "avx10_2_<unord>comx<mode><round_saeonly_name>"
4845 : 2021250 : [(set (reg:CCFP FLAGS_REG)
4846 : 2021250 : (unspec:CCFP
4847 : 2021250 : [(vec_select:MODEFH
4848 : 2021250 : (match_operand:<ssevecmode> 0 "register_operand" "v")
4849 : 2021250 : (parallel [(const_int 0)]))
4850 : 2021250 : (vec_select:MODEFH
4851 : 2021250 : (match_operand:<ssevecmode> 1 "<round_saeonly_nimm_scalar_predicate>" "<round_saeonly_constraint>")
4852 : 2021250 : (parallel [(const_int 0)]))]
4853 : 2021250 : UNSPEC_COMX))]
4854 : 2021424 : "TARGET_AVX10_2_256"
4855 : 2021254 : "v<unord>comx<ssemodesuffix>\t{<round_saeonly_op2>%1, %0|%0, %<iptr>1<round_saeonly_op2>}"
4856 : 2021250 : [(set_attr "type" "ssecomi")
4857 : 2021250 : (set_attr "prefix" "evex")
4858 : 2021426 : (set_attr "mode" "<MODE>")])
4859 : 2021426 :
4860 : 2021424 : (define_insn "<sse>_<unord>comi<round_saeonly_name>"
4861 : 270 : [(set (reg:CCFP FLAGS_REG)
4862 : 446 : (compare:CCFP
4863 : 9454 : (vec_select:MODEFH
4864 : 822 : (match_operand:<ssevecmode> 0 "register_operand" "v")
4865 : 8641 : (parallel [(const_int 0)]))
4866 : 483 : (vec_select:MODEFH
4867 : 8154 : (match_operand:<ssevecmode> 1 "<round_saeonly_nimm_scalar_predicate>" "<round_saeonly_constraint>")
4868 : 415 : (parallel [(const_int 0)]))))]
4869 : 38943 : "SSE_FLOAT_MODE_P (<MODE>mode) || <MODE>mode == E_HFmode"
4870 : 37561 : "%v<unord>comi<ssemodesuffix>\t{<round_saeonly_op2>%1, %0|%0, %<iptr>1<round_saeonly_op2>}"
4871 : 37693 : [(set_attr "type" "ssecomi")
4872 : 5238209 : (set_attr "prefix" "maybe_vex")
4873 : 39310 : (set_attr "prefix_rep" "0")
4874 : 39310 : (set (attr "prefix_data16")
4875 : 38943 : (if_then_else (eq_attr "mode" "DF")
4876 : 38943 : (const_string "1")
4877 : 40807 : (const_string "0")))
4878 : 5240125 : (set_attr "mode" "<MODE>")])
4879 : 5239856 :
4880 : 5238121 : (define_expand "vec_cmp<mode><avx512fmaskmodelower>"
4881 : 5239123 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand")
4882 : 38648 : (match_operator:<avx512fmaskmode> 1 ""
4883 : 4759834 : [(match_operand:V48H_AVX512VL 2 "register_operand")
4884 : 4294859 : (match_operand:V48H_AVX512VL 3 "nonimmediate_operand")]))]
4885 : 38264 : "TARGET_AVX512F"
4886 : 624438 : {
4887 : 1089215 : bool ok = ix86_expand_mask_vec_cmp (operands[0], GET_CODE (operands[1]),
4888 : 503728 : operands[2], operands[3]);
4889 : 508156 : gcc_assert (ok);
4890 : 854698 : DONE;
4891 : 503716 : })
4892 : 537764 :
4893 : 71923 : (define_expand "vec_cmp<mode><avx512fmaskmodelower>"
4894 : 302390 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand")
4895 : 267961 : (match_operator:<avx512fmaskmode> 1 ""
4896 : 94835 : [(match_operand:VI12_AVX512VL 2 "register_operand")
4897 : 301889 : (match_operand:VI12_AVX512VL 3 "nonimmediate_operand")]))]
4898 : 60330 : "TARGET_AVX512BW"
4899 : 86874 : {
4900 : 87688 : bool ok = ix86_expand_mask_vec_cmp (operands[0], GET_CODE (operands[1]),
4901 : 90674 : operands[2], operands[3]);
4902 : 104414 : gcc_assert (ok);
4903 : 58365 : DONE;
4904 : 76566 : })
4905 : 73485 :
4906 : 57583 : (define_expand "vec_cmp<mode><avx512fmaskmodelower>"
4907 : 57604 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand")
4908 : 58191 : (match_operator:<avx512fmaskmode> 1 ""
4909 : 56357 : [(match_operand:VBF_AVX10_2 2 "register_operand")
4910 : 74544 : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand")]))]
4911 : 37956 : "TARGET_AVX10_2_256"
4912 : 55586 : {
4913 : 55029 : bool ok = ix86_expand_mask_vec_cmp (operands[0], GET_CODE (operands[1]),
4914 : 57108 : operands[2], operands[3]);
4915 : 55004 : gcc_assert (ok);
4916 : 56255 : DONE;
4917 : 38625 : })
4918 : 42033 :
4919 : 42911 : (define_expand "vec_cmp<mode><sseintvecmodelower>"
4920 : 41914 : [(set (match_operand:<sseintvecmode> 0 "register_operand")
4921 : 40879 : (match_operator:<sseintvecmode> 1 ""
4922 : 7009 : [(match_operand:VI_256 2 "register_operand")
4923 : 2225 : (match_operand:VI_256 3 "nonimmediate_or_const_vector_operand")]))]
4924 : 2225 : "TARGET_AVX2"
4925 : 2978 : {
4926 : 6043 : bool ok = ix86_expand_int_vec_cmp (operands);
4927 : 6222 : gcc_assert (ok);
4928 : 934 : DONE;
4929 : 3914 : })
4930 : 3914 :
4931 : 96 : (define_expand "vec_cmp<mode><sseintvecmodelower>"
4932 : 5336 : [(set (match_operand:<sseintvecmode> 0 "register_operand")
4933 : 2319 : (match_operator:<sseintvecmode> 1 ""
4934 : 3317 : [(match_operand:VI124_128 2 "register_operand")
4935 : 3317 : (match_operand:VI124_128 3 "vector_or_const_vector_operand")]))]
4936 : 3293 : "TARGET_SSE2"
4937 : 7736 : {
4938 : 11057 : bool ok = ix86_expand_int_vec_cmp (operands);
4939 : 5826 : gcc_assert (ok);
4940 : 7382 : DONE;
4941 : 96 : })
4942 : 1093 :
4943 : 1093 : (define_expand "vec_cmpv2div2di"
4944 : 1010 : [(set (match_operand:V2DI 0 "register_operand")
4945 : 3877 : (match_operator:V2DI 1 ""
4946 : 4288 : [(match_operand:V2DI 2 "register_operand")
4947 : 2963 : (match_operand:V2DI 3 "vector_or_const_vector_operand")]))]
4948 : 2963 : "TARGET_SSE4_2"
4949 : 3521 : {
4950 : 3521 : bool ok = ix86_expand_int_vec_cmp (operands);
4951 : 3521 : gcc_assert (ok);
4952 : 11530 : DONE;
4953 : 96 : })
4954 : 96 :
4955 : 96 : (define_expand "vec_cmp<mode><sseintvecmodelower>"
4956 : 96 : [(set (match_operand:<sseintvecmode> 0 "register_operand")
4957 : 8105 : (match_operator:<sseintvecmode> 1 ""
4958 : 8105 : [(match_operand:VF_256 2 "register_operand")
4959 : 8105 : (match_operand:VF_256 3 "nonimmediate_operand")]))]
4960 : 8105 : "TARGET_AVX"
4961 : 9245 : {
4962 : 9245 : bool ok = ix86_expand_fp_vec_cmp (operands);
4963 : 9245 : gcc_assert (ok);
4964 : 9367 : DONE;
4965 : 96 : })
4966 : 96 :
4967 : 96 : (define_expand "vec_cmp<mode><sseintvecmodelower>"
4968 : 96 : [(set (match_operand:<sseintvecmode> 0 "register_operand")
4969 : 280 : (match_operator:<sseintvecmode> 1 ""
4970 : 280 : [(match_operand:VF_128 2 "register_operand")
4971 : 280 : (match_operand:VF_128 3 "vector_operand")]))]
4972 : 280 : "TARGET_SSE"
4973 : 6320 : {
4974 : 6320 : bool ok = ix86_expand_fp_vec_cmp (operands);
4975 : 6320 : gcc_assert (ok);
4976 : 6360 : DONE;
4977 : 96 : })
4978 : 96 :
4979 : 96 : (define_expand "vec_cmpu<mode><avx512fmaskmodelower>"
4980 : 96 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand")
4981 : 136 : (match_operator:<avx512fmaskmode> 1 ""
4982 : 136 : [(match_operand:VI48_AVX512VL 2 "register_operand")
4983 : 136 : (match_operand:VI48_AVX512VL 3 "nonimmediate_operand")]))]
4984 : 136 : "TARGET_AVX512F"
4985 : 571 : {
4986 : 611 : bool ok = ix86_expand_mask_vec_cmp (operands[0], GET_CODE (operands[1]),
4987 : 136 : operands[2], operands[3]);
4988 : 616 : gcc_assert (ok);
4989 : 571 : DONE;
4990 : 96 : })
4991 : 96 :
4992 : 96 : (define_expand "vec_cmpu<mode><avx512fmaskmodelower>"
4993 : 141 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand")
4994 : 141 : (match_operator:<avx512fmaskmode> 1 ""
4995 : 141 : [(match_operand:VI12_AVX512VL 2 "register_operand")
4996 : 141 : (match_operand:VI12_AVX512VL 3 "nonimmediate_operand")]))]
4997 : 141 : "TARGET_AVX512BW"
4998 : 318 : {
4999 : 540 : bool ok = ix86_expand_mask_vec_cmp (operands[0], GET_CODE (operands[1]),
5000 : 224 : operands[2], operands[3]);
5001 : 318 : gcc_assert (ok);
5002 : 318 : DONE;
5003 : 96 : })
5004 : 96 :
5005 : 179 : (define_expand "vec_cmpu<mode><sseintvecmodelower>"
5006 : 179 : [(set (match_operand:<sseintvecmode> 0 "register_operand")
5007 : 179 : (match_operator:<sseintvecmode> 1 ""
5008 : 179 : [(match_operand:VI_256 2 "register_operand")
5009 : 179 : (match_operand:VI_256 3 "nonimmediate_or_const_vector_operand")]))]
5010 : 179 : "TARGET_AVX2"
5011 : 467 : {
5012 : 755 : bool ok = ix86_expand_int_vec_cmp (operands);
5013 : 478 : gcc_assert (ok);
5014 : 384 : DONE;
5015 : 96 : })
5016 : 96 :
5017 : 96 : (define_expand "vec_cmpu<mode><sseintvecmodelower>"
5018 : 478 : [(set (match_operand:<sseintvecmode> 0 "register_operand")
5019 : 478 : (match_operator:<sseintvecmode> 1 ""
5020 : 478 : [(match_operand:VI124_128 2 "register_operand")
5021 : 478 : (match_operand:VI124_128 3 "vector_or_const_vector_operand")]))]
5022 : 478 : "TARGET_SSE2"
5023 : 1701 : {
5024 : 2924 : bool ok = ix86_expand_int_vec_cmp (operands);
5025 : 1701 : gcc_assert (ok);
5026 : 1568 : DONE;
5027 : 96 : })
5028 : 96 :
5029 : 96 : (define_expand "vec_cmpuv2div2di"
5030 : 96 : [(set (match_operand:V2DI 0 "register_operand")
5031 : 1568 : (match_operator:V2DI 1 ""
5032 : 1568 : [(match_operand:V2DI 2 "register_operand")
5033 : 1568 : (match_operand:V2DI 3 "vector_or_const_vector_operand")]))]
5034 : 1568 : "TARGET_SSE4_2"
5035 : 1568 : {
5036 : 1638 : bool ok = ix86_expand_int_vec_cmp (operands);
5037 : 1568 : gcc_assert (ok);
5038 : 3870 : DONE;
5039 : 96 : })
5040 : 96 :
5041 : 96 : (define_expand "vec_cmpeqv2div2di"
5042 : 96 : [(set (match_operand:V2DI 0 "register_operand")
5043 : 2328 : (match_operator:V2DI 1 ""
5044 : 96 : [(match_operand:V2DI 2 "register_operand")
5045 : 96 : (match_operand:V2DI 3 "vector_operand")]))]
5046 : 96 : "TARGET_SSE2"
5047 : 261 : {
5048 : 261 : bool ok;
5049 : 261 : if (!TARGET_SSE4_1)
5050 : 441 : {
5051 : 182 : rtx ops[4];
5052 : 413 : ops[0] = gen_reg_rtx (V4SImode);
5053 : 182 : ops[2] = gen_lowpart (V4SImode, force_reg (V2DImode, operands[2]));
5054 : 182 : ops[3] = gen_lowpart (V4SImode, force_reg (V2DImode, operands[3]));
5055 : 527 : ops[1] = gen_rtx_fmt_ee (GET_CODE (operands[1]), V4SImode,
5056 : 96 : ops[2], ops[3]);
5057 : 413 : ok = ix86_expand_int_vec_cmp (ops);
5058 : 96 :
5059 : 182 : rtx tmp1 = gen_reg_rtx (V4SImode);
5060 : 182 : emit_insn (gen_sse2_pshufd (tmp1, ops[0], GEN_INT (0xb1)));
5061 : 96 :
5062 : 246 : rtx tmp2 = gen_reg_rtx (V4SImode);
5063 : 182 : if (GET_CODE (operands[1]) == EQ)
5064 : 322 : emit_insn (gen_andv4si3 (tmp2, tmp1, ops[0]));
5065 : 96 : else
5066 : 678 : emit_insn (gen_iorv4si3 (tmp2, tmp1, ops[0]));
5067 : 160 :
5068 : 182 : emit_move_insn (operands[0], gen_lowpart (V2DImode, tmp2));
5069 : 298 : }
5070 : 96 : else
5071 : 695 : ok = ix86_expand_int_vec_cmp (operands);
5072 : 261 : gcc_assert (ok);
5073 : 261 : DONE;
5074 : 96 : })
5075 : 96 :
5076 : 236 : (define_expand "vec_cmpeqv1tiv1ti"
5077 : 96 : [(set (match_operand:V1TI 0 "register_operand")
5078 : 319 : (match_operator:V1TI 1 ""
5079 : 96 : [(match_operand:V1TI 2 "register_operand")
5080 : 276 : (match_operand:V1TI 3 "vector_operand")]))]
5081 : 236 : "TARGET_SSE2"
5082 : 110 : {
5083 : 333 : rtx dst = gen_reg_rtx (V2DImode);
5084 : 110 : rtx op1 = gen_lowpart (V2DImode, force_reg (V1TImode, operands[2]));
5085 : 290 : rtx op2 = gen_lowpart (V2DImode, force_reg (V1TImode, operands[3]));
5086 : 290 : rtx cmp = gen_rtx_fmt_ee (GET_CODE (operands[1]), V2DImode, op1, op2);
5087 : 290 : emit_insn (gen_vec_cmpeqv2div2di (dst, cmp, op1, op2));
5088 : 276 :
5089 : 290 : rtx tmp1 = gen_reg_rtx (V4SImode);
5090 : 293 : rtx tmp2 = gen_lowpart (V4SImode, dst);
5091 : 290 : emit_insn (gen_sse2_pshufd (tmp1, tmp2, GEN_INT (0x4e)));
5092 : 1910 :
5093 : 110 : rtx tmp3 = gen_reg_rtx (V4SImode);
5094 : 110 : if (GET_CODE (operands[1]) == EQ)
5095 : 102 : emit_insn (gen_andv4si3 (tmp3, tmp2, tmp1));
5096 : 96 : else
5097 : 1821 : emit_insn (gen_iorv4si3 (tmp3, tmp2, tmp1));
5098 : 1717 :
5099 : 1661 : emit_move_insn (operands[0], gen_lowpart (V1TImode, tmp3));
5100 : 1661 : DONE;
5101 : 1647 : })
5102 : 1727 :
5103 : 1727 : (define_expand "vcond_mask_<mode><avx512fmaskmodelower>"
5104 : 1906 : [(set (match_operand:V48_AVX512VL 0 "register_operand")
5105 : 93 : (vec_merge:V48_AVX512VL
5106 : 93 : (match_operand:V48_AVX512VL 1 "nonimmediate_operand")
5107 : 138 : (match_operand:V48_AVX512VL 2 "nonimm_or_0_operand")
5108 : 138 : (match_operand:<avx512fmaskmode> 3 "register_operand")))]
5109 : 317 : "TARGET_AVX512F")
5110 : 237 :
5111 : 237 : (define_expand "vcond_mask_<mode><avx512fmaskmodelower>"
5112 : 237 : [(set (match_operand:VI12HFBF_AVX512VL 0 "register_operand")
5113 : 237 : (vec_merge:VI12HFBF_AVX512VL
5114 : 237 : (match_operand:VI12HFBF_AVX512VL 1 "nonimmediate_operand")
5115 : 237 : (match_operand:VI12HFBF_AVX512VL 2 "nonimm_or_0_operand")
5116 : 237 : (match_operand:<avx512fmaskmode> 3 "register_operand")))]
5117 : 58 : "TARGET_AVX512BW")
5118 : 58 :
5119 : 58 : ;; As vcondv4div4df and vcondv8siv8sf are enabled already with TARGET_AVX,
5120 : 58 : ;; and their condition can be folded late into a constant, we need to
5121 : 58 : ;; support vcond_mask_v4div4di and vcond_mask_v8siv8si for TARGET_AVX.
5122 : 58 : (define_mode_iterator VI_256_AVX2 [(V32QI "TARGET_AVX2") (V16HI "TARGET_AVX2")
5123 : 58 : V8SI V4DI])
5124 : 61 :
5125 : 58 : (define_expand "vcond_mask_<mode><sseintvecmodelower>"
5126 : 58 : [(set (match_operand:VI_256_AVX2 0 "register_operand")
5127 : 13 : (vec_merge:VI_256_AVX2
5128 : 45 : (match_operand:VI_256_AVX2 1 "nonimmediate_operand")
5129 : 48 : (match_operand:VI_256_AVX2 2 "nonimm_or_0_operand")
5130 : 48 : (match_operand:<sseintvecmode> 3 "register_operand")))]
5131 : 48 : "TARGET_AVX"
5132 : 228 : {
5133 : 228 : ix86_expand_sse_movcc (operands[0], operands[3],
5134 : 48 : operands[1], operands[2]);
5135 : 228 : DONE;
5136 : 48 : })
5137 : 45 :
5138 : 45 : (define_expand "vcond_mask_<mode><sseintvecmodelower>"
5139 : 45 : [(set (match_operand:VI_128 0 "register_operand")
5140 : 45 : (vec_merge:VI_128
5141 : 45 : (match_operand:VI_128 1 "vector_operand")
5142 : 45 : (match_operand:VI_128 2 "nonimm_or_0_operand")
5143 : 45 : (match_operand:<sseintvecmode> 3 "register_operand")))]
5144 : 45 : "TARGET_SSE2"
5145 : 1858 : {
5146 : 1858 : ix86_expand_sse_movcc (operands[0], operands[3],
5147 : 45 : operands[1], operands[2]);
5148 : 1858 : DONE;
5149 : 45 : })
5150 : 45 :
5151 : 45 : (define_expand "vcond_mask_v1tiv1ti"
5152 : 45 : [(set (match_operand:V1TI 0 "register_operand")
5153 : 45 : (vec_merge:V1TI
5154 : 45 : (match_operand:V1TI 1 "vector_operand")
5155 : 45 : (match_operand:V1TI 2 "nonimm_or_0_operand")
5156 : 45 : (match_operand:V1TI 3 "register_operand")))]
5157 : 45 : "TARGET_SSE2"
5158 : 48 : {
5159 : 48 : ix86_expand_sse_movcc (operands[0], operands[3],
5160 : 855 : operands[1], operands[2]);
5161 : 48 : DONE;
5162 : 45 : })
5163 : 45 :
5164 : 45 : (define_expand "vcond_mask_<mode><sseintvecmodelower>"
5165 : 855 : [(set (match_operand:VF_256 0 "register_operand")
5166 : 855 : (vec_merge:VF_256
5167 : 855 : (match_operand:VF_256 1 "nonimmediate_operand")
5168 : 855 : (match_operand:VF_256 2 "nonimm_or_0_operand")
5169 : 855 : (match_operand:<sseintvecmode> 3 "register_operand")))]
5170 : 855 : "TARGET_AVX"
5171 : 935 : {
5172 : 935 : ix86_expand_sse_movcc (operands[0], operands[3],
5173 : 45 : operands[1], operands[2]);
5174 : 237 : DONE;
5175 : 45 : })
5176 : 45 :
5177 : 45 : (define_expand "vcond_mask_<mode><sseintvecmodelower>"
5178 : 45 : [(set (match_operand:VF_128 0 "register_operand")
5179 : 45 : (vec_merge:VF_128
5180 : 45 : (match_operand:VF_128 1 "vector_operand")
5181 : 45 : (match_operand:VF_128 2 "nonimm_or_0_operand")
5182 : 45 : (match_operand:<sseintvecmode> 3 "register_operand")))]
5183 : 45 : "TARGET_SSE"
5184 : 743 : {
5185 : 743 : ix86_expand_sse_movcc (operands[0], operands[3],
5186 : 45 : operands[1], operands[2]);
5187 : 743 : DONE;
5188 : 45 : })
5189 : 45 :
5190 : 45 : (define_expand "vcond_mask_<mode><mode>"
5191 : 45 : [(match_operand:SWI1248_AVX512BW 0 "register_operand")
5192 : 45 : (match_operand:SWI1248_AVX512BW 1 "register_operand")
5193 : 45 : (match_operand:SWI1248_AVX512BW 2 "register_operand")
5194 : 45 : (match_operand:SWI1248_AVX512BW 3 "register_operand")]
5195 : 45 : "TARGET_AVX512F"
5196 : 45 : {
5197 : 45 : /* (operand[1] & operand[3]) | (operand[2] & ~operand[3]) */
5198 : 45 : rtx op1 = gen_reg_rtx (<MODE>mode);
5199 : 45 : rtx op2 = gen_reg_rtx (<MODE>mode);
5200 : 45 : rtx op3 = gen_reg_rtx (<MODE>mode);
5201 : 45 :
5202 : 45 : emit_insn (gen_and<mode>3 (op1, operands[1], operands[3]));
5203 : 45 : emit_insn (gen_one_cmpl<mode>2 (op3, operands[3]));
5204 : 45 : emit_insn (gen_and<mode>3 (op2, operands[2], op3));
5205 : 45 : emit_insn (gen_ior<mode>3 (operands[0], op1, op2));
5206 : 45 :
5207 : 45 : DONE;
5208 : 45 : })
5209 : 45 :
5210 : 45 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
5211 : 45 : ;;
5212 : 45 : ;; Parallel floating point logical operations
5213 : 45 : ;;
5214 : 45 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
5215 : 45 :
5216 : 45 : (define_insn "<sse>_andnot<mode>3<mask_name>"
5217 : 45 : [(set (match_operand:VFB_128_256 0 "register_operand" "=x,x,v,v")
5218 : 45 : (and:VFB_128_256
5219 : 45 : (not:VFB_128_256
5220 : 45 : (match_operand:VFB_128_256 1 "register_operand" "0,x,v,v"))
5221 : 45 : (match_operand:VFB_128_256 2 "vector_operand" "xBm,xjm,vm,vm")))]
5222 : 23184 : "TARGET_SSE && <mask_avx512vl_condition>
5223 : 45 : && (!<mask_applied> || <ssescalarsize> != 16)"
5224 : 5313 : {
5225 : 5313 : char buf[128];
5226 : 5313 : const char *ops;
5227 : 5753 : const char *suffix;
5228 : 485 :
5229 : 45 : switch (which_alternative)
5230 : 485 : {
5231 : 70 : case 0:
5232 : 45 : ops = "andn%s\t{%%2, %%0|%%0, %%2}";
5233 : 45 : break;
5234 : 197 : case 1:
5235 : 222 : case 2:
5236 : 222 : case 3:
5237 : 222 : ops = "vandn%s\t{%%2, %%1, %%0<mask_operand3_1>|%%0<mask_operand3_1>, %%1, %%2}";
5238 : 222 : break;
5239 : 70 : default:
5240 : 70 : gcc_unreachable ();
5241 : 70 : }
5242 : 45 :
5243 : 5313 : switch (get_attr_mode (insn))
5244 : 45 : {
5245 : 45 : case MODE_V16BF:
5246 : 45 : case MODE_V8BF:
5247 : 45 : case MODE_V16HF:
5248 : 45 : case MODE_V8HF:
5249 : 45 : case MODE_V8SF:
5250 : 45 : case MODE_V4SF:
5251 : 45 : suffix = "ps";
5252 : 45 : break;
5253 : 49 : case MODE_OI:
5254 : 49 : case MODE_TI:
5255 : 45 : /* There is no vandnp[sd] in avx512f. Use vpandn[qd]. */
5256 : 49 : suffix = GET_MODE_INNER (<MODE>mode) == DFmode ? "q" : "d";
5257 : 49 : ops = "vpandn%s\t{%%2, %%1, %%0<mask_operand3_1>|%%0<mask_operand3_1>, %%1, %%2}";
5258 : 49 : break;
5259 : 2670 : default:
5260 : 2670 : suffix = "<ssemodesuffix>";
5261 : 45 : }
5262 : 45 :
5263 : 5313 : snprintf (buf, sizeof (buf), ops, suffix);
5264 : 5313 : output_asm_insn (buf, operands);
5265 : 5313 : return "";
5266 : 45 : }
5267 : 45 : [(set_attr "isa" "noavx,avx_noavx512f,avx512dq,avx512f")
5268 : 45 : (set_attr "addr" "*,gpr16,*,*")
5269 : 45 : (set_attr "type" "sselog")
5270 : 5313 : (set_attr "prefix" "orig,maybe_vex,evex,evex")
5271 : 45 : (set (attr "mode")
5272 : 45 : (cond [(and (match_test "<mask_applied>")
5273 : 45 : (and (eq_attr "alternative" "1")
5274 : 45 : (match_test "!TARGET_AVX512DQ")))
5275 : 45 : (const_string "<sseintvecmode2>")
5276 : 45 : (and (not (match_test "<mask_applied>"))
5277 : 45 : (eq_attr "alternative" "3")
5278 : 45 : (match_test "!x86_evex_reg_mentioned_p (operands, 3)"))
5279 : 45 : (const_string "<MODE>")
5280 : 45 : (eq_attr "alternative" "3")
5281 : 45 : (const_string "<sseintvecmode2>")
5282 : 45 : (match_test "TARGET_AVX")
5283 : 45 : (const_string "<MODE>")
5284 : 45 : (match_test "optimize_function_for_size_p (cfun)")
5285 : 45 : (const_string "V4SF")
5286 : 45 : (match_test "TARGET_SSE_PACKED_SINGLE_INSN_OPTIMAL")
5287 : 45 : (const_string "V4SF")
5288 : 45 : ]
5289 : 45 : (const_string "<MODE>")))])
5290 : 45 :
5291 : 45 : (define_insn "<sse>_andnot<mode>3<mask_name>"
5292 : 45 : [(set (match_operand:VFB_512 0 "register_operand" "=v")
5293 : 45 : (and:VFB_512
5294 : 45 : (not:VFB_512
5295 : 45 : (match_operand:VFB_512 1 "register_operand" "v"))
5296 : 45 : (match_operand:VFB_512 2 "nonimmediate_operand" "vm")))]
5297 : 674 : "TARGET_AVX512F && (!<mask_applied> || <ssescalarsize> != 16)"
5298 : 117 : {
5299 : 117 : char buf[128];
5300 : 117 : const char *ops;
5301 : 117 : const char *suffix;
5302 : 45 :
5303 : 117 : suffix = "<ssemodesuffix>";
5304 : 117 : ops = "";
5305 : 45 :
5306 : 45 : /* Since there are no vandnp[sd] without AVX512DQ nor vandnph,
5307 : 45 : use vp<logic>[dq]. */
5308 : 117 : if (!TARGET_AVX512DQ || <MODE>mode == V32HFmode || <MODE>mode == V32BFmode)
5309 : 45 : {
5310 : 45 : suffix = GET_MODE_INNER (<MODE>mode) == DFmode ? "q" : "d";
5311 : 0 : ops = "p";
5312 : 0 : }
5313 : 0 :
5314 : 72 : snprintf (buf, sizeof (buf),
5315 : 0 : "v%sandn%s\t{%%2, %%1, %%0<mask_operand3_1>|%%0<mask_operand3_1>, %%1, %%2}",
5316 : 0 : ops, suffix);
5317 : 72 : output_asm_insn (buf, operands);
5318 : 72 : return "";
5319 : 0 : }
5320 : 0 : [(set_attr "type" "sselog")
5321 : 0 : (set_attr "prefix" "evex")
5322 : 0 : (set (attr "mode")
5323 : 73 : (if_then_else (match_test "TARGET_AVX512DQ")
5324 : 0 : (const_string "<sseinsnmode>")
5325 : 0 : (const_string "XI")))])
5326 : 0 :
5327 : 0 : (define_expand "<code><mode>3<mask_name>"
5328 : 16 : [(set (match_operand:VFB_128_256 0 "register_operand")
5329 : 16 : (any_logic:VFB_128_256
5330 : 16 : (match_operand:VFB_128_256 1 "vector_operand")
5331 : 16 : (match_operand:VFB_128_256 2 "vector_operand")))]
5332 : 16 : "TARGET_SSE && <mask_avx512vl_condition>
5333 : 16 : && (!<mask_applied> || <ssescalarsize> != 16)"
5334 : 41 : "ix86_fixup_binary_operands_no_copy (<CODE>, <MODE>mode, operands);")
5335 : 16 :
5336 : 16 : (define_expand "<code><mode>3<mask_name>"
5337 : 1399 : [(set (match_operand:VFB_512 0 "register_operand")
5338 : 1399 : (any_logic:VFB_512
5339 : 1383 : (match_operand:VFB_512 1 "nonimmediate_operand")
5340 : 1399 : (match_operand:VFB_512 2 "nonimmediate_operand")))]
5341 : 1399 : "TARGET_AVX512F && (!<mask_applied> || <ssescalarsize> != 16)"
5342 : 1615 : "ix86_fixup_binary_operands_no_copy (<CODE>, <MODE>mode, operands);")
5343 : 304 :
5344 : 1111 : (define_insn "*<code><mode>3<mask_name>"
5345 : 520 : [(set (match_operand:VFB_128_256 0 "register_operand" "=x,x,v,v")
5346 : 520 : (any_logic:VFB_128_256
5347 : 232 : (match_operand:VFB_128_256 1 "vector_operand" "%0,x,v,v")
5348 : 1399 : (match_operand:VFB_128_256 2 "vector_operand" "xBm,xm,vm,vm")))]
5349 : 397654 : "TARGET_SSE && <mask_avx512vl_condition>
5350 : 1327 : && (!<mask_applied> || <ssescalarsize> != 16)
5351 : 400704 : && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
5352 : 75125 : {
5353 : 81464 : char buf[128];
5354 : 81464 : const char *ops;
5355 : 83110 : const char *suffix;
5356 : 8453 :
5357 : 107 : switch (which_alternative)
5358 : 1776 : {
5359 : 1180 : case 0:
5360 : 349 : ops = "<logic>%s\t{%%2, %%0|%%0, %%2}";
5361 : 625 : break;
5362 : 2715 : case 1:
5363 : 2554 : case 2:
5364 : 2555 : case 3:
5365 : 2665 : ops = "v<logic>%s\t{%%2, %%1, %%0<mask_operand3_1>|%%0<mask_operand3_1>, %%1, %%2}";
5366 : 3274 : break;
5367 : 789 : default:
5368 : 288 : gcc_unreachable ();
5369 : 431 : }
5370 : 252 :
5371 : 75293 : switch (get_attr_mode (insn))
5372 : 825 : {
5373 : 217 : case MODE_V16BF:
5374 : 265 : case MODE_V8BF:
5375 : 265 : case MODE_V16HF:
5376 : 157 : case MODE_V8HF:
5377 : 178 : case MODE_V8SF:
5378 : 37 : case MODE_V4SF:
5379 : 34 : suffix = "ps";
5380 : 34 : break;
5381 : 50 : case MODE_OI:
5382 : 50 : case MODE_TI:
5383 : 34 : /* There is no v<logic>p[sd] in avx512f. Use vp<logic>[qd]. */
5384 : 50 : suffix = GET_MODE_INNER (<MODE>mode) == DFmode ? "q" : "d";
5385 : 50 : ops = "vp<logic>%s\t{%%2, %%1, %%0<mask_operand3_1>|%%0<mask_operand3_1>, %%1, %%2}";
5386 : 50 : break;
5387 : 37424 : default:
5388 : 37424 : suffix = "<ssemodesuffix>";
5389 : 34 : }
5390 : 34 :
5391 : 75071 : snprintf (buf, sizeof (buf), ops, suffix);
5392 : 75071 : output_asm_insn (buf, operands);
5393 : 75071 : return "";
5394 : 34 : }
5395 : 34 : [(set_attr "isa" "noavx,avx,avx512dq,avx512f")
5396 : 34 : (set_attr "type" "sselog")
5397 : 34 : (set_attr "prefix" "orig,maybe_evex,evex,evex")
5398 : 75071 : (set (attr "mode")
5399 : 34 : (cond [(and (match_test "<mask_applied>")
5400 : 34 : (and (eq_attr "alternative" "1")
5401 : 34 : (match_test "!TARGET_AVX512DQ")))
5402 : 34 : (const_string "<sseintvecmode2>")
5403 : 34 : (eq_attr "alternative" "3")
5404 : 34 : (const_string "<sseintvecmode2>")
5405 : 34 : (match_test "TARGET_AVX")
5406 : 34 : (const_string "<MODE>")
5407 : 34 : (match_test "optimize_function_for_size_p (cfun)")
5408 : 34 : (const_string "V4SF")
5409 : 34 : (match_test "TARGET_SSE_PACKED_SINGLE_INSN_OPTIMAL")
5410 : 34 : (const_string "V4SF")
5411 : 34 : ]
5412 : 34 : (const_string "<MODE>")))])
5413 : 34 :
5414 : 34 : (define_insn "*<code><mode>3<mask_name>"
5415 : 34 : [(set (match_operand:VFB_512 0 "register_operand" "=v")
5416 : 34 : (any_logic:VFB_512
5417 : 34 : (match_operand:VFB_512 1 "nonimmediate_operand" "%v")
5418 : 34 : (match_operand:VFB_512 2 "nonimmediate_operand" "vm")))]
5419 : 2272 : "TARGET_AVX512F && !(MEM_P (operands[1]) && MEM_P (operands[2]))
5420 : 1860 : && (!<mask_applied> || <ssescalarsize> != 16)"
5421 : 325 : {
5422 : 325 : char buf[128];
5423 : 325 : const char *ops;
5424 : 325 : const char *suffix;
5425 : 34 :
5426 : 325 : suffix = "<ssemodesuffix>";
5427 : 325 : ops = "";
5428 : 34 :
5429 : 34 : /* Since there are no v<logic>p[sd] without AVX512DQ nor v<logic>ph,
5430 : 34 : use vp<logic>[dq]. */
5431 : 325 : if (!TARGET_AVX512DQ || <MODE>mode == V32HFmode || <MODE>mode == V32BFmode)
5432 : 34 : {
5433 : 43 : suffix = GET_MODE_INNER (<MODE>mode) == DFmode ? "q" : "d";
5434 : 42 : ops = "p";
5435 : 34 : }
5436 : 34 :
5437 : 325 : snprintf (buf, sizeof (buf),
5438 : 34 : "v%s<logic>%s\t{%%2, %%1, %%0<mask_operand3_1>|%%0<mask_operand3_1>, %%1, %%2}",
5439 : 34 : ops, suffix);
5440 : 325 : output_asm_insn (buf, operands);
5441 : 325 : return "";
5442 : 34 : }
5443 : 34 : [(set_attr "type" "sselog")
5444 : 34 : (set_attr "prefix" "evex")
5445 : 34 : (set (attr "mode")
5446 : 324 : (if_then_else (match_test "TARGET_AVX512DQ")
5447 : 34 : (const_string "<sseinsnmode>")
5448 : 34 : (const_string "XI")))])
5449 : 34 :
5450 : 34 : ;; Generic part doesn't support the simpliciation of logic operation with
5451 : 34 : ;; float_vector_all_ones_operand since it's not valid rtl. Add combine spiltter
5452 : 34 : ;; for them, it should be safe since there's no SIMD Floating-Point Exceptions.
5453 : 34 : (define_insn_and_split "*bit_and_float_vector_all_ones"
5454 : 34 : [(set (match_operand:VFB 0 "nonimmediate_operand")
5455 : 34 : (and:VFB (match_operand:VFB 1 "nonimmediate_operand")
5456 : 34 : (match_operand:VFB 2 "float_vector_all_ones_operand")))]
5457 : 86 : "TARGET_SSE && ix86_pre_reload_split ()"
5458 : 6219 : "#"
5459 : 34 : "&& 1"
5460 : 100826 : [(set (match_dup 0) (match_dup 1))]
5461 : 740 : "operands[1] = force_reg (<MODE>mode, operands[1]);")
5462 : 726 :
5463 : 100831 : (define_expand "copysign<mode>3"
5464 : 101530 : [(set (match_dup 4)
5465 : 694 : (and:VFB
5466 : 101484 : (not:VFB (match_dup 3))
5467 : 14239 : (match_operand:VFB 1 "vector_operand")))
5468 : 13012 : (set (match_dup 5)
5469 : 13005 : (and:VFB (match_dup 3)
5470 : 41 : (match_operand:VFB 2 "vector_operand")))
5471 : 3168 : (set (match_operand:VFB 0 "register_operand")
5472 : 3168 : (ior:VFB (match_dup 4) (match_dup 5)))]
5473 : 3161 : "TARGET_SSE"
5474 : 3263 : {
5475 : 3351 : operands[3] = ix86_build_signbit_mask (<MODE>mode, 1, 0);
5476 : 34 :
5477 : 136 : operands[4] = gen_reg_rtx (<MODE>mode);
5478 : 136 : operands[5] = gen_reg_rtx (<MODE>mode);
5479 : 34 : })
5480 : 37 :
5481 : 108 : (define_expand "xorsign<mode>3"
5482 : 210 : [(set (match_dup 4)
5483 : 114 : (and:VFB (match_dup 3)
5484 : 111 : (match_operand:VFB 2 "vector_operand")))
5485 : 115 : (set (match_operand:VFB 0 "register_operand")
5486 : 207 : (xor:VFB (match_dup 4)
5487 : 207 : (match_operand:VFB 1 "vector_operand")))]
5488 : 207 : "TARGET_SSE"
5489 : 232 : {
5490 : 114 : operands[3] = ix86_build_signbit_mask (<MODE>mode, 1, 0);
5491 : 136 :
5492 : 83 : operands[4] = gen_reg_rtx (<MODE>mode);
5493 : 136 : })
5494 : 34 :
5495 : 136 : (define_expand "signbit<mode>2"
5496 : 59 : [(set (match_operand:<sseintvecmode> 0 "register_operand")
5497 : 59 : (lshiftrt:<sseintvecmode>
5498 : 59 : (subreg:<sseintvecmode>
5499 : 59 : (match_operand:VF1_AVX2 1 "register_operand") 0)
5500 : 136 : (match_dup 2)))]
5501 : 59 : "TARGET_SSE2"
5502 : 63 : {
5503 : 67 : operands[1] = force_reg (<MODE>mode, operands[1]);
5504 : 140 : operands[2] = GEN_INT (GET_MODE_UNIT_BITSIZE (<MODE>mode)-1);
5505 : 59 : })
5506 : 34 :
5507 : 59 : ;; Also define scalar versions. These are used for abs, neg, and
5508 : 136 : ;; conditional move. Using subregs into vector modes causes register
5509 : 136 : ;; allocation lossage. These patterns do not allow memory operands
5510 : 140 : ;; because the native instructions read the full 128-bits.
5511 : 59 :
5512 : 38 : (define_insn "*andnot<mode>3"
5513 : 38 : [(set (match_operand:MODEF248 0 "register_operand" "=x,x,v,v")
5514 : 34 : (and:MODEF248
5515 : 94 : (not:MODEF248
5516 : 59 : (match_operand:MODEF248 1 "register_operand" "0,x,v,v"))
5517 : 59 : (match_operand:MODEF248 2 "register_operand" "x,x,v,v")))]
5518 : 34 : "TARGET_SSE"
5519 : 1592 : {
5520 : 1568 : char buf[128];
5521 : 1563 : const char *ops;
5522 : 18171 : const char *suffix
5523 : 11859 : = (get_attr_mode (insn) == MODE_V4SF) ? "ps" : "<ssevecmodesuffix>";
5524 : 61 :
5525 : 12486 : switch (which_alternative)
5526 : 94 : {
5527 : 6303 : case 0:
5528 : 4559 : ops = "andn%s\t{%%2, %%0|%%0, %%2}";
5529 : 43 : break;
5530 : 43 : case 1:
5531 : 43 : ops = "vandn%s\t{%%2, %%1, %%0|%%0, %%1, %%2}";
5532 : 39 : break;
5533 : 6172 : case 2:
5534 : 39 : if (TARGET_AVX512DQ)
5535 : 34 : ops = "vandn%s\t{%%2, %%1, %%0|%%0, %%1, %%2}";
5536 : 2754 : else
5537 : 34 : {
5538 : 1541 : suffix = <MODE>mode == DFmode ? "q" : "d";
5539 : 1541 : ops = "vpandn%s\t{%%2, %%1, %%0|%%0, %%1, %%2}";
5540 : 34 : }
5541 : 2754 : break;
5542 : 151 : case 3:
5543 : 34 : if (TARGET_AVX512DQ)
5544 : 34 : ops = "vandn%s\t{%%g2, %%g1, %%g0|%%g0, %%g1, %%g2}";
5545 : 34 : else
5546 : 34 : {
5547 : 151 : suffix = <MODE>mode == DFmode ? "q" : "d";
5548 : 34 : ops = "vpandn%s\t{%%g2, %%g1, %%g0|%%g0, %%g1, %%g2}";
5549 : 34 : }
5550 : 129 : break;
5551 : 64 : default:
5552 : 34 : gcc_unreachable ();
5553 : 34 : }
5554 : 34 :
5555 : 1636 : snprintf (buf, sizeof (buf), ops, suffix);
5556 : 1971 : output_asm_insn (buf, operands);
5557 : 1541 : return "";
5558 : 34 : }
5559 : 34 : [(set_attr "isa" "noavx,avx,avx512vl,avx512f_512")
5560 : 34 : (set_attr "type" "sselog")
5561 : 434 : (set_attr "prefix" "orig,vex,evex,evex")
5562 : 1606 : (set (attr "mode")
5563 : 34 : (cond [(eq_attr "alternative" "2")
5564 : 34 : (if_then_else (match_test "TARGET_AVX512DQ")
5565 : 430 : (const_string "<ssevecmode>")
5566 : 344 : (const_string "TI"))
5567 : 34 : (eq_attr "alternative" "3")
5568 : 34 : (if_then_else (match_test "TARGET_AVX512DQ")
5569 : 34 : (const_string "<avx512fvecmode>")
5570 : 430 : (const_string "XI"))
5571 : 1647 : (match_test "TARGET_AVX")
5572 : 16 : (const_string "<ssevecmode>")
5573 : 18 : (match_test "optimize_function_for_size_p (cfun)")
5574 : 18 : (const_string "V4SF")
5575 : 18 : (match_test "TARGET_SSE_PACKED_SINGLE_INSN_OPTIMAL")
5576 : 1321 : (const_string "V4SF")
5577 : 18 : ]
5578 : 18 : (const_string "<ssevecmode>")))])
5579 : 18 :
5580 : 143 : ;; Modes for andnot3 not covered by VI and MODEF.
5581 : 784 : (define_mode_iterator ANDNOT_MODE [TF V1TI])
5582 : 0 :
5583 : 0 : (define_insn "*andnot<mode>3"
5584 : 18 : [(set (match_operand:ANDNOT_MODE 0 "register_operand" "=x,x,v,v")
5585 : 143 : (and:ANDNOT_MODE
5586 : 824 : (not:ANDNOT_MODE (match_operand:ANDNOT_MODE 1 "register_operand" "0,x,v,v"))
5587 : 0 : (match_operand:ANDNOT_MODE 2 "vector_operand" "xBm,xjm,vm,v")))]
5588 : 982 : "TARGET_SSE"
5589 : 86 : {
5590 : 86 : char buf[128];
5591 : 126 : const char *ops;
5592 : 498 : const char *tmp
5593 : 477 : = (which_alternative >= 2 ? "pandnq"
5594 : 85 : : get_attr_mode (insn) == MODE_V4SF ? "andnps" : "pandn");
5595 : 845 :
5596 : 86 : switch (which_alternative)
5597 : 30 : {
5598 : 59437 : case 0:
5599 : 18 : ops = "%s\t{%%2, %%0|%%0, %%2}";
5600 : 49 : break;
5601 : 167 : case 1:
5602 : 59469 : case 2:
5603 : 59439 : ops = "v%s\t{%%2, %%1, %%0|%%0, %%1, %%2}";
5604 : 59439 : break;
5605 : 59437 : case 3:
5606 : 59584 : ops = "v%s\t{%%g2, %%g1, %%g0|%%g0, %%g1, %%g2}";
5607 : 59437 : break;
5608 : 59437 : default:
5609 : 59437 : gcc_unreachable ();
5610 : 59437 : }
5611 : 73 :
5612 : 877 : snprintf (buf, sizeof (buf), ops, tmp);
5613 : 925 : output_asm_insn (buf, operands);
5614 : 68 : return "";
5615 : 1585 : }
5616 : 73 : [(set_attr "isa" "noavx,avx_noavx512vl,avx512vl,avx512f_512")
5617 : 18 : (set_attr "addr" "*,gpr16,*,*")
5618 : 60 : (set_attr "type" "sselog")
5619 : 15 : (set (attr "prefix_data16")
5620 : 12 : (if_then_else
5621 : 12 : (and (eq_attr "alternative" "0")
5622 : 6 : (eq_attr "mode" "TI"))
5623 : 12 : (const_string "1")
5624 : 12 : (const_string "*")))
5625 : 25 : (set_attr "prefix" "orig,vex,evex,evex")
5626 : 0 : (set (attr "mode")
5627 : 0 : (cond [(and (eq_attr "alternative" "3")
5628 : 20 : (match_test "!x86_evex_reg_mentioned_p (operands, 3)"))
5629 : 12 : (const_string "TI")
5630 : 25 : (eq_attr "alternative" "2")
5631 : 0 : (const_string "TI")
5632 : 15075 : (eq_attr "alternative" "3")
5633 : 25 : (const_string "XI")
5634 : 12 : (match_test "TARGET_AVX")
5635 : 0 : (const_string "TI")
5636 : 8989 : (ior (not (match_test "TARGET_SSE2"))
5637 : 12 : (match_test "optimize_function_for_size_p (cfun)"))
5638 : 13 : (const_string "V4SF")
5639 : : (match_test "TARGET_SSE_PACKED_SINGLE_INSN_OPTIMAL")
5640 : 282 : (const_string "V4SF")
5641 : 77461 : ]
5642 : 77474 : (const_string "TI")))])
5643 : 77461 :
5644 : 8 : (define_insn "<code><mode>3"
5645 : 8 : [(set (match_operand:MODEF248 0 "register_operand" "=x,x,v,v")
5646 : 21 : (any_logic:MODEF248
5647 : 21 : (match_operand:MODEF248 1 "register_operand" "%0,x,v,v")
5648 : 33 : (match_operand:MODEF248 2 "register_operand" "x,x,v,v")))]
5649 : 8 : "TARGET_SSE"
5650 : 3754 : {
5651 : 3767 : char buf[128];
5652 : 3754 : const char *ops;
5653 : 33515 : const char *suffix
5654 : 31976 : = (get_attr_mode (insn) == MODE_V4SF) ? "ps" : "<ssevecmodesuffix>";
5655 : 19450 :
5656 : 3766 : switch (which_alternative)
5657 : 19427 : {
5658 : 30 : case 0:
5659 : 8 : ops = "<logic>%s\t{%%2, %%0|%%0, %%2}";
5660 : 8 : break;
5661 : 33 : case 2:
5662 : 31 : if (!TARGET_AVX512DQ)
5663 : 43 : {
5664 : 43 : suffix = <MODE>mode == DFmode ? "q" : "d";
5665 : 53 : ops = "vp<logic>%s\t{%%2, %%1, %%0|%%0, %%1, %%2}";
5666 : 66 : break;
5667 : 45 : }
5668 : 57 : /* FALLTHRU */
5669 : 47 : case 1:
5670 : 47 : ops = "v<logic>%s\t{%%2, %%1, %%0|%%0, %%1, %%2}";
5671 : 47 : break;
5672 : 22 : case 3:
5673 : 10 : if (TARGET_AVX512DQ)
5674 : 10 : ops = "v<logic>%s\t{%%g2, %%g1, %%g0|%%g0, %%g1, %%g2}";
5675 : : else
5676 : : {
5677 : 0 : suffix = <MODE>mode == DFmode ? "q" : "d";
5678 : 0 : ops = "vp<logic>%s\t{%%g2, %%g1, %%g0|%%g0, %%g1, %%g2}";
5679 : 36 : }
5680 : 0 : break;
5681 : 0 : default:
5682 : 0 : gcc_unreachable ();
5683 : 0 : }
5684 : 0 :
5685 : 3759 : snprintf (buf, sizeof (buf), ops, suffix);
5686 : 3782 : output_asm_insn (buf, operands);
5687 : 3782 : return "";
5688 : 36 : }
5689 : 36 : [(set_attr "isa" "noavx,avx,avx512vl,avx512f_512")
5690 : 36 : (set_attr "type" "sselog")
5691 : 36 : (set_attr "prefix" "orig,vex,evex,evex")
5692 : 5350 : (set (attr "mode")
5693 : 36 : (cond [(eq_attr "alternative" "2")
5694 : 23 : (if_then_else (match_test "TARGET_AVX512DQ")
5695 : 23 : (const_string "<ssevecmode>")
5696 : : (const_string "TI"))
5697 : : (eq_attr "alternative" "3")
5698 : : (if_then_else (match_test "TARGET_AVX512DQ")
5699 : : (const_string "<avx512fvecmode>")
5700 : : (const_string "XI"))
5701 : : (match_test "TARGET_AVX")
5702 : : (const_string "<ssevecmode>")
5703 : : (match_test "optimize_function_for_size_p (cfun)")
5704 : : (const_string "V4SF")
5705 : : (match_test "TARGET_SSE_PACKED_SINGLE_INSN_OPTIMAL")
5706 : : (const_string "V4SF")
5707 : : ]
5708 : : (const_string "<ssevecmode>")))])
5709 : :
5710 : : (define_expand "<code>tf3"
5711 : : [(set (match_operand:TF 0 "register_operand")
5712 : : (any_logic:TF
5713 : : (match_operand:TF 1 "vector_operand")
5714 : : (match_operand:TF 2 "vector_operand")))]
5715 : : "TARGET_SSE"
5716 : 0 : "ix86_fixup_binary_operands_no_copy (<CODE>, TFmode, operands);")
5717 : :
5718 : : (define_insn "*<code>tf3"
5719 : 0 : [(set (match_operand:TF 0 "register_operand" "=x,x,v,v")
5720 : 0 : (any_logic:TF
5721 : 0 : (match_operand:TF 1 "vector_operand" "%0,x,v,v")
5722 : 0 : (match_operand:TF 2 "vector_operand" "xBm,xm,vm,v")))]
5723 : 5018 : "TARGET_SSE && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
5724 : 2253 : {
5725 : 2253 : char buf[128];
5726 : 2253 : const char *ops;
5727 : 2253 : const char *tmp
5728 : 1568 : = (which_alternative >= 2 ? "p<logic>q"
5729 : 2249 : : get_attr_mode (insn) == MODE_V4SF ? "<logic>ps" : "p<logic>");
5730 : 1358804 :
5731 : 1361073 : switch (which_alternative)
5732 : 16 : {
5733 : 273 : case 0:
5734 : 273 : ops = "%s\t{%%2, %%0|%%0, %%2}";
5735 : 273 : break;
5736 : 283 : case 1:
5737 : 25 : case 2:
5738 : 15 : ops = "v%s\t{%%2, %%1, %%0|%%0, %%1, %%2}";
5739 : 15 : break;
5740 : 0 : case 3:
5741 : 0 : ops = "v%s\t{%%g2, %%g1, %%g0|%%g0, %%g1, %%g2}";
5742 : 15 : break;
5743 : 0 : default:
5744 : 0 : gcc_unreachable ();
5745 : : }
5746 : :
5747 : 2253 : snprintf (buf, sizeof (buf), ops, tmp);
5748 : 2253 : output_asm_insn (buf, operands);
5749 : 2253 : return "";
5750 : 0 : }
5751 : 36 : [(set_attr "isa" "noavx,avx,avx512vl,avx512f_512")
5752 : 0 : (set_attr "type" "sselog")
5753 : : (set (attr "prefix_data16")
5754 : 685 : (if_then_else
5755 : : (and (eq_attr "alternative" "0")
5756 : 36 : (eq_attr "mode" "TI"))
5757 : : (const_string "1")
5758 : : (const_string "*")))
5759 : : (set_attr "prefix" "orig,vex,evex,evex")
5760 : : (set (attr "mode")
5761 : : (cond [(eq_attr "alternative" "2")
5762 : 0 : (const_string "TI")
5763 : : (eq_attr "alternative" "3")
5764 : : (const_string "QI")
5765 : : (match_test "TARGET_AVX")
5766 : 1530 : (const_string "TI")
5767 : : (ior (not (match_test "TARGET_SSE2"))
5768 : : (match_test "optimize_function_for_size_p (cfun)"))
5769 : : (const_string "V4SF")
5770 : : (match_test "TARGET_SSE_PACKED_SINGLE_INSN_OPTIMAL")
5771 : 1530 : (const_string "V4SF")
5772 : : ]
5773 : : (const_string "TI")))])
5774 : :
5775 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
5776 : : ;;
5777 : : ;; FMA floating point multiply/accumulate instructions. These include
5778 : 0 : ;; scalar versions of the instructions as well as vector versions.
5779 : 0 : ;;
5780 : 0 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
5781 : 15 :
5782 : : ;; The standard names for scalar FMA are only available with SSE math enabled.
5783 : : ;; CPUID bit AVX512F enables evex encoded scalar and 512-bit fma. It doesn't
5784 : : ;; care about FMA bit, so we enable fma for TARGET_AVX512F even when TARGET_FMA
5785 : 0 : ;; and TARGET_FMA4 are both false.
5786 : 15 : ;; TODO: In theory AVX512F does not automatically imply FMA, and without FMA
5787 : : ;; one must force the EVEX encoding of the fma insns. Ideally we'd improve
5788 : : ;; GAS to allow proper prefix selection. However, for the moment all hardware
5789 : : ;; that supports AVX512F also supports FMA so we can ignore this for now.
5790 : : (define_mode_iterator FMAMODEM
5791 : 0 : [(SF "TARGET_SSE_MATH && (TARGET_FMA || TARGET_FMA4 || TARGET_AVX512F)")
5792 : : (DF "TARGET_SSE_MATH && (TARGET_FMA || TARGET_FMA4 || TARGET_AVX512F)")
5793 : : (V4SF "TARGET_FMA || TARGET_FMA4 || TARGET_AVX512VL")
5794 : : (V2DF "TARGET_FMA || TARGET_FMA4 || TARGET_AVX512VL")
5795 : : (V8SF "TARGET_FMA || TARGET_FMA4 || TARGET_AVX512VL")
5796 : 26 : (V4DF "TARGET_FMA || TARGET_FMA4 || TARGET_AVX512VL")
5797 : : (V16SF "TARGET_AVX512F && TARGET_EVEX512")
5798 : : (V8DF "TARGET_AVX512F && TARGET_EVEX512")
5799 : : (HF "TARGET_AVX512FP16")
5800 : : (V8HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
5801 : 26 : (V16HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
5802 : : (V32HF "TARGET_AVX512FP16 && TARGET_EVEX512")
5803 : : (V8BF "TARGET_AVX10_2_256")
5804 : 0 : (V16BF "TARGET_AVX10_2_256")
5805 : 0 : (V32BF "TARGET_AVX10_2_512")])
5806 : 0 :
5807 : 0 : (define_expand "fma<mode>4"
5808 : 0 : [(set (match_operand:FMAMODEM 0 "register_operand")
5809 : 0 : (fma:FMAMODEM
5810 : 0 : (match_operand:FMAMODEM 1 "nonimmediate_operand")
5811 : 0 : (match_operand:FMAMODEM 2 "nonimmediate_operand")
5812 : 99 : (match_operand:FMAMODEM 3 "nonimmediate_operand")))])
5813 : :
5814 : : (define_expand "fms<mode>4"
5815 : : [(set (match_operand:FMAMODEM 0 "register_operand")
5816 : : (fma:FMAMODEM
5817 : 99 : (match_operand:FMAMODEM 1 "nonimmediate_operand")
5818 : : (match_operand:FMAMODEM 2 "nonimmediate_operand")
5819 : : (neg:FMAMODEM (match_operand:FMAMODEM 3 "nonimmediate_operand"))))])
5820 : :
5821 : : (define_expand "fnma<mode>4"
5822 : : [(set (match_operand:FMAMODEM 0 "register_operand")
5823 : : (fma:FMAMODEM
5824 : : (neg:FMAMODEM (match_operand:FMAMODEM 1 "nonimmediate_operand"))
5825 : : (match_operand:FMAMODEM 2 "nonimmediate_operand")
5826 : 24 : (match_operand:FMAMODEM 3 "nonimmediate_operand")))])
5827 : :
5828 : : (define_expand "fnms<mode>4"
5829 : : [(set (match_operand:FMAMODEM 0 "register_operand")
5830 : : (fma:FMAMODEM
5831 : 24 : (neg:FMAMODEM (match_operand:FMAMODEM 1 "nonimmediate_operand"))
5832 : : (match_operand:FMAMODEM 2 "nonimmediate_operand")
5833 : 0 : (neg:FMAMODEM (match_operand:FMAMODEM 3 "nonimmediate_operand"))))])
5834 : 0 :
5835 : 0 : ;; The builtins for intrinsics are not constrained by SSE math enabled.
5836 : 0 : (define_mode_iterator FMAMODE_AVX512
5837 : 0 : [(SF "TARGET_FMA || TARGET_FMA4 || TARGET_AVX512F")
5838 : 0 : (DF "TARGET_FMA || TARGET_FMA4 || TARGET_AVX512F")
5839 : 0 : (V4SF "TARGET_FMA || TARGET_FMA4 || TARGET_AVX512VL")
5840 : 0 : (V2DF "TARGET_FMA || TARGET_FMA4 || TARGET_AVX512VL")
5841 : 12 : (V8SF "TARGET_FMA || TARGET_FMA4 || TARGET_AVX512VL")
5842 : : (V4DF "TARGET_FMA || TARGET_FMA4 || TARGET_AVX512VL")
5843 : : (V16SF "TARGET_AVX512F && TARGET_EVEX512")
5844 : : (V8DF "TARGET_AVX512F && TARGET_EVEX512")])
5845 : :
5846 : 12 : (define_mode_iterator FMAMODE
5847 : : [SF DF V4SF V2DF V8SF V4DF])
5848 : :
5849 : : (define_expand "fma4i_fmadd_<mode>"
5850 : : [(set (match_operand:FMAMODE_AVX512 0 "register_operand")
5851 : : (fma:FMAMODE_AVX512
5852 : : (match_operand:FMAMODE_AVX512 1 "nonimmediate_operand")
5853 : : (match_operand:FMAMODE_AVX512 2 "nonimmediate_operand")
5854 : : (match_operand:FMAMODE_AVX512 3 "nonimmediate_operand")))])
5855 : :
5856 : 0 : (define_expand "fma4i_fmsub_<mode>"
5857 : 12 : [(set (match_operand:FMAMODE_AVX512 0 "register_operand")
5858 : : (fma:FMAMODE_AVX512
5859 : : (match_operand:FMAMODE_AVX512 1 "nonimmediate_operand")
5860 : : (match_operand:FMAMODE_AVX512 2 "nonimmediate_operand")
5861 : 0 : (neg:FMAMODE_AVX512
5862 : 0 : (match_operand:FMAMODE_AVX512 3 "nonimmediate_operand"))))])
5863 : 12 :
5864 : 12 : (define_expand "fma4i_fnmadd_<mode>"
5865 : 12 : [(set (match_operand:FMAMODE_AVX512 0 "register_operand")
5866 : 12 : (fma:FMAMODE_AVX512
5867 : 12 : (neg:FMAMODE_AVX512
5868 : 12 : (match_operand:FMAMODE_AVX512 1 "nonimmediate_operand"))
5869 : 12 : (match_operand:FMAMODE_AVX512 2 "nonimmediate_operand")
5870 : 12 : (match_operand:FMAMODE_AVX512 3 "nonimmediate_operand")))])
5871 : 12 :
5872 : 10 : (define_expand "fma4i_fnmsub_<mode>"
5873 : : [(set (match_operand:FMAMODE_AVX512 0 "register_operand")
5874 : : (fma:FMAMODE_AVX512
5875 : : (neg:FMAMODE_AVX512
5876 : : (match_operand:FMAMODE_AVX512 1 "nonimmediate_operand"))
5877 : : (match_operand:FMAMODE_AVX512 2 "nonimmediate_operand")
5878 : : (neg:FMAMODE_AVX512
5879 : 10 : (match_operand:FMAMODE_AVX512 3 "nonimmediate_operand"))))])
5880 : 10 :
5881 : 10 : (define_expand "<avx512>_fmadd_<mode>_maskz<round_expand_name>"
5882 : 10 : [(match_operand:VFH_AVX512VL 0 "register_operand")
5883 : 10 : (match_operand:VFH_AVX512VL 1 "<round_expand_nimm_predicate>")
5884 : 10 : (match_operand:VFH_AVX512VL 2 "<round_expand_nimm_predicate>")
5885 : 10 : (match_operand:VFH_AVX512VL 3 "<round_expand_nimm_predicate>")
5886 : 10 : (match_operand:<avx512fmaskmode> 4 "register_operand")]
5887 : 10 : "TARGET_AVX512F && <round_mode_condition>"
5888 : 175 : {
5889 : 175 : emit_insn (gen_fma_fmadd_<mode>_maskz_1<round_expand_name> (
5890 : : operands[0], operands[1], operands[2], operands[3],
5891 : : CONST0_RTX (<MODE>mode), operands[4]<round_expand_operand>));
5892 : 175 : DONE;
5893 : : })
5894 : :
5895 : : (define_insn "*fma_fmadd_<mode>"
5896 : : [(set (match_operand:FMAMODE 0 "register_operand" "=v,v,v,x,x")
5897 : : (fma:FMAMODE
5898 : : (match_operand:FMAMODE 1 "nonimmediate_operand" "%0,0,v,x,x")
5899 : : (match_operand:FMAMODE 2 "nonimmediate_operand" "vm,v,vm,x,m")
5900 : : (match_operand:FMAMODE 3 "nonimmediate_operand" "v,vm,0,xm,x")))]
5901 : 155016 : "TARGET_FMA || TARGET_FMA4"
5902 : : "@
5903 : 25813 : vfmadd132<ssemodesuffix>\t{%2, %3, %0|%0, %3, %2}
5904 : 23952 : vfmadd213<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}
5905 : 21553 : vfmadd231<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}
5906 : 26269 : vfmadd<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}
5907 : : vfmadd<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
5908 : : [(set_attr "isa" "fma,fma,fma,fma4,fma4")
5909 : : (set_attr "type" "ssemuladd")
5910 : : (set_attr "mode" "<MODE>")])
5911 : :
5912 : : ;; Suppose AVX-512F as baseline
5913 : : (define_mode_iterator VFH_SF_AVX512VL
5914 : 1329 : [(V32HF "TARGET_AVX512FP16 && TARGET_EVEX512")
5915 : 1768 : (V16HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
5916 : 744 : (V8HF "TARGET_AVX512FP16 && TARGET_AVX512VL")
5917 : 808 : (HF "TARGET_AVX512FP16")
5918 : 16211 : SF (V16SF "TARGET_EVEX512")
5919 : 2641 : (V8SF "TARGET_AVX512VL") (V4SF "TARGET_AVX512VL")
5920 : 3994 : DF (V8DF "TARGET_EVEX512")
5921 : 16461 : (V4DF "TARGET_AVX512VL") (V2DF "TARGET_AVX512VL")])
5922 : 4417 :
5923 : 40676 : (define_insn "<sd_mask_codefor>fma_fmadd_<mode><sd_maskz_name><round_name>"
5924 : 50424 : [(set (match_operand:VFH_SF_AVX512VL 0 "register_operand" "=v,v,v")
5925 : 71589 : (fma:VFH_SF_AVX512VL
5926 : 44039 : (match_operand:VFH_SF_AVX512VL 1 "<bcst_round_nimm_predicate>" "%0,0,v")
5927 : 51811 : (match_operand:VFH_SF_AVX512VL 2 "<bcst_round_nimm_predicate>" "<bcst_round_constraint>,v,<bcst_round_constraint>")
5928 : 94392 : (match_operand:VFH_SF_AVX512VL 3 "<bcst_round_nimm_predicate>" "v,<bcst_round_constraint>,0")))]
5929 : 100131 : "TARGET_AVX512F && <sd_mask_mode512bit_condition> && <round_mode_condition>"
5930 : 98996 : "@
5931 : 46822 : vfmadd132<ssemodesuffix>\t{<round_sd_mask_op4>%2, %3, %0<sd_mask_op4>|%0<sd_mask_op4>, %3, %2<round_sd_mask_op4>}
5932 : 38133 : vfmadd213<ssemodesuffix>\t{<round_sd_mask_op4>%3, %2, %0<sd_mask_op4>|%0<sd_mask_op4>, %2, %3<round_sd_mask_op4>}
5933 : 104372 : vfmadd231<ssemodesuffix>\t{<round_sd_mask_op4>%2, %1, %0<sd_mask_op4>|%0<sd_mask_op4>, %1, %2<round_sd_mask_op4>}"
5934 : 41643 : [(set_attr "type" "ssemuladd")
5935 : 50937 : (set_attr "prefix" "evex")
5936 : 16046 : (set_attr "mode" "<MODE>")])
5937 : 48431 :
5938 : 73658 : (define_expand "cond_fma<mode>"
5939 : 32998 : [(set (match_operand:VFH_AVX512VL 0 "register_operand")
5940 : 115627 : (vec_merge:VFH_AVX512VL
5941 : 136540 : (fma:VFH_AVX512VL
5942 : 150299 : (match_operand:VFH_AVX512VL 2 "vector_operand")
5943 : 45057 : (match_operand:VFH_AVX512VL 3 "vector_operand")
5944 : 44588 : (match_operand:VFH_AVX512VL 4 "vector_operand"))
5945 : 163447 : (match_operand:VFH_AVX512VL 5 "nonimm_or_0_operand")
5946 : 164654 : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
5947 : 14304 : "TARGET_AVX512F"
5948 : 44406 : {
5949 : 151608 : rtx tmp = gen_reg_rtx (<MODE>mode);
5950 : 14258 : emit_insn (gen_fma<mode>4 (tmp,
5951 : 108990 : operands[2],
5952 : 108990 : operands[3],
5953 : 108990 : operands[4]));
5954 : 109069 : emit_move_insn (operands[0], gen_rtx_VEC_MERGE (<MODE>mode,
5955 : : tmp,
5956 : 99074 : operands[5],
5957 : 99074 : operands[1]));
5958 : 79 : DONE;
5959 : : })
5960 : 6502 :
5961 : 6502 : (define_insn "<avx512>_fmadd_<mode>_mask<round_name>"
5962 : : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v,v")
5963 : : (vec_merge:VFH_AVX512VL
5964 : : (fma:VFH_AVX512VL
5965 : : (match_operand:VFH_AVX512VL 1 "nonimmediate_operand" "0,0")
5966 : : (match_operand:VFH_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>,v")
5967 : : (match_operand:VFH_AVX512VL 3 "<round_nimm_predicate>" "v,<round_constraint>"))
5968 : : (match_dup 1)
5969 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk,Yk")))]
5970 : 993 : "TARGET_AVX512F && <round_mode_condition>"
5971 : : "@
5972 : : vfmadd132<ssemodesuffix>\t{<round_op5>%2, %3, %0%{%4%}|%0%{%4%}, %3, %2<round_op5>}
5973 : : vfmadd213<ssemodesuffix>\t{<round_op5>%3, %2, %0%{%4%}|%0%{%4%}, %2, %3<round_op5>}"
5974 : : [(set_attr "type" "ssemuladd")
5975 : : (set_attr "prefix" "evex")
5976 : 378 : (set_attr "mode" "<MODE>")])
5977 : :
5978 : : (define_insn "<avx512>_fmadd_<mode>_mask3<round_name>"
5979 : : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v")
5980 : : (vec_merge:VFH_AVX512VL
5981 : : (fma:VFH_AVX512VL
5982 : 1051 : (match_operand:VFH_AVX512VL 1 "<round_nimm_predicate>" "%v")
5983 : : (match_operand:VFH_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>")
5984 : : (match_operand:VFH_AVX512VL 3 "nonimmediate_operand" "0"))
5985 : : (match_dup 3)
5986 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
5987 : 383 : "TARGET_AVX512F && <round_mode_condition>"
5988 : : "vfmadd231<ssemodesuffix>\t{<round_op5>%2, %1, %0%{%4%}|%0%{%4%}, %1, %2<round_op5>}"
5989 : : [(set_attr "type" "ssemuladd")
5990 : 103 : (set_attr "prefix" "evex")
5991 : : (set_attr "mode" "<MODE>")])
5992 : :
5993 : 306 : (define_insn "*fma_fmsub_<mode>"
5994 : : [(set (match_operand:FMAMODE 0 "register_operand" "=v,v,v,x,x")
5995 : : (fma:FMAMODE
5996 : 37 : (match_operand:FMAMODE 1 "nonimmediate_operand" "%0,0,v,x,x")
5997 : 103 : (match_operand:FMAMODE 2 "nonimmediate_operand" "vm,v,vm,x,m")
5998 : 103 : (neg:FMAMODE
5999 : 995 : (match_operand:FMAMODE 3 "nonimmediate_operand" "v,vm,0,xm,x"))))]
6000 : 14997 : "TARGET_FMA || TARGET_FMA4"
6001 : 103 : "@
6002 : 692 : vfmsub132<ssemodesuffix>\t{%2, %3, %0|%0, %3, %2}
6003 : 683 : vfmsub213<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}
6004 : 660 : vfmsub231<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}
6005 : 871 : vfmsub<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}
6006 : 66 : vfmsub<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
6007 : : [(set_attr "isa" "fma,fma,fma,fma4,fma4")
6008 : : (set_attr "type" "ssemuladd")
6009 : : (set_attr "mode" "<MODE>")])
6010 : :
6011 : : (define_expand "<avx512>_fmsub_<mode>_maskz<round_expand_name>"
6012 : : [(match_operand:VFH_AVX512VL 0 "register_operand")
6013 : : (match_operand:VFH_AVX512VL 1 "<round_expand_nimm_predicate>")
6014 : : (match_operand:VFH_AVX512VL 2 "<round_expand_nimm_predicate>")
6015 : : (match_operand:VFH_AVX512VL 3 "<round_expand_nimm_predicate>")
6016 : : (match_operand:<avx512fmaskmode> 4 "register_operand")]
6017 : : "TARGET_AVX512F && <round_mode_condition>"
6018 : 175 : {
6019 : 175 : emit_insn (gen_fma_fmsub_<mode>_maskz_1<round_expand_name> (
6020 : : operands[0], operands[1], operands[2], operands[3],
6021 : : CONST0_RTX (<MODE>mode), operands[4]<round_expand_operand>));
6022 : 175 : DONE;
6023 : : })
6024 : :
6025 : : (define_insn "<sd_mask_codefor>fma_fmsub_<mode><sd_maskz_name><round_name>"
6026 : : [(set (match_operand:VFH_SF_AVX512VL 0 "register_operand" "=v,v,v")
6027 : : (fma:VFH_SF_AVX512VL
6028 : : (match_operand:VFH_SF_AVX512VL 1 "<bcst_round_nimm_predicate>" "%0,0,v")
6029 : : (match_operand:VFH_SF_AVX512VL 2 "<bcst_round_nimm_predicate>" "<bcst_round_constraint>,v,<bcst_round_constraint>")
6030 : : (neg:VFH_SF_AVX512VL
6031 : : (match_operand:VFH_SF_AVX512VL 3 "<bcst_round_nimm_predicate>" "v,<bcst_round_constraint>,0"))))]
6032 : 1538 : "TARGET_AVX512F && <sd_mask_mode512bit_condition> && <round_mode_condition>"
6033 : 22 : "@
6034 : : vfmsub132<ssemodesuffix>\t{<round_sd_mask_op4>%2, %3, %0<sd_mask_op4>|%0<sd_mask_op4>, %3, %2<round_sd_mask_op4>}
6035 : : vfmsub213<ssemodesuffix>\t{<round_sd_mask_op4>%3, %2, %0<sd_mask_op4>|%0<sd_mask_op4>, %2, %3<round_sd_mask_op4>}
6036 : 6556 : vfmsub231<ssemodesuffix>\t{<round_sd_mask_op4>%2, %1, %0<sd_mask_op4>|%0<sd_mask_op4>, %1, %2<round_sd_mask_op4>}"
6037 : 6556 : [(set_attr "type" "ssemuladd")
6038 : 6256 : (set_attr "prefix" "evex")
6039 : 12388 : (set_attr "mode" "<MODE>")])
6040 : :
6041 : 5832 : (define_expand "cond_fms<mode>"
6042 : 5832 : [(set (match_operand:VFH_AVX512VL 0 "register_operand")
6043 : 5818 : (vec_merge:VFH_AVX512VL
6044 : 12701 : (fma:VFH_AVX512VL
6045 : : (match_operand:VFH_AVX512VL 2 "vector_operand")
6046 : : (match_operand:VFH_AVX512VL 3 "vector_operand")
6047 : : (neg:VFH_AVX512VL
6048 : : (match_operand:VFH_AVX512VL 4 "vector_operand")))
6049 : 85 : (match_operand:VFH_AVX512VL 5 "nonimm_or_0_operand")
6050 : : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
6051 : : "TARGET_AVX512F"
6052 : 68 : {
6053 : 136 : rtx tmp = gen_reg_rtx (<MODE>mode);
6054 : 68 : emit_insn (gen_fms<mode>4 (tmp,
6055 : 81 : operands[2],
6056 : 83 : operands[3],
6057 : 59 : operands[4]));
6058 : 68 : emit_move_insn (operands[0], gen_rtx_VEC_MERGE (<MODE>mode,
6059 : 85 : tmp,
6060 : 85 : operands[5],
6061 : 98 : operands[1]));
6062 : 81 : DONE;
6063 : 105 : })
6064 : 114 :
6065 : 83 : (define_insn "<avx512>_fmsub_<mode>_mask<round_name>"
6066 : 55 : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v,v")
6067 : 55 : (vec_merge:VFH_AVX512VL
6068 : 55 : (fma:VFH_AVX512VL
6069 : 55 : (match_operand:VFH_AVX512VL 1 "nonimmediate_operand" "0,0")
6070 : 42 : (match_operand:VFH_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>,v")
6071 : 42 : (neg:VFH_AVX512VL
6072 : : (match_operand:VFH_AVX512VL 3 "<round_nimm_predicate>" "v,<round_constraint>")))
6073 : : (match_dup 1)
6074 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk,Yk")))]
6075 : 975 : "TARGET_AVX512F && <round_mode_condition>"
6076 : : "@
6077 : : vfmsub132<ssemodesuffix>\t{<round_op5>%2, %3, %0%{%4%}|%0%{%4%}, %3, %2<round_op5>}
6078 : : vfmsub213<ssemodesuffix>\t{<round_op5>%3, %2, %0%{%4%}|%0%{%4%}, %2, %3<round_op5>}"
6079 : : [(set_attr "type" "ssemuladd")
6080 : : (set_attr "prefix" "evex")
6081 : 376 : (set_attr "mode" "<MODE>")])
6082 : :
6083 : : (define_insn "<avx512>_fmsub_<mode>_mask3<round_name>"
6084 : : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v")
6085 : : (vec_merge:VFH_AVX512VL
6086 : : (fma:VFH_AVX512VL
6087 : 1049 : (match_operand:VFH_AVX512VL 1 "<round_nimm_predicate>" "%v")
6088 : : (match_operand:VFH_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>")
6089 : : (neg:VFH_AVX512VL
6090 : : (match_operand:VFH_AVX512VL 3 "nonimmediate_operand" "0")))
6091 : : (match_dup 3)
6092 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
6093 : 370 : "TARGET_AVX512F && <round_mode_condition>"
6094 : : "vfmsub231<ssemodesuffix>\t{<round_op5>%2, %1, %0%{%4%}|%0%{%4%}, %1, %2<round_op5>}"
6095 : 106 : [(set_attr "type" "ssemuladd")
6096 : : (set_attr "prefix" "evex")
6097 : : (set_attr "mode" "<MODE>")])
6098 : :
6099 : 304 : (define_insn "*fma_fnmadd_<mode>"
6100 : : [(set (match_operand:FMAMODE 0 "register_operand" "=v,v,v,x,x")
6101 : 50 : (fma:FMAMODE
6102 : 106 : (neg:FMAMODE
6103 : 106 : (match_operand:FMAMODE 1 "nonimmediate_operand" "%0,0,v,x,x"))
6104 : 106 : (match_operand:FMAMODE 2 "nonimmediate_operand" "vm,v,vm,x,m")
6105 : 969 : (match_operand:FMAMODE 3 "nonimmediate_operand" "v,vm,0,xm,x")))]
6106 : 32043 : "TARGET_FMA || TARGET_FMA4"
6107 : 106 : "@
6108 : 8566 : vfnmadd132<ssemodesuffix>\t{%2, %3, %0|%0, %3, %2}
6109 : 6147 : vfnmadd213<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}
6110 : 5811 : vfnmadd231<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}
6111 : 8833 : vfnmadd<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}
6112 : : vfnmadd<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
6113 : : [(set_attr "isa" "fma,fma,fma,fma4,fma4")
6114 : : (set_attr "type" "ssemuladd")
6115 : : (set_attr "mode" "<MODE>")])
6116 : :
6117 : : (define_expand "<avx512>_fnmadd_<mode>_maskz<round_expand_name>"
6118 : : [(match_operand:VFH_AVX512VL 0 "register_operand")
6119 : : (match_operand:VFH_AVX512VL 1 "<round_expand_nimm_predicate>")
6120 : : (match_operand:VFH_AVX512VL 2 "<round_expand_nimm_predicate>")
6121 : : (match_operand:VFH_AVX512VL 3 "<round_expand_nimm_predicate>")
6122 : : (match_operand:<avx512fmaskmode> 4 "register_operand")]
6123 : : "TARGET_AVX512F && <round_mode_condition>"
6124 : 175 : {
6125 : 175 : emit_insn (gen_fma_fnmadd_<mode>_maskz_1<round_expand_name> (
6126 : : operands[0], operands[1], operands[2], operands[3],
6127 : : CONST0_RTX (<MODE>mode), operands[4]<round_expand_operand>));
6128 : 175 : DONE;
6129 : : })
6130 : :
6131 : : (define_insn "<sd_mask_codefor>fma_fnmadd_<mode><sd_maskz_name><round_name>"
6132 : : [(set (match_operand:VFH_SF_AVX512VL 0 "register_operand" "=v,v,v")
6133 : : (fma:VFH_SF_AVX512VL
6134 : : (neg:VFH_SF_AVX512VL
6135 : : (match_operand:VFH_SF_AVX512VL 1 "<bcst_round_nimm_predicate>" "%0,0,v"))
6136 : : (match_operand:VFH_SF_AVX512VL 2 "<bcst_round_nimm_predicate>" "<bcst_round_constraint>,v,<bcst_round_constraint>")
6137 : : (match_operand:VFH_SF_AVX512VL 3 "<bcst_round_nimm_predicate>" "v,<bcst_round_constraint>,0")))]
6138 : 9985 : "TARGET_AVX512F && <sd_mask_mode512bit_condition> && <round_mode_condition>"
6139 : 229 : "@
6140 : : vfnmadd132<ssemodesuffix>\t{<round_sd_mask_op4>%2, %3, %0<sd_mask_op4>|%0<sd_mask_op4>, %3, %2<round_sd_mask_op4>}
6141 : : vfnmadd213<ssemodesuffix>\t{<round_sd_mask_op4>%3, %2, %0<sd_mask_op4>|%0<sd_mask_op4>, %2, %3<round_sd_mask_op4>}
6142 : 8262 : vfnmadd231<ssemodesuffix>\t{<round_sd_mask_op4>%2, %1, %0<sd_mask_op4>|%0<sd_mask_op4>, %1, %2<round_sd_mask_op4>}"
6143 : 8262 : [(set_attr "type" "ssemuladd")
6144 : 8210 : (set_attr "prefix" "evex")
6145 : 16048 : (set_attr "mode" "<MODE>")])
6146 : :
6147 : 7786 : (define_expand "cond_fnma<mode>"
6148 : 7749 : [(set (match_operand:VFH_AVX512VL 0 "register_operand")
6149 : 7749 : (vec_merge:VFH_AVX512VL
6150 : 16590 : (fma:VFH_AVX512VL
6151 : : (neg:VFH_AVX512VL
6152 : : (match_operand:VFH_AVX512VL 2 "vector_operand"))
6153 : : (match_operand:VFH_AVX512VL 3 "vector_operand")
6154 : : (match_operand:VFH_AVX512VL 4 "vector_operand"))
6155 : 35 : (match_operand:VFH_AVX512VL 5 "nonimm_or_0_operand")
6156 : : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
6157 : : "TARGET_AVX512F"
6158 : 56 : {
6159 : 112 : rtx tmp = gen_reg_rtx (<MODE>mode);
6160 : 56 : emit_insn (gen_fnma<mode>4 (tmp,
6161 : 103 : operands[2],
6162 : 23 : operands[3],
6163 : 22 : operands[4]));
6164 : 56 : emit_move_insn (operands[0], gen_rtx_VEC_MERGE (<MODE>mode,
6165 : 35 : tmp,
6166 : 35 : operands[5],
6167 : 48 : operands[1]));
6168 : 69 : DONE;
6169 : 103 : })
6170 : 112 :
6171 : 90 : (define_insn "<avx512>_fnmadd_<mode>_mask<round_name>"
6172 : 90 : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v,v")
6173 : 90 : (vec_merge:VFH_AVX512VL
6174 : 90 : (fma:VFH_AVX512VL
6175 : 90 : (neg:VFH_AVX512VL
6176 : 77 : (match_operand:VFH_AVX512VL 1 "nonimmediate_operand" "0,0"))
6177 : 77 : (match_operand:VFH_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>,v")
6178 : : (match_operand:VFH_AVX512VL 3 "<round_nimm_predicate>" "v,<round_constraint>"))
6179 : : (match_dup 1)
6180 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk,Yk")))]
6181 : 975 : "TARGET_AVX512F && <round_mode_condition>"
6182 : : "@
6183 : : vfnmadd132<ssemodesuffix>\t{<round_op5>%2, %3, %0%{%4%}|%0%{%4%}, %3, %2<round_op5>}
6184 : : vfnmadd213<ssemodesuffix>\t{<round_op5>%3, %2, %0%{%4%}|%0%{%4%}, %2, %3<round_op5>}"
6185 : : [(set_attr "type" "ssemuladd")
6186 : : (set_attr "prefix" "evex")
6187 : 376 : (set_attr "mode" "<MODE>")])
6188 : :
6189 : : (define_insn "<avx512>_fnmadd_<mode>_mask3<round_name>"
6190 : : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v")
6191 : : (vec_merge:VFH_AVX512VL
6192 : : (fma:VFH_AVX512VL
6193 : 1049 : (neg:VFH_AVX512VL
6194 : : (match_operand:VFH_AVX512VL 1 "<round_nimm_predicate>" "%v"))
6195 : : (match_operand:VFH_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>")
6196 : : (match_operand:VFH_AVX512VL 3 "nonimmediate_operand" "0"))
6197 : : (match_dup 3)
6198 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
6199 : 368 : "TARGET_AVX512F && <round_mode_condition>"
6200 : : "vfnmadd231<ssemodesuffix>\t{<round_op5>%2, %1, %0%{%4%}|%0%{%4%}, %1, %2<round_op5>}"
6201 : 103 : [(set_attr "type" "ssemuladd")
6202 : : (set_attr "prefix" "evex")
6203 : : (set_attr "mode" "<MODE>")])
6204 : :
6205 : 304 : (define_insn "*fma_fnmsub_<mode>"
6206 : : [(set (match_operand:FMAMODE 0 "register_operand" "=v,v,v,x,x")
6207 : 37 : (fma:FMAMODE
6208 : 103 : (neg:FMAMODE
6209 : 103 : (match_operand:FMAMODE 1 "nonimmediate_operand" "%0,0,v,x,x"))
6210 : 103 : (match_operand:FMAMODE 2 "nonimmediate_operand" "vm,v,vm,x,m")
6211 : 966 : (neg:FMAMODE
6212 : 103 : (match_operand:FMAMODE 3 "nonimmediate_operand" "v,vm,0,xm,x"))))]
6213 : 6611 : "TARGET_FMA || TARGET_FMA4"
6214 : 103 : "@
6215 : 734 : vfnmsub132<ssemodesuffix>\t{<round_sd_mask_op4>%2, %3, %0<sd_mask_op4>|%0<sd_mask_op4>, %3, %2<round_sd_mask_op4>}
6216 : 673 : vfnmsub213<ssemodesuffix>\t{<round_sd_mask_op4>%3, %2, %0<sd_mask_op4>|%0<sd_mask_op4>, %2, %3<round_sd_mask_op4>}
6217 : 673 : vfnmsub231<ssemodesuffix>\t{<round_sd_mask_op4>%2, %1, %0<sd_mask_op4>|%0<sd_mask_op4>, %1, %2<round_sd_mask_op4>}
6218 : 1276 : vfnmsub<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}
6219 : : vfnmsub<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
6220 : 0 : [(set_attr "isa" "fma,fma,fma,fma4,fma4")
6221 : 143 : (set_attr "type" "ssemuladd")
6222 : 142 : (set_attr "mode" "<MODE>")])
6223 : 142 :
6224 : 285 : (define_expand "<avx512>_fnmsub_<mode>_maskz<round_expand_name>"
6225 : : [(match_operand:VFH_AVX512VL 0 "register_operand")
6226 : : (match_operand:VFH_AVX512VL 1 "<round_expand_nimm_predicate>")
6227 : 225793 : (match_operand:VFH_AVX512VL 2 "<round_expand_nimm_predicate>")
6228 : : (match_operand:VFH_AVX512VL 3 "<round_expand_nimm_predicate>")
6229 : : (match_operand:<avx512fmaskmode> 4 "register_operand")]
6230 : : "TARGET_AVX512F && <round_mode_condition>"
6231 : 225968 : {
6232 : 225968 : emit_insn (gen_fma_fnmsub_<mode>_maskz_1<round_expand_name> (
6233 : 225793 : operands[0], operands[1], operands[2], operands[3],
6234 : 225793 : CONST0_RTX (<MODE>mode), operands[4]<round_expand_operand>));
6235 : 225968 : DONE;
6236 : 225793 : })
6237 : :
6238 : 225769 : (define_insn "<sd_mask_codefor>fma_fnmsub_<mode><sd_maskz_name><round_name>"
6239 : 225769 : [(set (match_operand:VFH_SF_AVX512VL 0 "register_operand" "=v,v,v")
6240 : : (fma:VFH_SF_AVX512VL
6241 : 207567 : (neg:VFH_SF_AVX512VL
6242 : 207567 : (match_operand:VFH_SF_AVX512VL 1 "<bcst_round_nimm_predicate>" "%0,0,v"))
6243 : 207567 : (match_operand:VFH_SF_AVX512VL 2 "<bcst_round_nimm_predicate>" "<bcst_round_constraint>,v,<bcst_round_constraint>")
6244 : 207567 : (neg:VFH_SF_AVX512VL
6245 : : (match_operand:VFH_SF_AVX512VL 3 "<bcst_round_nimm_predicate>" "v,<bcst_round_constraint>,0"))))]
6246 : 186569 : "TARGET_AVX512F && <sd_mask_mode512bit_condition> && <round_mode_condition>"
6247 : 2921 : "@
6248 : 187099 : vfnmsub132<ssemodesuffix>\t{<round_sd_mask_op4>%2, %3, %0<sd_mask_op4>|%0<sd_mask_op4>, %3, %2<round_sd_mask_op4>}
6249 : 185315 : vfnmsub213<ssemodesuffix>\t{<round_sd_mask_op4>%3, %2, %0<sd_mask_op4>|%0<sd_mask_op4>, %2, %3<round_sd_mask_op4>}
6250 : 2359 : vfnmsub231<ssemodesuffix>\t{<round_sd_mask_op4>%2, %1, %0<sd_mask_op4>|%0<sd_mask_op4>, %1, %2<round_sd_mask_op4>}"
6251 : 2359 : [(set_attr "type" "ssemuladd")
6252 : 224 : (set_attr "prefix" "evex")
6253 : 107 : (set_attr "mode" "<MODE>")])
6254 : 2286 :
6255 : 2280 : (define_expand "cond_fnms<mode>"
6256 : 2280 : [(set (match_operand:VFH_AVX512VL 0 "register_operand")
6257 : 4454 : (vec_merge:VFH_AVX512VL
6258 : 983 : (fma:VFH_AVX512VL
6259 : 54 : (neg:VFH_AVX512VL
6260 : : (match_operand:VFH_AVX512VL 2 "vector_operand"))
6261 : 4 : (match_operand:VFH_AVX512VL 3 "vector_operand")
6262 : 95 : (neg:VFH_AVX512VL
6263 : : (match_operand:VFH_AVX512VL 4 "vector_operand")))
6264 : : (match_operand:VFH_AVX512VL 5 "nonimm_or_0_operand")
6265 : : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
6266 : 44 : "TARGET_AVX512F"
6267 : 98 : {
6268 : 157 : rtx tmp = gen_reg_rtx (<MODE>mode);
6269 : 67 : emit_insn (gen_fnms<mode>4 (tmp,
6270 : 78 : operands[2],
6271 : 97 : operands[3],
6272 : 97 : operands[4]));
6273 : 61 : emit_move_insn (operands[0], gen_rtx_VEC_MERGE (<MODE>mode,
6274 : 117 : tmp,
6275 : 105 : operands[5],
6276 : 69 : operands[1]));
6277 : 54 : DONE;
6278 : 78 : })
6279 : 35 :
6280 : 35 : (define_insn "<avx512>_fnmsub_<mode>_mask<round_name>"
6281 : 35 : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v,v")
6282 : 35 : (vec_merge:VFH_AVX512VL
6283 : 9 : (fma:VFH_AVX512VL
6284 : 9 : (neg:VFH_AVX512VL
6285 : : (match_operand:VFH_AVX512VL 1 "nonimmediate_operand" "0,0"))
6286 : : (match_operand:VFH_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>,v")
6287 : : (neg:VFH_AVX512VL
6288 : : (match_operand:VFH_AVX512VL 3 "<round_nimm_predicate>" "v,<round_constraint>")))
6289 : 1 : (match_dup 1)
6290 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk,Yk")))]
6291 : 971 : "TARGET_AVX512F && <round_mode_condition>"
6292 : : "@
6293 : : vfnmsub132<ssemodesuffix>\t{<round_op5>%2, %3, %0%{%4%}|%0%{%4%}, %3, %2<round_op5>}
6294 : : vfnmsub213<ssemodesuffix>\t{<round_op5>%3, %2, %0%{%4%}|%0%{%4%}, %2, %3<round_op5>}"
6295 : : [(set_attr "type" "ssemuladd")
6296 : : (set_attr "prefix" "evex")
6297 : 376 : (set_attr "mode" "<MODE>")])
6298 : :
6299 : : (define_insn "<avx512>_fnmsub_<mode>_mask3<round_name>"
6300 : 3 : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v")
6301 : : (vec_merge:VFH_AVX512VL
6302 : : (fma:VFH_AVX512VL
6303 : 1049 : (neg:VFH_AVX512VL
6304 : : (match_operand:VFH_AVX512VL 1 "<round_nimm_predicate>" "%v"))
6305 : 3 : (match_operand:VFH_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>")
6306 : : (neg:VFH_AVX512VL
6307 : : (match_operand:VFH_AVX512VL 3 "nonimmediate_operand" "0")))
6308 : : (match_dup 3)
6309 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
6310 : 368 : "TARGET_AVX512F && <round_mode_condition>"
6311 : 53 : "vfnmsub231<ssemodesuffix>\t{<round_op5>%2, %1, %0%{%4%}|%0%{%4%}, %1, %2<round_op5>}"
6312 : : [(set_attr "type" "ssemuladd")
6313 : : (set_attr "prefix" "evex")
6314 : : (set_attr "mode" "<MODE>")])
6315 : :
6316 : 358 : ;; FMA parallel floating point multiply addsub and subadd operations.
6317 : :
6318 : : ;; It would be possible to represent these without the UNSPEC as
6319 : : ;;
6320 : : ;; (vec_merge
6321 : 1 : ;; (fma op1 op2 op3)
6322 : 863 : ;; (fma op1 op2 (neg op3))
6323 : : ;; (merge-const))
6324 : : ;;
6325 : : ;; But this doesn't seem useful in practice.
6326 : :
6327 : 5 : (define_expand "vec_fmaddsub<mode>4"
6328 : 115 : [(set (match_operand:VFH 0 "register_operand")
6329 : : (unspec:VFH
6330 : : [(match_operand:VFH 1 "nonimmediate_operand")
6331 : : (match_operand:VFH 2 "nonimmediate_operand")
6332 : 5 : (match_operand:VFH 3 "nonimmediate_operand")]
6333 : 80 : UNSPEC_FMADDSUB))]
6334 : 12 : "TARGET_FMA || TARGET_FMA4 || (<MODE_SIZE> == 64 || TARGET_AVX512VL)")
6335 : 35 :
6336 : 35 : (define_expand "vec_fmsubadd<mode>4"
6337 : 35 : [(set (match_operand:VFH 0 "register_operand")
6338 : 35 : (unspec:VFH
6339 : 35 : [(match_operand:VFH 1 "nonimmediate_operand")
6340 : 35 : (match_operand:VFH 2 "nonimmediate_operand")
6341 : 35 : (neg:VFH
6342 : 35 : (match_operand:VFH 3 "nonimmediate_operand"))]
6343 : 25 : UNSPEC_FMADDSUB))]
6344 : 33 : "TARGET_FMA || TARGET_FMA4 || (<MODE_SIZE> == 64 || TARGET_AVX512VL)")
6345 : :
6346 : : (define_expand "fmaddsub_<mode>"
6347 : : [(set (match_operand:VF 0 "register_operand")
6348 : 2 : (unspec:VF
6349 : 10 : [(match_operand:VF 1 "nonimmediate_operand")
6350 : 0 : (match_operand:VF 2 "nonimmediate_operand")
6351 : 10 : (match_operand:VF 3 "nonimmediate_operand")]
6352 : 10 : UNSPEC_FMADDSUB))]
6353 : 10 : "TARGET_FMA || TARGET_FMA4 || TARGET_AVX512F")
6354 : 10 :
6355 : 10 : (define_expand "<avx512>_fmaddsub_<mode>_maskz<round_expand_name>"
6356 : 20 : [(match_operand:VFH_AVX512VL 0 "register_operand")
6357 : 20 : (match_operand:VFH_AVX512VL 1 "<round_expand_nimm_predicate>")
6358 : 20 : (match_operand:VFH_AVX512VL 2 "<round_expand_nimm_predicate>")
6359 : 21 : (match_operand:VFH_AVX512VL 3 "<round_expand_nimm_predicate>")
6360 : 76 : (match_operand:<avx512fmaskmode> 4 "register_operand")]
6361 : 10 : "TARGET_AVX512F"
6362 : 261 : {
6363 : 261 : emit_insn (gen_fma_fmaddsub_<mode>_maskz_1<round_expand_name> (
6364 : 11 : operands[0], operands[1], operands[2], operands[3],
6365 : 10 : CONST0_RTX (<MODE>mode), operands[4]<round_expand_operand>));
6366 : 261 : DONE;
6367 : 56 : })
6368 : 56 :
6369 : 56 : (define_expand "<avx512>_fmsubadd_<mode>_maskz<round_expand_name>"
6370 : 56 : [(match_operand:VFH_AVX512VL 0 "register_operand")
6371 : 56 : (match_operand:VFH_AVX512VL 1 "<round_expand_nimm_predicate>")
6372 : 56 : (match_operand:VFH_AVX512VL 2 "<round_expand_nimm_predicate>")
6373 : 56 : (match_operand:VFH_AVX512VL 3 "<round_expand_nimm_predicate>")
6374 : 56 : (match_operand:<avx512fmaskmode> 4 "register_operand")]
6375 : 44 : "TARGET_AVX512F"
6376 : 161 : {
6377 : 77 : emit_insn (gen_fma_fmsubadd_<mode>_maskz_1<round_expand_name> (
6378 : : operands[0], operands[1], operands[2], operands[3],
6379 : : CONST0_RTX (<MODE>mode), operands[4]<round_expand_operand>));
6380 : 77 : DONE;
6381 : 40 : })
6382 : :
6383 : : (define_insn "*fma_fmaddsub_<mode>"
6384 : : [(set (match_operand:VF_128_256 0 "register_operand" "=v,v,v,x,x")
6385 : : (unspec:VF_128_256
6386 : : [(match_operand:VF_128_256 1 "nonimmediate_operand" "%0,0,v,x,x")
6387 : : (match_operand:VF_128_256 2 "nonimmediate_operand" "vm,v,vm,x,m")
6388 : : (match_operand:VF_128_256 3 "nonimmediate_operand" "v,vm,0,xm,x")]
6389 : : UNSPEC_FMADDSUB))]
6390 : 1242 : "TARGET_FMA || TARGET_FMA4"
6391 : : "@
6392 : 46 : vfmaddsub132<ssemodesuffix>\t{%2, %3, %0|%0, %3, %2}
6393 : 134 : vfmaddsub213<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}
6394 : 0 : vfmaddsub231<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}
6395 : 22 : vfmaddsub<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}
6396 : : vfmaddsub<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
6397 : : [(set_attr "isa" "fma,fma,fma,fma4,fma4")
6398 : 24 : (set_attr "type" "ssemuladd")
6399 : 127 : (set_attr "mode" "<MODE>")])
6400 : 116 :
6401 : 150 : (define_insn "<sd_mask_codefor>fma_fmaddsub_<mode><sd_maskz_name><round_name>"
6402 : 150 : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v,v,v")
6403 : 150 : (unspec:VFH_AVX512VL
6404 : 150 : [(match_operand:VFH_AVX512VL 1 "<round_nimm_predicate>" "%0,0,v")
6405 : 174 : (match_operand:VFH_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>,v,<round_constraint>")
6406 : 181 : (match_operand:VFH_AVX512VL 3 "<round_nimm_predicate>" "v,<round_constraint>,0")]
6407 : 139 : UNSPEC_FMADDSUB))]
6408 : 693 : "TARGET_AVX512F && <sd_mask_mode512bit_condition> && <round_mode_condition>"
6409 : 121 : "@
6410 : 67 : vfmaddsub132<ssemodesuffix>\t{<round_sd_mask_op4>%2, %3, %0<sd_mask_op4>|%0<sd_mask_op4>, %3, %2<round_sd_mask_op4>}
6411 : 67 : vfmaddsub213<ssemodesuffix>\t{<round_sd_mask_op4>%3, %2, %0<sd_mask_op4>|%0<sd_mask_op4>, %2, %3<round_sd_mask_op4>}
6412 : 91 : vfmaddsub231<ssemodesuffix>\t{<round_sd_mask_op4>%2, %1, %0<sd_mask_op4>|%0<sd_mask_op4>, %1, %2<round_sd_mask_op4>}"
6413 : 153 : [(set_attr "type" "ssemuladd")
6414 : 467 : (set_attr "prefix" "evex")
6415 : 43 : (set_attr "mode" "<MODE>")])
6416 : 0 :
6417 : 0 : (define_insn "<avx512>_fmaddsub_<mode>_mask<round_name>"
6418 : 36 : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v,v")
6419 : 40 : (vec_merge:VFH_AVX512VL
6420 : 1503 : (unspec:VFH_AVX512VL
6421 : 10 : [(match_operand:VFH_AVX512VL 1 "register_operand" "0,0")
6422 : 10 : (match_operand:VFH_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>,v")
6423 : 10 : (match_operand:VFH_AVX512VL 3 "<round_nimm_predicate>" "v,<round_constraint>")]
6424 : 22 : UNSPEC_FMADDSUB)
6425 : 10 : (match_dup 1)
6426 : 10 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk,Yk")))]
6427 : 1195 : "TARGET_AVX512F && <round_mode_condition>"
6428 : 10 : "@
6429 : 22 : vfmaddsub132<ssemodesuffix>\t{<round_op5>%2, %3, %0%{%4%}|%0%{%4%}, %3, %2<round_op5>}
6430 : 0 : vfmaddsub213<ssemodesuffix>\t{<round_op5>%3, %2, %0%{%4%}|%0%{%4%}, %2, %3<round_op5>}"
6431 : 69 : [(set_attr "type" "ssemuladd")
6432 : 23 : (set_attr "prefix" "evex")
6433 : 338 : (set_attr "mode" "<MODE>")])
6434 : :
6435 : 40 : (define_insn "<avx512>_fmaddsub_<mode>_mask3<round_name>"
6436 : 0 : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v")
6437 : 0 : (vec_merge:VFH_AVX512VL
6438 : 69 : (unspec:VFH_AVX512VL
6439 : 1435 : [(match_operand:VFH_AVX512VL 1 "nonimmediate_operand" "v")
6440 : 92 : (match_operand:VFH_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>")
6441 : 132 : (match_operand:VFH_AVX512VL 3 "nonimmediate_operand" "0")]
6442 : 92 : UNSPEC_FMADDSUB)
6443 : 92 : (match_dup 3)
6444 : 92 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
6445 : 437 : "TARGET_AVX512F && <round_mode_condition>"
6446 : 92 : "vfmaddsub231<ssemodesuffix>\t{<round_op5>%2, %1, %0%{%4%}|%0%{%4%}, %1, %2<round_op5>}"
6447 : 92 : [(set_attr "type" "ssemuladd")
6448 : 35 : (set_attr "prefix" "evex")
6449 : 0 : (set_attr "mode" "<MODE>")])
6450 : 0 :
6451 : 322 : (define_insn "*fma_fmsubadd_<mode>"
6452 : : [(set (match_operand:VF_128_256 0 "register_operand" "=v,v,v,x,x")
6453 : 12 : (unspec:VF_128_256
6454 : : [(match_operand:VF_128_256 1 "nonimmediate_operand" "%0,0,v,x,x")
6455 : : (match_operand:VF_128_256 2 "nonimmediate_operand" "vm,v,vm,x,m")
6456 : 0 : (neg:VF_128_256
6457 : 917 : (match_operand:VF_128_256 3 "nonimmediate_operand" "v,vm,0,xm,x"))]
6458 : 0 : UNSPEC_FMADDSUB))]
6459 : 252 : "TARGET_FMA || TARGET_FMA4"
6460 : 0 : "@
6461 : 15 : vfmsubadd132<ssemodesuffix>\t{%2, %3, %0|%0, %3, %2}
6462 : 8 : vfmsubadd213<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}
6463 : 3 : vfmsubadd231<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}
6464 : 15 : vfmsubadd<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}
6465 : 0 : vfmsubadd<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
6466 : 0 : [(set_attr "isa" "fma,fma,fma,fma4,fma4")
6467 : 0 : (set_attr "type" "ssemuladd")
6468 : : (set_attr "mode" "<MODE>")])
6469 : :
6470 : 0 : (define_insn "<sd_mask_codefor>fma_fmsubadd_<mode><sd_maskz_name><round_name>"
6471 : : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v,v,v")
6472 : 0 : (unspec:VFH_AVX512VL
6473 : 0 : [(match_operand:VFH_AVX512VL 1 "<round_nimm_predicate>" "%0,0,v")
6474 : 0 : (match_operand:VFH_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>,v,<round_constraint>")
6475 : 0 : (neg:VFH_AVX512VL
6476 : 0 : (match_operand:VFH_AVX512VL 3 "<round_nimm_predicate>" "v,<round_constraint>,0"))]
6477 : 100 : UNSPEC_FMADDSUB))]
6478 : 439 : "TARGET_AVX512F && <sd_mask_mode512bit_condition> && <round_mode_condition>"
6479 : 0 : "@
6480 : 12 : vfmsubadd132<ssemodesuffix>\t{<round_sd_mask_op4>%2, %3, %0<sd_mask_op4>|%0<sd_mask_op4>, %3, %2<round_sd_mask_op4>}
6481 : 0 : vfmsubadd213<ssemodesuffix>\t{<round_sd_mask_op4>%3, %2, %0<sd_mask_op4>|%0<sd_mask_op4>, %2, %3<round_sd_mask_op4>}
6482 : : vfmsubadd231<ssemodesuffix>\t{<round_sd_mask_op4>%2, %1, %0<sd_mask_op4>|%0<sd_mask_op4>, %1, %2<round_sd_mask_op4>}"
6483 : : [(set_attr "type" "ssemuladd")
6484 : 524 : (set_attr "prefix" "evex")
6485 : 112 : (set_attr "mode" "<MODE>")])
6486 : 100 :
6487 : 100 : (define_insn "<avx512>_fmsubadd_<mode>_mask<round_name>"
6488 : 100 : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v,v")
6489 : 100 : (vec_merge:VFH_AVX512VL
6490 : 775 : (unspec:VFH_AVX512VL
6491 : 100 : [(match_operand:VFH_AVX512VL 1 "nonimmediate_operand" "0,0")
6492 : 100 : (match_operand:VFH_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>,v")
6493 : 100 : (neg:VFH_AVX512VL
6494 : 0 : (match_operand:VFH_AVX512VL 3 "<round_nimm_predicate>" "v,<round_constraint>"))]
6495 : 0 : UNSPEC_FMADDSUB)
6496 : 0 : (match_dup 1)
6497 : 0 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk,Yk")))]
6498 : 874 : "TARGET_AVX512F"
6499 : 100 : "@
6500 : 0 : vfmsubadd132<ssemodesuffix>\t{<round_op5>%2, %3, %0%{%4%}|%0%{%4%}, %3, %2<round_op5>}
6501 : 0 : vfmsubadd213<ssemodesuffix>\t{<round_op5>%3, %2, %0%{%4%}|%0%{%4%}, %2, %3<round_op5>}"
6502 : 0 : [(set_attr "type" "ssemuladd")
6503 : 0 : (set_attr "prefix" "evex")
6504 : : (set_attr "mode" "<MODE>")])
6505 : :
6506 : 100 : (define_insn "<avx512>_fmsubadd_<mode>_mask3<round_name>"
6507 : 100 : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v")
6508 : 100 : (vec_merge:VFH_AVX512VL
6509 : 100 : (unspec:VFH_AVX512VL
6510 : 100 : [(match_operand:VFH_AVX512VL 1 "nonimmediate_operand" "v")
6511 : 100 : (match_operand:VFH_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>")
6512 : 100 : (neg:VFH_AVX512VL
6513 : 100 : (match_operand:VFH_AVX512VL 3 "nonimmediate_operand" "0"))]
6514 : 100 : UNSPEC_FMADDSUB)
6515 : 100 : (match_dup 3)
6516 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
6517 : 1044 : "TARGET_AVX512F"
6518 : : "vfmsubadd231<ssemodesuffix>\t{<round_op5>%2, %1, %0%{%4%}|%0%{%4%}, %1, %2<round_op5>}"
6519 : : [(set_attr "type" "ssemuladd")
6520 : : (set_attr "prefix" "evex")
6521 : : (set_attr "mode" "<MODE>")])
6522 : :
6523 : : ;; FMA3 floating point scalar intrinsics. These merge result with
6524 : : ;; high-order elements from the destination register.
6525 : :
6526 : : (define_expand "fmai_vmfmadd_<mode><round_name>"
6527 : : [(set (match_operand:VFH_128 0 "register_operand")
6528 : : (vec_merge:VFH_128
6529 : : (fma:VFH_128
6530 : : (match_operand:VFH_128 1 "nonimmediate_operand")
6531 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>")
6532 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>"))
6533 : : (match_dup 1)
6534 : : (const_int 1)))]
6535 : : "TARGET_FMA")
6536 : :
6537 : : (define_expand "fmai_vmfmsub_<mode><round_name>"
6538 : : [(set (match_operand:VFH_128 0 "register_operand")
6539 : : (vec_merge:VFH_128
6540 : : (fma:VFH_128
6541 : : (match_operand:VFH_128 1 "nonimmediate_operand")
6542 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>")
6543 : : (neg:VFH_128
6544 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>")))
6545 : : (match_dup 1)
6546 : : (const_int 1)))]
6547 : : "TARGET_FMA")
6548 : :
6549 : : (define_expand "fmai_vmfnmadd_<mode><round_name>"
6550 : : [(set (match_operand:VFH_128 0 "register_operand")
6551 : : (vec_merge:VFH_128
6552 : : (fma:VFH_128
6553 : : (neg:VFH_128
6554 : : (match_operand:VFH_128 1 "nonimmediate_operand"))
6555 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>")
6556 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>"))
6557 : : (match_dup 1)
6558 : : (const_int 1)))]
6559 : : "TARGET_FMA")
6560 : :
6561 : : (define_expand "fmai_vmfnmsub_<mode><round_name>"
6562 : : [(set (match_operand:VFH_128 0 "register_operand")
6563 : : (vec_merge:VFH_128
6564 : : (fma:VFH_128
6565 : : (neg:VFH_128
6566 : : (match_operand:VFH_128 1 "nonimmediate_operand"))
6567 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>")
6568 : : (neg:VFH_128
6569 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>")))
6570 : : (match_dup 1)
6571 : : (const_int 1)))]
6572 : : "TARGET_FMA")
6573 : :
6574 : : (define_insn "*fmai_fmadd_<mode>"
6575 : : [(set (match_operand:VFH_128 0 "register_operand" "=v,v")
6576 : : (vec_merge:VFH_128
6577 : : (fma:VFH_128
6578 : : (match_operand:VFH_128 1 "nonimmediate_operand" "0,0")
6579 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>, v")
6580 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>" "v,<round_constraint>"))
6581 : : (match_dup 1)
6582 : : (const_int 1)))]
6583 : 948 : "TARGET_FMA || TARGET_AVX512F"
6584 : : "@
6585 : : vfmadd132<ssescalarmodesuffix>\t{<round_op4>%2, %3, %0|%0, %<iptr>3, %<iptr>2<round_op4>}
6586 : : vfmadd213<ssescalarmodesuffix>\t{<round_op4>%3, %2, %0|%0, %<iptr>2, %<iptr>3<round_op4>}"
6587 : 648 : [(set_attr "type" "ssemuladd")
6588 : 648 : (set_attr "prefix" "maybe_evex")
6589 : : (set_attr "mode" "<MODE>")])
6590 : 648 :
6591 : : (define_insn "*fmai_fmsub_<mode>"
6592 : : [(set (match_operand:VFH_128 0 "register_operand" "=v,v")
6593 : : (vec_merge:VFH_128
6594 : : (fma:VFH_128
6595 : : (match_operand:VFH_128 1 "nonimmediate_operand" "0,0")
6596 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>,v")
6597 : : (neg:VFH_128
6598 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>" "v,<round_constraint>")))
6599 : : (match_dup 1)
6600 : : (const_int 1)))]
6601 : 236 : "TARGET_FMA || TARGET_AVX512F"
6602 : : "@
6603 : : vfmsub132<ssescalarmodesuffix>\t{<round_op4>%2, %3, %0|%0, %<iptr>3, %<iptr>2<round_op4>}
6604 : : vfmsub213<ssescalarmodesuffix>\t{<round_op4>%3, %2, %0|%0, %<iptr>2, %<iptr>3<round_op4>}"
6605 : 137 : [(set_attr "type" "ssemuladd")
6606 : 137 : (set_attr "prefix" "maybe_evex")
6607 : : (set_attr "mode" "<MODE>")])
6608 : 137 :
6609 : : (define_insn "*fmai_fnmadd_<mode><round_name>"
6610 : : [(set (match_operand:VFH_128 0 "register_operand" "=v,v")
6611 : : (vec_merge:VFH_128
6612 : : (fma:VFH_128
6613 : : (neg:VFH_128
6614 : : (match_operand:VFH_128 1 "nonimmediate_operand" "0,0"))
6615 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>,v")
6616 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>" "v,<round_constraint>"))
6617 : : (match_dup 1)
6618 : : (const_int 1)))]
6619 : 265 : "TARGET_FMA || TARGET_AVX512F"
6620 : : "@
6621 : : vfnmadd132<ssescalarmodesuffix>\t{<round_op4>%2, %3, %0|%0, %<iptr>3, %<iptr>2<round_op4>}
6622 : : vfnmadd213<ssescalarmodesuffix>\t{<round_op4>%3, %2, %0|%0, %<iptr>2, %<iptr>3<round_op4>}"
6623 : 118 : [(set_attr "type" "ssemuladd")
6624 : 118 : (set_attr "prefix" "maybe_evex")
6625 : : (set_attr "mode" "<MODE>")])
6626 : 118 :
6627 : : (define_insn "*fmai_fnmsub_<mode><round_name>"
6628 : : [(set (match_operand:VFH_128 0 "register_operand" "=v,v")
6629 : : (vec_merge:VFH_128
6630 : : (fma:VFH_128
6631 : : (neg:VFH_128
6632 : : (match_operand:VFH_128 1 "nonimmediate_operand" "0,0"))
6633 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>,v")
6634 : : (neg:VFH_128
6635 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>" "v,<round_constraint>")))
6636 : : (match_dup 1)
6637 : : (const_int 1)))]
6638 : 128 : "TARGET_FMA || TARGET_AVX512F"
6639 : : "@
6640 : : vfnmsub132<ssescalarmodesuffix>\t{<round_op4>%2, %3, %0|%0, %<iptr>3, %<iptr>2<round_op4>}
6641 : : vfnmsub213<ssescalarmodesuffix>\t{<round_op4>%3, %2, %0|%0, %<iptr>2, %<iptr>3<round_op4>}"
6642 : 111 : [(set_attr "type" "ssemuladd")
6643 : 111 : (set_attr "prefix" "maybe_evex")
6644 : : (set_attr "mode" "<MODE>")])
6645 : 111 :
6646 : : (define_insn "avx512f_vmfmadd_<mode>_mask<round_name>"
6647 : : [(set (match_operand:VFH_128 0 "register_operand" "=v,v")
6648 : : (vec_merge:VFH_128
6649 : : (vec_merge:VFH_128
6650 : : (fma:VFH_128
6651 : : (match_operand:VFH_128 1 "nonimmediate_operand" "0,0")
6652 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>,v")
6653 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>" "v,<round_constraint>"))
6654 : : (match_dup 1)
6655 : : (match_operand:QI 4 "register_operand" "Yk,Yk"))
6656 : : (match_dup 1)
6657 : : (const_int 1)))]
6658 : 854 : "TARGET_AVX512F"
6659 : : "@
6660 : : vfmadd132<ssescalarmodesuffix>\t{<round_op5>%2, %3, %0%{%4%}|%0%{%4%}, %<iptr>3, %<iptr>2<round_op5>}
6661 : 79 : vfmadd213<ssescalarmodesuffix>\t{<round_op5>%3, %2, %0%{%4%}|%0%{%4%}, %<iptr>2, %<iptr>3<round_op5>}"
6662 : : [(set_attr "type" "ssemuladd")
6663 : 79 : (set_attr "prefix" "evex")
6664 : 79 : (set_attr "mode" "<MODE>")])
6665 : 79 :
6666 : : (define_insn "avx512f_vmfmadd_<mode>_mask3<round_name>"
6667 : : [(set (match_operand:VFH_128 0 "register_operand" "=v")
6668 : : (vec_merge:VFH_128
6669 : : (vec_merge:VFH_128
6670 : : (fma:VFH_128
6671 : : (match_operand:VFH_128 1 "<round_nimm_scalar_predicate>" "%v")
6672 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>")
6673 : : (match_operand:VFH_128 3 "nonimmediate_operand" "0"))
6674 : : (match_dup 3)
6675 : : (match_operand:QI 4 "register_operand" "Yk"))
6676 : : (match_dup 3)
6677 : : (const_int 1)))]
6678 : 319 : "TARGET_AVX512F"
6679 : : "vfmadd231<ssescalarmodesuffix>\t{<round_op5>%2, %1, %0%{%4%}|%0%{%4%}, %<iptr>3, %<iptr>2<round_op5>}"
6680 : : [(set_attr "type" "ssemuladd")
6681 : : (set_attr "prefix" "evex")
6682 : 220 : (set_attr "mode" "<MODE>")])
6683 : 220 :
6684 : : (define_expand "avx512f_vmfmadd_<mode>_maskz<round_expand_name>"
6685 : : [(match_operand:VFH_128 0 "register_operand")
6686 : 184 : (match_operand:VFH_128 1 "<round_expand_nimm_predicate>")
6687 : 184 : (match_operand:VFH_128 2 "<round_expand_nimm_predicate>")
6688 : : (match_operand:VFH_128 3 "<round_expand_nimm_predicate>")
6689 : 105 : (match_operand:QI 4 "register_operand")]
6690 : 105 : "TARGET_AVX512F"
6691 : 374 : {
6692 : 269 : emit_insn (gen_avx512f_vmfmadd_<mode>_maskz_1<round_expand_name> (
6693 : : operands[0], operands[1], operands[2], operands[3],
6694 : : CONST0_RTX (<MODE>mode), operands[4]<round_expand_operand>));
6695 : 269 : DONE;
6696 : : })
6697 : :
6698 : : (define_insn "avx512f_vmfmadd_<mode>_maskz_1<round_name>"
6699 : : [(set (match_operand:VFH_128 0 "register_operand" "=v,v")
6700 : : (vec_merge:VFH_128
6701 : : (vec_merge:VFH_128
6702 : : (fma:VFH_128
6703 : : (match_operand:VFH_128 1 "nonimmediate_operand" "0,0")
6704 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>,v")
6705 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>" "v,<round_constraint>"))
6706 : : (match_operand:VFH_128 4 "const0_operand")
6707 : : (match_operand:QI 5 "register_operand" "Yk,Yk"))
6708 : : (match_dup 1)
6709 : : (const_int 1)))]
6710 : 565 : "TARGET_AVX512F"
6711 : : "@
6712 : : vfmadd132<ssescalarmodesuffix>\t{<round_op6>%2, %3, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %<iptr>3, %<iptr>2<round_op6>}
6713 : : vfmadd213<ssescalarmodesuffix>\t{<round_op6>%3, %2, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %<iptr>2, %<iptr>3<round_op6>}"
6714 : 70 : [(set_attr "type" "ssemuladd")
6715 : 70 : (set_attr "prefix" "evex")
6716 : : (set_attr "mode" "<MODE>")])
6717 : 70 :
6718 : : (define_insn "*avx512f_vmfmsub_<mode>_mask<round_name>"
6719 : : [(set (match_operand:VFH_128 0 "register_operand" "=v,v")
6720 : : (vec_merge:VFH_128
6721 : : (vec_merge:VFH_128
6722 : 36 : (fma:VFH_128
6723 : : (match_operand:VFH_128 1 "nonimmediate_operand" "0,0")
6724 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>,v")
6725 : : (neg:VFH_128
6726 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>" "v,<round_constraint>")))
6727 : 36 : (match_dup 1)
6728 : 105 : (match_operand:QI 4 "register_operand" "Yk,Yk"))
6729 : 36 : (match_dup 1)
6730 : 36 : (const_int 1)))]
6731 : 126 : "TARGET_AVX512F"
6732 : 36 : "@
6733 : 72 : vfmsub132<ssescalarmodesuffix>\t{<round_op5>%2, %3, %0%{%4%}|%0%{%4%}, %<iptr>3, %<iptr>2<round_op5>}
6734 : 151 : vfmsub213<ssescalarmodesuffix>\t{<round_op5>%3, %2, %0%{%4%}|%0%{%4%}, %<iptr>2, %<iptr>3<round_op5>}"
6735 : 105 : [(set_attr "type" "ssemuladd")
6736 : 148 : (set_attr "prefix" "evex")
6737 : 148 : (set_attr "mode" "<MODE>")])
6738 : 148 :
6739 : 69 : (define_insn "avx512f_vmfmsub_<mode>_mask3<round_name>"
6740 : 69 : [(set (match_operand:VFH_128 0 "register_operand" "=v")
6741 : 69 : (vec_merge:VFH_128
6742 : 33 : (vec_merge:VFH_128
6743 : 33 : (fma:VFH_128
6744 : 33 : (match_operand:VFH_128 1 "<round_nimm_scalar_predicate>" "%v")
6745 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>")
6746 : : (neg:VFH_128
6747 : : (match_operand:VFH_128 3 "nonimmediate_operand" "0")))
6748 : : (match_dup 3)
6749 : : (match_operand:QI 4 "register_operand" "Yk"))
6750 : : (match_dup 3)
6751 : : (const_int 1)))]
6752 : 516 : "TARGET_AVX512F"
6753 : : "vfmsub231<ssescalarmodesuffix>\t{<round_op5>%2, %1, %0%{%4%}|%0%{%4%}, %<iptr>3, %<iptr>2<round_op5>}"
6754 : : [(set_attr "type" "ssemuladd")
6755 : : (set_attr "prefix" "evex")
6756 : 120 : (set_attr "mode" "<MODE>")])
6757 : 120 :
6758 : : (define_insn "*avx512f_vmfmsub_<mode>_maskz_1<round_name>"
6759 : : [(set (match_operand:VFH_128 0 "register_operand" "=v,v")
6760 : 85 : (vec_merge:VFH_128
6761 : 85 : (vec_merge:VFH_128
6762 : : (fma:VFH_128
6763 : 6 : (match_operand:VFH_128 1 "nonimmediate_operand" "0,0")
6764 : 6 : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>,v")
6765 : 6 : (neg:VFH_128
6766 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>" "v,<round_constraint>")))
6767 : : (match_operand:VFH_128 4 "const0_operand")
6768 : : (match_operand:QI 5 "register_operand" "Yk,Yk"))
6769 : : (match_dup 1)
6770 : : (const_int 1)))]
6771 : 66 : "TARGET_AVX512F"
6772 : : "@
6773 : : vfmsub132<ssescalarmodesuffix>\t{<round_op6>%2, %3, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %<iptr>3, %<iptr>2<round_op6>}
6774 : : vfmsub213<ssescalarmodesuffix>\t{<round_op6>%3, %2, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %<iptr>2, %<iptr>3<round_op6>}"
6775 : 8 : [(set_attr "type" "ssemuladd")
6776 : 8 : (set_attr "prefix" "evex")
6777 : : (set_attr "mode" "<MODE>")])
6778 : 8 :
6779 : : (define_insn "avx512f_vmfnmadd_<mode>_mask<round_name>"
6780 : : [(set (match_operand:VFH_128 0 "register_operand" "=v,v")
6781 : : (vec_merge:VFH_128
6782 : : (vec_merge:VFH_128
6783 : : (fma:VFH_128
6784 : : (neg:VFH_128
6785 : : (match_operand:VFH_128 1 "nonimmediate_operand" "0,0"))
6786 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>,v")
6787 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>" "v,<round_constraint>"))
6788 : : (match_dup 1)
6789 : : (match_operand:QI 4 "register_operand" "Yk,Yk"))
6790 : : (match_dup 1)
6791 : : (const_int 1)))]
6792 : 288 : "TARGET_AVX512F"
6793 : : "@
6794 : : vfnmadd132<ssescalarmodesuffix>\t{<round_op5>%2, %3, %0%{%4%}|%0%{%4%}, %<iptr>3, %<iptr>2<round_op5>}
6795 : : vfnmadd213<ssescalarmodesuffix>\t{<round_op5>%3, %2, %0%{%4%}|%0%{%4%}, %<iptr>2, %<iptr>3<round_op5>}"
6796 : 8 : [(set_attr "type" "ssemuladd")
6797 : 8 : (set_attr "prefix" "evex")
6798 : 8 : (set_attr "mode" "<MODE>")])
6799 : :
6800 : 8 : (define_insn "avx512f_vmfnmadd_<mode>_mask3<round_name>"
6801 : 8 : [(set (match_operand:VFH_128 0 "register_operand" "=v")
6802 : : (vec_merge:VFH_128
6803 : 4 : (vec_merge:VFH_128
6804 : 4 : (fma:VFH_128
6805 : 4 : (neg:VFH_128
6806 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>"))
6807 : : (match_operand:VFH_128 1 "<round_nimm_scalar_predicate>" "%v")
6808 : : (match_operand:VFH_128 3 "nonimmediate_operand" "0"))
6809 : : (match_dup 3)
6810 : : (match_operand:QI 4 "register_operand" "Yk"))
6811 : : (match_dup 3)
6812 : : (const_int 1)))]
6813 : 244 : "TARGET_AVX512F"
6814 : : "vfnmadd231<ssescalarmodesuffix>\t{<round_op5>%2, %1, %0%{%4%}|%0%{%4%}, %<iptr>3, %<iptr>2<round_op5>}"
6815 : : [(set_attr "type" "ssemuladd")
6816 : : (set_attr "prefix" "evex")
6817 : 11 : (set_attr "mode" "<MODE>")])
6818 : 11 :
6819 : 11 : (define_expand "avx512f_vmfnmadd_<mode>_maskz<round_expand_name>"
6820 : 11 : [(match_operand:VFH_128 0 "register_operand")
6821 : 11 : (match_operand:VFH_128 1 "<round_expand_nimm_predicate>")
6822 : 11 : (match_operand:VFH_128 2 "<round_expand_nimm_predicate>")
6823 : : (match_operand:VFH_128 3 "<round_expand_nimm_predicate>")
6824 : 11 : (match_operand:QI 4 "register_operand")]
6825 : 11 : "TARGET_AVX512F"
6826 : 23 : {
6827 : 26 : emit_insn (gen_avx512f_vmfnmadd_<mode>_maskz_1<round_expand_name> (
6828 : 3 : operands[0], operands[1], operands[2], operands[3],
6829 : 3 : CONST0_RTX (<MODE>mode), operands[4]<round_expand_operand>));
6830 : 23 : DONE;
6831 : : })
6832 : :
6833 : : (define_insn "avx512f_vmfnmadd_<mode>_maskz_1<round_name>"
6834 : : [(set (match_operand:VFH_128 0 "register_operand" "=v,v")
6835 : : (vec_merge:VFH_128
6836 : : (vec_merge:VFH_128
6837 : : (fma:VFH_128
6838 : : (neg:VFH_128
6839 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>,v"))
6840 : : (match_operand:VFH_128 1 "nonimmediate_operand" "0,0")
6841 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>" "v,<round_constraint>"))
6842 : : (match_operand:VFH_128 4 "const0_operand")
6843 : : (match_operand:QI 5 "register_operand" "Yk,Yk"))
6844 : : (match_dup 1)
6845 : : (const_int 1)))]
6846 : 251 : "TARGET_AVX512F"
6847 : : "@
6848 : : vfnmadd132<ssescalarmodesuffix>\t{<round_op6>%2, %3, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %<iptr>3, %<iptr>2<round_op6>}
6849 : : vfnmadd213<ssescalarmodesuffix>\t{<round_op6>%3, %2, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %<iptr>2, %<iptr>3<round_op6>}"
6850 : 9 : [(set_attr "type" "ssemuladd")
6851 : 9 : (set_attr "prefix" "evex")
6852 : : (set_attr "mode" "<MODE>")])
6853 : 9 :
6854 : : (define_insn "*avx512f_vmfnmsub_<mode>_mask<round_name>"
6855 : : [(set (match_operand:VFH_128 0 "register_operand" "=v,v")
6856 : : (vec_merge:VFH_128
6857 : 35 : (vec_merge:VFH_128
6858 : : (fma:VFH_128
6859 : : (neg:VFH_128
6860 : : (match_operand:VFH_128 1 "nonimmediate_operand" "0,0"))
6861 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>,v")
6862 : : (neg:VFH_128
6863 : 34 : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>" "v,<round_constraint>")))
6864 : 35 : (match_dup 1)
6865 : 35 : (match_operand:QI 4 "register_operand" "Yk,Yk"))
6866 : 35 : (match_dup 1)
6867 : 35 : (const_int 1)))]
6868 : 65 : "TARGET_AVX512F"
6869 : 47 : "@
6870 : 61 : vfnmsub132<ssescalarmodesuffix>\t{<round_op5>%2, %3, %0%{%4%}|%0%{%4%}, %<iptr>3, %<iptr>2<round_op5>}
6871 : 61 : vfnmsub213<ssescalarmodesuffix>\t{<round_op5>%3, %2, %0%{%4%}|%0%{%4%}, %<iptr>2, %<iptr>3<round_op5>}"
6872 : 45 : [(set_attr "type" "ssemuladd")
6873 : 49 : (set_attr "prefix" "evex")
6874 : 22 : (set_attr "mode" "<MODE>")])
6875 : 22 :
6876 : 22 : (define_insn "*avx512f_vmfnmsub_<mode>_mask3<round_name>"
6877 : 22 : [(set (match_operand:VFH_128 0 "register_operand" "=v")
6878 : 10 : (vec_merge:VFH_128
6879 : 10 : (vec_merge:VFH_128
6880 : : (fma:VFH_128
6881 : : (neg:VFH_128
6882 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>"))
6883 : : (match_operand:VFH_128 1 "<round_nimm_scalar_predicate>" "%v")
6884 : : (neg:VFH_128
6885 : : (match_operand:VFH_128 3 "nonimmediate_operand" "0")))
6886 : : (match_dup 3)
6887 : : (match_operand:QI 4 "register_operand" "Yk"))
6888 : : (match_dup 3)
6889 : : (const_int 1)))]
6890 : 69 : "TARGET_AVX512F"
6891 : : "vfnmsub231<ssescalarmodesuffix>\t{<round_op5>%2, %1, %0%{%4%}|%0%{%4%}, %<iptr>3, %<iptr>2<round_op5>}"
6892 : : [(set_attr "type" "ssemuladd")
6893 : : (set_attr "prefix" "evex")
6894 : 6 : (set_attr "mode" "<MODE>")])
6895 : 6 :
6896 : 6 : (define_insn "*avx512f_vmfnmsub_<mode>_maskz_1<round_name>"
6897 : 6 : [(set (match_operand:VFH_128 0 "register_operand" "=v,v")
6898 : : (vec_merge:VFH_128
6899 : 6 : (vec_merge:VFH_128
6900 : : (fma:VFH_128
6901 : : (neg:VFH_128
6902 : : (match_operand:VFH_128 2 "<round_nimm_scalar_predicate>" "<round_constraint>,v"))
6903 : : (match_operand:VFH_128 1 "nonimmediate_operand" "0,0")
6904 : : (neg:VFH_128
6905 : : (match_operand:VFH_128 3 "<round_nimm_scalar_predicate>" "v,<round_constraint>")))
6906 : : (match_operand:VFH_128 4 "const0_operand")
6907 : : (match_operand:QI 5 "register_operand" "Yk,Yk"))
6908 : : (match_dup 1)
6909 : : (const_int 1)))]
6910 : 30 : "TARGET_AVX512F"
6911 : : "@
6912 : : vfnmsub132<ssescalarmodesuffix>\t{<round_op6>%2, %3, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %<iptr>3, %<iptr>2<round_op6>}
6913 : : vfnmsub213<ssescalarmodesuffix>\t{<round_op6>%3, %2, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %<iptr>2, %<iptr>3<round_op6>}"
6914 : 4 : [(set_attr "type" "ssemuladd")
6915 : 4 : (set_attr "prefix" "evex")
6916 : : (set_attr "mode" "<MODE>")])
6917 : 4 :
6918 : : ;; FMA4 floating point scalar intrinsics. These write the
6919 : : ;; entire destination register, with the high-order elements zeroed.
6920 : :
6921 : : (define_expand "fma4i_vmfmadd_<mode>"
6922 : : [(set (match_operand:VF_128 0 "register_operand")
6923 : : (vec_merge:VF_128
6924 : : (fma:VF_128
6925 : : (match_operand:VF_128 1 "nonimmediate_operand")
6926 : : (match_operand:VF_128 2 "nonimmediate_operand")
6927 : : (match_operand:VF_128 3 "nonimmediate_operand"))
6928 : : (match_dup 4)
6929 : : (const_int 1)))]
6930 : : "TARGET_FMA4"
6931 : 72 : "operands[4] = CONST0_RTX (<MODE>mode);")
6932 : :
6933 : : (define_insn "*fma4i_vmfmadd_<mode>"
6934 : 72 : [(set (match_operand:VF_128 0 "register_operand" "=x,x")
6935 : 72 : (vec_merge:VF_128
6936 : 72 : (fma:VF_128
6937 : 72 : (match_operand:VF_128 1 "nonimmediate_operand" "%x,x")
6938 : 72 : (match_operand:VF_128 2 "nonimmediate_operand" " x,m")
6939 : 72 : (match_operand:VF_128 3 "nonimmediate_operand" "xm,x"))
6940 : 72 : (match_operand:VF_128 4 "const0_operand")
6941 : 72 : (const_int 1)))]
6942 : 290 : "TARGET_FMA4"
6943 : 72 : "vfmadd<ssescalarmodesuffix>\t{%3, %2, %1, %0|%0, %1, %<iptr>2, %<iptr>3}"
6944 : : [(set_attr "type" "ssemuladd")
6945 : 72 : (set_attr "prefix" "vex")
6946 : 230 : (set_attr "mode" "<MODE>")])
6947 : 230 :
6948 : : (define_insn "*fma4i_vmfmsub_<mode>"
6949 : 230 : [(set (match_operand:VF_128 0 "register_operand" "=x,x")
6950 : : (vec_merge:VF_128
6951 : : (fma:VF_128
6952 : : (match_operand:VF_128 1 "nonimmediate_operand" "%x,x")
6953 : 72 : (match_operand:VF_128 2 "nonimmediate_operand" " x,m")
6954 : 72 : (neg:VF_128
6955 : 72 : (match_operand:VF_128 3 "nonimmediate_operand" "xm,x")))
6956 : : (match_operand:VF_128 4 "const0_operand")
6957 : : (const_int 1)))]
6958 : 25 : "TARGET_FMA4"
6959 : : "vfmsub<ssescalarmodesuffix>\t{%3, %2, %1, %0|%0, %1, %<iptr>2, %<iptr>3}"
6960 : 12 : [(set_attr "type" "ssemuladd")
6961 : : (set_attr "prefix" "vex")
6962 : 25 : (set_attr "mode" "<MODE>")])
6963 : 25 :
6964 : : (define_insn "*fma4i_vmfnmadd_<mode>"
6965 : 25 : [(set (match_operand:VF_128 0 "register_operand" "=x,x")
6966 : 12 : (vec_merge:VF_128
6967 : 12 : (fma:VF_128
6968 : 12 : (neg:VF_128
6969 : 12 : (match_operand:VF_128 1 "nonimmediate_operand" "%x,x"))
6970 : 12 : (match_operand:VF_128 2 "nonimmediate_operand" " x,m")
6971 : 12 : (match_operand:VF_128 3 "nonimmediate_operand" "xm,x"))
6972 : 12 : (match_operand:VF_128 4 "const0_operand")
6973 : 12 : (const_int 1)))]
6974 : 32 : "TARGET_FMA4"
6975 : : "vfnmadd<ssescalarmodesuffix>\t{%3, %2, %1, %0|%0, %1, %<iptr>2, %<iptr>3}"
6976 : : [(set_attr "type" "ssemuladd")
6977 : : (set_attr "prefix" "vex")
6978 : 20 : (set_attr "mode" "<MODE>")])
6979 : 20 :
6980 : : (define_insn "*fma4i_vmfnmsub_<mode>"
6981 : 20 : [(set (match_operand:VF_128 0 "register_operand" "=x,x")
6982 : : (vec_merge:VF_128
6983 : : (fma:VF_128
6984 : : (neg:VF_128
6985 : : (match_operand:VF_128 1 "nonimmediate_operand" "%x,x"))
6986 : : (match_operand:VF_128 2 "nonimmediate_operand" " x,m")
6987 : : (neg:VF_128
6988 : : (match_operand:VF_128 3 "nonimmediate_operand" "xm,x")))
6989 : : (match_operand:VF_128 4 "const0_operand")
6990 : : (const_int 1)))]
6991 : 5 : "TARGET_FMA4"
6992 : : "vfnmsub<ssescalarmodesuffix>\t{%3, %2, %1, %0|%0, %1, %<iptr>2, %<iptr>3}"
6993 : : [(set_attr "type" "ssemuladd")
6994 : : (set_attr "prefix" "vex")
6995 : 5 : (set_attr "mode" "<MODE>")])
6996 : 5 :
6997 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
6998 : 5 : ;;
6999 : : ;; Complex type operations
7000 : : ;;
7001 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
7002 : :
7003 : : (define_int_iterator UNSPEC_COMPLEX_F_C_MA
7004 : : [UNSPEC_COMPLEX_FMA UNSPEC_COMPLEX_FCMA])
7005 : :
7006 : : (define_int_iterator UNSPEC_COMPLEX_F_C_MA_PAIR
7007 : : [UNSPEC_COMPLEX_FMA_PAIR UNSPEC_COMPLEX_FCMA_PAIR])
7008 : :
7009 : : (define_int_iterator UNSPEC_COMPLEX_F_C_MUL
7010 : : [UNSPEC_COMPLEX_FMUL UNSPEC_COMPLEX_FCMUL])
7011 : :
7012 : : (define_int_attr complexopname
7013 : : [(UNSPEC_COMPLEX_FMA "fmaddc")
7014 : : (UNSPEC_COMPLEX_FCMA "fcmaddc")
7015 : : (UNSPEC_COMPLEX_FMUL "fmulc")
7016 : : (UNSPEC_COMPLEX_FCMUL "fcmulc")])
7017 : :
7018 : : (define_int_attr complexpairopname
7019 : : [(UNSPEC_COMPLEX_FMA_PAIR "fmaddc")
7020 : : (UNSPEC_COMPLEX_FCMA_PAIR "fcmaddc")])
7021 : :
7022 : : (define_int_attr int_comm
7023 : : [(UNSPEC_COMPLEX_FMA "")
7024 : : (UNSPEC_COMPLEX_FMA_PAIR "")
7025 : : (UNSPEC_COMPLEX_FCMA "")
7026 : : (UNSPEC_COMPLEX_FCMA_PAIR "")
7027 : : (UNSPEC_COMPLEX_FMUL "%")
7028 : : (UNSPEC_COMPLEX_FCMUL "")])
7029 : :
7030 : : (define_int_attr conj_op
7031 : : [(UNSPEC_COMPLEX_FMA "")
7032 : : (UNSPEC_COMPLEX_FCMA "_conj")
7033 : : (UNSPEC_COMPLEX_FMUL "")
7034 : : (UNSPEC_COMPLEX_FCMUL "_conj")])
7035 : :
7036 : : (define_mode_attr complexmove
7037 : : [(V32HF "avx512f_loadv16sf")
7038 : : (V16HF "avx512vl_loadv8sf")
7039 : : (V8HF "avx512vl_loadv4sf")])
7040 : :
7041 : : (define_expand "<avx512>_fmaddc_<mode>_mask1<round_expand_name>"
7042 : : [(match_operand:VHF_AVX512VL 0 "register_operand")
7043 : : (match_operand:VHF_AVX512VL 1 "<round_expand_nimm_predicate>")
7044 : : (match_operand:VHF_AVX512VL 2 "<round_expand_nimm_predicate>")
7045 : : (match_operand:VHF_AVX512VL 3 "<round_expand_nimm_predicate>")
7046 : : (match_operand:<avx512fmaskcmode> 4 "register_operand")]
7047 : : "TARGET_AVX512FP16 && <round_mode_condition>"
7048 : 57 : {
7049 : 57 : rtx op0, op1, dest;
7050 : 57 : if (<round_embedded_complex>)
7051 : 33 : emit_insn (gen_<avx512>_fmaddc_<mode>_mask<round_expand_name> (
7052 : : operands[0], operands[1], operands[2], operands[3],
7053 : 27 : operands[4]<round_expand_operand>));
7054 : : else
7055 : 24 : emit_insn (gen_<avx512>_fmaddc_<mode>_mask (operands[0],
7056 : : operands[1], operands[2], operands[3], operands[4]));
7057 : 6 :
7058 : 24 : op0 = lowpart_subreg (<ssePSmode>mode,
7059 : : force_reg (<MODE>mode, operands[0]),
7060 : 33 : <MODE>mode);
7061 : 24 : dest = gen_reg_rtx (<ssePSmode>mode);
7062 : 24 : if (!MEM_P (operands[1]))
7063 : 49 : operands[1] = force_reg (<MODE>mode, operands[1]);
7064 : 57 : op1 = lowpart_subreg (<ssePSmode>mode, operands[1], <MODE>mode);
7065 : 57 : emit_insn (gen_<complexmove>_mask (dest, op0, op1, operands[4]));
7066 : 57 : emit_move_insn (operands[0],
7067 : 33 : lowpart_subreg (<MODE>mode, dest, <ssePSmode>mode));
7068 : 57 : DONE;
7069 : : })
7070 : 33 :
7071 : : (define_expand "<avx512>_fmaddc_<mode>_maskz<round_expand_name>"
7072 : : [(match_operand:VHF_AVX512VL 0 "register_operand")
7073 : : (match_operand:VHF_AVX512VL 1 "<round_expand_nimm_predicate>")
7074 : : (match_operand:VHF_AVX512VL 2 "<round_expand_nimm_predicate>")
7075 : : (match_operand:VHF_AVX512VL 3 "<round_expand_nimm_predicate>")
7076 : : (match_operand:<avx512fmaskcmode> 4 "register_operand")]
7077 : : "TARGET_AVX512FP16 && <round_mode_condition>"
7078 : 57 : {
7079 : 57 : emit_insn (gen_fma_fmaddc_<mode>_maskz_1<round_expand_name> (
7080 : : operands[0], operands[1], operands[2], operands[3],
7081 : : CONST0_RTX (<MODE>mode), operands[4]<round_expand_operand>));
7082 : 57 : DONE;
7083 : : })
7084 : :
7085 : : (define_expand "<avx512>_fcmaddc_<mode>_mask1<round_expand_name>"
7086 : : [(match_operand:VHF_AVX512VL 0 "register_operand")
7087 : : (match_operand:VHF_AVX512VL 1 "<round_expand_nimm_predicate>")
7088 : : (match_operand:VHF_AVX512VL 2 "<round_expand_nimm_predicate>")
7089 : : (match_operand:VHF_AVX512VL 3 "<round_expand_nimm_predicate>")
7090 : : (match_operand:<avx512fmaskcmode> 4 "register_operand")]
7091 : : "TARGET_AVX512FP16 && <round_mode_condition>"
7092 : 57 : {
7093 : 57 : rtx op0, op1, dest;
7094 : 90 : if (<round_embedded_complex>)
7095 : 45 : emit_insn (gen_<avx512>_fcmaddc_<mode>_mask<round_expand_name> (
7096 : : operands[0], operands[1], operands[2], operands[3],
7097 : 27 : operands[4]<round_expand_operand>));
7098 : : else
7099 : : {
7100 : 24 : emit_insn (gen_<avx512>_fcmaddc_<mode>_mask (operands[0],
7101 : 12 : operands[1], operands[2], operands[3], operands[4]));
7102 : 18 : }
7103 : 45 :
7104 : 36 : op0 = lowpart_subreg (<ssePSmode>mode,
7105 : 12 : force_reg (<MODE>mode, operands[0]),
7106 : 45 : <MODE>mode);
7107 : 36 : dest = gen_reg_rtx (<ssePSmode>mode);
7108 : 36 : if (!MEM_P (operands[1]))
7109 : 61 : operands[1] = force_reg (<MODE>mode, operands[1]);
7110 : 57 : op1 = lowpart_subreg (<ssePSmode>mode, operands[1], <MODE>mode);
7111 : 90 : emit_insn (gen_<complexmove>_mask (dest, op0, op1, operands[4]));
7112 : 57 : emit_move_insn (operands[0],
7113 : 33 : lowpart_subreg (<MODE>mode, dest, <ssePSmode>mode));
7114 : 57 : DONE;
7115 : 102 : })
7116 : 69 :
7117 : 69 : (define_expand "<avx512>_fcmaddc_<mode>_maskz<round_expand_name>"
7118 : 69 : [(match_operand:VHF_AVX512VL 0 "register_operand")
7119 : 69 : (match_operand:VHF_AVX512VL 1 "<round_expand_nimm_predicate>")
7120 : 36 : (match_operand:VHF_AVX512VL 2 "<round_expand_nimm_predicate>")
7121 : 36 : (match_operand:VHF_AVX512VL 3 "<round_expand_nimm_predicate>")
7122 : 69 : (match_operand:<avx512fmaskcmode> 4 "register_operand")]
7123 : 69 : "TARGET_AVX512FP16 && <round_mode_condition>"
7124 : 57 : {
7125 : 57 : emit_insn (gen_fma_fcmaddc_<mode>_maskz_1<round_expand_name> (
7126 : 33 : operands[0], operands[1], operands[2], operands[3],
7127 : 33 : CONST0_RTX (<MODE>mode), operands[4]<round_expand_operand>));
7128 : 57 : DONE;
7129 : 33 : })
7130 : 33 :
7131 : 33 : (define_expand "cmla<conj_op><mode>4"
7132 : : [(set (match_operand:VHF_AVX512VL 0 "register_operand")
7133 : : (unspec:VHF_AVX512VL
7134 : : [(match_operand:VHF_AVX512VL 1 "vector_operand")
7135 : : (match_operand:VHF_AVX512VL 2 "vector_operand")
7136 : : (match_operand:VHF_AVX512VL 3 "vector_operand")]
7137 : : UNSPEC_COMPLEX_F_C_MA))]
7138 : : "TARGET_AVX512FP16")
7139 : :
7140 : : (define_insn "fma_<complexopname>_<mode><sdc_maskz_name><round_name>"
7141 : 1 : [(set (match_operand:VHF_AVX512VL 0 "register_operand" "=&v")
7142 : : (unspec:VHF_AVX512VL
7143 : : [(match_operand:VHF_AVX512VL 1 "<round_nimm_predicate>" "<int_comm>v")
7144 : : (match_operand:VHF_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>")
7145 : : (match_operand:VHF_AVX512VL 3 "<round_nimm_predicate>" "0")]
7146 : 1 : UNSPEC_COMPLEX_F_C_MA))]
7147 : 1935 : "TARGET_AVX512FP16 && <sdc_mask_mode512bit_condition> && <round_mode_condition>"
7148 : 0 : "v<complexopname><ssemodesuffix>\t{<round_sdc_mask_op4>%2, %1, %0<sdc_mask_op4>|%0<sdc_mask_op4>, %1, %2<round_sdc_mask_op4>}"
7149 : 0 : [(set_attr "type" "ssemuladd")
7150 : 1 : (set_attr "prefix" "evex")
7151 : 0 : (set_attr "mode" "<MODE>")])
7152 : 1 :
7153 : 367 : (define_insn_and_split "fma_<mode>_fadd_fmul"
7154 : 1 : [(set (match_operand:VHF_AVX512VL 0 "register_operand")
7155 : 14 : (plus:VHF_AVX512VL
7156 : 1 : (unspec:VHF_AVX512VL
7157 : 2 : [(match_operand:VHF_AVX512VL 1 "vector_operand")
7158 : 0 : (match_operand:VHF_AVX512VL 2 "vector_operand")]
7159 : 903 : UNSPEC_COMPLEX_FMUL)
7160 : 2 : (match_operand:VHF_AVX512VL 3 "vector_operand")))]
7161 : 17 : "TARGET_AVX512FP16 && flag_unsafe_math_optimizations
7162 : 19 : && ix86_pre_reload_split ()"
7163 : 13 : "#"
7164 : 3 : "&& 1"
7165 : 3 : [(set (match_dup 0)
7166 : 5 : (unspec:VHF_AVX512VL
7167 : 15 : [(match_dup 1) (match_dup 2) (match_dup 3)]
7168 : 16 : UNSPEC_COMPLEX_FMA))])
7169 : 15 :
7170 : 2 : (define_insn_and_split "fma_<mode>_fadd_fcmul"
7171 : 1 : [(set (match_operand:VHF_AVX512VL 0 "register_operand")
7172 : 2 : (plus:VHF_AVX512VL
7173 : 2 : (unspec:VHF_AVX512VL
7174 : 2 : [(match_operand:VHF_AVX512VL 1 "vector_operand")
7175 : 3 : (match_operand:VHF_AVX512VL 2 "vector_operand")]
7176 : 4 : UNSPEC_COMPLEX_FCMUL)
7177 : 4 : (match_operand:VHF_AVX512VL 3 "vector_operand")))]
7178 : 6 : "TARGET_AVX512FP16 && flag_unsafe_math_optimizations
7179 : 6 : && ix86_pre_reload_split ()"
7180 : 3 : "#"
7181 : 3 : "&& 1"
7182 : 3 : [(set (match_dup 0)
7183 : 4 : (unspec:VHF_AVX512VL
7184 : 2 : [(match_dup 1) (match_dup 2) (match_dup 3)]
7185 : 3 : UNSPEC_COMPLEX_FCMA))])
7186 : 3 :
7187 : 1 : (define_insn_and_split "fma_<complexopname>_<mode>_fma_zero"
7188 : 2 : [(set (match_operand:VHF_AVX512VL 0 "register_operand")
7189 : 1 : (plus:VHF_AVX512VL
7190 : 2 : (unspec:VHF_AVX512VL
7191 : 4 : [(match_operand:VHF_AVX512VL 1 "vector_operand")
7192 : 3 : (match_operand:VHF_AVX512VL 2 "vector_operand")
7193 : 2 : (match_operand:VHF_AVX512VL 3 "const0_operand")]
7194 : 1 : UNSPEC_COMPLEX_F_C_MA)
7195 : 2 : (match_operand:VHF_AVX512VL 4 "vector_operand")))]
7196 : 4 : "TARGET_AVX512FP16 && flag_unsafe_math_optimizations
7197 : 4 : && ix86_pre_reload_split ()"
7198 : 1 : "#"
7199 : 1 : "&& 1"
7200 : 1 : [(set (match_dup 0)
7201 : 4 : (unspec:VHF_AVX512VL
7202 : 2 : [(match_dup 1) (match_dup 2) (match_dup 4)]
7203 : 3 : UNSPEC_COMPLEX_F_C_MA))])
7204 : 4 :
7205 : 1 : (define_insn "fma_<complexpairopname>_<mode>_pair"
7206 : 0 : [(set (match_operand:VF1_AVX512VL 0 "register_operand" "=&v")
7207 : 1060811 : (unspec:VF1_AVX512VL
7208 : 1060811 : [(match_operand:VF1_AVX512VL 1 "vector_operand" "<int_comm>v")
7209 : 1060810 : (match_operand:VF1_AVX512VL 2 "bcst_vector_operand" "vmBr")
7210 : 2 : (match_operand:VF1_AVX512VL 3 "vector_operand" "0")]
7211 : 21 : UNSPEC_COMPLEX_F_C_MA_PAIR))]
7212 : 34 : "TARGET_AVX512FP16"
7213 : 1 : "v<complexpairopname>ph\t{%2, %1, %0|%0, %1, %2}"
7214 : 1 : [(set_attr "type" "ssemuladd")
7215 : 2 : (set_attr "prefix" "evex")
7216 : 0 : (set_attr "mode" "<MODE>")])
7217 : 0 :
7218 : 1 : (define_insn_and_split "fma_<mode>_fmaddc_bcst"
7219 : 0 : [(set (match_operand:VHF_AVX512VL 0 "register_operand")
7220 : 0 : (unspec:VHF_AVX512VL
7221 : 0 : [(match_operand:VHF_AVX512VL 1 "vector_operand")
7222 : 1 : (subreg:VHF_AVX512VL
7223 : 0 : (match_operand:<ssePSmode> 2 "bcst_vector_operand") 0)
7224 : 0 : (match_operand:VHF_AVX512VL 3 "vector_operand")]
7225 : 0 : UNSPEC_COMPLEX_FMA))]
7226 : 7 : "TARGET_AVX512FP16 && ix86_pre_reload_split ()"
7227 : 0 : "#"
7228 : 0 : "&& 1"
7229 : 0 : [(const_int 0)]
7230 : 7 : {
7231 : 3 : if (!MEM_P (operands[1]))
7232 : 6 : operands[1] = force_reg (<MODE>mode, operands[1]);
7233 : 7 : if (!MEM_P (operands[3]))
7234 : 3 : operands[3] = force_reg (<MODE>mode, operands[3]);
7235 : 3 : operands[1] = lowpart_subreg (<ssePSmode>mode, operands[1], <MODE>mode);
7236 : 108 : operands[3] = lowpart_subreg (<ssePSmode>mode, operands[3], <MODE>mode);
7237 : 107 : rtx dest = gen_reg_rtx (<ssePSmode>mode);
7238 : 3 : emit_insn (gen_fma_fmaddc_<ssePSmodelower>_pair (dest, operands[1],
7239 : 1 : operands[2], operands[3]));
7240 : 26 : emit_move_insn (operands[0],
7241 : 0 : lowpart_subreg (<MODE>mode, dest, <ssePSmode>mode));
7242 : 3 : DONE;
7243 : : })
7244 : :
7245 : : (define_insn_and_split "fma_<mode>_fcmaddc_bcst"
7246 : 23 : [(set (match_operand:VHF_AVX512VL 0 "register_operand")
7247 : 22 : (unspec:VHF_AVX512VL
7248 : 22 : [(match_operand:VHF_AVX512VL 1 "vector_operand")
7249 : 22 : (subreg:VHF_AVX512VL
7250 : 22 : (match_operand:<ssePSmode> 2 "bcst_vector_operand") 0)
7251 : 22 : (match_operand:VHF_AVX512VL 3 "vector_operand")]
7252 : 22 : UNSPEC_COMPLEX_FCMA))]
7253 : 51 : "TARGET_AVX512FP16 && ix86_pre_reload_split ()"
7254 : 67 : "#"
7255 : 45 : "&& 1"
7256 : 45 : [(const_int 0)]
7257 : 29 : {
7258 : 26 : if (!MEM_P (operands[1]))
7259 : 28 : operands[1] = force_reg (<MODE>mode, operands[1]);
7260 : 30 : if (!MEM_P (operands[3]))
7261 : 48 : operands[3] = force_reg (<MODE>mode, operands[3]);
7262 : 48 : operands[1] = lowpart_subreg (<ssePSmode>mode, operands[1], <MODE>mode);
7263 : 5944 : operands[3] = lowpart_subreg (<ssePSmode>mode, operands[3], <MODE>mode);
7264 : 5944 : rtx dest = gen_reg_rtx (<ssePSmode>mode);
7265 : 5944 : emit_insn (gen_fma_fcmaddc_<ssePSmodelower>_pair (dest, operands[1],
7266 : 22 : operands[2],
7267 : 24 : operands[3]));
7268 : 25 : emit_move_insn (operands[0],
7269 : 23 : lowpart_subreg (<MODE>mode, dest, <ssePSmode>mode));
7270 : 26 : DONE;
7271 : 0 : })
7272 : 0 :
7273 : 0 : (define_insn "<avx512>_<complexopname>_<mode>_mask<round_name>"
7274 : 0 : [(set (match_operand:VHF_AVX512VL 0 "register_operand" "=&v")
7275 : : (vec_merge:VHF_AVX512VL
7276 : : (unspec:VHF_AVX512VL
7277 : : [(match_operand:VHF_AVX512VL 1 "<round_nimm_predicate>" "<int_comm>v")
7278 : : (match_operand:VHF_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>")
7279 : : (match_operand:VHF_AVX512VL 3 "<round_nimm_predicate>" "0")]
7280 : : UNSPEC_COMPLEX_F_C_MA)
7281 : : (match_dup 1)
7282 : 45 : (unspec:<avx512fmaskmode>
7283 : : [(match_operand:<avx512fmaskcmode> 4 "register_operand" "Yk")]
7284 : : UNSPEC_COMPLEX_MASK)))]
7285 : 2256 : "TARGET_AVX512FP16 && <round_mode_condition>"
7286 : : "v<complexopname><ssemodesuffix>\t{<round_op5>%2, %1, %0%{%4%}|%0%{%4%}, %1, %2<round_op5>}"
7287 : : [(set_attr "type" "ssemuladd")
7288 : 0 : (set_attr "prefix" "evex")
7289 : 45 : (set_attr "mode" "<MODE>")])
7290 : 45 :
7291 : 449 : (define_expand "cmul<conj_op><mode>3"
7292 : 45 : [(set (match_operand:VHF_AVX512VL 0 "register_operand")
7293 : 45 : (unspec:VHF_AVX512VL
7294 : 45 : [(match_operand:VHF_AVX512VL 1 "vector_operand")
7295 : 45 : (match_operand:VHF_AVX512VL 2 "vector_operand")]
7296 : 45 : UNSPEC_COMPLEX_F_C_MUL))]
7297 : 1267 : "TARGET_AVX512FP16")
7298 : 45 :
7299 : : (define_insn "<avx512>_<complexopname>_<mode><maskc_name><round_name>"
7300 : : [(set (match_operand:VHF_AVX512VL 0 "register_operand" "=&v")
7301 : : (unspec:VHF_AVX512VL
7302 : : [(match_operand:VHF_AVX512VL 1 "<round_nimm_predicate>" "<int_comm>v")
7303 : : (match_operand:VHF_AVX512VL 2 "<round_nimm_predicate>" "<round_constraint>")]
7304 : : UNSPEC_COMPLEX_F_C_MUL))]
7305 : 3206 : "TARGET_AVX512FP16 && <round_mode_condition>"
7306 : 387 : {
7307 : 387 : if (TARGET_DEST_FALSE_DEP_FOR_GLC
7308 : 8 : && <maskc_dest_false_dep_for_glc_cond>)
7309 : 8 : output_asm_insn ("vxorps\t%x0, %x0, %x0", operands);
7310 : 387 : return "v<complexopname><ssemodesuffix>\t{<round_maskc_op3>%2, %1, %0<maskc_operand3>|%0<maskc_operand3>, %1, %2<round_maskc_op3>}";
7311 : 571 : }
7312 : : [(set_attr "type" "ssemul")
7313 : : (set_attr "prefix" "evex")
7314 : : (set_attr "mode" "<MODE>")])
7315 : 385 :
7316 : : (define_expand "avx512fp16_fmaddcsh_v8hf_maskz<round_expand_name>"
7317 : 1699 : [(match_operand:V8HF 0 "register_operand")
7318 : : (match_operand:V8HF 1 "<round_expand_nimm_predicate>")
7319 : : (match_operand:V8HF 2 "<round_expand_nimm_predicate>")
7320 : : (match_operand:V8HF 3 "<round_expand_nimm_predicate>")
7321 : : (match_operand:QI 4 "register_operand")]
7322 : : "TARGET_AVX512FP16 && <round_mode_condition>"
7323 : 22 : {
7324 : 22 : emit_insn (gen_avx512fp16_fma_fmaddcsh_v8hf_maskz<round_expand_name> (
7325 : : operands[0], operands[1], operands[2], operands[3],
7326 : : CONST0_RTX (V8HFmode), operands[4]<round_expand_operand>));
7327 : 22 : DONE;
7328 : : })
7329 : :
7330 : : (define_expand "avx512fp16_fmaddcsh_v8hf_mask1<round_expand_name>"
7331 : : [(match_operand:V8HF 0 "register_operand")
7332 : : (match_operand:V8HF 1 "<round_expand_nimm_predicate>")
7333 : : (match_operand:V8HF 2 "<round_expand_nimm_predicate>")
7334 : : (match_operand:V8HF 3 "<round_expand_nimm_predicate>")
7335 : : (match_operand:QI 4 "register_operand")]
7336 : : "TARGET_AVX512FP16 && <round_mode_condition>"
7337 : 23 : {
7338 : 23 : rtx op0, op1, dest;
7339 : :
7340 : 23 : if (<round_embedded_complex>)
7341 : 23 : emit_insn (gen_avx512fp16_fmaddcsh_v8hf_mask<round_expand_name> (
7342 : : operands[0], operands[1], operands[2], operands[3],
7343 : 18 : operands[4]<round_expand_operand>));
7344 : : else
7345 : 0 : emit_insn (gen_avx512fp16_fmaddcsh_v8hf_mask (operands[0],
7346 : : operands[1], operands[2], operands[3], operands[4]));
7347 : 5 :
7348 : 0 : op0 = lowpart_subreg (V4SFmode, force_reg (V8HFmode, operands[0]),
7349 : : V8HFmode);
7350 : 23 : if (!MEM_P (operands[1]))
7351 : 0 : operands[1] = force_reg (V8HFmode, operands[1]);
7352 : 23 : op1 = lowpart_subreg (V4SFmode, operands[1], V8HFmode);
7353 : 23 : dest = gen_reg_rtx (V4SFmode);
7354 : 23 : emit_insn (gen_avx512f_movsf_mask (dest, op1, op0, op1, operands[4]));
7355 : 23 : emit_move_insn (operands[0], lowpart_subreg (V8HFmode, dest,
7356 : 23 : V4SFmode));
7357 : 23 : DONE;
7358 : : })
7359 : 23 :
7360 : 22 : (define_expand "avx512fp16_fcmaddcsh_v8hf_maskz<round_expand_name>"
7361 : 0 : [(match_operand:V8HF 0 "register_operand")
7362 : 0 : (match_operand:V8HF 1 "<round_expand_nimm_predicate>")
7363 : 0 : (match_operand:V8HF 2 "<round_expand_nimm_predicate>")
7364 : 0 : (match_operand:V8HF 3 "<round_expand_nimm_predicate>")
7365 : 0 : (match_operand:QI 4 "register_operand")]
7366 : 0 : "TARGET_AVX512FP16 && <round_mode_condition>"
7367 : 44 : {
7368 : 44 : emit_insn (gen_avx512fp16_fma_fcmaddcsh_v8hf_maskz<round_expand_name> (
7369 : 22 : operands[0], operands[1], operands[2], operands[3],
7370 : 22 : CONST0_RTX (V8HFmode), operands[4]<round_expand_operand>));
7371 : 44 : DONE;
7372 : 22 : })
7373 : 22 :
7374 : 22 : (define_expand "avx512fp16_fcmaddcsh_v8hf_mask1<round_expand_name>"
7375 : 22 : [(match_operand:V8HF 0 "register_operand")
7376 : 22 : (match_operand:V8HF 1 "<round_expand_nimm_predicate>")
7377 : : (match_operand:V8HF 2 "<round_expand_nimm_predicate>")
7378 : : (match_operand:V8HF 3 "<round_expand_nimm_predicate>")
7379 : : (match_operand:QI 4 "register_operand")]
7380 : : "TARGET_AVX512FP16 && <round_mode_condition>"
7381 : 23 : {
7382 : 23 : rtx op0, op1, dest;
7383 : :
7384 : 24 : if (<round_embedded_complex>)
7385 : 23 : emit_insn (gen_avx512fp16_fcmaddcsh_v8hf_mask<round_expand_name> (
7386 : : operands[0], operands[1], operands[2], operands[3],
7387 : 19 : operands[4]<round_expand_operand>));
7388 : 1 : else
7389 : 1 : emit_insn (gen_avx512fp16_fcmaddcsh_v8hf_mask (operands[0],
7390 : 1 : operands[1], operands[2], operands[3], operands[4]));
7391 : 6 :
7392 : 2 : op0 = lowpart_subreg (V4SFmode, force_reg (V8HFmode, operands[0]),
7393 : : V8HFmode);
7394 : 23 : if (!MEM_P (operands[1]))
7395 : 1 : operands[1] = force_reg (V8HFmode, operands[1]);
7396 : 24 : op1 = lowpart_subreg (V4SFmode, operands[1], V8HFmode);
7397 : 24 : dest = gen_reg_rtx (V4SFmode);
7398 : 25 : emit_insn (gen_avx512f_movsf_mask (dest, op1, op0, op1, operands[4]));
7399 : 24 : emit_move_insn (operands[0], lowpart_subreg (V8HFmode, dest,
7400 : 24 : V4SFmode));
7401 : 24 : DONE;
7402 : 1 : })
7403 : 24 :
7404 : 2 : (define_expand "avx512fp16_fcmaddcsh_v8hf_mask3<round_expand_name>"
7405 : 1 : [(match_operand:V8HF 0 "register_operand")
7406 : 1 : (match_operand:V8HF 1 "<round_expand_nimm_predicate>")
7407 : 1 : (match_operand:V8HF 2 "<round_expand_nimm_predicate>")
7408 : 1 : (match_operand:V8HF 3 "<round_expand_nimm_predicate>")
7409 : 1 : (match_operand:QI 4 "register_operand")]
7410 : 1 : "TARGET_AVX512FP16 && <round_mode_condition>"
7411 : 23 : {
7412 : 23 : rtx dest, op0, op1;
7413 : :
7414 : 22 : if (<round_embedded_complex>)
7415 : 22 : emit_insn (gen_avx512fp16_fcmaddcsh_v8hf_mask<round_expand_name> (
7416 : : operands[0], operands[1], operands[2], operands[3],
7417 : 17 : operands[4]<round_expand_operand>));
7418 : : else
7419 : 0 : emit_insn (gen_avx512fp16_fcmaddcsh_v8hf_mask (operands[0],
7420 : : operands[1], operands[2], operands[3], operands[4]));
7421 : 5 :
7422 : 0 : dest = gen_reg_rtx (V4SFmode);
7423 : 0 : op0 = lowpart_subreg (V4SFmode,
7424 : 22 : force_reg (V8HFmode, operands[0]),
7425 : 22 : V8HFmode);
7426 : 0 : if (!MEM_P (operands[3]))
7427 : 0 : operands[3] = force_reg (V8HFmode, operands[3]);
7428 : 23 : op1 = lowpart_subreg (V4SFmode, operands[3], V8HFmode);
7429 : 22 : emit_insn (gen_sse_movss_v4sf (dest, op1, op0));
7430 : 22 : emit_move_insn (operands[0], lowpart_subreg (V8HFmode, dest, V4SFmode));
7431 : 23 : DONE;
7432 : 23 : })
7433 : 23 :
7434 : 1 : (define_expand "avx512fp16_fmaddcsh_v8hf_mask3<round_expand_name>"
7435 : 1 : [(match_operand:V8HF 0 "register_operand")
7436 : 1 : (match_operand:V8HF 1 "<round_expand_nimm_predicate>")
7437 : : (match_operand:V8HF 2 "<round_expand_nimm_predicate>")
7438 : : (match_operand:V8HF 3 "<round_expand_nimm_predicate>")
7439 : 0 : (match_operand:QI 4 "register_operand")]
7440 : : "TARGET_AVX512FP16 && <round_mode_condition>"
7441 : 22 : {
7442 : 22 : rtx dest, op0, op1;
7443 : :
7444 : 22 : if (<round_embedded_complex>)
7445 : 22 : emit_insn (gen_avx512fp16_fmaddcsh_v8hf_mask<round_expand_name> (
7446 : : operands[0], operands[1], operands[2], operands[3],
7447 : 17 : operands[4]<round_expand_operand>));
7448 : 0 : else
7449 : 0 : emit_insn (gen_avx512fp16_fmaddcsh_v8hf_mask (operands[0],
7450 : : operands[1], operands[2], operands[3], operands[4]));
7451 : 5 :
7452 : 0 : dest = gen_reg_rtx (V4SFmode);
7453 : 0 : op0 = lowpart_subreg (V4SFmode,
7454 : 22 : force_reg (V8HFmode, operands[0]),
7455 : 22 : V8HFmode);
7456 : 0 : if (!MEM_P (operands[3]))
7457 : 0 : operands[3] = force_reg (V8HFmode, operands[3]);
7458 : 23 : op1 = lowpart_subreg (V4SFmode, operands[3], V8HFmode);
7459 : 22 : emit_insn (gen_sse_movss_v4sf (dest, op1, op0));
7460 : 23 : emit_move_insn (operands[0], lowpart_subreg (V8HFmode, dest, V4SFmode));
7461 : 23 : DONE;
7462 : 23 : })
7463 : 24 :
7464 : 1 : (define_insn "avx512fp16_fma_<complexopname>sh_v8hf<mask_scalarcz_name><round_scalarcz_name>"
7465 : 1 : [(set (match_operand:V8HF 0 "register_operand" "=&v")
7466 : 12 : (vec_merge:V8HF
7467 : : (unspec:V8HF
7468 : : [(match_operand:V8HF 1 "<round_scalarcz_nimm_predicate>" "v")
7469 : 11 : (match_operand:V8HF 2 "<round_scalarcz_nimm_predicate>" "<round_scalarcz_constraint>")
7470 : 1 : (match_operand:V8HF 3 "<round_scalarcz_nimm_predicate>" "0")]
7471 : : UNSPEC_COMPLEX_F_C_MA)
7472 : : (match_dup 2)
7473 : 1 : (const_int 3)))]
7474 : 798 : "TARGET_AVX512FP16"
7475 : : "v<complexopname>sh\t{<round_scalarcz_mask_op4>%2, %1, %0<mask_scalarcz_operand4>|%0<mask_scalarcz_operand4>, %1, %2<round_scalarcz_mask_op4>}"
7476 : 3 : [(set_attr "type" "ssemuladd")
7477 : : (set_attr "prefix" "evex")
7478 : 828 : (set_attr "mode" "V8HF")])
7479 : 831 :
7480 : 1 : (define_insn "avx512fp16_<complexopname>sh_v8hf_mask<round_name>"
7481 : : [(set (match_operand:V8HF 0 "register_operand" "=&v")
7482 : 5373 : (vec_merge:V8HF
7483 : 3822 : (vec_merge:V8HF
7484 : 1553 : (unspec:V8HF
7485 : 2232 : [(match_operand:V8HF 1 "<round_nimm_predicate>" "v")
7486 : 237 : (match_operand:V8HF 2 "<round_nimm_predicate>" "<round_constraint>")
7487 : 2203 : (match_operand:V8HF 3 "<round_nimm_predicate>" "0")]
7488 : 2206 : UNSPEC_COMPLEX_F_C_MA)
7489 : 651 : (match_dup 1)
7490 : 2202 : (unspec:QI [(match_operand:QI 4 "register_operand" "Yk")]
7491 : 2205 : UNSPEC_COMPLEX_MASK))
7492 : 650 : (match_dup 2)
7493 : 1398 : (const_int 3)))]
7494 : 2876 : "TARGET_AVX512FP16"
7495 : 2048 : "v<complexopname>sh\t{<round_op5>%2, %1, %0%{%4%}|%0%{%4%}, %1, %2<round_op5>}"
7496 : 2053 : [(set_attr "type" "ssemuladd")
7497 : 2048 : (set_attr "prefix" "evex")
7498 : 2049 : (set_attr "mode" "V8HF")])
7499 : 1403 :
7500 : 213 : (define_insn "avx512fp16_<complexopname>sh_v8hf<mask_scalarc_name><round_scalarcz_name>"
7501 : 668 : [(set (match_operand:V8HF 0 "register_operand" "=&v")
7502 : 2161 : (vec_merge:V8HF
7503 : 731 : (unspec:V8HF
7504 : 1190 : [(match_operand:V8HF 1 "nonimmediate_operand" "v")
7505 : 460 : (match_operand:V8HF 2 "<round_scalarcz_nimm_predicate>" "<round_scalarcz_constraint>")]
7506 : 220 : UNSPEC_COMPLEX_F_C_MUL)
7507 : 976 : (match_dup 1)
7508 : 976 : (const_int 3)))]
7509 : 1308 : "TARGET_AVX512FP16"
7510 : 1127 : {
7511 : 8 : if (TARGET_DEST_FALSE_DEP_FOR_GLC
7512 : 960 : && <mask_scalarc_dest_false_dep_for_glc_cond>)
7513 : 2471 : output_asm_insn ("vxorps\t%x0, %x0, %x0", operands);
7514 : 2745 : return "v<complexopname>sh\t{<round_scalarc_mask_op3>%2, %1, %0<mask_scalarc_operand3>|%0<mask_scalarc_operand3>, %1, %2<round_scalarc_mask_op3>}";
7515 : 666 : }
7516 : 1926 : [(set_attr "type" "ssemul")
7517 : 7397 : (set_attr "prefix" "evex")
7518 : 5178 : (set_attr "mode" "V8HF")])
7519 : 3393 :
7520 : 4474 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
7521 : 1947 : ;;
7522 : 3336 : ;; Parallel half-precision floating point conversion operations
7523 : 3417 : ;;
7524 : 1963 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
7525 : 2901 :
7526 : 3920 : (define_int_iterator UNSPEC_US_FIX_NOTRUNC
7527 : 1528 : [UNSPEC_UNSIGNED_FIX_NOTRUNC UNSPEC_FIX_NOTRUNC])
7528 : 1935 :
7529 : 407 : (define_int_attr sseintconvertsignprefix
7530 : 1120 : [(UNSPEC_UNSIGNED_FIX_NOTRUNC "u")
7531 : 508 : (UNSPEC_FIX_NOTRUNC "")])
7532 : 846 :
7533 : 439 : (define_mode_attr qq2phsuff
7534 : 79 : [(V32HI "") (V16HI "") (V8HI "")
7535 : 79 : (V16SI "") (V8SI "{y}") (V4SI "{x}")
7536 : : (V8DI "{z}") (V4DI "{y}") (V2DI "{x}")
7537 : : (V16SF "") (V8SF "{y}") (V4SF "{x}")
7538 : : (V8DF "{z}") (V4DF "{y}") (V2DF "{x}")])
7539 : :
7540 : : (define_mode_attr vunpck_extract_mode
7541 : : [(V32HF "v32hf") (V16HF "v16hf") (V8HF "v16hf")])
7542 : :
7543 : : (define_expand "vec_unpacks_lo_<mode>"
7544 : : [(match_operand:<ssePSmode> 0 "register_operand")
7545 : : (match_operand:VHF_AVX512VL 1 "register_operand")]
7546 : : "TARGET_AVX512FP16"
7547 : 3 : {
7548 : 3 : rtx tem = operands[1];
7549 : 3 : rtx (*gen) (rtx, rtx);
7550 : 3 : if (<MODE>mode != V8HFmode)
7551 : : {
7552 : 2 : tem = gen_reg_rtx (<ssehalfvecmode>mode);
7553 : 2 : emit_insn (gen_vec_extract_lo_<vunpck_extract_mode> (tem,
7554 : : operands[1]));
7555 : 2 : gen = gen_extend<ssehalfvecmodelower><ssePSmodelower>2;
7556 : : }
7557 : : else
7558 : 1 : gen = gen_avx512fp16_float_extend_phv4sf2;
7559 : :
7560 : 3 : emit_insn (gen (operands[0], tem));
7561 : 3 : DONE;
7562 : : })
7563 : :
7564 : : (define_expand "vec_unpacks_hi_<mode>"
7565 : : [(match_operand:<ssePSmode> 0 "register_operand")
7566 : : (match_operand:VHF_AVX512VL 1 "register_operand")]
7567 : : "TARGET_AVX512FP16"
7568 : 3 : {
7569 : 3 : rtx tem = operands[1];
7570 : 3 : rtx (*gen) (rtx, rtx);
7571 : 3 : if (<MODE>mode != V8HFmode)
7572 : : {
7573 : 2 : tem = gen_reg_rtx (<ssehalfvecmode>mode);
7574 : 2 : emit_insn (gen_vec_extract_hi_<vunpck_extract_mode> (tem,
7575 : : operands[1]));
7576 : 2 : gen = gen_extend<ssehalfvecmodelower><ssePSmodelower>2;
7577 : : }
7578 : : else
7579 : 4 : {
7580 : 1 : tem = gen_reg_rtx (V8HFmode);
7581 : 1 : rtvec tmp = rtvec_alloc (8);
7582 : 13 : for (int i = 0; i != 8; i++)
7583 : 8 : RTVEC_ELT (tmp, i) = GEN_INT ((i + 4) % 8);
7584 : :
7585 : 1 : rtx selector = gen_rtx_PARALLEL (VOIDmode, tmp);
7586 : 1 : emit_move_insn (tem,
7587 : : gen_rtx_VEC_SELECT (V8HFmode, operands[1], selector));
7588 : 1 : gen = gen_avx512fp16_float_extend_phv4sf2;
7589 : 16 : }
7590 : :
7591 : 6 : emit_insn (gen (operands[0], tem));
7592 : 19 : DONE;
7593 : : })
7594 : 3 :
7595 : : (define_expand "lrint<mode><sseintvecmodelower>2"
7596 : : [(set (match_operand:<sseintvecmode> 0 "register_operand")
7597 : : (unspec:<sseintvecmode>
7598 : : [(match_operand:VHF_AVX512VL 1 "register_operand")]
7599 : 3 : UNSPEC_FIX_NOTRUNC))]
7600 : : "TARGET_AVX512FP16")
7601 : 1 :
7602 : 3 : (define_int_iterator UNSPEC_VCVTT_U
7603 : 3 : [UNSPEC_VCVTT
7604 : 4 : UNSPEC_VCVTTU])
7605 : 3 :
7606 : 3 : (define_int_attr vcvtt_suffix
7607 : 3 : [(UNSPEC_VCVTT "") (UNSPEC_VCVTTU "u")])
7608 : 2 :
7609 : : (define_int_attr vcvtt_uns_suffix
7610 : 61 : [(UNSPEC_VCVTT "") (UNSPEC_VCVTTU "uns")])
7611 : 1 :
7612 : : (define_insn "avx512fp16_vcvtph2<sseintconvertsignprefix><sseintconvert>_<mode><mask_name><round_name>"
7613 : 1 : [(set (match_operand:VI248_AVX512VL 0 "register_operand" "=v")
7614 : 2 : (unspec:VI248_AVX512VL
7615 : 2 : [(match_operand:<ssePHmode> 1 "<round_nimm_predicate>" "<round_constraint>")]
7616 : 62 : UNSPEC_US_FIX_NOTRUNC))]
7617 : 7992 : "TARGET_AVX512FP16 && <round_mode_condition>"
7618 : 62 : "vcvtph2<sseintconvertsignprefix><sseintconvert>\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %<iptrh>1<round_mask_op2>}"
7619 : 75 : [(set_attr "type" "ssecvt")
7620 : 60 : (set_attr "prefix" "evex")
7621 : 73 : (set_attr "mode" "<sseinsnmode>")])
7622 : 60 :
7623 : 1540 : (define_expand "float<floatunssuffix><mode><ssePHmodelower>2"
7624 : 73 : [(set (match_operand:<ssePHmode> 0 "register_operand")
7625 : : (any_float:<ssePHmode>
7626 : 0 : (match_operand:VI2H_AVX512VL 1 "nonimmediate_operand")))]
7627 : : "TARGET_AVX512FP16")
7628 : :
7629 : 4425 : (define_insn "avx512fp16_vcvt<floatsuffix><sseintconvert>2ph_<mode><mask_name><round_name>"
7630 : : [(set (match_operand:<ssePHmode> 0 "register_operand" "=v")
7631 : 12 : (any_float:<ssePHmode>
7632 : : (match_operand:VI2H_AVX512VL 1 "<round_nimm_predicate>" "<round_constraint>")))]
7633 : 6337 : "TARGET_AVX512FP16 && <round_mode_condition>"
7634 : : "vcvt<floatsuffix><sseintconvert>2ph<round_qq2phsuff>\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
7635 : 12 : [(set_attr "type" "ssecvt")
7636 : 12 : (set_attr "prefix" "evex")
7637 : : (set_attr "mode" "<sseinsnmode>")])
7638 : 0 :
7639 : 1056 : (define_expand "float<floatunssuffix><mode>v4hf2"
7640 : : [(set (match_operand:V4HF 0 "register_operand")
7641 : : (any_float:V4HF
7642 : : (match_operand:VI4_128_8_256 1 "vector_operand")))]
7643 : 37 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7644 : 4 : {
7645 : 4175 : rtx dest = gen_reg_rtx (V8HFmode);
7646 : 4 : emit_insn (gen_avx512fp16_float<floatunssuffix><mode>v4hf2 (dest,
7647 : 37 : operands[1]));
7648 : 41 : emit_move_insn (operands[0], lowpart_subreg (V4HFmode, dest, V8HFmode));
7649 : 4 : DONE;
7650 : 0 : })
7651 : :
7652 : : (define_expand "avx512fp16_float<floatunssuffix><mode>v4hf2"
7653 : : [(set (match_operand:V8HF 0 "register_operand")
7654 : : (vec_concat:V8HF
7655 : : (any_float:V4HF (match_operand:VI4_128_8_256 1 "vector_operand"))
7656 : : (match_dup 2)))]
7657 : : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7658 : 8 : "operands[2] = CONST0_RTX (V4HFmode);")
7659 : :
7660 : : (define_insn "*avx512fp16_vcvt<floatsuffix><sseintconvert>2ph_<mode>"
7661 : 8 : [(set (match_operand:V8HF 0 "register_operand" "=v")
7662 : 8 : (vec_concat:V8HF
7663 : 8 : (any_float:V4HF (match_operand:VI4_128_8_256 1 "vector_operand" "vm"))
7664 : 8 : (match_operand:V4HF 2 "const0_operand")))]
7665 : 88 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7666 : 8 : "vcvt<floatsuffix><sseintconvert>2ph<qq2phsuff>\t{%1, %0|%0, %1}"
7667 : : [(set_attr "type" "ssecvt")
7668 : 117 : (set_attr "prefix" "evex")
7669 : 246 : (set_attr "mode" "<sseinsnmode>")])
7670 : 128 :
7671 : 1 : (define_expand "avx512fp16_vcvt<floatsuffix>qq2ph_v4di_mask_round"
7672 : 1 : [(match_operand:V8HF 0 "register_operand")
7673 : 133 : (any_float:V4HF (match_operand:V4DI 1 "register_operand"))
7674 : 117 : (match_operand:V8HF 2 "nonimm_or_0_operand")
7675 : 117 : (match_operand:QI 3 "register_operand")
7676 : 109 : (unspec [(match_operand:SI 4 "const_4_or_8_to_11_operand")] UNSPEC_EMBEDDED_ROUNDING)]
7677 : 108 : "TARGET_AVX10_2_256"
7678 : 168 : {
7679 : 168 : emit_insn (gen_avx512fp16_vcvt<floatsuffix>qq2ph_v4di_mask_round_1 (
7680 : 147 : operands[0], operands[1], operands[2], operands[3], CONST0_RTX (V4HFmode), operands[4]));
7681 : 168 : DONE;
7682 : : })
7683 : 3 :
7684 : 3 : (define_expand "avx512fp16_vcvt<floatsuffix><sseintconvert>2ph_<mode>_mask"
7685 : 39 : [(set (match_operand:V8HF 0 "register_operand" "=v")
7686 : 39 : (vec_concat:V8HF
7687 : 39 : (vec_merge:V4HF
7688 : 39 : (any_float:V4HF (match_operand:VI4_128_8_256 1 "vector_operand" "vm"))
7689 : 38 : (vec_select:V4HF
7690 : 36 : (match_operand:V8HF 2 "nonimm_or_0_operand" "0C")
7691 : 36 : (parallel [(const_int 0) (const_int 1) (const_int 2) (const_int 3)]))
7692 : 36 : (match_operand:QI 3 "register_operand" "Yk"))
7693 : 36 : (match_dup 4)))]
7694 : : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7695 : 144 : "operands[4] = CONST0_RTX (V4HFmode);")
7696 : :
7697 : : (define_insn "avx512fp16_vcvt<floatsuffix><sseintconvert>2ph_<mode>_mask<round_name>_1"
7698 : 144 : [(set (match_operand:V8HF 0 "register_operand" "=v")
7699 : 144 : (vec_concat:V8HF
7700 : 144 : (vec_merge:V4HF
7701 : 144 : (any_float:V4HF (match_operand:VI4_128_8_256 1 "<round_nimm_predicate>" "<round_constraint>"))
7702 : 144 : (vec_select:V4HF
7703 : 144 : (match_operand:V8HF 2 "nonimm_or_0_operand" "0C")
7704 : 144 : (parallel [(const_int 0) (const_int 1) (const_int 2) (const_int 3)]))
7705 : 144 : (match_operand:QI 3 "register_operand" "Yk"))
7706 : 144 : (match_operand:V4HF 4 "const0_operand")))]
7707 : 1300 : "TARGET_AVX512FP16 && TARGET_AVX512VL && <round_mode_condition>"
7708 : : "vcvt<floatsuffix><sseintconvert>2ph<round_qq2phsuff>\t{<round_op5>%1, %0%{%3%}%N2|%0%{%3%}%N2, %1<round_op5>}"
7709 : 144 : [(set_attr "type" "ssecvt")
7710 : : (set_attr "prefix" "evex")
7711 : 672 : (set_attr "mode" "<sseinsnmode>")])
7712 : 410 :
7713 : 516 : (define_insn "*avx512fp16_vcvt<floatsuffix><sseintconvert>2ph_<mode>_mask_1"
7714 : : [(set (match_operand:V8HF 0 "register_operand" "=v")
7715 : : (vec_concat:V8HF
7716 : : (vec_merge:V4HF
7717 : 72 : (any_float:V4HF (match_operand:VI4_128_8_256 1
7718 : 72 : "vector_operand" "vm"))
7719 : 72 : (match_operand:V4HF 3 "const0_operand")
7720 : 72 : (match_operand:QI 2 "register_operand" "Yk"))
7721 : 72 : (match_operand:V4HF 4 "const0_operand")))]
7722 : 616 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7723 : 588 : "vcvt<floatsuffix><sseintconvert>2ph<qq2phsuff>\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
7724 : 732 : [(set_attr "type" "ssecvt")
7725 : 732 : (set_attr "prefix" "evex")
7726 : 932 : (set_attr "mode" "<sseinsnmode>")])
7727 : 652 :
7728 : : (define_expand "float<floatunssuffix>v2div2hf2"
7729 : : [(set (match_operand:V2HF 0 "register_operand")
7730 : : (any_float:V2HF
7731 : 8 : (match_operand:V2DI 1 "vector_operand")))]
7732 : : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7733 : 2 : {
7734 : 10 : rtx dest = gen_reg_rtx (V8HFmode);
7735 : 2 : emit_insn (gen_avx512fp16_float<floatunssuffix>v2div2hf2 (dest,
7736 : : operands[1]));
7737 : 2 : emit_move_insn (operands[0], lowpart_subreg (V2HFmode, dest, V8HFmode));
7738 : 2 : DONE;
7739 : : })
7740 : :
7741 : 6 : (define_expand "avx512fp16_float<floatunssuffix>v2div2hf2"
7742 : : [(set (match_operand:V8HF 0 "register_operand")
7743 : : (vec_concat:V8HF
7744 : 6 : (any_float:V2HF (match_operand:V2DI 1 "vector_operand"))
7745 : 4 : (match_dup 2)))]
7746 : 4 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7747 : 6 : "operands[2] = CONST0_RTX (V6HFmode);")
7748 : 4 :
7749 : 4 : (define_insn "*avx512fp16_vcvt<floatsuffix>qq2ph_v2di"
7750 : 2 : [(set (match_operand:V8HF 0 "register_operand" "=v")
7751 : 6 : (vec_concat:V8HF
7752 : 2 : (any_float:V2HF (match_operand:V2DI 1 "vector_operand" "vm"))
7753 : 2 : (match_operand:V6HF 2 "const0_operand")))]
7754 : 124 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7755 : 2 : "vcvt<floatsuffix>qq2ph{x}\t{%1, %0|%0, %1}"
7756 : : [(set_attr "type" "ssecvt")
7757 : 16 : (set_attr "prefix" "evex")
7758 : 198 : (set_attr "mode" "TI")])
7759 : 198 :
7760 : 14 : (define_expand "avx512fp16_vcvt<floatsuffix>qq2ph_v2di_mask"
7761 : 3 : [(set (match_operand:V8HF 0 "register_operand" "=v")
7762 : 2 : (vec_concat:V8HF
7763 : 2 : (vec_merge:V2HF
7764 : 5 : (any_float:V2HF (match_operand:V2DI 1 "vector_operand" "vm"))
7765 : 3 : (vec_select:V2HF
7766 : 3 : (match_operand:V8HF 2 "nonimm_or_0_operand" "0C")
7767 : 10 : (parallel [(const_int 0) (const_int 1)]))
7768 : 3 : (match_operand:QI 3 "register_operand" "Yk"))
7769 : 7 : (match_dup 4)))]
7770 : 7 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7771 : 72 : "operands[4] = CONST0_RTX (V6HFmode);")
7772 : 4 :
7773 : : (define_insn "*avx512fp16_vcvt<floatsuffix>qq2ph_v2di_mask"
7774 : 72 : [(set (match_operand:V8HF 0 "register_operand" "=v")
7775 : 72 : (vec_concat:V8HF
7776 : 72 : (vec_merge:V2HF
7777 : 75 : (any_float:V2HF (match_operand:V2DI 1 "vector_operand" "vm"))
7778 : 72 : (vec_select:V2HF
7779 : 74 : (match_operand:V8HF 2 "nonimm_or_0_operand" "0C")
7780 : 75 : (parallel [(const_int 0) (const_int 1)]))
7781 : 75 : (match_operand:QI 3 "register_operand" "Yk"))
7782 : 77 : (match_operand:V6HF 4 "const0_operand")))]
7783 : 409 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7784 : 3 : "vcvt<floatsuffix>qq2ph{x}\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
7785 : 75 : [(set_attr "type" "ssecvt")
7786 : : (set_attr "prefix" "evex")
7787 : 341 : (set_attr "mode" "TI")])
7788 : 341 :
7789 : 6 : (define_insn "*avx512fp16_vcvt<floatsuffix>qq2ph_v2di_mask_1"
7790 : : [(set (match_operand:V8HF 0 "register_operand" "=v")
7791 : : (vec_concat:V8HF
7792 : 6 : (vec_merge:V2HF
7793 : 2 : (any_float:V2HF (match_operand:V2DI 1
7794 : 2 : "vector_operand" "vm"))
7795 : 2 : (match_operand:V2HF 3 "const0_operand")
7796 : 2 : (match_operand:QI 2 "register_operand" "Yk"))
7797 : 2 : (match_operand:V6HF 4 "const0_operand")))]
7798 : 208 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7799 : 74 : "vcvt<floatsuffix>qq2ph{x}\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
7800 : 72 : [(set_attr "type" "ssecvt")
7801 : : (set_attr "prefix" "evex")
7802 : 140 : (set_attr "mode" "TI")])
7803 : 140 :
7804 : 2 : (define_insn "avx512fp16_vcvtsh2<sseintconvertsignprefix>si<rex64namesuffix><round_name>"
7805 : 6 : [(set (match_operand:SWI48 0 "register_operand" "=r")
7806 : 2 : (unspec:SWI48
7807 : 2 : [(vec_select:HF
7808 : 4 : (match_operand:V8HF 1 "register_operand" "v")
7809 : 2 : (parallel [(const_int 0)]))]
7810 : 2 : UNSPEC_US_FIX_NOTRUNC))]
7811 : 486 : "TARGET_AVX512FP16"
7812 : 2 : "vcvtsh2<sseintconvertsignprefix>si\t{<round_op2>%1, %0|%0, %1<round_op2>}"
7813 : 2 : [(set_attr "type" "sseicvt")
7814 : : (set_attr "prefix" "evex")
7815 : 473 : (set_attr "mode" "<MODE>")])
7816 : 469 :
7817 : : (define_insn "avx512fp16_vcvtsh2<sseintconvertsignprefix>si<rex64namesuffix>_2"
7818 : 4 : [(set (match_operand:SWI48 0 "register_operand" "=r,r")
7819 : : (unspec:SWI48
7820 : : [(match_operand:HF 1 "nonimmediate_operand" "v,m")]
7821 : : UNSPEC_US_FIX_NOTRUNC))]
7822 : 0 : "TARGET_AVX512FP16"
7823 : : "vcvtsh2<sseintconvertsignprefix>si\t{%1, %0|%0, %1}"
7824 : : [(set_attr "type" "sseicvt")
7825 : 30 : (set_attr "prefix" "evex")
7826 : 10 : (set_attr "mode" "<MODE>")])
7827 : 0 :
7828 : : (define_mode_attr sseicvtsuffix
7829 : : [(SI "l") (DI "q")])
7830 : : (define_insn "avx512fp16_vcvt<floatsuffix>si2sh<rex64namesuffix><round_name>"
7831 : 30 : [(set (match_operand:V8HF 0 "register_operand" "=v")
7832 : 30 : (vec_merge:V8HF
7833 : 30 : (vec_duplicate:V8HF
7834 : 30 : (any_float:HF
7835 : 30 : (match_operand:SWI48 2 "<round_nimm_scalar_predicate>" "<round_constraint3>")))
7836 : 30 : (match_operand:V8HF 1 "register_operand" "v")
7837 : 30 : (const_int 1)))]
7838 : 433 : "TARGET_AVX512FP16"
7839 : 30 : "vcvt<floatsuffix>si2sh{<sseicvtsuffix>}\t{%2, <round_op3>%1, %0|%0, %1<round_op3>, %2}"
7840 : : [(set_attr "type" "sseicvt")
7841 : : (set_attr "prefix" "evex")
7842 : 282 : (set_attr "mode" "HF")])
7843 : 282 :
7844 : : (define_expand "fix<fixunssuffix>_trunc<ssePHmodelower><mode>2"
7845 : : [(set (match_operand:VI2H_AVX512VL 0 "register_operand")
7846 : : (any_fix:VI2H_AVX512VL
7847 : : (match_operand:<ssePHmode> 1 "nonimmediate_operand")))]
7848 : : "TARGET_AVX512FP16")
7849 : :
7850 : : (define_insn "unspec_avx512fp16_fix<vcvtt_uns_suffix>_trunc<mode>2<mask_name><round_saeonly_name>"
7851 : : [(set (match_operand:VI2H_AVX512VL 0 "register_operand" "=v")
7852 : : (unspec:VI2H_AVX512VL
7853 : : [(match_operand:<ssePHmode> 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
7854 : : UNSPEC_VCVTT_U))]
7855 : 5609 : "TARGET_AVX512FP16 && <round_saeonly_mode_condition>"
7856 : : "vcvttph2<vcvtt_suffix><sseintconvert>\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
7857 : : [(set_attr "type" "ssecvt")
7858 : : (set_attr "prefix" "evex")
7859 : : (set_attr "mode" "<sseinsnmode>")])
7860 : :
7861 : 980 : (define_insn "avx512fp16_fix<fixunssuffix>_trunc<mode>2<mask_name><round_saeonly_name>"
7862 : : [(set (match_operand:VI2H_AVX512VL 0 "register_operand" "=v")
7863 : : (any_fix:VI2H_AVX512VL
7864 : : (match_operand:<ssePHmode> 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")))]
7865 : 58 : "TARGET_AVX512FP16 && <round_saeonly_mode_condition>"
7866 : : "vcvttph2<fixsuffix><sseintconvert>\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
7867 : 3938 : [(set_attr "type" "ssecvt")
7868 : : (set_attr "prefix" "evex")
7869 : : (set_attr "mode" "<sseinsnmode>")])
7870 : :
7871 : 0 : (define_expand "fix<fixunssuffix>_truncv4hf<mode>2"
7872 : : [(set (match_operand:VI4_128_8_256 0 "register_operand")
7873 : : (any_fix:VI4_128_8_256
7874 : : (match_operand:V4HF 1 "nonimmediate_operand")))]
7875 : : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7876 : 6 : {
7877 : 6 : if (!MEM_P (operands[1]))
7878 : : {
7879 : 6 : operands[1] = lowpart_subreg (V8HFmode,
7880 : : force_reg (V4HFmode, operands[1]),
7881 : : V4HFmode);
7882 : 6 : emit_insn (gen_avx512fp16_fix<fixunssuffix>_trunc<mode>2 (operands[0],
7883 : : operands[1]));
7884 : 6 : DONE;
7885 : : }
7886 : : })
7887 : :
7888 : : (define_insn "unspec_avx512fp16_fix<vcvtt_uns_suffix>_trunc<mode>2<mask_name><round_saeonly_name>"
7889 : 0 : [(set (match_operand:VI4_128_8_256 0 "register_operand" "=v")
7890 : 0 : (unspec:VI4_128_8_256
7891 : 0 : [(match_operand:V8HF 1 "register_operand" "v")]
7892 : 0 : UNSPEC_VCVTT_U))]
7893 : 1554 : "TARGET_AVX512FP16 && TARGET_AVX512VL && <round_saeonly_mode_condition>"
7894 : 0 : "vcvttph2<vcvtt_suffix><sseintconvert>\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
7895 : : [(set_attr "type" "ssecvt")
7896 : : (set_attr "prefix" "evex")
7897 : 1203 : (set_attr "mode" "<sseinsnmode>")])
7898 : 1147 :
7899 : 808 : (define_insn "avx512fp16_fix<fixunssuffix>_trunc<mode>2<mask_name>"
7900 : : [(set (match_operand:VI4_128_8_256 0 "register_operand" "=v")
7901 : : (any_fix:VI4_128_8_256
7902 : : (vec_select:V4HF
7903 : : (match_operand:V8HF 1 "register_operand" "v")
7904 : 16 : (parallel [(const_int 0) (const_int 1) (const_int 2) (const_int 3)]))))]
7905 : 39 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7906 : : "vcvttph2<fixsuffix><sseintconvert>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
7907 : 16 : [(set_attr "type" "ssecvt")
7908 : 6 : (set_attr "prefix" "evex")
7909 : 542 : (set_attr "mode" "<sseinsnmode>")])
7910 : 525 :
7911 : 6 : (define_insn "*avx512fp16_fix<fixunssuffix>_trunc<mode>2_load<mask_name>"
7912 : 6 : [(set (match_operand:VI4_128_8_256 0 "register_operand" "=v")
7913 : 2 : (any_fix:VI4_128_8_256
7914 : 36 : (match_operand:V4HF 1 "memory_operand" "m")))]
7915 : 2 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7916 : : "vcvttph2<fixsuffix><sseintconvert>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %q1}"
7917 : : [(set_attr "type" "ssecvt")
7918 : : (set_attr "prefix" "evex")
7919 : 4661 : (set_attr "mode" "<sseinsnmode>")])
7920 : 4661 :
7921 : 4615 : (define_expand "fix<fixunssuffix>_truncv2hfv2di2"
7922 : 36 : [(set (match_operand:V2DI 0 "register_operand")
7923 : 36 : (any_fix:V2DI
7924 : 36 : (match_operand:V2HF 1 "nonimmediate_operand")))]
7925 : 36 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7926 : 39 : {
7927 : 39 : if (!MEM_P (operands[1]))
7928 : : {
7929 : 3 : operands[1] = lowpart_subreg (V8HFmode,
7930 : : force_reg (V2HFmode, operands[1]),
7931 : : V2HFmode);
7932 : 3 : emit_insn (gen_avx512fp16_fix<fixunssuffix>_truncv2di2 (operands[0],
7933 : : operands[1]));
7934 : 3 : DONE;
7935 : : }
7936 : : })
7937 : :
7938 : : (define_insn "unspec_avx512fp16_fix<vcvtt_uns_suffix>_truncv2di2<mask_name>"
7939 : 0 : [(set (match_operand:V2DI 0 "register_operand" "=v")
7940 : 0 : (unspec:V2DI
7941 : 0 : [(match_operand:V8HF 1 "nonimmediate_operand" "v")]
7942 : 0 : UNSPEC_VCVTT_U))]
7943 : 552 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7944 : 0 : "vcvttph2<vcvtt_suffix>qq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
7945 : : [(set_attr "type" "ssecvt")
7946 : : (set_attr "prefix" "evex")
7947 : 588 : (set_attr "mode" "TI")])
7948 : 588 :
7949 : 0 : (define_insn "avx512fp16_fix<fixunssuffix>_truncv2di2<mask_name>"
7950 : : [(set (match_operand:V2DI 0 "register_operand" "=v")
7951 : : (any_fix:V2DI
7952 : : (vec_select:V2HF
7953 : : (match_operand:V8HF 1 "nonimmediate_operand" "v")
7954 : 43 : (parallel [(const_int 0) (const_int 1)]))))]
7955 : 17 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7956 : : "vcvttph2<fixsuffix>qq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
7957 : 7 : [(set_attr "type" "ssecvt")
7958 : 7 : (set_attr "prefix" "evex")
7959 : 142 : (set_attr "mode" "TI")])
7960 : 142 :
7961 : 43 : (define_insn "*avx512fp16_fix<fixunssuffix>_truncv2di2_load<mask_name>"
7962 : 43 : [(set (match_operand:V2DI 0 "register_operand" "=v")
7963 : 43 : (any_fix:V2DI
7964 : 36 : (match_operand:V2HF 1 "memory_operand" "m")))]
7965 : 38 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
7966 : 36 : "vcvttph2<fixsuffix>qq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %k1}"
7967 : 36 : [(set_attr "type" "ssecvt")
7968 : : (set_attr "prefix" "evex")
7969 : 37 : (set_attr "mode" "TI")])
7970 : 37 :
7971 : : (define_insn "unspec_avx512fp16_fix<vcvtt_uns_suffix>_trunc<mode>2<round_saeonly_name>"
7972 : : [(set (match_operand:SWI48 0 "register_operand" "=r")
7973 : : (unspec:SWI48
7974 : : [(match_operand:V8HF 1 "register_operand" "v")]
7975 : : UNSPEC_VCVTT_U))]
7976 : 484 : "TARGET_AVX512FP16"
7977 : : "%vcvttsh2<vcvtt_suffix>si\t{<round_saeonly_op2>%1, %0|%0, %k1<round_saeonly_op2>}"
7978 : : [(set_attr "type" "sseicvt")
7979 : : (set_attr "prefix" "evex")
7980 : 458 : (set_attr "mode" "<MODE>")])
7981 : 458 :
7982 : : (define_insn "avx512fp16_fix<fixunssuffix>_trunc<mode>2<round_saeonly_name>"
7983 : : [(set (match_operand:SWI48 0 "register_operand" "=r")
7984 : : (any_fix:SWI48
7985 : : (vec_select:HF
7986 : : (match_operand:V8HF 1 "register_operand" "v")
7987 : : (parallel [(const_int 0)]))))]
7988 : 0 : "TARGET_AVX512FP16"
7989 : : "%vcvttsh2<fixsuffix>si\t{<round_saeonly_op2>%1, %0|%0, %k1<round_saeonly_op2>}"
7990 : : [(set_attr "type" "sseicvt")
7991 : : (set_attr "prefix" "evex")
7992 : 4 : (set_attr "mode" "<MODE>")])
7993 : 4 :
7994 : : (define_insn "avx512fp16_fix<fixunssuffix>_trunc<mode>2_mem"
7995 : : [(set (match_operand:SWI48 0 "register_operand" "=r")
7996 : : (any_fix:SWI48
7997 : : (match_operand:HF 1 "memory_operand" "vm")))]
7998 : 0 : "TARGET_AVX512FP16"
7999 : : "%vcvttsh2<fixsuffix>si\t{%1, %0|%0, %1}"
8000 : : [(set_attr "type" "sseicvt")
8001 : : (set_attr "prefix" "evex")
8002 : 0 : (set_attr "mode" "<MODE>")])
8003 : 0 :
8004 : : (define_mode_attr ph2pssuffix
8005 : : [(V16SF "x") (V8SF "x") (V4SF "x")
8006 : : (V8DF "") (V4DF "") (V2DF "")])
8007 : :
8008 : : (define_expand "extend<ssePHmodelower><mode>2"
8009 : : [(set (match_operand:VF48H_AVX512VL 0 "register_operand")
8010 : : (float_extend:VF48H_AVX512VL
8011 : : (match_operand:<ssePHmode> 1 "nonimmediate_operand")))]
8012 : : "TARGET_AVX512FP16")
8013 : :
8014 : : (define_insn "avx512fp16_float_extend_ph<mode>2<mask_name><round_saeonly_name>"
8015 : : [(set (match_operand:VF48H_AVX512VL 0 "register_operand" "=v")
8016 : : (float_extend:VF48H_AVX512VL
8017 : : (match_operand:<ssePHmode> 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")))]
8018 : 1652 : "TARGET_AVX512FP16 && <round_saeonly_mode_condition>"
8019 : : "vcvtph2<castmode><ph2pssuffix>\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
8020 : : [(set_attr "type" "ssecvt")
8021 : : (set_attr "prefix" "evex")
8022 : : (set_attr "mode" "<sseinsnmode>")])
8023 : :
8024 : 244 : (define_expand "extendv4hf<mode>2"
8025 : : [(set (match_operand:VF4_128_8_256 0 "register_operand")
8026 : : (float_extend:VF4_128_8_256
8027 : : (match_operand:V4HF 1 "nonimmediate_operand")))]
8028 : : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8029 : 4 : {
8030 : 1242 : if (!MEM_P (operands[1]))
8031 : : {
8032 : 4 : operands[1] = lowpart_subreg (V8HFmode,
8033 : : force_reg (V4HFmode, operands[1]),
8034 : : V4HFmode);
8035 : 4 : emit_insn (gen_avx512fp16_float_extend_ph<mode>2
8036 : : (operands[0], operands[1]));
8037 : 4 : DONE;
8038 : : }
8039 : : })
8040 : :
8041 : : (define_insn "avx512fp16_float_extend_ph<mode>2<mask_name><round_saeonly_name>"
8042 : 0 : [(set (match_operand:VF4_128_8_256 0 "register_operand" "=v")
8043 : 0 : (float_extend:VF4_128_8_256
8044 : 0 : (vec_select:V4HF
8045 : 0 : (match_operand:V8HF 1 "register_operand" "v")
8046 : : (parallel [(const_int 0) (const_int 1) (const_int 2) (const_int 3)]))))]
8047 : 818 : "TARGET_AVX512FP16 && TARGET_AVX512VL && <round_saeonly_mode_condition>"
8048 : : "vcvtph2<castmode><ph2pssuffix>\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %q1<round_saeonly_mask_op2>}"
8049 : : [(set_attr "type" "ssecvt")
8050 : 0 : (set_attr "prefix" "evex")
8051 : 903 : (set_attr "mode" "<sseinsnmode>")])
8052 : 903 :
8053 : 928 : (define_insn "*avx512fp16_float_extend_ph<mode>2_load<mask_name>"
8054 : 219 : [(set (match_operand:VF4_128_8_256 0 "register_operand" "=v")
8055 : 669 : (float_extend:VF4_128_8_256
8056 : 669 : (match_operand:V4HF 1 "memory_operand" "m")))]
8057 : 674 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8058 : 2 : "vcvtph2<castmode><ph2pssuffix>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %q1}"
8059 : 669 : [(set_attr "type" "ssecvt")
8060 : 558 : (set_attr "prefix" "evex")
8061 : 1562 : (set_attr "mode" "<sseinsnmode>")])
8062 : 1700 :
8063 : 2252 : (define_expand "extendv2hfv2df2"
8064 : 31 : [(set (match_operand:V2DF 0 "register_operand")
8065 : 715 : (float_extend:V2DF
8066 : 540 : (match_operand:V2HF 1 "nonimmediate_operand")))]
8067 : 285 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8068 : 673 : {
8069 : 7 : if (!MEM_P (operands[1]))
8070 : 11 : {
8071 : 399 : operands[1] = lowpart_subreg (V8HFmode,
8072 : 281 : force_reg (V2HFmode, operands[1]),
8073 : 385 : V2HFmode);
8074 : 273 : emit_insn (gen_avx512fp16_float_extend_phv2df2
8075 : 388 : (operands[0], operands[1]));
8076 : 481 : DONE;
8077 : 478 : }
8078 : 91 : })
8079 : 551 :
8080 : 8 : (define_insn "avx512fp16_float_extend_phv2df2<mask_name>"
8081 : 91 : [(set (match_operand:V2DF 0 "register_operand" "=v")
8082 : 213 : (float_extend:V2DF
8083 : 205 : (vec_select:V2HF
8084 : 66 : (match_operand:V8HF 1 "register_operand" "v")
8085 : 66 : (parallel [(const_int 0) (const_int 1)]))))]
8086 : 341 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8087 : : "vcvtph2pd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
8088 : : [(set_attr "type" "ssecvt")
8089 : 0 : (set_attr "prefix" "evex")
8090 : 6510 : (set_attr "mode" "TI")])
8091 : 6510 :
8092 : 6510 : (define_insn "*avx512fp16_float_extend_phv2df2_load<mask_name>"
8093 : : [(set (match_operand:V2DF 0 "register_operand" "=v")
8094 : : (float_extend:V2DF
8095 : : (match_operand:V2HF 1 "memory_operand" "m")))]
8096 : 37 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8097 : : "vcvtph2pd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %k1}"
8098 : : [(set_attr "type" "ssecvt")
8099 : 10 : (set_attr "prefix" "evex")
8100 : 158 : (set_attr "mode" "TI")])
8101 : 194 :
8102 : 194 : (define_expand "trunc<mode><ssePHmodelower>2"
8103 : 36 : [(set (match_operand:<ssePHmode> 0 "register_operand")
8104 : 36 : (float_truncate:<ssePHmode>
8105 : 36 : (match_operand:VF48H_AVX512VL 1 "nonimmediate_operand")))]
8106 : 36 : "TARGET_AVX512FP16")
8107 : 36 :
8108 : 36 : (define_insn "avx512fp16_vcvt<castmode>2ph_<mode><mask_name><round_name>"
8109 : 36 : [(set (match_operand:<ssePHmode> 0 "register_operand" "=v")
8110 : : (float_truncate:<ssePHmode>
8111 : : (match_operand:VF48H_AVX512VL 1 "<round_nimm_predicate>" "<round_constraint>")))]
8112 : 1773 : "TARGET_AVX512FP16 && <round_mode_condition>"
8113 : : "vcvt<castmode>2ph<ph2pssuffix><round_qq2phsuff>\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
8114 : : [(set_attr "type" "ssecvt")
8115 : : (set_attr "prefix" "evex")
8116 : : (set_attr "mode" "<sseinsnmode>")])
8117 : :
8118 : 244 : (define_expand "trunc<mode>v4hf2"
8119 : : [(set (match_operand:V4HF 0 "register_operand")
8120 : : (float_truncate:V4HF (match_operand:VF4_128_8_256 1 "vector_operand")))]
8121 : : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8122 : 4 : {
8123 : 4 : rtx dest = gen_reg_rtx (V8HFmode);
8124 : 1238 :
8125 : 4 : emit_insn (gen_avx512fp16_trunc<mode>v4hf2 (dest, operands[1]));
8126 : 4 : emit_move_insn (operands[0], lowpart_subreg (V4HFmode, dest, V8HFmode));
8127 : 4 : DONE;
8128 : : })
8129 : :
8130 : : (define_expand "avx512fp16_trunc<mode>v4hf2"
8131 : : [(set (match_operand:V8HF 0 "register_operand")
8132 : : (vec_concat:V8HF
8133 : : (float_truncate:V4HF
8134 : : (match_operand:VF4_128_8_256 1 "vector_operand"))
8135 : : (match_dup 2)))]
8136 : : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8137 : 9 : "operands[2] = CONST0_RTX (V4HFmode);")
8138 : :
8139 : : (define_insn "*avx512fp16_vcvt<castmode>2ph_<mode>"
8140 : 9 : [(set (match_operand:V8HF 0 "register_operand" "=v")
8141 : 9 : (vec_concat:V8HF
8142 : 9 : (float_truncate:V4HF
8143 : 9 : (match_operand:VF4_128_8_256 1 "vector_operand" "vm"))
8144 : 9 : (match_operand:V4HF 2 "const0_operand")))]
8145 : 351 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8146 : : "vcvt<castmode>2ph<ph2pssuffix><qq2phsuff>\t{%1, %0|%0, %1}"
8147 : 101 : [(set_attr "type" "ssecvt")
8148 : : (set_attr "prefix" "evex")
8149 : 191 : (set_attr "mode" "<sseinsnmode>")])
8150 : 191 :
8151 : 99 : (define_expand "avx512fp16_vcvtpd2ph_v4df_mask_round"
8152 : 101 : [(match_operand:V8HF 0 "register_operand")
8153 : 75 : (match_operand:V4DF 1 "register_operand")
8154 : 75 : (match_operand:V8HF 2 "nonimm_or_0_operand")
8155 : 65 : (match_operand:QI 3 "register_operand")
8156 : 66 : (unspec [(match_operand:SI 4 "const_4_or_8_to_11_operand")] UNSPEC_EMBEDDED_ROUNDING)]
8157 : : "TARGET_AVX10_2_256"
8158 : 30 : {
8159 : 30 : emit_insn (gen_avx512fp16_vcvtpd2ph_v4df_mask_round_1 (
8160 : 127 : operands[0], operands[1], operands[2], operands[3], CONST0_RTX (V4HFmode), operands[4]));
8161 : 30 : DONE;
8162 : 127 : })
8163 : 127 :
8164 : 0 : (define_expand "avx512fp16_vcvt<castmode>2ph_<mode>_mask"
8165 : 127 : [(set (match_operand:V8HF 0 "register_operand" "=v")
8166 : : (vec_concat:V8HF
8167 : : (vec_merge:V4HF
8168 : : (float_truncate:V4HF
8169 : : (match_operand:VF4_128_8_256 1 "vector_operand" "vm"))
8170 : : (vec_select:V4HF
8171 : : (match_operand:V8HF 2 "nonimm_or_0_operand" "0C")
8172 : : (parallel [(const_int 0) (const_int 1)
8173 : : (const_int 2) (const_int 3)]))
8174 : : (match_operand:QI 3 "register_operand" "Yk"))
8175 : : (match_dup 4)))]
8176 : : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8177 : 72 : "operands[4] = CONST0_RTX (V4HFmode);")
8178 : :
8179 : : (define_insn "avx512fp16_vcvt<castmode>2ph_<mode>_mask<round_name>_1"
8180 : 72 : [(set (match_operand:V8HF 0 "register_operand" "=v")
8181 : 72 : (vec_concat:V8HF
8182 : 72 : (vec_merge:V4HF
8183 : 72 : (float_truncate:V4HF
8184 : 72 : (match_operand:VF4_128_8_256 1 "<round_nimm_predicate>" "<round_constraint>"))
8185 : 72 : (vec_select:V4HF
8186 : 72 : (match_operand:V8HF 2 "nonimm_or_0_operand" "0C")
8187 : 72 : (parallel [(const_int 0) (const_int 1)
8188 : 72 : (const_int 2) (const_int 3)]))
8189 : 72 : (match_operand:QI 3 "register_operand" "Yk"))
8190 : : (match_operand:V4HF 4 "const0_operand")))]
8191 : 714 : "TARGET_AVX512FP16 && TARGET_AVX512VL && <round_mode_condition>"
8192 : : "vcvt<castmode>2ph<ph2pssuffix><round_qq2phsuff>\t{<round_op5>%1, %0%{%3%}%N2|%0%{%3%}%N2, %1<round_op5>}"
8193 : : [(set_attr "type" "ssecvt")
8194 : 48 : (set_attr "prefix" "evex")
8195 : 215 : (set_attr "mode" "<sseinsnmode>")])
8196 : 215 :
8197 : 306 : (define_insn "*avx512fp16_vcvt<castmode>2ph_<mode>_mask_1"
8198 : 48 : [(set (match_operand:V8HF 0 "register_operand" "=v")
8199 : 288 : (vec_concat:V8HF
8200 : 240 : (vec_merge:V4HF
8201 : : (float_truncate:V4HF
8202 : : (match_operand:VF4_128_8_256 1 "vector_operand" "vm"))
8203 : : (match_operand:V4HF 3 "const0_operand")
8204 : 240 : (match_operand:QI 2 "register_operand" "Yk"))
8205 : : (match_operand:V4HF 4 "const0_operand")))]
8206 : 344 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8207 : 72 : "vcvt<castmode>2ph<ph2pssuffix><qq2phsuff>\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
8208 : 72 : [(set_attr "type" "ssecvt")
8209 : : (set_attr "prefix" "evex")
8210 : 68 : (set_attr "mode" "<sseinsnmode>")])
8211 : 242 :
8212 : 174 : (define_expand "truncv2dfv2hf2"
8213 : 187 : [(set (match_operand:V2HF 0 "register_operand")
8214 : 68 : (float_truncate:V2HF (match_operand:V2DF 1 "vector_operand")))]
8215 : 200 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8216 : 147 : {
8217 : 215 : rtx dest = gen_reg_rtx (V8HFmode);
8218 : 147 : emit_insn (gen_avx512fp16_truncv2dfv2hf2 (dest, operands[1]));
8219 : 147 : emit_move_insn (operands[0], lowpart_subreg (V2HFmode, dest, V8HFmode));
8220 : 147 : DONE;
8221 : 13 : })
8222 : 66 :
8223 : 66 : (define_expand "avx512fp16_truncv2dfv2hf2"
8224 : : [(set (match_operand:V8HF 0 "register_operand")
8225 : : (vec_concat:V8HF
8226 : : (float_truncate:V2HF (match_operand:V2DF 1 "vector_operand"))
8227 : 66 : (match_dup 2)))]
8228 : : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8229 : 2 : "operands[2] = CONST0_RTX (V6HFmode);")
8230 : :
8231 : : (define_insn "*avx512fp16_vcvtpd2ph_v2df"
8232 : 2 : [(set (match_operand:V8HF 0 "register_operand" "=v")
8233 : 2 : (vec_concat:V8HF
8234 : 2 : (float_truncate:V2HF
8235 : 2 : (match_operand:V2DF 1 "vector_operand" "vm"))
8236 : 2 : (match_operand:V6HF 2 "const0_operand")))]
8237 : 67 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8238 : 1 : "vcvtpd2ph{x}\t{%1, %0|%0, %1}"
8239 : 3 : [(set_attr "type" "ssecvt")
8240 : : (set_attr "prefix" "evex")
8241 : : (set_attr "mode" "TI")])
8242 : 1 :
8243 : 1 : (define_expand "avx512fp16_vcvtpd2ph_v2df_mask"
8244 : 3 : [(set (match_operand:V8HF 0 "register_operand" "=v")
8245 : 24530 : (vec_concat:V8HF
8246 : 24530 : (vec_merge:V2HF
8247 : 24525 : (float_truncate:V2HF
8248 : 24524 : (match_operand:V2DF 1 "vector_operand" "vm"))
8249 : 24524 : (vec_select:V2HF
8250 : 19519 : (match_operand:V8HF 2 "nonimm_or_0_operand" "0C")
8251 : 24531 : (parallel [(const_int 0) (const_int 1)]))
8252 : : (match_operand:QI 3 "register_operand" "Yk"))
8253 : : (match_dup 4)))]
8254 : 4 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8255 : 40 : "operands[4] = CONST0_RTX (V6HFmode);")
8256 : 4 :
8257 : 4 : (define_insn "*avx512fp16_vcvtpd2ph_v2df_mask"
8258 : 40 : [(set (match_operand:V8HF 0 "register_operand" "=v")
8259 : 40 : (vec_concat:V8HF
8260 : 36 : (vec_merge:V2HF
8261 : 36 : (float_truncate:V2HF (match_operand:V2DF 1 "vector_operand" "vm"))
8262 : 36 : (vec_select:V2HF
8263 : 36 : (match_operand:V8HF 2 "nonimm_or_0_operand" "0C")
8264 : 36 : (parallel [(const_int 0) (const_int 1)]))
8265 : 36 : (match_operand:QI 3 "register_operand" "Yk"))
8266 : 36 : (match_operand:V6HF 4 "const0_operand")))]
8267 : 370 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8268 : : "vcvtpd2ph{x}\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
8269 : 36 : [(set_attr "type" "ssecvt")
8270 : : (set_attr "prefix" "evex")
8271 : 142 : (set_attr "mode" "TI")])
8272 : 142 :
8273 : : (define_insn "*avx512fp16_vcvtpd2ph_v2df_mask_1"
8274 : : [(set (match_operand:V8HF 0 "register_operand" "=v")
8275 : : (vec_concat:V8HF
8276 : : (vec_merge:V2HF
8277 : : (float_truncate:V2HF
8278 : : (match_operand:V2DF 1 "vector_operand" "vm"))
8279 : : (match_operand:V2HF 3 "const0_operand")
8280 : : (match_operand:QI 2 "register_operand" "Yk"))
8281 : : (match_operand:V6HF 4 "const0_operand")))]
8282 : 104 : "TARGET_AVX512FP16 && TARGET_AVX512VL"
8283 : 36 : "vcvtpd2ph{x}\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
8284 : 36 : [(set_attr "type" "ssecvt")
8285 : : (set_attr "prefix" "evex")
8286 : : (set_attr "mode" "TI")])
8287 : :
8288 : : (define_insn "avx512fp16_vcvtsh2<ssescalarmodesuffix><mask_scalar_name><round_saeonly_scalar_name>"
8289 : 55 : [(set (match_operand:VF48_128 0 "register_operand" "=v")
8290 : 63 : (vec_merge:VF48_128
8291 : 63 : (vec_duplicate:VF48_128
8292 : 55 : (float_extend:<ssescalarmode>
8293 : 63 : (vec_select:HF
8294 : : (match_operand:V8HF 1 "register_operand" "v")
8295 : : (parallel [(const_int 0)]))))
8296 : : (match_operand:VF48_128 2 "register_operand" "v")
8297 : : (const_int 1)))]
8298 : 1036 : "TARGET_AVX512FP16"
8299 : 37 : "vcvtsh2<ssescalarmodesuffix>\t{<round_saeonly_scalar_mask_op3>%1, %2, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %2, %1<round_saeonly_scalar_mask_op3>}"
8300 : : [(set_attr "type" "ssecvt")
8301 : : (set_attr "prefix" "evex")
8302 : 785 : (set_attr "mode" "TI")])
8303 : 748 :
8304 : : (define_insn "avx512fp16_vcvtsh2<ssescalarmodesuffix><mask_scalar_name>_mem"
8305 : : [(set (match_operand:VF48_128 0 "register_operand" "=v")
8306 : 748 : (vec_merge:VF48_128
8307 : 91893 : (vec_duplicate:VF48_128
8308 : 90721 : (float_extend:<ssescalarmode>
8309 : 91895 : (match_operand:HF 1 "memory_operand" "m")))
8310 : 1172 : (match_operand:VF48_128 2 "register_operand" "v")
8311 : 90627 : (const_int 1)))]
8312 : 91607 : "TARGET_AVX512FP16"
8313 : 982 : "vcvtsh2<ssescalarmodesuffix>\t{%1, %2, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %2, %1}"
8314 : 1194 : [(set_attr "type" "ssecvt")
8315 : 214 : (set_attr "prefix" "evex")
8316 : 180905 : (set_attr "mode" "TI")])
8317 : 90585 :
8318 : 91302 : (define_insn "avx512fp16_vcvt<ssescalarmodesuffix>2sh<mask_scalar_name><round_scalar_name>"
8319 : 91514 : [(set (match_operand:V8HF 0 "register_operand" "=v")
8320 : 91484 : (vec_merge:V8HF
8321 : 91484 : (vec_duplicate:V8HF
8322 : 956 : (float_truncate:HF
8323 : 0 : (vec_select:<ssescalarmode>
8324 : 2265 : (match_operand:VF48_128 1 "register_operand" "v")
8325 : 2441 : (parallel [(const_int 0)]))))
8326 : 2441 : (match_operand:V8HF 2 "register_operand" "v")
8327 : 194 : (const_int 1)))]
8328 : 2723 : "TARGET_AVX512FP16"
8329 : 2400 : "vcvt<ssescalarmodesuffix>2sh\t{<round_scalar_mask_op3>%1, %2, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %2, %1<round_scalar_mask_op3>}"
8330 : 1078 : [(set_attr "type" "ssecvt")
8331 : 410 : (set_attr "prefix" "evex")
8332 : 1287 : (set_attr "mode" "TI")])
8333 : 821 :
8334 : 1039 : (define_insn "avx512fp16_vcvt<ssescalarmodesuffix>2sh<mask_scalar_name>_mem"
8335 : 550 : [(set (match_operand:V8HF 0 "register_operand" "=v")
8336 : 1820 : (vec_merge:V8HF
8337 : 1546 : (vec_duplicate:V8HF
8338 : 501 : (float_truncate:HF
8339 : 1304 : (match_operand:MODEF 1 "memory_operand" "m")))
8340 : 290 : (match_operand:V8HF 2 "register_operand" "v")
8341 : 85 : (const_int 1)))]
8342 : 330 : "TARGET_AVX512FP16"
8343 : 328 : "vcvt<ssescalarmodesuffix>2sh\t{%1, %2, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %2, %1}"
8344 : 331 : [(set_attr "type" "ssecvt")
8345 : 92 : (set_attr "prefix" "evex")
8346 : 288 : (set_attr "mode" "TI")])
8347 : 70 :
8348 : 341 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
8349 : 200 : ;;
8350 : 318 : ;; Parallel single-precision floating point conversion operations
8351 : 1032 : ;;
8352 : 1229 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
8353 : 2304 :
8354 : 313 : (define_insn_and_split "sse_cvtpi2ps"
8355 : 30 : [(set (match_operand:V4SF 0 "register_operand" "=x,x,Yv")
8356 : 312 : (vec_merge:V4SF
8357 : 1185 : (vec_duplicate:V4SF
8358 : 1231 : (float:V2SF (match_operand:V2SI 2 "register_mmxmem_operand" "ym,x,Yv")))
8359 : 226 : (match_operand:V4SF 1 "register_operand" "0,0,Yv")
8360 : 1019 : (const_int 3)))
8361 : : (clobber (match_scratch:V4SF 3 "=X,x,Yv"))]
8362 : 546 : "(TARGET_MMX || TARGET_MMX_WITH_SSE) && TARGET_SSE"
8363 : 654 : "@
8364 : 85 : cvtpi2ps\t{%2, %0|%0, %2}
8365 : 201 : #
8366 : 0 : #"
8367 : 101280 : "TARGET_SSE2 && reload_completed
8368 : 101153 : && SSE_REG_P (operands[2])"
8369 : : [(const_int 0)]
8370 : 254 : {
8371 : 596 : rtx op2 = lowpart_subreg (V4SImode, operands[2],
8372 : 26303 : GET_MODE (operands[2]));
8373 : 26176 : /* Generate SSE2 cvtdq2ps. */
8374 : 25961 : emit_insn (gen_floatv4siv4sf2 (operands[3], op2));
8375 : 342 :
8376 : 2075323 : /* Merge operands[3] with operands[0]. */
8377 : 2075450 : rtx mask, op1;
8378 : 2075450 : if (TARGET_AVX)
8379 : 291813 : {
8380 : 291567 : mask = gen_rtx_PARALLEL (VOIDmode,
8381 : 1954622 : gen_rtvec (4, GEN_INT (0), GEN_INT (1),
8382 : 28 : GEN_INT (6), GEN_INT (7)));
8383 : 4731 : op1 = gen_rtx_VEC_CONCAT (V8SFmode, operands[3], operands[1]);
8384 : 4731 : op2 = gen_rtx_VEC_SELECT (V4SFmode, op1, mask);
8385 : 4731 : emit_insn (gen_rtx_SET (operands[0], op2));
8386 : 10 : }
8387 : 29625829 : else
8388 : 29625819 : {
8389 : 10481 : /* NB: SSE can only concatenate OP0 and OP3 to OP0. */
8390 : 10512 : mask = gen_rtx_PARALLEL (VOIDmode,
8391 : 195 : gen_rtvec (4, GEN_INT (2), GEN_INT (3),
8392 : 1368 : GEN_INT (4), GEN_INT (5)));
8393 : 31 : op1 = gen_rtx_VEC_CONCAT (V8SFmode, operands[0], operands[3]);
8394 : 1705149 : op2 = gen_rtx_VEC_SELECT (V4SFmode, op1, mask);
8395 : 1705149 : emit_insn (gen_rtx_SET (operands[0], op2));
8396 : 1705118 :
8397 : 1705118 : /* Swap bits 0:63 with bits 64:127. */
8398 : 31 : mask = gen_rtx_PARALLEL (VOIDmode,
8399 : 1705118 : gen_rtvec (4, GEN_INT (2), GEN_INT (3),
8400 : 1705118 : GEN_INT (0), GEN_INT (1)));
8401 : 1705180 : rtx dest = lowpart_subreg (V4SImode, operands[0],
8402 : 1705149 : GET_MODE (operands[0]));
8403 : 31 : op1 = gen_rtx_VEC_SELECT (V4SImode, dest, mask);
8404 : 17407 : emit_insn (gen_rtx_SET (dest, op1));
8405 : : }
8406 : 16149 : DONE;
8407 : 16022 : }
8408 : : [(set_attr "mmx_isa" "native,sse_noavx,avx")
8409 : 16022 : (set_attr "type" "ssecvt")
8410 : 16022 : (set_attr "mode" "V4SF")])
8411 : :
8412 : : (define_insn_and_split "sse_cvtps2pi"
8413 : 16022 : [(set (match_operand:V2SI 0 "register_operand" "=y,Yv")
8414 : : (vec_select:V2SI
8415 : : (unspec:V4SI [(match_operand:V4SF 1 "nonimmediate_operand" "xm,YvBm")]
8416 : : UNSPEC_FIX_NOTRUNC)
8417 : : (parallel [(const_int 0) (const_int 1)])))]
8418 : 410 : "(TARGET_MMX || TARGET_MMX_WITH_SSE) && TARGET_SSE"
8419 : : "@
8420 : : cvtps2pi\t{%1, %0|%0, %q1}
8421 : : #"
8422 : 240 : "TARGET_SSE2 && reload_completed
8423 : 171 : && SSE_REG_P (operands[0])"
8424 : 102 : [(const_int 0)]
8425 : 138 : {
8426 : 138 : rtx op1 = lowpart_subreg (V2SFmode, operands[1],
8427 : 69 : GET_MODE (operands[1]));
8428 : 138 : rtx tmp = lowpart_subreg (V4SFmode, operands[0],
8429 : 69 : GET_MODE (operands[0]));
8430 : :
8431 : 69 : op1 = gen_rtx_VEC_CONCAT (V4SFmode, op1, CONST0_RTX (V2SFmode));
8432 : 69 : emit_insn (gen_rtx_SET (tmp, op1));
8433 : :
8434 : 138 : rtx dest = lowpart_subreg (V4SImode, operands[0],
8435 : 69 : GET_MODE (operands[0]));
8436 : 69 : emit_insn (gen_sse2_fix_notruncv4sfv4si (dest, tmp));
8437 : 69 : DONE;
8438 : : }
8439 : : [(set_attr "isa" "*,sse2")
8440 : : (set_attr "mmx_isa" "native,*")
8441 : : (set_attr "type" "ssecvt")
8442 : : (set_attr "unit" "mmx,*")
8443 : : (set_attr "mode" "DI")])
8444 : :
8445 : : (define_insn_and_split "unspec_sse_cvttps2pi"
8446 : : [(set (match_operand:V2SI 0 "register_operand" "=y,Yv")
8447 : : (unspec:V2SI
8448 : : [(match_operand:V4SF 1 "nonimmediate_operand" "xm,YvBm")]
8449 : 9 : UNSPEC_VCVTT))]
8450 : 137 : "(TARGET_MMX || TARGET_MMX_WITH_SSE) && TARGET_SSE"
8451 : : "@
8452 : 9 : cvttps2pi\t{%1, %0|%0, %q1}
8453 : 9 : #"
8454 : 127 : "TARGET_SSE2 && reload_completed
8455 : 104 : && SSE_REG_P (operands[0])"
8456 : 81 : [(const_int 0)]
8457 : 55 : {
8458 : 55 : rtx op1 = lowpart_subreg (V2SFmode, operands[1],
8459 : 23 : GET_MODE (operands[1]));
8460 : 46 : rtx tmp = lowpart_subreg (V4SFmode, operands[0],
8461 : 23 : GET_MODE (operands[0]));
8462 : :
8463 : 23 : op1 = gen_rtx_VEC_CONCAT (V4SFmode, op1, CONST0_RTX (V2SFmode));
8464 : 23 : emit_insn (gen_rtx_SET (tmp, op1));
8465 : 46 : rtx dest = lowpart_subreg (V4SImode, operands[0],
8466 : 23 : GET_MODE (operands[0]));
8467 : 23 : emit_insn (gen_unspec_fix_truncv4sfv4si2 (dest, tmp));
8468 : 23 : DONE;
8469 : 2847 : }
8470 : : [(set_attr "isa" "*,sse2")
8471 : 2847 : (set_attr "mmx_isa" "native,*")
8472 : 2847 : (set_attr "type" "ssecvt")
8473 : 2847 : (set_attr "unit" "mmx,*")
8474 : 2847 : (set_attr "prefix_rep" "0")
8475 : 2847 : (set_attr "mode" "SF")])
8476 : 2847 :
8477 : 2847 : (define_insn_and_split "sse_cvttps2pi"
8478 : : [(set (match_operand:V2SI 0 "register_operand" "=y,Yv")
8479 : 1897 : (vec_select:V2SI
8480 : 1904 : (fix:V4SI (match_operand:V4SF 1 "nonimmediate_operand" "xm,YvBm"))
8481 : 1897 : (parallel [(const_int 0) (const_int 1)])))]
8482 : 0 : "(TARGET_MMX || TARGET_MMX_WITH_SSE) && TARGET_SSE"
8483 : 1904 : "@
8484 : 7 : cvttps2pi\t{%1, %0|%0, %q1}
8485 : 7 : #"
8486 : 7 : "TARGET_SSE2 && reload_completed
8487 : 7 : && SSE_REG_P (operands[0])"
8488 : 7 : [(const_int 0)]
8489 : 7 : {
8490 : 0 : rtx op1 = lowpart_subreg (V2SFmode, operands[1],
8491 : 0 : GET_MODE (operands[1]));
8492 : 336255 : rtx tmp = lowpart_subreg (V4SFmode, operands[0],
8493 : 0 : GET_MODE (operands[0]));
8494 : :
8495 : 0 : op1 = gen_rtx_VEC_CONCAT (V4SFmode, op1, CONST0_RTX (V2SFmode));
8496 : 336255 : emit_insn (gen_rtx_SET (tmp, op1));
8497 : 854922 :
8498 : 336255 : rtx dest = lowpart_subreg (V4SImode, operands[0],
8499 : 854922 : GET_MODE (operands[0]));
8500 : 854922 : emit_insn (gen_fix_truncv4sfv4si2 (dest, tmp));
8501 : 854922 : DONE;
8502 : 854922 : }
8503 : 854922 : [(set_attr "isa" "*,sse2")
8504 : 854922 : (set_attr "mmx_isa" "native,*")
8505 : 854922 : (set_attr "type" "ssecvt")
8506 : 518667 : (set_attr "unit" "mmx,*")
8507 : 235761 : (set_attr "prefix_rep" "0")
8508 : 235744 : (set_attr "mode" "SF")])
8509 : 235647 :
8510 : 235599 : (define_insn "sse_cvtsi2ss<rex64namesuffix><round_name>"
8511 : 235647 : [(set (match_operand:V4SF 0 "register_operand" "=x,x,v")
8512 : 235647 : (vec_merge:V4SF
8513 : 235602 : (vec_duplicate:V4SF
8514 : 20 : (float:SF (match_operand:SWI48 2 "<round_nimm_scalar_predicate>" "r,m,<round_constraint3>")))
8515 : 186701 : (match_operand:V4SF 1 "register_operand" "0,0,v")
8516 : 186684 : (const_int 1)))]
8517 : 217582 : "TARGET_SSE"
8518 : 186702 : "@
8519 : 186684 : cvtsi2ss<rex64suffix>\t{%2, %0|%0, %2}
8520 : 186702 : cvtsi2ss<rex64suffix>\t{%2, %0|%0, %2}
8521 : 15385 : vcvtsi2ss<rex64suffix>\t{%2, <round_op3>%1, %0|%0, %1<round_op3>, %2}"
8522 : 72658 : [(set_attr "isa" "noavx,noavx,avx")
8523 : 57312 : (set_attr "type" "sseicvt")
8524 : 57312 : (set_attr "athlon_decode" "vector,double,*")
8525 : : (set_attr "amdfam10_decode" "vector,double,*")
8526 : 54596 : (set_attr "bdver1_decode" "double,direct,*")
8527 : 53650 : (set_attr "btver2_decode" "double,double,double")
8528 : 52366 : (set_attr "znver1_decode" "double,double,double")
8529 : 106942 : (set (attr "length_vex")
8530 : 18 : (if_then_else
8531 : 35703 : (and (match_test "<MODE>mode == DImode")
8532 : : (eq_attr "alternative" "2"))
8533 : 115055 : (const_string "4")
8534 : 18 : (const_string "*")))
8535 : : (set (attr "prefix_rex")
8536 : 18 : (if_then_else
8537 : 255132 : (and (match_test "<MODE>mode == DImode")
8538 : : (eq_attr "alternative" "0,1"))
8539 : 0 : (const_string "1")
8540 : 0 : (const_string "*")))
8541 : 0 : (set_attr "prefix" "orig,orig,maybe_evex")
8542 : 0 : (set_attr "mode" "SF")])
8543 : :
8544 : 0 : (define_insn "sse_cvtss2si<rex64namesuffix><round_name>"
8545 : 0 : [(set (match_operand:SWI48 0 "register_operand" "=r,r")
8546 : : (unspec:SWI48
8547 : 0 : [(vec_select:SF
8548 : : (match_operand:V4SF 1 "<round_nimm_scalar_predicate>" "v,<round_constraint2>")
8549 : : (parallel [(const_int 0)]))]
8550 : 0 : UNSPEC_FIX_NOTRUNC))]
8551 : 233 : "TARGET_SSE"
8552 : : "%vcvtss2si<rex64suffix>\t{<round_op2>%1, %0|%0, %k1<round_op2>}"
8553 : : [(set_attr "type" "sseicvt")
8554 : : (set_attr "athlon_decode" "double,vector")
8555 : 249 : (set_attr "bdver1_decode" "double,double")
8556 : 249 : (set_attr "prefix_rep" "1")
8557 : : (set_attr "prefix" "maybe_vex")
8558 : : (set_attr "mode" "<MODE>")])
8559 : :
8560 : : (define_insn "sse_cvtss2si<rex64namesuffix>_2"
8561 : : [(set (match_operand:SWI48 0 "register_operand" "=r,r")
8562 : : (unspec:SWI48 [(match_operand:SF 1 "nonimmediate_operand" "v,m")]
8563 : : UNSPEC_FIX_NOTRUNC))]
8564 : 10 : "TARGET_SSE"
8565 : : "%vcvtss2si<rex64suffix>\t{%1, %0|%0, %1}"
8566 : : [(set_attr "type" "sseicvt")
8567 : : (set_attr "athlon_decode" "double,vector")
8568 : 23 : (set_attr "amdfam10_decode" "double,double")
8569 : 23 : (set_attr "bdver1_decode" "double,double")
8570 : : (set_attr "prefix_rep" "1")
8571 : : (set_attr "prefix" "maybe_vex")
8572 : : (set_attr "mode" "<MODE>")])
8573 : :
8574 : : (define_insn "unspec_sse_cvttss2si<rex64namesuffix><round_saeonly_name>"
8575 : : [(set (match_operand:SWI48 0 "register_operand" "=r,r")
8576 : : (unspec:SWI48
8577 : : [(match_operand:V4SF 1 "<round_saeonly_nimm_scalar_predicate>" "v,<round_saeonly_constraint>")]
8578 : : UNSPEC_VCVTT))]
8579 : 181 : "TARGET_SSE"
8580 : : "%vcvttss2si<rex64suffix>\t{<round_saeonly_op2>%1, %0|%0, %k1<round_saeonly_op2>}"
8581 : : [(set_attr "type" "sseicvt")
8582 : : (set_attr "athlon_decode" "double,vector")
8583 : 250 : (set_attr "amdfam10_decode" "double,double")
8584 : 250 : (set_attr "bdver1_decode" "double,double")
8585 : : (set_attr "prefix_rep" "1")
8586 : : (set_attr "prefix" "maybe_vex")
8587 : : (set_attr "mode" "<MODE>")])
8588 : :
8589 : : (define_insn "sse_cvttss2si<rex64namesuffix><round_saeonly_name>"
8590 : : [(set (match_operand:SWI48 0 "register_operand" "=r,r")
8591 : : (fix:SWI48
8592 : : (vec_select:SF
8593 : : (match_operand:V4SF 1 "<round_saeonly_nimm_scalar_predicate>" "v,<round_saeonly_constraint>")
8594 : : (parallel [(const_int 0)]))))]
8595 : 4 : "TARGET_SSE"
8596 : : "%vcvttss2si<rex64suffix>\t{<round_saeonly_op2>%1, %0|%0, %k1<round_saeonly_op2>}"
8597 : : [(set_attr "type" "sseicvt")
8598 : : (set_attr "athlon_decode" "double,vector")
8599 : 12 : (set_attr "amdfam10_decode" "double,double")
8600 : 12 : (set_attr "bdver1_decode" "double,double")
8601 : : (set_attr "prefix_rep" "1")
8602 : : (set_attr "prefix" "maybe_vex")
8603 : : (set_attr "mode" "<MODE>")])
8604 : :
8605 : : (define_insn "cvtusi2<ssescalarmodesuffix>32<round_name>"
8606 : : [(set (match_operand:VF_128 0 "register_operand" "=v")
8607 : : (vec_merge:VF_128
8608 : : (vec_duplicate:VF_128
8609 : : (unsigned_float:<ssescalarmode>
8610 : : (match_operand:SI 2 "<round_nimm_scalar_predicate>" "<round_constraint3>")))
8611 : : (match_operand:VF_128 1 "register_operand" "v")
8612 : : (const_int 1)))]
8613 : 62 : "TARGET_AVX512F && <round_modev4sf_condition>"
8614 : : "vcvtusi2<ssescalarmodesuffix>{l}\t{%2, <round_op3>%1, %0|%0, %1<round_op3>, %2}"
8615 : : [(set_attr "type" "sseicvt")
8616 : : (set_attr "prefix" "evex")
8617 : 176 : (set_attr "mode" "<ssescalarmode>")])
8618 : 176 :
8619 : : (define_insn "cvtusi2<ssescalarmodesuffix>64<round_name>"
8620 : : [(set (match_operand:VF_128 0 "register_operand" "=v")
8621 : : (vec_merge:VF_128
8622 : : (vec_duplicate:VF_128
8623 : : (unsigned_float:<ssescalarmode>
8624 : : (match_operand:DI 2 "<round_nimm_scalar_predicate>" "<round_constraint3>")))
8625 : : (match_operand:VF_128 1 "register_operand" "v")
8626 : : (const_int 1)))]
8627 : : "TARGET_AVX512F && TARGET_64BIT"
8628 : : "vcvtusi2<ssescalarmodesuffix>{q}\t{%2, <round_op3>%1, %0|%0, %1<round_op3>, %2}"
8629 : : [(set_attr "type" "sseicvt")
8630 : : (set_attr "prefix" "evex")
8631 : 117 : (set_attr "mode" "<ssescalarmode>")])
8632 : 117 :
8633 : : (define_insn "float<sseintvecmodelower><mode>2<mask_name><round_name>"
8634 : : [(set (match_operand:VF1 0 "register_operand" "=x,v")
8635 : 145 : (float:VF1
8636 : 145 : (match_operand:<sseintvecmode> 1 "<round_nimm_predicate>" "xBm,<round_constraint>")))]
8637 : 26044 : "TARGET_SSE2 && <mask_mode512bit_condition> && <round_mode_condition>"
8638 : : "@
8639 : : cvtdq2ps\t{%1, %0|%0, %1}
8640 : 91 : vcvtdq2ps\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
8641 : 396 : [(set_attr "isa" "noavx,avx")
8642 : 305 : (set_attr "type" "ssecvt")
8643 : 571 : (set_attr "prefix" "maybe_vex")
8644 : : (set_attr "mode" "<sseinsnmode>")])
8645 : :
8646 : : (define_insn "<mask_codefor>floatuns<sseintvecmodelower><mode>2<mask_name><round_name>"
8647 : : [(set (match_operand:VF1_AVX512VL 0 "register_operand" "=v")
8648 : : (unsigned_float:VF1_AVX512VL
8649 : 266 : (match_operand:<sseintvecmode> 1 "nonimmediate_operand" "<round_constraint>")))]
8650 : 84 : "TARGET_AVX512F && <round_mode_condition>"
8651 : : "vcvtudq2ps\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
8652 : : [(set_attr "type" "ssecvt")
8653 : : (set_attr "prefix" "evex")
8654 : : (set_attr "mode" "<MODE>")])
8655 : :
8656 : 266 : (define_expand "floatuns<sseintvecmodelower><mode>2"
8657 : : [(set (match_operand:VF1 0 "register_operand")
8658 : : (unsigned_float:VF1
8659 : : (match_operand:<sseintvecmode> 1 "register_operand")))]
8660 : : "TARGET_SSE2 && (<MODE>mode == V4SFmode || TARGET_AVX2)"
8661 : 53 : {
8662 : 803 : if (<MODE>mode != V16SFmode && !TARGET_AVX512VL)
8663 : : {
8664 : 48 : ix86_expand_vector_convert_uns_vsivsf (operands[0], operands[1]);
8665 : 48 : DONE;
8666 : : }
8667 : : })
8668 : :
8669 : :
8670 : 5 : ;; For <sse2_avx_avx512f>_fix_notrunc<sf2simodelower><mode> insn pattern
8671 : 5 : (define_mode_attr sf2simodelower
8672 : 5 : [(V16SI "v16sf") (V8SI "v8sf") (V4SI "v4sf")])
8673 : 5 :
8674 : : (define_insn "<sse2_avx_avx512f>_fix_notrunc<sf2simodelower><mode><mask_name><round_name>"
8675 : 5 : [(set (match_operand:VI4_AVX 0 "register_operand" "=v")
8676 : : (unspec:VI4_AVX
8677 : : [(match_operand:<ssePSmode> 1 "<round_nimm_predicate>" "<round_constraint4>")]
8678 : 5 : UNSPEC_FIX_NOTRUNC))]
8679 : 208 : "TARGET_SSE2 && <mask_mode512bit_condition> && <round_mode_condition>"
8680 : 5 : "%vcvtps2dq\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
8681 : : [(set_attr "type" "ssecvt")
8682 : : (set (attr "prefix_data16")
8683 : 327 : (if_then_else
8684 : 327 : (match_test "TARGET_AVX")
8685 : 585 : (const_string "*")
8686 : : (const_string "1")))
8687 : : (set_attr "prefix" "maybe_vex")
8688 : 1 : (set_attr "mode" "<sseinsnmode>")])
8689 : 5 :
8690 : 5 : (define_insn "avx512f_fix_notruncv16sfv16si<mask_name><round_name>"
8691 : 258 : [(set (match_operand:V16SI 0 "register_operand" "=v")
8692 : 5 : (unspec:V16SI
8693 : 5 : [(match_operand:V16SF 1 "<round_nimm_predicate>" "<round_constraint>")]
8694 : 4 : UNSPEC_FIX_NOTRUNC))]
8695 : 568 : "TARGET_AVX512F && TARGET_EVEX512"
8696 : : "vcvtps2dq\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
8697 : : [(set_attr "type" "ssecvt")
8698 : : (set_attr "prefix" "evex")
8699 : : (set_attr "mode" "XI")])
8700 : :
8701 : : (define_insn "<mask_codefor><avx512>_fixuns_notrunc<sf2simodelower><mode><mask_name><round_name>"
8702 : : [(set (match_operand:VI4_AVX512VL 0 "register_operand" "=v")
8703 : 1953 : (unspec:VI4_AVX512VL
8704 : 1953 : [(match_operand:<ssePSmode> 1 "nonimmediate_operand" "<round_constraint>")]
8705 : 246 : UNSPEC_UNSIGNED_FIX_NOTRUNC))]
8706 : 436 : "TARGET_AVX512F && <round_mode_condition>"
8707 : 51 : "vcvtps2udq\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
8708 : 1627 : [(set_attr "type" "ssecvt")
8709 : 23 : (set_attr "prefix" "evex")
8710 : 610 : (set_attr "mode" "<sseinsnmode>")])
8711 : 610 :
8712 : 857 : (define_insn "<mask_codefor>avx512dq_cvtps2qq<mode><mask_name><round_name>"
8713 : : [(set (match_operand:VI8_256_512 0 "register_operand" "=v")
8714 : : (unspec:VI8_256_512 [(match_operand:<ssePSmode2> 1 "nonimmediate_operand" "<round_constraint>")]
8715 : : UNSPEC_FIX_NOTRUNC))]
8716 : 90 : "TARGET_AVX512DQ && <round_mode_condition>"
8717 : : "vcvtps2qq\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
8718 : 756 : [(set_attr "type" "ssecvt")
8719 : : (set_attr "prefix" "evex")
8720 : : (set_attr "mode" "<sseinsnmode>")])
8721 : :
8722 : 263 : (define_insn "<mask_codefor>avx512dq_cvtps2qqv2di<mask_name>"
8723 : : [(set (match_operand:V2DI 0 "register_operand" "=v")
8724 : : (unspec:V2DI
8725 : : [(vec_select:V2SF
8726 : : (match_operand:V4SF 1 "nonimmediate_operand" "vm")
8727 : : (parallel [(const_int 0) (const_int 1)]))]
8728 : 710 : UNSPEC_FIX_NOTRUNC))]
8729 : : "TARGET_AVX512DQ && TARGET_AVX512VL"
8730 : : "vcvtps2qq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %q1}"
8731 : : [(set_attr "type" "ssecvt")
8732 : : (set_attr "prefix" "evex")
8733 : : (set_attr "mode" "TI")])
8734 : :
8735 : : (define_insn "<mask_codefor>avx512dq_cvtps2uqq<mode><mask_name><round_name>"
8736 : : [(set (match_operand:VI8_256_512 0 "register_operand" "=v")
8737 : : (unspec:VI8_256_512 [(match_operand:<ssePSmode2> 1 "nonimmediate_operand" "<round_constraint>")]
8738 : : UNSPEC_UNSIGNED_FIX_NOTRUNC))]
8739 : 10630 : "TARGET_AVX512DQ && <round_mode_condition>"
8740 : : "vcvtps2uqq\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
8741 : : [(set_attr "type" "ssecvt")
8742 : : (set_attr "prefix" "evex")
8743 : 10540 : (set_attr "mode" "<sseinsnmode>")])
8744 : 10540 :
8745 : 10803 : (define_insn "<mask_codefor>avx512dq_cvtps2uqqv2di<mask_name>"
8746 : 10540 : [(set (match_operand:V2DI 0 "register_operand" "=v")
8747 : 10540 : (unspec:V2DI
8748 : 10540 : [(vec_select:V2SF
8749 : 10540 : (match_operand:V4SF 1 "nonimmediate_operand" "vm")
8750 : 10540 : (parallel [(const_int 0) (const_int 1)]))]
8751 : 11250 : UNSPEC_UNSIGNED_FIX_NOTRUNC))]
8752 : 10540 : "TARGET_AVX512DQ && TARGET_AVX512VL"
8753 : 4554 : "vcvtps2uqq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %q1}"
8754 : 4753 : [(set_attr "type" "ssecvt")
8755 : 4753 : (set_attr "prefix" "evex")
8756 : 4554 : (set_attr "mode" "TI")])
8757 : :
8758 : 737 : (define_insn "unspec_fix<vcvtt_uns_suffix>_truncv16sfv16si2<mask_name><round_saeonly_name>"
8759 : 538 : [(set (match_operand:V16SI 0 "register_operand" "=v")
8760 : : (unspec:V16SI
8761 : : [(match_operand:V16SF 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
8762 : 59686 : UNSPEC_VCVTT_U))]
8763 : 1084 : "TARGET_AVX512F && TARGET_EVEX512"
8764 : : "vcvttps2<vcvtt_suffix>dq\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
8765 : : [(set_attr "type" "ssecvt")
8766 : 59148 : (set_attr "prefix" "evex")
8767 : 59148 : (set_attr "mode" "XI")])
8768 : 59148 :
8769 : 59148 : (define_insn "fix<fixunssuffix>_truncv16sfv16si2<mask_name><round_saeonly_name>"
8770 : 59148 : [(set (match_operand:V16SI 0 "register_operand" "=v")
8771 : 63038 : (any_fix:V16SI
8772 : 60977 : (match_operand:V16SF 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")))]
8773 : 59368 : "TARGET_AVX512F && TARGET_EVEX512"
8774 : 2061 : "vcvttps2<fixsuffix>dq\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
8775 : 18302 : [(set_attr "type" "ssecvt")
8776 : 16262 : (set_attr "prefix" "evex")
8777 : 2061 : (set_attr "mode" "XI")])
8778 : 14485 :
8779 : 14485 : (define_insn "unspec_fix_truncv8sfv8si2<mask_name><round_saeonly_name>"
8780 : 14485 : [(set (match_operand:V8SI 0 "register_operand" "=v")
8781 : 14706 : (unspec:V8SI [(match_operand:V8SF 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
8782 : 12645 : UNSPEC_VCVTT))]
8783 : 12729 : "TARGET_AVX && <mask_avx512vl_condition>
8784 : 383 : && (!<round_saeonly_applied> || TARGET_AVX10_2_256)"
8785 : 347 : "vcvttps2dq\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
8786 : 367 : [(set_attr "type" "ssecvt")
8787 : 497 : (set_attr "prefix" "<mask_prefix>")
8788 : 542 : (set_attr "mode" "OI")])
8789 : 904 :
8790 : 347 : (define_insn "fix_truncv8sfv8si2<mask_name>"
8791 : 347 : [(set (match_operand:V8SI 0 "register_operand" "=v")
8792 : : (fix:V8SI (match_operand:V8SF 1 "nonimmediate_operand" "vm")))]
8793 : 817 : "TARGET_AVX && <mask_avx512vl_condition>"
8794 : : "vcvttps2dq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
8795 : 79 : [(set_attr "type" "ssecvt")
8796 : 79 : (set_attr "prefix" "<mask_prefix>")
8797 : 238 : (set_attr "mode" "OI")])
8798 : 238 :
8799 : 238 : (define_insn "unspec_fix_truncv4sfv4si2<mask_name>"
8800 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
8801 : : (unspec:V4SI [(match_operand:V4SF 1 "vector_operand" "vBm")]
8802 : : UNSPEC_VCVTT))]
8803 : 109 : "TARGET_SSE2 && <mask_avx512vl_condition>"
8804 : : "%vcvttps2dq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
8805 : : [(set_attr "type" "ssecvt")
8806 : : (set (attr "prefix_rep")
8807 : 294 : (if_then_else
8808 : 294 : (match_test "TARGET_AVX")
8809 : 294 : (const_string "*")
8810 : : (const_string "1")))
8811 : : (set (attr "prefix_data16")
8812 : : (if_then_else
8813 : : (match_test "TARGET_AVX")
8814 : : (const_string "*")
8815 : : (const_string "0")))
8816 : : (set_attr "prefix_data16" "0")
8817 : : (set_attr "prefix" "<mask_prefix2>")
8818 : : (set_attr "mode" "TI")])
8819 : :
8820 : : (define_insn "fix_truncv4sfv4si2<mask_name>"
8821 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
8822 : : (fix:V4SI (match_operand:V4SF 1 "vector_operand" "vBm")))]
8823 : 4450 : "TARGET_SSE2 && <mask_avx512vl_condition>"
8824 : : "%vcvttps2dq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
8825 : : [(set_attr "type" "ssecvt")
8826 : : (set (attr "prefix_rep")
8827 : 656 : (if_then_else
8828 : 656 : (match_test "TARGET_AVX")
8829 : 656 : (const_string "*")
8830 : : (const_string "1")))
8831 : : (set (attr "prefix_data16")
8832 : : (if_then_else
8833 : : (match_test "TARGET_AVX")
8834 : : (const_string "*")
8835 : : (const_string "0")))
8836 : : (set_attr "prefix_data16" "0")
8837 : : (set_attr "prefix" "<mask_prefix2>")
8838 : : (set_attr "mode" "TI")])
8839 : :
8840 : : (define_expand "fixuns_trunc<mode><sseintvecmodelower>2"
8841 : : [(set (match_operand:<sseintvecmode> 0 "register_operand")
8842 : : (unsigned_fix:<sseintvecmode>
8843 : : (match_operand:VF1_128_256 1 "register_operand")))]
8844 : : "TARGET_SSE2"
8845 : 13 : {
8846 : : /* AVX512 support vcvttps2udq for all 128/256/512-bit vectors. */
8847 : 13 : if (!TARGET_AVX512VL)
8848 : : {
8849 : 10 : rtx tmp[3];
8850 : 10 : tmp[0] = ix86_expand_adjust_ufix_to_sfix_si (operands[1], &tmp[2]);
8851 : 10 : tmp[1] = gen_reg_rtx (<sseintvecmode>mode);
8852 : 10 : emit_insn (gen_fix_trunc<mode><sseintvecmodelower>2 (tmp[1], tmp[0]));
8853 : 10 : emit_insn (gen_xor<sseintvecmodelower>3 (operands[0], tmp[1], tmp[2]));
8854 : 10 : DONE;
8855 : : }
8856 : : })
8857 : :
8858 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
8859 : 3 : ;;
8860 : 3 : ;; Parallel double-precision floating point conversion operations
8861 : 3 : ;;
8862 : 3 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
8863 : :
8864 : 3 : (define_insn "sse2_cvtpi2pd"
8865 : : [(set (match_operand:V2DF 0 "register_operand" "=v,?!x")
8866 : : (float:V2DF (match_operand:V2SI 1 "nonimmediate_operand" "vBm,yBm")))]
8867 : 571 : "TARGET_SSE2"
8868 : 3 : "@
8869 : 3 : %vcvtdq2pd\t{%1, %0|%0, %1}
8870 : : cvtpi2pd\t{%1, %0|%0, %1}"
8871 : 63 : [(set_attr "mmx_isa" "*,native")
8872 : 63 : (set_attr "type" "ssecvt")
8873 : : (set_attr "unit" "*,mmx")
8874 : 5 : (set_attr "prefix_data16" "*,1")
8875 : : (set_attr "prefix" "maybe_vex,*")
8876 : : (set_attr "mode" "V2DF")])
8877 : :
8878 : 5 : (define_expand "floatv2siv2df2"
8879 : 5 : [(set (match_operand:V2DF 0 "register_operand")
8880 : 5 : (float:V2DF (match_operand:V2SI 1 "nonimmediate_operand")))]
8881 : 5 : "TARGET_MMX_WITH_SSE")
8882 : 5 :
8883 : 5 : (define_insn "floatunsv2siv2df2"
8884 : 5 : [(set (match_operand:V2DF 0 "register_operand" "=v")
8885 : : (unsigned_float:V2DF
8886 : : (match_operand:V2SI 1 "nonimmediate_operand" "vm")))]
8887 : : "TARGET_MMX_WITH_SSE && TARGET_AVX512VL"
8888 : : "vcvtudq2pd\t{%1, %0|%0, %1}"
8889 : : [(set_attr "type" "ssecvt")
8890 : : (set_attr "prefix" "evex")
8891 : 63 : (set_attr "mode" "V2DF")])
8892 : 63 :
8893 : : (define_insn "sse2_cvtpd2pi"
8894 : : [(set (match_operand:V2SI 0 "register_operand" "=v,?!y")
8895 : : (unspec:V2SI [(match_operand:V2DF 1 "vector_operand" "vBm,xBm")]
8896 : : UNSPEC_FIX_NOTRUNC))]
8897 : 73 : "TARGET_SSE2"
8898 : : "@
8899 : : * return TARGET_AVX ? \"vcvtpd2dq{x}\t{%1, %0|%0, %1}\" : \"cvtpd2dq\t{%1, %0|%0, %1}\";
8900 : : cvtpd2pi\t{%1, %0|%0, %1}"
8901 : 1144 : [(set_attr "mmx_isa" "*,native")
8902 : 1144 : (set_attr "type" "ssecvt")
8903 : : (set_attr "unit" "*,mmx")
8904 : 4 : (set_attr "amdfam10_decode" "double")
8905 : 4 : (set_attr "athlon_decode" "vector")
8906 : 4 : (set_attr "bdver1_decode" "double")
8907 : : (set_attr "prefix_data16" "*,1")
8908 : 4 : (set_attr "prefix" "maybe_vex,*")
8909 : 4 : (set_attr "mode" "TI")])
8910 : 4 :
8911 : 4 : (define_insn "unspec_sse2_cvttpd2pi"
8912 : : [(set (match_operand:V2SI 0 "register_operand" "=v,?!y")
8913 : : (unspec:V2SI [(match_operand:V2DF 1 "vector_operand" "vBm,xBm")]
8914 : : UNSPEC_VCVTT))]
8915 : 70 : "TARGET_SSE2"
8916 : : "@
8917 : : * return TARGET_AVX ? \"vcvttpd2dq{x}\t{%1, %0|%0, %1}\" : \"cvttpd2dq\t{%1, %0|%0, %1}\";
8918 : : cvttpd2pi\t{%1, %0|%0, %1}"
8919 : : [(set_attr "mmx_isa" "*,native")
8920 : : (set_attr "type" "ssecvt")
8921 : : (set_attr "unit" "*,mmx")
8922 : : (set_attr "amdfam10_decode" "double")
8923 : 3618 : (set_attr "athlon_decode" "vector")
8924 : 3618 : (set_attr "bdver1_decode" "double")
8925 : : (set_attr "prefix_data16" "*,1")
8926 : 76 : (set_attr "prefix" "maybe_vex,*")
8927 : 76 : (set_attr "mode" "TI")])
8928 : 76 :
8929 : : (define_insn "sse2_cvttpd2pi"
8930 : 76 : [(set (match_operand:V2SI 0 "register_operand" "=v,?!y")
8931 : 76 : (fix:V2SI (match_operand:V2DF 1 "vector_operand" "vBm,xBm")))]
8932 : 1490 : "TARGET_SSE2"
8933 : 268 : "@
8934 : : * return TARGET_AVX ? \"vcvttpd2dq{x}\t{%1, %0|%0, %1}\" : \"cvttpd2dq\t{%1, %0|%0, %1}\";
8935 : : cvttpd2pi\t{%1, %0|%0, %1}"
8936 : : [(set_attr "mmx_isa" "*,native")
8937 : : (set_attr "type" "ssecvt")
8938 : : (set_attr "unit" "*,mmx")
8939 : : (set_attr "amdfam10_decode" "double")
8940 : : (set_attr "athlon_decode" "vector")
8941 : : (set_attr "bdver1_decode" "double")
8942 : 3317196 : (set_attr "prefix_data16" "*,1")
8943 : : (set_attr "prefix" "maybe_vex,*")
8944 : : (set_attr "mode" "TI")])
8945 : :
8946 : 3317196 : (define_expand "fix_truncv2dfv2si2"
8947 : 3317196 : [(set (match_operand:V2SI 0 "register_operand")
8948 : 3317196 : (fix:V2SI (match_operand:V2DF 1 "vector_operand")))]
8949 : 3317196 : "TARGET_MMX_WITH_SSE")
8950 : 3317196 :
8951 : 3317196 : (define_insn "unspec_fixuns_truncv2dfv2si2"
8952 : 3317196 : [(set (match_operand:V2SI 0 "register_operand" "=v")
8953 : : (unspec:V2SI
8954 : 1912033 : [(match_operand:V2DF 1 "nonimmediate_operand" "vm")]
8955 : 1912033 : UNSPEC_VCVTTU))]
8956 : 1912033 : "TARGET_MMX_WITH_SSE && TARGET_AVX512VL"
8957 : 1912033 : "vcvttpd2udq{x}\t{%1, %0|%0, %1}"
8958 : 1912033 : [(set_attr "type" "ssecvt")
8959 : 1912033 : (set_attr "prefix" "evex")
8960 : 950 : (set_attr "mode" "TI")])
8961 : 1672018 :
8962 : 1559901 : (define_insn "fixuns_truncv2dfv2si2"
8963 : 1944399 : [(set (match_operand:V2SI 0 "register_operand" "=v")
8964 : 950 : (unsigned_fix:V2SI
8965 : 273093 : (match_operand:V2DF 1 "nonimmediate_operand" "vm")))]
8966 : 272143 : "TARGET_MMX_WITH_SSE && TARGET_AVX512VL"
8967 : 1 : "vcvttpd2udq{x}\t{%1, %0|%0, %1}"
8968 : 4275 : [(set_attr "type" "ssecvt")
8969 : 4275 : (set_attr "prefix" "evex")
8970 : 4043 : (set_attr "mode" "TI")])
8971 : 4269 :
8972 : 4043 : (define_insn "sse2_cvtsi2sd"
8973 : 74 : [(set (match_operand:V2DF 0 "register_operand" "=x,x,v")
8974 : 1292 : (vec_merge:V2DF
8975 : 1292 : (vec_duplicate:V2DF
8976 : 187453 : (float:DF (match_operand:SI 2 "nonimmediate_operand" "r,m,rm")))
8977 : 453 : (match_operand:V2DF 1 "register_operand" "0,0,v")
8978 : : (const_int 1)))]
8979 : 37277 : "TARGET_SSE2"
8980 : 187453 : "@
8981 : 187453 : cvtsi2sd{l}\t{%2, %0|%0, %2}
8982 : 187000 : cvtsi2sd{l}\t{%2, %0|%0, %2}
8983 : 223986 : vcvtsi2sd{l}\t{%2, %1, %0|%0, %1, %2}"
8984 : 223986 : [(set_attr "isa" "noavx,noavx,avx")
8985 : 187000 : (set_attr "type" "sseicvt2")
8986 : 187000 : (set_attr "athlon_decode" "double,direct,*")
8987 : : (set_attr "amdfam10_decode" "vector,double,*")
8988 : 246 : (set_attr "bdver1_decode" "double,direct,*")
8989 : 246 : (set_attr "btver2_decode" "double,double,double")
8990 : 246 : (set_attr "znver1_decode" "double,double,double")
8991 : : (set_attr "prefix" "orig,orig,maybe_evex")
8992 : 244 : (set_attr "mode" "DF")])
8993 : 2 :
8994 : : (define_insn "sse2_cvtsi2sdq<round_name>"
8995 : : [(set (match_operand:V2DF 0 "register_operand" "=x,x,v")
8996 : : (vec_merge:V2DF
8997 : : (vec_duplicate:V2DF
8998 : : (float:DF (match_operand:DI 2 "<round_nimm_scalar_predicate>" "r,m,<round_constraint3>")))
8999 : : (match_operand:V2DF 1 "register_operand" "0,0,v")
9000 : : (const_int 1)))]
9001 : : "TARGET_SSE2 && TARGET_64BIT"
9002 : : "@
9003 : : cvtsi2sd{q}\t{%2, %0|%0, %2}
9004 : : cvtsi2sd{q}\t{%2, %0|%0, %2}
9005 : : vcvtsi2sd{q}\t{%2, <round_op3>%1, %0|%0, %1<round_op3>, %2}"
9006 : : [(set_attr "isa" "noavx,noavx,avx")
9007 : : (set_attr "type" "sseicvt2")
9008 : : (set_attr "athlon_decode" "double,direct,*")
9009 : 687 : (set_attr "amdfam10_decode" "vector,double,*")
9010 : 687 : (set_attr "bdver1_decode" "double,direct,*")
9011 : : (set_attr "length_vex" "*,*,4")
9012 : 131 : (set_attr "prefix_rex" "1,1,*")
9013 : 901 : (set_attr "prefix" "orig,orig,maybe_evex")
9014 : 770 : (set_attr "mode" "DF")])
9015 : 770 :
9016 : : (define_insn "avx512f_vcvtss2usi<rex64namesuffix><round_name>"
9017 : : [(set (match_operand:SWI48 0 "register_operand" "=r")
9018 : 766 : (unspec:SWI48
9019 : 467 : [(vec_select:SF
9020 : 974 : (match_operand:V4SF 1 "<round_nimm_predicate>" "<round_constraint>")
9021 : : (parallel [(const_int 0)]))]
9022 : : UNSPEC_UNSIGNED_FIX_NOTRUNC))]
9023 : 25 : "TARGET_AVX512F"
9024 : : "vcvtss2usi\t{<round_op2>%1, %0|%0, %k1<round_op2>}"
9025 : : [(set_attr "type" "sseicvt")
9026 : : (set_attr "prefix" "evex")
9027 : 25 : (set_attr "mode" "<MODE>")])
9028 : 25 :
9029 : : (define_insn "unspec_avx512f_vcvttss2usi<rex64namesuffix><round_saeonly_name>"
9030 : : [(set (match_operand:SWI48 0 "register_operand" "=r")
9031 : : (unspec:SWI48
9032 : : [(match_operand:V4SF 1 "<round_saeonly_nimm_scalar_predicate>" "<round_saeonly_constraint>")]
9033 : : UNSPEC_VCVTTU))]
9034 : 19 : "TARGET_AVX512F"
9035 : : "vcvttss2usi\t{<round_saeonly_op2>%1, %0|%0, %k1<round_saeonly_op2>}"
9036 : : [(set_attr "type" "sseicvt")
9037 : : (set_attr "prefix" "evex")
9038 : 19 : (set_attr "mode" "<MODE>")])
9039 : 19 :
9040 : : (define_insn "avx512f_vcvttss2usi<rex64namesuffix><round_saeonly_name>"
9041 : : [(set (match_operand:SWI48 0 "register_operand" "=r")
9042 : : (unsigned_fix:SWI48
9043 : : (vec_select:SF
9044 : : (match_operand:V4SF 1 "<round_saeonly_nimm_scalar_predicate>" "<round_saeonly_constraint>")
9045 : : (parallel [(const_int 0)]))))]
9046 : 0 : "TARGET_AVX512F"
9047 : : "vcvttss2usi\t{<round_saeonly_op2>%1, %0|%0, %k1<round_saeonly_op2>}"
9048 : : [(set_attr "type" "sseicvt")
9049 : : (set_attr "prefix" "evex")
9050 : 0 : (set_attr "mode" "<MODE>")])
9051 : 0 :
9052 : : (define_insn "avx512f_vcvtsd2usi<rex64namesuffix><round_name>"
9053 : : [(set (match_operand:SWI48 0 "register_operand" "=r")
9054 : : (unspec:SWI48
9055 : : [(vec_select:DF
9056 : : (match_operand:V2DF 1 "<round_nimm_predicate>" "<round_constraint>")
9057 : : (parallel [(const_int 0)]))]
9058 : : UNSPEC_UNSIGNED_FIX_NOTRUNC))]
9059 : 25 : "TARGET_AVX512F"
9060 : : "vcvtsd2usi\t{<round_op2>%1, %0|%0, %q1<round_op2>}"
9061 : : [(set_attr "type" "sseicvt")
9062 : : (set_attr "prefix" "evex")
9063 : : (set_attr "mode" "<MODE>")])
9064 : :
9065 : : (define_insn "unspec_avx512f_vcvttsd2usi<rex64namesuffix><round_saeonly_name>"
9066 : : [(set (match_operand:SWI48 0 "register_operand" "=r")
9067 : 81 : (unspec:SWI48
9068 : 81 : [(match_operand:V2DF 1 "<round_saeonly_nimm_scalar_predicate>" "<round_saeonly_constraint>")]
9069 : : UNSPEC_VCVTTU))]
9070 : 19 : "TARGET_AVX512F"
9071 : 10 : "vcvttsd2usi\t{<round_saeonly_op2>%1, %0|%0, %q1<round_saeonly_op2>}"
9072 : 10 : [(set_attr "type" "sseicvt")
9073 : : (set_attr "prefix" "evex")
9074 : 10 : (set_attr "mode" "<MODE>")])
9075 : 10 :
9076 : : (define_insn "avx512f_vcvttsd2usi<rex64namesuffix><round_saeonly_name>"
9077 : : [(set (match_operand:SWI48 0 "register_operand" "=r")
9078 : : (unsigned_fix:SWI48
9079 : : (vec_select:DF
9080 : : (match_operand:V2DF 1 "<round_saeonly_nimm_scalar_predicate>" "<round_saeonly_constraint>")
9081 : : (parallel [(const_int 0)]))))]
9082 : 0 : "TARGET_AVX512F"
9083 : : "vcvttsd2usi\t{<round_saeonly_op2>%1, %0|%0, %q1<round_saeonly_op2>}"
9084 : : [(set_attr "type" "sseicvt")
9085 : : (set_attr "prefix" "evex")
9086 : 0 : (set_attr "mode" "<MODE>")])
9087 : 0 :
9088 : : (define_insn "sse2_cvtsd2si<rex64namesuffix><round_name>"
9089 : : [(set (match_operand:SWI48 0 "register_operand" "=r,r")
9090 : : (unspec:SWI48
9091 : : [(vec_select:DF
9092 : : (match_operand:V2DF 1 "<round_nimm_scalar_predicate>" "v,<round_constraint2>")
9093 : : (parallel [(const_int 0)]))]
9094 : : UNSPEC_FIX_NOTRUNC))]
9095 : 143 : "TARGET_SSE2"
9096 : : "%vcvtsd2si<rex64suffix>\t{<round_op2>%1, %0|%0, %q1<round_op2>}"
9097 : : [(set_attr "type" "sseicvt")
9098 : : (set_attr "athlon_decode" "double,vector")
9099 : 127 : (set_attr "bdver1_decode" "double,double")
9100 : 127 : (set_attr "btver2_decode" "double,double")
9101 : : (set_attr "prefix_rep" "1")
9102 : : (set_attr "prefix" "maybe_vex")
9103 : 431 : (set_attr "mode" "<MODE>")])
9104 : 431 :
9105 : : (define_insn "sse2_cvtsd2si<rex64namesuffix>_2"
9106 : : [(set (match_operand:SWI48 0 "register_operand" "=r,r")
9107 : 10 : (unspec:SWI48 [(match_operand:DF 1 "nonimmediate_operand" "v,m")]
9108 : 10 : UNSPEC_FIX_NOTRUNC))]
9109 : 23 : "TARGET_SSE2"
9110 : : "%vcvtsd2si<rex64suffix>\t{%1, %0|%0, %q1}"
9111 : : [(set_attr "type" "sseicvt")
9112 : : (set_attr "athlon_decode" "double,vector")
9113 : : (set_attr "amdfam10_decode" "double,double")
9114 : : (set_attr "bdver1_decode" "double,double")
9115 : : (set_attr "prefix_rep" "1")
9116 : : (set_attr "prefix" "maybe_vex")
9117 : 1316 : (set_attr "mode" "<MODE>")])
9118 : 1316 :
9119 : : (define_insn "unspec_sse2_cvttsd2si<rex64namesuffix><round_saeonly_name>"
9120 : : [(set (match_operand:SWI48 0 "register_operand" "=r,r")
9121 : 0 : (unspec:SWI48
9122 : 0 : [(match_operand:V2DF 1 "<round_saeonly_nimm_scalar_predicate>" "v,<round_saeonly_constraint2>")]
9123 : : UNSPEC_VCVTT))]
9124 : 97 : "TARGET_SSE2"
9125 : : "%vcvttsd2si<rex64suffix>\t{<round_saeonly_op2>%1, %0|%0, %q1<round_saeonly_op2>}"
9126 : : [(set_attr "type" "sseicvt")
9127 : : (set_attr "athlon_decode" "double,vector")
9128 : 137 : (set_attr "amdfam10_decode" "double,double")
9129 : 137 : (set_attr "bdver1_decode" "double,double")
9130 : : (set_attr "btver2_decode" "double,double")
9131 : : (set_attr "prefix_rep" "1")
9132 : : (set_attr "prefix" "maybe_vex")
9133 : : (set_attr "mode" "<MODE>")])
9134 : :
9135 : : (define_insn "sse2_cvttsd2si<rex64namesuffix><round_saeonly_name>"
9136 : : [(set (match_operand:SWI48 0 "register_operand" "=r,r")
9137 : : (fix:SWI48
9138 : : (vec_select:DF
9139 : : (match_operand:V2DF 1 "<round_saeonly_nimm_scalar_predicate>" "v,<round_saeonly_constraint2>")
9140 : : (parallel [(const_int 0)]))))]
9141 : 15 : "TARGET_SSE2"
9142 : : "%vcvttsd2si<rex64suffix>\t{<round_saeonly_op2>%1, %0|%0, %q1<round_saeonly_op2>}"
9143 : : [(set_attr "type" "sseicvt")
9144 : : (set_attr "athlon_decode" "double,vector")
9145 : 0 : (set_attr "amdfam10_decode" "double,double")
9146 : 0 : (set_attr "bdver1_decode" "double,double")
9147 : : (set_attr "btver2_decode" "double,double")
9148 : : (set_attr "prefix_rep" "1")
9149 : : (set_attr "prefix" "maybe_vex")
9150 : : (set_attr "mode" "<MODE>")])
9151 : :
9152 : : ;; For float<si2dfmode><mode>2 insn pattern
9153 : : (define_mode_attr si2dfmode
9154 : : [(V8DF "V8SI") (V4DF "V4SI")])
9155 : : (define_mode_attr si2dfmodelower
9156 : : [(V8DF "v8si") (V4DF "v4si")])
9157 : :
9158 : : (define_insn "float<si2dfmodelower><mode>2<mask_name>"
9159 : : [(set (match_operand:VF2_512_256 0 "register_operand" "=v")
9160 : : (float:VF2_512_256 (match_operand:<si2dfmode> 1 "nonimmediate_operand" "vm")))]
9161 : 881 : "TARGET_AVX && <mask_mode512bit_condition>"
9162 : : "vcvtdq2pd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
9163 : : [(set_attr "type" "ssecvt")
9164 : : (set_attr "prefix" "maybe_vex")
9165 : 314 : (set_attr "mode" "<MODE>")])
9166 : 314 :
9167 : : (define_insn "float<floatunssuffix><sseintvecmodelower><mode>2<mask_name><round_name>"
9168 : : [(set (match_operand:VF2_AVX512VL 0 "register_operand" "=v")
9169 : : (any_float:VF2_AVX512VL
9170 : : (match_operand:<sseintvecmode> 1 "nonimmediate_operand" "<round_constraint>")))]
9171 : 274 : "TARGET_AVX512DQ && <round_mode_condition>"
9172 : : "vcvt<floatsuffix>qq2pd\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
9173 : : [(set_attr "type" "ssecvt")
9174 : : (set_attr "prefix" "evex")
9175 : : (set_attr "mode" "<MODE>")])
9176 : :
9177 : 528 : ;; For float<floatunssuffix><sselondveclower><mode> insn patterns
9178 : : (define_mode_attr qq2pssuff
9179 : : [(V8DI "") (V4DI "{y}")])
9180 : :
9181 : : (define_insn "float<floatunssuffix><mode><ssePSmode2lower>2<mask_name><round_name>"
9182 : : [(set (match_operand:<ssePSmode2> 0 "register_operand" "=v")
9183 : 1422 : (any_float:<ssePSmode2>
9184 : : (match_operand:VI8_256_512 1 "nonimmediate_operand" "<round_constraint>")))]
9185 : 248 : "TARGET_AVX512DQ && <round_mode_condition>"
9186 : : "vcvt<floatsuffix>qq2ps<round_qq2pssuff>\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
9187 : : [(set_attr "type" "ssecvt")
9188 : : (set_attr "prefix" "evex")
9189 : : (set_attr "mode" "<sseinsnmode>")])
9190 : :
9191 : 526 : (define_expand "avx512dq_float<floatunssuffix>v2div2sf2"
9192 : : [(set (match_operand:V4SF 0 "register_operand" "=v")
9193 : : (vec_concat:V4SF
9194 : : (any_float:V2SF (match_operand:V2DI 1 "nonimmediate_operand" "vm"))
9195 : : (match_dup 2)))]
9196 : : "TARGET_AVX512DQ && TARGET_AVX512VL"
9197 : 1436 : "operands[2] = CONST0_RTX (V2SFmode);")
9198 : :
9199 : : (define_insn "*avx512dq_float<floatunssuffix>v2div2sf2"
9200 : 16 : [(set (match_operand:V4SF 0 "register_operand" "=v")
9201 : 16 : (vec_concat:V4SF
9202 : 16 : (any_float:V2SF (match_operand:V2DI 1 "nonimmediate_operand" "vm"))
9203 : 16 : (match_operand:V2SF 2 "const0_operand")))]
9204 : 16 : "TARGET_AVX512DQ && TARGET_AVX512VL"
9205 : 16 : "vcvt<floatsuffix>qq2ps{x}\t{%1, %0|%0, %1}"
9206 : : [(set_attr "type" "ssecvt")
9207 : 16 : (set_attr "prefix" "evex")
9208 : : (set_attr "mode" "V4SF")])
9209 : :
9210 : : (define_expand "float<floatunssuffix>v2div2sf2"
9211 : : [(set (match_operand:V2SF 0 "register_operand")
9212 : 14441 : (any_float:V2SF (match_operand:V2DI 1 "nonimmediate_operand")))]
9213 : 14441 : "TARGET_AVX512DQ && TARGET_AVX512VL"
9214 : 20 : {
9215 : 26196 : rtx op0 = gen_reg_rtx (V4SFmode);
9216 : 64 :
9217 : 26132 : emit_insn (gen_avx512dq_float<floatunssuffix>v2div2sf2
9218 : : (op0, operands[1]));
9219 : 24979 :
9220 : 24979 : emit_move_insn (operands[0], lowpart_subreg (V2SFmode, op0, V4SFmode));
9221 : 24979 : DONE;
9222 : 24975 : })
9223 : 24979 :
9224 : 24979 : (define_mode_attr vpckfloat_concat_mode
9225 : 24979 : [(V8DI "v16sf") (V4DI "v8sf") (V2DI "v8sf")
9226 : 4 : (V16SI "v32hf") (V8SI "v16hf") (V4SI "v16hf")
9227 : 261 : (V16SF "v32hf") (V8SF "v16hf") (V4SF "v16hf")])
9228 : 261 : (define_mode_attr vpckfloat_temp_mode
9229 : 261 : [(V8DI "V8SF") (V4DI "V4SF") (V2DI "V4SF")
9230 : : (V16SI "V16HF") (V8SI "V8HF") (V4SI "V8HF")
9231 : 242 : (V16SF "V16HF") (V8SF "V8HF") (V4SF "V8HF")])
9232 : : (define_mode_attr vpckfloat_op_mode
9233 : 176 : [(V8DI "v8sf") (V4DI "v4sf") (V2DI "v2sf")
9234 : 176 : (V16SI "v16hf") (V8SI "v8hf") (V4SI "v4hf")
9235 : : (V16SF "v16hf") (V8SF "v8hf") (V4SF "v4hf")])
9236 : 176 :
9237 : : (define_expand "vec_pack<floatprefix>_float_<mode>"
9238 : 77 : [(match_operand:<ssePSmode> 0 "register_operand")
9239 : 77 : (any_float:<ssePSmode>
9240 : 84 : (match_operand:VI8_AVX512VL 1 "register_operand"))
9241 : : (match_operand:VI8_AVX512VL 2 "register_operand")]
9242 : : "TARGET_AVX512DQ"
9243 : 14 : {
9244 : 21 : rtx r1 = gen_reg_rtx (<vpckfloat_temp_mode>mode);
9245 : 21 : rtx r2 = gen_reg_rtx (<vpckfloat_temp_mode>mode);
9246 : 21 : rtx (*gen) (rtx, rtx);
9247 : 7 :
9248 : 21 : if (<MODE>mode == V2DImode)
9249 : 13 : gen = gen_avx512dq_float<floatunssuffix>v2div2sf2;
9250 : 7 : else
9251 : 8 : gen = gen_float<floatunssuffix><mode><vpckfloat_op_mode>2;
9252 : 14 : emit_insn (gen (r1, operands[1]));
9253 : 14 : emit_insn (gen (r2, operands[2]));
9254 : 14 : if (<MODE>mode == V2DImode)
9255 : 6 : emit_insn (gen_sse_movlhps (operands[0], r1, r2));
9256 : : else
9257 : 8 : emit_insn (gen_avx_vec_concat<vpckfloat_concat_mode> (operands[0],
9258 : : r1, r2));
9259 : 14 : DONE;
9260 : : })
9261 : :
9262 : : (define_expand "vec_pack<floatprefix>_float_<mode>"
9263 : : [(match_operand:<ssepackPHmode> 0 "register_operand")
9264 : : (any_float:<ssepackPHmode>
9265 : : (match_operand:VI4_AVX512VL 1 "register_operand"))
9266 : : (match_operand:VI4_AVX512VL 2 "register_operand")]
9267 : : "TARGET_AVX512FP16"
9268 : 9 : {
9269 : 10 : rtx r1 = gen_reg_rtx (<vpckfloat_temp_mode>mode);
9270 : 9 : rtx r2 = gen_reg_rtx (<vpckfloat_temp_mode>mode);
9271 : 9 : rtx (*gen) (rtx, rtx);
9272 : :
9273 : 9 : if (<MODE>mode == V4SImode)
9274 : 1 : gen = gen_avx512fp16_float<floatunssuffix>v4siv4hf2;
9275 : : else
9276 : 8 : gen = gen_float<floatunssuffix><mode><vpckfloat_op_mode>2;
9277 : 9 : emit_insn (gen (r1, operands[1]));
9278 : 9 : emit_insn (gen (r2, operands[2]));
9279 : 9 : if (<MODE>mode == V4SImode)
9280 : 1 : emit_insn (gen_sse_movlhps_v8hf (operands[0], r1, r2));
9281 : 79 : else
9282 : 8 : emit_insn (gen_avx_vec_concat<vpckfloat_concat_mode> (operands[0],
9283 : : r1, r2));
9284 : 13 : DONE;
9285 : 5 : })
9286 : 79 :
9287 : 79 : (define_expand "float<floatunssuffix>v2div2sf2_mask"
9288 : 79 : [(set (match_operand:V4SF 0 "register_operand" "=v")
9289 : 79 : (vec_concat:V4SF
9290 : 75 : (vec_merge:V2SF
9291 : 75 : (any_float:V2SF (match_operand:V2DI 1 "nonimmediate_operand" "vm"))
9292 : 74 : (vec_select:V2SF
9293 : 74 : (match_operand:V4SF 2 "nonimm_or_0_operand" "0C")
9294 : 74 : (parallel [(const_int 0) (const_int 1)]))
9295 : : (match_operand:QI 3 "register_operand" "Yk"))
9296 : : (match_dup 4)))]
9297 : : "TARGET_AVX512DQ && TARGET_AVX512VL"
9298 : 74 : "operands[4] = CONST0_RTX (V2SFmode);")
9299 : :
9300 : : (define_insn "*float<floatunssuffix>v2div2sf2_mask"
9301 : 74 : [(set (match_operand:V4SF 0 "register_operand" "=v")
9302 : 74 : (vec_concat:V4SF
9303 : 74 : (vec_merge:V2SF
9304 : 74 : (any_float:V2SF (match_operand:V2DI 1 "nonimmediate_operand" "vm"))
9305 : 74 : (vec_select:V2SF
9306 : 86 : (match_operand:V4SF 2 "nonimm_or_0_operand" "0C")
9307 : 74 : (parallel [(const_int 0) (const_int 1)]))
9308 : 74 : (match_operand:QI 3 "register_operand" "Yk"))
9309 : 86 : (match_operand:V2SF 4 "const0_operand")))]
9310 : 86 : "TARGET_AVX512DQ && TARGET_AVX512VL"
9311 : 12 : "vcvt<floatsuffix>qq2ps{x}\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
9312 : 86 : [(set_attr "type" "ssecvt")
9313 : 12 : (set_attr "prefix" "evex")
9314 : 148 : (set_attr "mode" "V4SF")])
9315 : 136 :
9316 : : (define_insn "*float<floatunssuffix>v2div2sf2_mask_1"
9317 : : [(set (match_operand:V4SF 0 "register_operand" "=v")
9318 : : (vec_concat:V4SF
9319 : : (vec_merge:V2SF
9320 : : (any_float:V2SF (match_operand:V2DI 1
9321 : : "nonimmediate_operand" "vm"))
9322 : : (match_operand:V2SF 3 "const0_operand")
9323 : : (match_operand:QI 2 "register_operand" "Yk"))
9324 : : (match_operand:V2SF 4 "const0_operand")))]
9325 : 74 : "TARGET_AVX512DQ && TARGET_AVX512VL"
9326 : 74 : "vcvt<floatsuffix>qq2ps{x}\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
9327 : 74 : [(set_attr "type" "ssecvt")
9328 : : (set_attr "prefix" "evex")
9329 : : (set_attr "mode" "V4SF")])
9330 : :
9331 : : (define_insn "floatuns<si2dfmodelower><mode>2<mask_name>"
9332 : 5 : [(set (match_operand:VF2_512_256VL 0 "register_operand" "=v")
9333 : 2173 : (unsigned_float:VF2_512_256VL
9334 : 955 : (match_operand:<si2dfmode> 1 "nonimmediate_operand" "vm")))]
9335 : 284 : "TARGET_AVX512F"
9336 : 1374 : "vcvtudq2pd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
9337 : 156 : [(set_attr "type" "ssecvt")
9338 : 1223 : (set_attr "prefix" "evex")
9339 : 1223 : (set_attr "mode" "<MODE>")])
9340 : 5 :
9341 : 906 : (define_insn "<mask_codefor>floatunsv2siv2df2<mask_name>"
9342 : 906 : [(set (match_operand:V2DF 0 "register_operand" "=v")
9343 : 906 : (unsigned_float:V2DF
9344 : : (vec_select:V2SI
9345 : 906 : (match_operand:V4SI 1 "nonimmediate_operand" "vm")
9346 : 906 : (parallel [(const_int 0) (const_int 1)]))))]
9347 : 47 : "TARGET_AVX512VL"
9348 : 906 : "vcvtudq2pd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %q1}"
9349 : : [(set_attr "type" "ssecvt")
9350 : 587 : (set_attr "prefix" "evex")
9351 : 587 : (set_attr "mode" "V2DF")])
9352 : :
9353 : : (define_insn "avx512f_cvtdq2pd512_2"
9354 : : [(set (match_operand:V8DF 0 "register_operand" "=v")
9355 : : (float:V8DF
9356 : : (vec_select:V8SI
9357 : 1776 : (match_operand:V16SI 1 "nonimmediate_operand" "vm")
9358 : : (parallel [(const_int 0) (const_int 1)
9359 : 347 : (const_int 2) (const_int 3)
9360 : 347 : (const_int 4) (const_int 5)
9361 : 1528 : (const_int 6) (const_int 7)]))))]
9362 : 1748 : "TARGET_AVX512F && TARGET_EVEX512"
9363 : 53032 : "vcvtdq2pd\t{%t1, %0|%0, %t1}"
9364 : 1528 : [(set_attr "type" "ssecvt")
9365 : 1875 : (set_attr "prefix" "evex")
9366 : 2360 : (set_attr "mode" "V8DF")])
9367 : 2685 :
9368 : : (define_insn "avx_cvtdq2pd256_2"
9369 : 471 : [(set (match_operand:V4DF 0 "register_operand" "=v")
9370 : 471 : (float:V4DF
9371 : 897 : (vec_select:V4SI
9372 : 298 : (match_operand:V8SI 1 "nonimmediate_operand" "vm")
9373 : 587 : (parallel [(const_int 0) (const_int 1)
9374 : : (const_int 2) (const_int 3)]))))]
9375 : 1370 : "TARGET_AVX"
9376 : 458 : "vcvtdq2pd\t{%x1, %0|%0, %x1}"
9377 : : [(set_attr "type" "ssecvt")
9378 : : (set_attr "prefix" "maybe_evex")
9379 : 22651 : (set_attr "mode" "V4DF")])
9380 : 22651 :
9381 : 22651 : (define_insn "sse2_cvtdq2pd<mask_name>"
9382 : : [(set (match_operand:V2DF 0 "register_operand" "=v")
9383 : 22636 : (float:V2DF
9384 : 22636 : (vec_select:V2SI
9385 : 22636 : (match_operand:V4SI 1 "nonimmediate_operand" "vm")
9386 : : (parallel [(const_int 0) (const_int 1)]))))]
9387 : 14743 : "TARGET_SSE2 && <mask_avx512vl_condition>"
9388 : 7893 : "%vcvtdq2pd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %q1}"
9389 : 37379 : [(set_attr "type" "ssecvt")
9390 : : (set_attr "prefix" "maybe_vex")
9391 : : (set_attr "mode" "V2DF")])
9392 : :
9393 : : (define_insn "avx512f_cvtpd2dq512<mask_name><round_name>"
9394 : : [(set (match_operand:V8SI 0 "register_operand" "=v")
9395 : : (unspec:V8SI
9396 : : [(match_operand:V8DF 1 "<round_nimm_predicate>" "<round_constraint>")]
9397 : 1156 : UNSPEC_FIX_NOTRUNC))]
9398 : 589 : "TARGET_AVX512F && TARGET_EVEX512"
9399 : : "vcvtpd2dq\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
9400 : : [(set_attr "type" "ssecvt")
9401 : 79127 : (set_attr "prefix" "evex")
9402 : 1156 : (set_attr "mode" "OI")])
9403 : 1156 :
9404 : 1156 : (define_insn "avx_cvtpd2dq256<mask_name><round_name>"
9405 : 79127 : [(set (match_operand:V4SI 0 "register_operand" "=v")
9406 : 80993 : (unspec:V4SI [(match_operand:V4DF 1 "<round_nimm_predicate>" "<round_constraint>")]
9407 : 80993 : UNSPEC_FIX_NOTRUNC))]
9408 : 78289 : "TARGET_AVX && <mask_avx512vl_condition>
9409 : 369 : && (!<round_applied> || TARGET_AVX10_2_256)"
9410 : 844 : "vcvtpd2dq<round_suff>\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
9411 : 668 : [(set_attr "type" "ssecvt")
9412 : 409 : (set_attr "prefix" "<mask_prefix>")
9413 : 360 : (set_attr "mode" "OI")])
9414 : 132 :
9415 : 72 : (define_expand "avx_cvtpd2dq256_2"
9416 : 144 : [(set (match_operand:V8SI 0 "register_operand")
9417 : 6014 : (vec_concat:V8SI
9418 : 6014 : (unspec:V4SI [(match_operand:V4DF 1 "nonimmediate_operand")]
9419 : 123 : UNSPEC_FIX_NOTRUNC)
9420 : 5590 : (match_dup 2)))]
9421 : 337 : "TARGET_AVX"
9422 : 465 : "operands[2] = CONST0_RTX (V4SImode);")
9423 : 291 :
9424 : 54 : (define_insn "*avx_cvtpd2dq256_2"
9425 : 54 : [(set (match_operand:V8SI 0 "register_operand" "=v")
9426 : 30 : (vec_concat:V8SI
9427 : 207 : (unspec:V4SI [(match_operand:V4DF 1 "nonimmediate_operand" "vm")]
9428 : 0 : UNSPEC_FIX_NOTRUNC)
9429 : 0 : (match_operand:V4SI 2 "const0_operand")))]
9430 : 0 : "TARGET_AVX"
9431 : : "vcvtpd2dq{y}\t{%1, %x0|%x0, %1}"
9432 : 287 : [(set_attr "type" "ssecvt")
9433 : : (set_attr "prefix" "vex")
9434 : 146 : (set_attr "btver2_decode" "vector")
9435 : 146 : (set_attr "mode" "OI")])
9436 : 146 :
9437 : : (define_insn "sse2_cvtpd2dq"
9438 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
9439 : 146 : (vec_concat:V4SI
9440 : 146 : (unspec:V2SI [(match_operand:V2DF 1 "vector_operand" "vBm")]
9441 : 146 : UNSPEC_FIX_NOTRUNC)
9442 : 146 : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
9443 : 136 : "TARGET_SSE2"
9444 : 26 : {
9445 : 16 : if (TARGET_AVX)
9446 : 10 : return "vcvtpd2dq{x}\t{%1, %0|%0, %1}";
9447 : 66 : else
9448 : 73 : return "cvtpd2dq\t{%1, %0|%0, %1}";
9449 : 76 : }
9450 : 10 : [(set_attr "type" "ssecvt")
9451 : 10 : (set_attr "prefix_rep" "1")
9452 : 10 : (set_attr "prefix_data16" "0")
9453 : 23 : (set_attr "prefix" "maybe_vex")
9454 : 10 : (set_attr "mode" "TI")
9455 : : (set_attr "amdfam10_decode" "double")
9456 : : (set_attr "athlon_decode" "vector")
9457 : : (set_attr "bdver1_decode" "double")])
9458 : :
9459 : : (define_insn "sse2_cvtpd2dq_mask"
9460 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
9461 : : (vec_concat:V4SI
9462 : : (vec_merge:V2SI
9463 : : (unspec:V2SI [(match_operand:V2DF 1 "nonimmediate_operand" "vm")]
9464 : : UNSPEC_FIX_NOTRUNC)
9465 : : (vec_select:V2SI
9466 : : (match_operand:V4SI 2 "nonimm_or_0_operand" "0C")
9467 : : (parallel [(const_int 0) (const_int 1)]))
9468 : : (match_operand:QI 3 "register_operand" "Yk"))
9469 : : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
9470 : 139 : "TARGET_AVX512VL"
9471 : : "vcvtpd2dq{x}\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
9472 : : [(set_attr "type" "ssecvt")
9473 : : (set_attr "prefix" "evex")
9474 : 68 : (set_attr "mode" "TI")])
9475 : 68 :
9476 : : (define_insn "*sse2_cvtpd2dq_mask_1"
9477 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
9478 : : (vec_concat:V4SI
9479 : : (vec_merge:V2SI
9480 : : (unspec:V2SI [(match_operand:V2DF 1 "nonimmediate_operand" "vm")]
9481 : : UNSPEC_FIX_NOTRUNC)
9482 : : (const_vector:V2SI [(const_int 0) (const_int 0)])
9483 : : (match_operand:QI 2 "register_operand" "Yk"))
9484 : : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
9485 : 68 : "TARGET_AVX512VL"
9486 : : "vcvtpd2dq{x}\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
9487 : : [(set_attr "type" "ssecvt")
9488 : : (set_attr "prefix" "evex")
9489 : : (set_attr "mode" "TI")])
9490 : :
9491 : : ;; For fixuns_notrunc* insn patterns
9492 : : (define_mode_attr pd2udqsuff
9493 : 261 : [(V8DF "") (V4DF "{y}")])
9494 : 261 :
9495 : : (define_insn "fixuns_notrunc<mode><si2dfmodelower>2<mask_name><round_name>"
9496 : 167 : [(set (match_operand:<si2dfmode> 0 "register_operand" "=v")
9497 : 167 : (unspec:<si2dfmode>
9498 : : [(match_operand:VF2_512_256VL 1 "nonimmediate_operand" "<round_constraint>")]
9499 : : UNSPEC_UNSIGNED_FIX_NOTRUNC))]
9500 : 98 : "TARGET_AVX512F && <round_mode_condition>"
9501 : : "vcvtpd2udq<round_pd2udqsuff>\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
9502 : : [(set_attr "type" "ssecvt")
9503 : : (set_attr "prefix" "evex")
9504 : : (set_attr "mode" "<sseinsnmode>")])
9505 : :
9506 : 270 : (define_insn "fixuns_notruncv2dfv2si2"
9507 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
9508 : : (vec_concat:V4SI
9509 : : (unspec:V2SI
9510 : : [(match_operand:V2DF 1 "nonimmediate_operand" "vm")]
9511 : : UNSPEC_UNSIGNED_FIX_NOTRUNC)
9512 : 756 : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
9513 : 55 : "TARGET_AVX512VL"
9514 : : "vcvtpd2udq{x}\t{%1, %0|%0, %1}"
9515 : : [(set_attr "type" "ssecvt")
9516 : : (set_attr "prefix" "evex")
9517 : 65 : (set_attr "mode" "TI")])
9518 : 65 :
9519 : 65 : (define_insn "fixuns_notruncv2dfv2si2_mask"
9520 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
9521 : : (vec_concat:V4SI
9522 : : (vec_merge:V2SI
9523 : : (unspec:V2SI
9524 : : [(match_operand:V2DF 1 "nonimmediate_operand" "vm")]
9525 : : UNSPEC_UNSIGNED_FIX_NOTRUNC)
9526 : : (vec_select:V2SI
9527 : : (match_operand:V4SI 2 "nonimm_or_0_operand" "0C")
9528 : : (parallel [(const_int 0) (const_int 1)]))
9529 : : (match_operand:QI 3 "register_operand" "Yk"))
9530 : : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
9531 : 167 : "TARGET_AVX512VL"
9532 : : "vcvtpd2udq{x}\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
9533 : : [(set_attr "type" "ssecvt")
9534 : : (set_attr "prefix" "evex")
9535 : 68 : (set_attr "mode" "TI")])
9536 : 68 :
9537 : : (define_insn "*fixuns_notruncv2dfv2si2_mask_1"
9538 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
9539 : : (vec_concat:V4SI
9540 : : (vec_merge:V2SI
9541 : : (unspec:V2SI
9542 : : [(match_operand:V2DF 1 "nonimmediate_operand" "vm")]
9543 : : UNSPEC_UNSIGNED_FIX_NOTRUNC)
9544 : : (const_vector:V2SI [(const_int 0) (const_int 0)])
9545 : : (match_operand:QI 2 "register_operand" "Yk"))
9546 : : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
9547 : 68 : "TARGET_AVX512VL"
9548 : : "vcvtpd2udq{x}\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
9549 : : [(set_attr "type" "ssecvt")
9550 : : (set_attr "prefix" "evex")
9551 : : (set_attr "mode" "TI")])
9552 : :
9553 : : (define_insn "unspec_fix<vcvtt_uns_suffix>_truncv8dfv8si2<mask_name><round_saeonly_name>"
9554 : : [(set (match_operand:V8SI 0 "register_operand" "=v")
9555 : 304 : (unspec:V8SI
9556 : 304 : [(match_operand:V8DF 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
9557 : : UNSPEC_VCVTT_U))]
9558 : 1119 : "TARGET_AVX512F && TARGET_EVEX512"
9559 : 304 : "vcvttpd2<vcvtt_suffix>dq\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
9560 : : [(set_attr "type" "ssecvt")
9561 : : (set_attr "prefix" "evex")
9562 : 545 : (set_attr "mode" "OI")])
9563 : 545 :
9564 : 248 : (define_insn "fix<fixunssuffix>_truncv8dfv8si2<mask_name><round_saeonly_name>"
9565 : 248 : [(set (match_operand:V8SI 0 "register_operand" "=v")
9566 : 1297 : (any_fix:V8SI
9567 : 1297 : (match_operand:V8DF 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")))]
9568 : 486 : "TARGET_AVX512F && TARGET_EVEX512"
9569 : 575 : "vcvttpd2<fixsuffix>dq\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
9570 : 596 : [(set_attr "type" "ssecvt")
9571 : 269 : (set_attr "prefix" "evex")
9572 : 256 : (set_attr "mode" "OI")])
9573 : 256 :
9574 : : (define_insn "*unspec_fixuns_truncv2dfv2si2"
9575 : 248 : [(set (match_operand:V4SI 0 "register_operand" "=v")
9576 : 379 : (vec_concat:V4SI
9577 : 131 : (unspec:V2SI [(match_operand:V2DF 1 "nonimmediate_operand" "vm")]
9578 : 379 : UNSPEC_VCVTTU)
9579 : 248 : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
9580 : 330 : "TARGET_AVX512VL"
9581 : 276 : "vcvttpd2udq{x}\t{%1, %0|%0, %1}"
9582 : 248 : [(set_attr "type" "ssecvt")
9583 : 496 : (set_attr "prefix" "evex")
9584 : 65 : (set_attr "mode" "TI")])
9585 : 281 :
9586 : 281 : (define_insn "*fixuns_truncv2dfv2si2"
9587 : 232 : [(set (match_operand:V4SI 0 "register_operand" "=v")
9588 : : (vec_concat:V4SI
9589 : 228 : (unsigned_fix:V2SI (match_operand:V2DF 1 "nonimmediate_operand" "vm"))
9590 : 277 : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
9591 : 0 : "TARGET_AVX512VL"
9592 : 0 : "vcvttpd2udq{x}\t{%1, %0|%0, %1}"
9593 : : [(set_attr "type" "ssecvt")
9594 : : (set_attr "prefix" "evex")
9595 : 6965 : (set_attr "mode" "TI")])
9596 : 6965 :
9597 : : (define_insn "unspec_fixuns_truncv2dfv2si2_mask"
9598 : 6726 : [(set (match_operand:V4SI 0 "register_operand" "=v")
9599 : 6726 : (vec_concat:V4SI
9600 : 6726 : (vec_merge:V2SI
9601 : : (unspec:V2SI [(match_operand:V2DF 1 "nonimmediate_operand" "vm")]
9602 : : UNSPEC_VCVTTU)
9603 : 6726 : (vec_select:V2SI
9604 : 13452 : (match_operand:V4SI 2 "nonimm_or_0_operand" "0C")
9605 : 0 : (parallel [(const_int 0) (const_int 1)]))
9606 : 6726 : (match_operand:QI 3 "register_operand" "Yk"))
9607 : 6726 : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
9608 : 6954 : "TARGET_AVX512VL"
9609 : 6726 : "vcvttpd2udq{x}\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
9610 : : [(set_attr "type" "ssecvt")
9611 : : (set_attr "prefix" "evex")
9612 : 256 : (set_attr "mode" "TI")])
9613 : 256 :
9614 : 256 : (define_insn "fixuns_truncv2dfv2si2_mask"
9615 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
9616 : : (vec_concat:V4SI
9617 : : (vec_merge:V2SI
9618 : : (unsigned_fix:V2SI (match_operand:V2DF 1 "nonimmediate_operand" "vm"))
9619 : : (vec_select:V2SI
9620 : : (match_operand:V4SI 2 "nonimm_or_0_operand" "0C")
9621 : : (parallel [(const_int 0) (const_int 1)]))
9622 : : (match_operand:QI 3 "register_operand" "Yk"))
9623 : : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
9624 : 0 : "TARGET_AVX512VL"
9625 : : "vcvttpd2udq{x}\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
9626 : : [(set_attr "type" "ssecvt")
9627 : : (set_attr "prefix" "evex")
9628 : 0 : (set_attr "mode" "TI")])
9629 : 0 :
9630 : : (define_insn "*fixuns_truncv2dfv2si2_mask_1"
9631 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
9632 : : (vec_concat:V4SI
9633 : : (vec_merge:V2SI
9634 : : (unsigned_fix:V2SI (match_operand:V2DF 1 "nonimmediate_operand" "vm"))
9635 : : (const_vector:V2SI [(const_int 0) (const_int 0)])
9636 : : (match_operand:QI 2 "register_operand" "Yk"))
9637 : : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
9638 : 0 : "TARGET_AVX512VL"
9639 : : "vcvttpd2udq{x}\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
9640 : : [(set_attr "type" "ssecvt")
9641 : : (set_attr "prefix" "evex")
9642 : : (set_attr "mode" "TI")])
9643 : :
9644 : : (define_insn "unspec_fix_truncv4dfv4si2<mask_name><round_saeonly_name>"
9645 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
9646 : 0 : (unspec:V4SI [(match_operand:V4DF 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
9647 : 0 : UNSPEC_VCVTT))]
9648 : 82 : "TARGET_AVX && <mask_avx512vl_condition>
9649 : 253 : && (!<round_saeonly_applied> || TARGET_AVX10_2_256)"
9650 : 0 : "vcvttpd2dq<round_saeonly_suff>\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
9651 : : [(set_attr "type" "ssecvt")
9652 : : (set_attr "prefix" "maybe_evex")
9653 : 297 : (set_attr "mode" "OI")])
9654 : 297 :
9655 : 297 : (define_insn "fix_truncv4dfv4si2<mask_name>"
9656 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
9657 : 5341 : (fix:V4SI (match_operand:V4DF 1 "nonimmediate_operand" "vm")))]
9658 : 5997 : "TARGET_AVX || (TARGET_AVX512VL && TARGET_AVX512F)"
9659 : : "vcvttpd2dq{y}\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
9660 : 5341 : [(set_attr "type" "ssecvt")
9661 : : (set_attr "prefix" "maybe_evex")
9662 : 255 : (set_attr "mode" "OI")])
9663 : 255 :
9664 : : (define_insn "unspec_fixuns_truncv4dfv4si2<mask_name><round_saeonly_name>"
9665 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
9666 : 106 : (unspec:V4SI [(match_operand:V4DF 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
9667 : 301 : UNSPEC_VCVTTU))]
9668 : 132 : "TARGET_AVX512VL && TARGET_AVX512F
9669 : 252 : && (!<round_saeonly_applied> || TARGET_AVX10_2_256)"
9670 : 1 : "vcvttpd2udq<round_saeonly_suff>\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
9671 : 1 : [(set_attr "type" "ssecvt")
9672 : : (set_attr "prefix" "maybe_evex")
9673 : 294 : (set_attr "mode" "OI")])
9674 : 294 :
9675 : : (define_insn "fixuns_truncv4dfv4si2<mask_name>"
9676 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
9677 : 2339 : (unsigned_fix:V4SI (match_operand:V4DF 1 "nonimmediate_operand" "vm")))]
9678 : 2339 : "TARGET_AVX512VL && TARGET_AVX512F"
9679 : : "vcvttpd2udq{y}\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
9680 : 2339 : [(set_attr "type" "ssecvt")
9681 : : (set_attr "prefix" "maybe_evex")
9682 : 560 : (set_attr "mode" "OI")])
9683 : 560 :
9684 : 13 : (define_insn "unspec_fix<vcvtt_uns_suffix>_trunc<mode><sseintvecmodelower>2<mask_name><round_saeonly_name>"
9685 : 71 : [(set (match_operand:<sseintvecmode> 0 "register_operand" "=v")
9686 : 476 : (unspec:<sseintvecmode>
9687 : : [(match_operand:VF2_AVX512VL 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
9688 : : UNSPEC_VCVTT_U))]
9689 : 162 : "TARGET_AVX512DQ && <round_saeonly_mode_condition>"
9690 : : "vcvttpd2<vcvtt_suffix>qq\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
9691 : : [(set_attr "type" "ssecvt")
9692 : : (set_attr "prefix" "evex")
9693 : : (set_attr "mode" "<sseintvecmode2>")])
9694 : :
9695 : 502 : (define_insn "fix<fixunssuffix>_trunc<mode><sseintvecmodelower>2<mask_name><round_saeonly_name>"
9696 : : [(set (match_operand:<sseintvecmode> 0 "register_operand" "=v")
9697 : : (any_fix:<sseintvecmode>
9698 : : (match_operand:VF2_AVX512VL 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")))]
9699 : 94 : "TARGET_AVX512DQ && <round_saeonly_mode_condition>"
9700 : : "vcvttpd2<fixsuffix>qq\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
9701 : 1396 : [(set_attr "type" "ssecvt")
9702 : : (set_attr "prefix" "evex")
9703 : : (set_attr "mode" "<sseintvecmode2>")])
9704 : :
9705 : 0 : (define_insn "fix_notrunc<mode><sseintvecmodelower>2<mask_name><round_name>"
9706 : : [(set (match_operand:<sseintvecmode> 0 "register_operand" "=v")
9707 : : (unspec:<sseintvecmode>
9708 : : [(match_operand:VF2_AVX512VL 1 "<round_nimm_predicate>" "<round_constraint>")]
9709 : : UNSPEC_FIX_NOTRUNC))]
9710 : 80 : "TARGET_AVX512DQ && <round_mode_condition>"
9711 : 0 : "vcvtpd2qq\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
9712 : : [(set_attr "type" "ssecvt")
9713 : : (set_attr "prefix" "evex")
9714 : : (set_attr "mode" "<sseintvecmode2>")])
9715 : :
9716 : 251 : (define_insn "fixuns_notrunc<mode><sseintvecmodelower>2<mask_name><round_name>"
9717 : : [(set (match_operand:<sseintvecmode> 0 "register_operand" "=v")
9718 : : (unspec:<sseintvecmode>
9719 : : [(match_operand:VF2_AVX512VL 1 "nonimmediate_operand" "<round_constraint>")]
9720 : : UNSPEC_UNSIGNED_FIX_NOTRUNC))]
9721 : 96 : "TARGET_AVX512DQ && <round_mode_condition>"
9722 : 698 : "vcvtpd2uqq\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
9723 : : [(set_attr "type" "ssecvt")
9724 : : (set_attr "prefix" "evex")
9725 : : (set_attr "mode" "<sseintvecmode2>")])
9726 : :
9727 : 263 : (define_insn "unspec_fix<vcvtt_uns_suffix>_trunc<ssePSmode2lower><mode>2<mask_name><round_saeonly_name>"
9728 : : [(set (match_operand:VI8_256_512 0 "register_operand" "=v")
9729 : : (unspec:VI8_256_512
9730 : : [(match_operand:<ssePSmode2> 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
9731 : : UNSPEC_VCVTT_U))]
9732 : 148 : "TARGET_AVX512DQ && <round_saeonly_mode_condition>"
9733 : 710 : "vcvttps2<vcvtt_suffix>qq\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
9734 : : [(set_attr "type" "ssecvt")
9735 : : (set_attr "prefix" "evex")
9736 : : (set_attr "mode" "<sseinsnmode>")])
9737 : :
9738 : 502 : (define_insn "fix<fixunssuffix>_trunc<ssePSmode2lower><mode>2<mask_name>"
9739 : : [(set (match_operand:VI8_256_512 0 "register_operand" "=v")
9740 : : (any_fix:VI8_256_512
9741 : : (match_operand:<ssePSmode2> 1 "nonimmediate_operand" "vm")))]
9742 : 56 : "TARGET_AVX512DQ"
9743 : : "vcvttps2<fixsuffix>qq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
9744 : 1396 : [(set_attr "type" "ssecvt")
9745 : : (set_attr "prefix" "evex")
9746 : : (set_attr "mode" "<sseinsnmode>")])
9747 : :
9748 : : (define_insn "unspec_avx512dq_fix<vcvtt_uns_suffix>_truncv2sfv2di2<mask_name>"
9749 : : [(set (match_operand:V2DI 0 "register_operand" "=v")
9750 : : (unspec:V2DI
9751 : : [(match_operand:V4SF 1 "nonimmediate_operand" "vm")]
9752 : : UNSPEC_VCVTT_U))]
9753 : : "TARGET_AVX512DQ && TARGET_AVX512VL"
9754 : : "vcvttps2<vcvtt_suffix>qq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %q1}"
9755 : : [(set_attr "type" "ssecvt")
9756 : : (set_attr "prefix" "evex")
9757 : : (set_attr "mode" "TI")])
9758 : :
9759 : : (define_insn "avx512dq_fix<fixunssuffix>_truncv2sfv2di2<mask_name>"
9760 : : [(set (match_operand:V2DI 0 "register_operand" "=v")
9761 : : (any_fix:V2DI
9762 : : (vec_select:V2SF
9763 : : (match_operand:V4SF 1 "nonimmediate_operand" "vm")
9764 : : (parallel [(const_int 0) (const_int 1)]))))]
9765 : : "TARGET_AVX512DQ && TARGET_AVX512VL"
9766 : : "vcvttps2<fixsuffix>qq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %q1}"
9767 : 21174 : [(set_attr "type" "ssecvt")
9768 : : (set_attr "prefix" "evex")
9769 : : (set_attr "mode" "TI")])
9770 : :
9771 : 21174 : (define_expand "fix<fixunssuffix>_truncv2sfv2di2"
9772 : 21174 : [(set (match_operand:V2DI 0 "register_operand")
9773 : 21174 : (any_fix:V2DI
9774 : 21174 : (match_operand:V2SF 1 "register_operand")))]
9775 : 38805 : "TARGET_AVX512DQ && TARGET_AVX512VL"
9776 : 21179 : {
9777 : 21179 : rtx op1 = force_reg (V2SFmode, operands[1]);
9778 : 21179 : op1 = lowpart_subreg (V4SFmode, op1, V2SFmode);
9779 : 36944 : emit_insn (gen_avx512dq_fix<fixunssuffix>_truncv2sfv2di2
9780 : 38804 : (operands[0], op1));
9781 : 22042 : DONE;
9782 : 23423 : })
9783 : 30155 :
9784 : 17446 : (define_mode_attr vunpckfixt_mode
9785 : 11974 : [(V16SF "V8DI") (V8SF "V4DI") (V4SF "V2DI")
9786 : 21151 : (V32HF "V16SI") (V16HF "V8SI") (V8HF "V4SI")])
9787 : 20333 : (define_mode_attr vunpckfixt_model
9788 : 10776 : [(V16SF "v8di") (V8SF "v4di") (V4SF "v2di")
9789 : 7661 : (V32HF "v16si") (V16HF "v8si") (V8HF "v4si")])
9790 : 214 : (define_mode_attr vunpckfixt_extract_mode
9791 : 417 : [(V16SF "v16sf") (V8SF "v8sf") (V4SF "v8sf")
9792 : 3450 : (V32HF "v32hf") (V16HF "v16hf") (V8HF "v16hf")])
9793 : 252 :
9794 : 404 : (define_expand "vec_unpack_<fixprefix>fix_trunc_lo_<mode>"
9795 : 603 : [(match_operand:<vunpckfixt_mode> 0 "register_operand")
9796 : 0 : (any_fix:<vunpckfixt_mode>
9797 : : (match_operand:VF1_AVX512VL 1 "register_operand"))]
9798 : 404 : "TARGET_AVX512DQ"
9799 : 22 : {
9800 : 34 : rtx tem = operands[1];
9801 : 22 : rtx (*gen) (rtx, rtx);
9802 : :
9803 : 34 : if (<MODE>mode != V4SFmode)
9804 : 12 : {
9805 : 28 : tem = gen_reg_rtx (<ssehalfvecmode>mode);
9806 : 28 : emit_insn (gen_vec_extract_lo_<vunpckfixt_extract_mode> (tem,
9807 : 12 : operands[1]));
9808 : 28 : gen = gen_fix<fixunssuffix>_trunc<ssehalfvecmodelower><vunpckfixt_model>2;
9809 : : }
9810 : : else
9811 : 6 : gen = gen_avx512dq_fix<fixunssuffix>_truncv2sfv2di2;
9812 : :
9813 : 22 : emit_insn (gen (operands[0], tem));
9814 : 22 : DONE;
9815 : : })
9816 : :
9817 : : (define_expand "vec_unpack_<fixprefix>fix_trunc_hi_<mode>"
9818 : : [(match_operand:<vunpckfixt_mode> 0 "register_operand")
9819 : : (any_fix:<vunpckfixt_mode>
9820 : : (match_operand:VF1_AVX512VL 1 "register_operand"))]
9821 : : "TARGET_AVX512DQ"
9822 : 22 : {
9823 : 22 : rtx tem;
9824 : 22 : rtx (*gen) (rtx, rtx);
9825 : :
9826 : 22 : if (<MODE>mode != V4SFmode)
9827 : : {
9828 : 16 : tem = gen_reg_rtx (<ssehalfvecmode>mode);
9829 : 16 : emit_insn (gen_vec_extract_hi_<vunpckfixt_extract_mode> (tem,
9830 : : operands[1]));
9831 : 16 : gen = gen_fix<fixunssuffix>_trunc<ssehalfvecmodelower><vunpckfixt_model>2;
9832 : : }
9833 : 8 : else
9834 : : {
9835 : 12 : tem = gen_reg_rtx (V4SFmode);
9836 : 8 : emit_insn (gen_avx_vpermilv4sf (tem, operands[1], GEN_INT (0x4e)));
9837 : 8 : gen = gen_avx512dq_fix<fixunssuffix>_truncv2sfv2di2;
9838 : 8 : }
9839 : 8 :
9840 : 24 : emit_insn (gen (operands[0], tem));
9841 : 30 : DONE;
9842 : : })
9843 : :
9844 : : (define_expand "vec_unpack_<fixprefix>fix_trunc_lo_<mode>"
9845 : : [(match_operand:<vunpckfixt_mode> 0 "register_operand")
9846 : : (any_fix:<vunpckfixt_mode>
9847 : : (match_operand:VHF_AVX512VL 1 "register_operand"))]
9848 : : "TARGET_AVX512FP16"
9849 : 3 : {
9850 : 3 : rtx tem = operands[1];
9851 : 3 : rtx (*gen) (rtx, rtx);
9852 : 3 : if (<MODE>mode != V8HFmode)
9853 : : {
9854 : 2 : tem = gen_reg_rtx (<ssehalfvecmode>mode);
9855 : 2 : emit_insn (gen_vec_extract_lo_<vunpckfixt_extract_mode> (tem,
9856 : : operands[1]));
9857 : 2 : gen = gen_fix<fixunssuffix>_trunc<ssehalfvecmodelower><vunpckfixt_model>2;
9858 : : }
9859 : : else
9860 : 5 : gen = gen_avx512fp16_fix<fixunssuffix>_trunc<vunpckfixt_model>2;
9861 : :
9862 : 3 : emit_insn (gen (operands[0], tem));
9863 : 6 : DONE;
9864 : 4 : })
9865 : 4 :
9866 : 4 : (define_expand "vec_unpack_<fixprefix>fix_trunc_hi_<mode>"
9867 : 4 : [(match_operand:<vunpckfixt_mode> 0 "register_operand")
9868 : 4 : (any_fix:<vunpckfixt_mode>
9869 : : (match_operand:VHF_AVX512VL 1 "register_operand"))]
9870 : : "TARGET_AVX512FP16"
9871 : 3 : {
9872 : 3 : rtx tem = operands[1];
9873 : 3 : rtx (*gen) (rtx, rtx);
9874 : 3 : if (<MODE>mode != V8HFmode)
9875 : : {
9876 : 2 : tem = gen_reg_rtx (<ssehalfvecmode>mode);
9877 : 2 : emit_insn (gen_vec_extract_hi_<vunpckfixt_extract_mode> (tem,
9878 : : operands[1]));
9879 : 2 : gen = gen_fix<fixunssuffix>_trunc<ssehalfvecmodelower><vunpckfixt_model>2;
9880 : : }
9881 : : else
9882 : 2445 : {
9883 : 1 : tem = gen_reg_rtx (V8HFmode);
9884 : 1 : rtvec tmp = rtvec_alloc (8);
9885 : 2430 : for (int i = 0; i != 8; i++)
9886 : 2427 : RTVEC_ELT (tmp, i) = GEN_INT ((i + 4) % 8);
9887 : 2443 :
9888 : 2444 : rtx selector = gen_rtx_PARALLEL (VOIDmode, tmp);
9889 : 2444 : emit_move_insn (tem,
9890 : 2443 : gen_rtx_VEC_SELECT (V8HFmode, operands[1], selector));
9891 : 2444 : gen = gen_avx512fp16_fix<fixunssuffix>_trunc<vunpckfixt_model>2;
9892 : 28 : }
9893 : 24 :
9894 : 27 : emit_insn (gen (operands[0], tem));
9895 : 31 : DONE;
9896 : : })
9897 : :
9898 : : (define_insn "<mask_codefor>unspec_fixuns_trunc<mode><sseintvecmodelower>2<mask_name><round_saeonly_name>"
9899 : : [(set (match_operand:<sseintvecmode> 0 "register_operand" "=v")
9900 : : (unspec:<sseintvecmode>
9901 : : [(match_operand:VF1_128_256 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
9902 : 13 : UNSPEC_VCVTTU))]
9903 : 56 : "TARGET_AVX512VL && <round_saeonly_mode_condition>"
9904 : : "vcvttps2udq\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
9905 : 13 : [(set_attr "type" "ssecvt")
9906 : 13 : (set_attr "prefix" "evex")
9907 : 13 : (set_attr "mode" "<sseintvecmode2>")])
9908 : 13 :
9909 : 264 : (define_insn "<mask_codefor>fixuns_trunc<mode><sseintvecmodelower>2<mask_name>"
9910 : 13 : [(set (match_operand:<sseintvecmode> 0 "register_operand" "=v")
9911 : 1088 : (unsigned_fix:<sseintvecmode>
9912 : 1088 : (match_operand:VF1_128_256 1 "nonimmediate_operand" "vm")))]
9913 : 13 : "TARGET_AVX512VL"
9914 : 56 : "vcvttps2udq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
9915 : 464 : [(set_attr "type" "ssecvt")
9916 : 271 : (set_attr "prefix" "evex")
9917 : 56 : (set_attr "mode" "<sseintvecmode2>")])
9918 : 52 :
9919 : 52 : (define_expand "avx_cvttpd2dq256_2"
9920 : 52 : [(set (match_operand:V8SI 0 "register_operand")
9921 : 248 : (vec_concat:V8SI
9922 : 248 : (fix:V4SI (match_operand:V4DF 1 "nonimmediate_operand"))
9923 : 248 : (match_dup 2)))]
9924 : 80 : "TARGET_AVX"
9925 : 1 : "operands[2] = CONST0_RTX (V4SImode);")
9926 : 1 :
9927 : 28 : (define_insn "unspec_sse2_cvttpd2dq<mask_name>"
9928 : 28 : [(set (match_operand:V4SI 0 "register_operand" "=v")
9929 : 28 : (unspec:V4SI
9930 : 28 : [(match_operand:V2DF 1 "vector_operand" "vBm")]
9931 : 28 : UNSPEC_VCVTT))]
9932 : 114 : "TARGET_SSE2 && <mask_avx512vl_condition>"
9933 : 65 : {
9934 : 41 : if (TARGET_AVX)
9935 : 0 : return "vcvttpd2dq{x}\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}";
9936 : : else
9937 : 3 : return "cvttpd2dq\t{%1, %0|%0, %1}";
9938 : : }
9939 : : [(set_attr "type" "ssecvt")
9940 : 1073 : (set_attr "amdfam10_decode" "double")
9941 : 1073 : (set_attr "athlon_decode" "vector")
9942 : 708 : (set_attr "bdver1_decode" "double")
9943 : : (set_attr "prefix" "maybe_vex")
9944 : 271 : (set_attr "mode" "TI")])
9945 : 271 :
9946 : : (define_insn "sse2_cvttpd2dq"
9947 : 14 : [(set (match_operand:V4SI 0 "register_operand" "=v")
9948 : : (vec_concat:V4SI
9949 : : (fix:V2SI (match_operand:V2DF 1 "vector_operand" "vBm"))
9950 : 14 : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
9951 : 5564 : "TARGET_SSE2"
9952 : 698 : {
9953 : 698 : if (TARGET_AVX)
9954 : 14 : return "vcvttpd2dq{x}\t{%1, %0|%0, %1}";
9955 : 2767498 : else
9956 : 2768174 : return "cvttpd2dq\t{%1, %0|%0, %1}";
9957 : 2767498 : }
9958 : 2767484 : [(set_attr "type" "ssecvt")
9959 : 2767484 : (set_attr "amdfam10_decode" "double")
9960 : : (set_attr "athlon_decode" "vector")
9961 : 2716 : (set_attr "bdver1_decode" "double")
9962 : 2716 : (set_attr "prefix" "maybe_vex")
9963 : 2716 : (set_attr "mode" "TI")])
9964 : :
9965 : : (define_insn "sse2_cvttpd2dq_mask"
9966 : : [(set (match_operand:V4SI 0 "register_operand" "=v")
9967 : 2098732 : (vec_concat:V4SI
9968 : 2098732 : (vec_merge:V2SI
9969 : 2098732 : (fix:V2SI (match_operand:V2DF 1 "nonimmediate_operand" "vm"))
9970 : 2098732 : (vec_select:V2SI
9971 : 2098732 : (match_operand:V4SI 2 "nonimm_or_0_operand" "0C")
9972 : 2098732 : (parallel [(const_int 0) (const_int 1)]))
9973 : 2098732 : (match_operand:QI 3 "register_operand" "Yk"))
9974 : 2098732 : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
9975 : 0 : "TARGET_AVX512VL"
9976 : : "vcvttpd2dq{x}\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
9977 : : [(set_attr "type" "ssecvt")
9978 : 1294 : (set_attr "prefix" "evex")
9979 : 1294 : (set_attr "mode" "TI")])
9980 : 1206 :
9981 : : (define_insn "*sse2_cvttpd2dq_mask_1"
9982 : 1065 : [(set (match_operand:V4SI 0 "register_operand" "=v")
9983 : 1065 : (vec_concat:V4SI
9984 : : (vec_merge:V2SI
9985 : 1065 : (fix:V2SI (match_operand:V2DF 1 "nonimmediate_operand" "vm"))
9986 : 1065 : (const_vector:V2SI [(const_int 0) (const_int 0)])
9987 : : (match_operand:QI 2 "register_operand" "Yk"))
9988 : 287 : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
9989 : 287 : "TARGET_AVX512VL"
9990 : : "vcvttpd2dq{x}\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
9991 : : [(set_attr "type" "ssecvt")
9992 : 287 : (set_attr "prefix" "evex")
9993 : : (set_attr "mode" "TI")])
9994 : :
9995 : : (define_insn "sse2_cvtsd2ss<mask_name><round_name>"
9996 : : [(set (match_operand:V4SF 0 "register_operand" "=x,x,v")
9997 : 2113 : (vec_merge:V4SF
9998 : 2113 : (vec_duplicate:V4SF
9999 : : (float_truncate:V2SF
10000 : 138 : (match_operand:V2DF 2 "nonimmediate_operand" "x,m,<round_constraint>")))
10001 : 138 : (match_operand:V4SF 1 "register_operand" "0,0,v")
10002 : : (const_int 1)))]
10003 : 85 : "TARGET_SSE2"
10004 : 8 : "@
10005 : : cvtsd2ss\t{%2, %0|%0, %2}
10006 : : cvtsd2ss\t{%2, %0|%0, %q2}
10007 : 893 : vcvtsd2ss\t{<round_mask_op3>%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %q2<round_mask_op3>}"
10008 : 893 : [(set_attr "isa" "noavx,noavx,avx")
10009 : 893 : (set_attr "type" "ssecvt")
10010 : : (set_attr "athlon_decode" "vector,double,*")
10011 : 0 : (set_attr "amdfam10_decode" "vector,double,*")
10012 : 0 : (set_attr "bdver1_decode" "direct,direct,*")
10013 : 0 : (set_attr "btver2_decode" "double,double,double")
10014 : : (set_attr "prefix" "orig,orig,<round_prefix>")
10015 : 0 : (set_attr "mode" "SF")])
10016 : 0 :
10017 : 0 : (define_insn "*sse2_vd_cvtsd2ss"
10018 : 0 : [(set (match_operand:V4SF 0 "register_operand" "=x,x,v")
10019 : 337 : (vec_merge:V4SF
10020 : 337 : (vec_duplicate:V4SF
10021 : 2467 : (float_truncate:SF (match_operand:DF 2 "nonimmediate_operand" "x,m,vm")))
10022 : 196 : (match_operand:V4SF 1 "register_operand" "0,0,v")
10023 : 196 : (const_int 1)))]
10024 : 893 : "TARGET_SSE2"
10025 : 0 : "@
10026 : : cvtsd2ss\t{%2, %0|%0, %2}
10027 : 0 : cvtsd2ss\t{%2, %0|%0, %2}
10028 : : vcvtsd2ss\t{%2, %1, %0|%0, %1, %2}"
10029 : 0 : [(set_attr "isa" "noavx,noavx,avx")
10030 : 0 : (set_attr "type" "ssecvt")
10031 : : (set_attr "athlon_decode" "vector,double,*")
10032 : : (set_attr "amdfam10_decode" "vector,double,*")
10033 : 0 : (set_attr "bdver1_decode" "direct,direct,*")
10034 : : (set_attr "btver2_decode" "double,double,double")
10035 : : (set_attr "prefix" "orig,orig,vex")
10036 : : (set_attr "mode" "SF")])
10037 : :
10038 : : (define_insn "sse2_cvtss2sd<mask_name><round_saeonly_name>"
10039 : : [(set (match_operand:V2DF 0 "register_operand" "=x,x,v")
10040 : 168905 : (vec_merge:V2DF
10041 : 168905 : (float_extend:V2DF
10042 : 168905 : (vec_select:V2SF
10043 : 168905 : (match_operand:V4SF 2 "<round_saeonly_nimm_scalar_predicate>" "x,m,<round_saeonly_constraint>")
10044 : 168905 : (parallel [(const_int 0) (const_int 1)])))
10045 : 168905 : (match_operand:V2DF 1 "register_operand" "0,0,v")
10046 : 168905 : (const_int 1)))]
10047 : 169039 : "TARGET_SSE2"
10048 : 168913 : "@
10049 : 168905 : cvtss2sd\t{%2, %0|%0, %2}
10050 : 168905 : cvtss2sd\t{%2, %0|%0, %k2}
10051 : 168905 : vcvtss2sd\t{<round_saeonly_mask_op3>%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %k2<round_saeonly_mask_op3>}"
10052 : 168905 : [(set_attr "isa" "noavx,noavx,avx")
10053 : 168905 : (set_attr "type" "ssecvt")
10054 : : (set_attr "amdfam10_decode" "vector,double,*")
10055 : 5482 : (set_attr "athlon_decode" "direct,direct,*")
10056 : 5482 : (set_attr "bdver1_decode" "direct,direct,*")
10057 : 8707 : (set_attr "btver2_decode" "double,double,double")
10058 : 108 : (set_attr "prefix" "orig,orig,<round_saeonly_prefix>")
10059 : 108 : (set_attr "mode" "DF")])
10060 : :
10061 : 130573 : (define_insn "*sse2_vd_cvtss2sd"
10062 : 8709 : [(set (match_operand:V2DF 0 "register_operand" "=x,x,v")
10063 : 8707 : (vec_merge:V2DF
10064 : 8707 : (vec_duplicate:V2DF
10065 : 133966 : (float_extend:DF (match_operand:SF 2 "nonimmediate_operand" "x,m,vm")))
10066 : 121864 : (match_operand:V2DF 1 "register_operand" "0,0,v")
10067 : 125996 : (const_int 1)))]
10068 : 216312 : "TARGET_SSE2"
10069 : 125259 : "@
10070 : 129391 : cvtss2sd\t{%2, %0|%0, %2}
10071 : 129391 : cvtss2sd\t{%2, %0|%0, %2}
10072 : 129391 : vcvtss2sd\t{%2, %1, %0|%0, %1, %2}"
10073 : 7527 : [(set_attr "isa" "noavx,noavx,avx")
10074 : 11532 : (set_attr "type" "ssecvt")
10075 : 7400 : (set_attr "amdfam10_decode" "vector,double,*")
10076 : 7621 : (set_attr "athlon_decode" "direct,direct,*")
10077 : 7880 : (set_attr "bdver1_decode" "direct,direct,*")
10078 : 7786 : (set_attr "btver2_decode" "double,double,double")
10079 : 7527 : (set_attr "prefix" "orig,orig,vex")
10080 : 7527 : (set_attr "mode" "DF")])
10081 : 7620 :
10082 : 7620 : (define_insn "<mask_codefor>avx512f_cvtpd2ps512<mask_name><round_name>"
10083 : : [(set (match_operand:V8SF 0 "register_operand" "=v")
10084 : 7358 : (float_truncate:V8SF
10085 : 7358 : (match_operand:V8DF 1 "<round_nimm_predicate>" "<round_constraint>")))]
10086 : 5179 : "TARGET_AVX512F && TARGET_EVEX512"
10087 : 7619 : "vcvtpd2ps\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
10088 : 7289 : [(set_attr "type" "ssecvt")
10089 : 4132 : (set_attr "prefix" "evex")
10090 : 8345 : (set_attr "mode" "V8SF")])
10091 : 4213 :
10092 : 6382 : (define_insn "avx_cvtpd2ps256<mask_name><round_name>"
10093 : 3362 : [(set (match_operand:V4SF 0 "register_operand" "=v")
10094 : 4175 : (float_truncate:V4SF
10095 : 884 : (match_operand:V4DF 1 "<round_nimm_predicate>" "<round_constraint>")))]
10096 : 2458 : "TARGET_AVX && <mask_avx512vl_condition>
10097 : 245 : && (!<round_applied> || TARGET_AVX10_2_256)"
10098 : 1839 : "vcvtpd2ps<round_suff>\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
10099 : : [(set_attr "type" "ssecvt")
10100 : 0 : (set_attr "prefix" "maybe_evex")
10101 : 313 : (set_attr "btver2_decode" "vector")
10102 : 313 : (set_attr "mode" "V4SF")])
10103 : 110 :
10104 : 229 : (define_expand "sse2_cvtpd2ps"
10105 : 860 : [(set (match_operand:V4SF 0 "register_operand")
10106 : 1147 : (vec_concat:V4SF
10107 : 847 : (float_truncate:V2SF
10108 : : (match_operand:V2DF 1 "vector_operand"))
10109 : 830 : (match_dup 2)))]
10110 : 830 : "TARGET_SSE2"
10111 : 308548 : "operands[2] = CONST0_RTX (V2SFmode);")
10112 : 830 :
10113 : 830 : (define_expand "sse2_cvtpd2ps_mask"
10114 : 3249 : [(set (match_operand:V4SF 0 "register_operand")
10115 : 309378 : (vec_concat:V4SF
10116 : 309378 : (vec_merge:V2SF
10117 : 309378 : (float_truncate:V2SF
10118 : 309378 : (match_operand:V2DF 1 "vector_operand"))
10119 : 309378 : (vec_select:V2SF
10120 : 306959 : (match_operand:V4SF 2 "nonimm_or_0_operand")
10121 : 309378 : (parallel [(const_int 0) (const_int 1)]))
10122 : 830 : (match_operand:QI 3 "register_operand"))
10123 : 202407 : (match_dup 4)))]
10124 : 203237 : "TARGET_SSE2"
10125 : 202431 : "operands[4] = CONST0_RTX (V2SFmode);")
10126 : 205227 :
10127 : 205227 : (define_insn "*sse2_cvtpd2ps"
10128 : 2443 : [(set (match_operand:V4SF 0 "register_operand" "=v")
10129 : 24 : (vec_concat:V4SF
10130 : 24 : (float_truncate:V2SF
10131 : 24 : (match_operand:V2DF 1 "vector_operand" "vBm"))
10132 : 425 : (match_operand:V2SF 2 "const0_operand")))]
10133 : 19557 : "TARGET_SSE2"
10134 : 7499 : {
10135 : 2491 : if (TARGET_AVX)
10136 : 38 : return "vcvtpd2ps{x}\t{%1, %0|%0, %1}";
10137 : 229 : else
10138 : 2599 : return "cvtpd2ps\t{%1, %0|%0, %1}";
10139 : 38 : }
10140 : 14 : [(set_attr "type" "ssecvt")
10141 : 14 : (set_attr "amdfam10_decode" "double")
10142 : 244 : (set_attr "athlon_decode" "vector")
10143 : 580 : (set_attr "bdver1_decode" "double")
10144 : : (set_attr "prefix_data16" "1")
10145 : : (set_attr "prefix" "maybe_vex")
10146 : : (set_attr "mode" "V4SF")])
10147 : :
10148 : : (define_insn "truncv2dfv2sf2"
10149 : : [(set (match_operand:V2SF 0 "register_operand" "=v")
10150 : : (float_truncate:V2SF
10151 : : (match_operand:V2DF 1 "vector_operand" "vBm")))]
10152 : 24 : "TARGET_MMX_WITH_SSE"
10153 : 4009 : {
10154 : 590 : if (TARGET_AVX)
10155 : : return "vcvtpd2ps{x}\t{%1, %0|%0, %1}";
10156 : : else
10157 : 565 : return "cvtpd2ps\t{%1, %0|%0, %1}";
10158 : : }
10159 : 12 : [(set_attr "type" "ssecvt")
10160 : : (set_attr "amdfam10_decode" "double")
10161 : : (set_attr "athlon_decode" "vector")
10162 : 1912045 : (set_attr "bdver1_decode" "double")
10163 : 12 : (set_attr "prefix_data16" "1")
10164 : 12 : (set_attr "prefix" "maybe_vex")
10165 : 12 : (set_attr "mode" "V4SF")])
10166 : 1912045 :
10167 : 1912045 : (define_insn "*sse2_cvtpd2ps_mask"
10168 : 1912045 : [(set (match_operand:V4SF 0 "register_operand" "=v")
10169 : 1912045 : (vec_concat:V4SF
10170 : : (vec_merge:V2SF
10171 : 1911975 : (float_truncate:V2SF
10172 : 1911975 : (match_operand:V2DF 1 "nonimmediate_operand" "vm"))
10173 : : (vec_select:V2SF
10174 : 16163 : (match_operand:V4SF 2 "nonimm_or_0_operand" "0C")
10175 : 16163 : (parallel [(const_int 0) (const_int 1)]))
10176 : 16163 : (match_operand:QI 3 "register_operand" "Yk"))
10177 : 25266 : (match_operand:V2SF 4 "const0_operand")))]
10178 : 142 : "TARGET_AVX512VL"
10179 : : "vcvtpd2ps{x}\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
10180 : : [(set_attr "type" "ssecvt")
10181 : : (set_attr "prefix" "evex")
10182 : : (set_attr "mode" "V4SF")])
10183 : :
10184 : : (define_insn "*sse2_cvtpd2ps_mask_1"
10185 : : [(set (match_operand:V4SF 0 "register_operand" "=v")
10186 : : (vec_concat:V4SF
10187 : : (vec_merge:V2SF
10188 : : (float_truncate:V2SF
10189 : : (match_operand:V2DF 1 "nonimmediate_operand" "vm"))
10190 : 312 : (match_operand:V2SF 3 "const0_operand")
10191 : 312 : (match_operand:QI 2 "register_operand" "Yk"))
10192 : 312 : (match_operand:V2SF 4 "const0_operand")))]
10193 : 60 : "TARGET_AVX512VL"
10194 : 312 : "vcvtpd2ps{x}\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
10195 : 312 : [(set_attr "type" "ssecvt")
10196 : : (set_attr "prefix" "evex")
10197 : 213 : (set_attr "mode" "V4SF")])
10198 : 213 :
10199 : 213 : ;; For <sse2_avx_avx512f>_cvtps2pd<avxsizesuffix> insn pattern
10200 : : (define_mode_attr sf2dfmode
10201 : 204 : [(V8DF "V8SF") (V4DF "V4SF")])
10202 : : (define_mode_attr sf2dfmode_lower
10203 : 136 : [(V8DF "v8sf") (V4DF "v4sf")])
10204 : 136 :
10205 : 136 : (define_expand "trunc<mode><sf2dfmode_lower>2"
10206 : 2886 : [(set (match_operand:<sf2dfmode> 0 "register_operand")
10207 : 136 : (float_truncate:<sf2dfmode>
10208 : 1822 : (match_operand:VF2_512_256 1 "vector_operand")))]
10209 : 1890 : "TARGET_AVX")
10210 : 68 :
10211 : 1822 : (define_expand "extend<sf2dfmode_lower><mode>2"
10212 : : [(set (match_operand:VF2_512_256 0 "register_operand")
10213 : 233 : (float_extend:VF2_512_256
10214 : 233 : (match_operand:<sf2dfmode> 1 "vector_operand")))]
10215 : : "TARGET_AVX")
10216 : 139 :
10217 : 139 : (define_insn "<sse2_avx_avx512f>_cvtps2pd<avxsizesuffix><mask_name><round_saeonly_name>"
10218 : : [(set (match_operand:VF2_512_256 0 "register_operand" "=v")
10219 : : (float_extend:VF2_512_256
10220 : : (match_operand:<sf2dfmode> 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")))]
10221 : 1100 : "TARGET_AVX && <mask_mode512bit_condition> && <round_saeonly_mode_condition>"
10222 : : "vcvtps2pd\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
10223 : : [(set_attr "type" "ssecvt")
10224 : : (set_attr "prefix" "maybe_vex")
10225 : : (set_attr "mode" "<MODE>")])
10226 : :
10227 : 245 : (define_insn "*avx_cvtps2pd256_2"
10228 : : [(set (match_operand:V4DF 0 "register_operand" "=v")
10229 : 3 : (float_extend:V4DF
10230 : 3 : (vec_select:V4SF
10231 : 2 : (match_operand:V8SF 1 "nonimmediate_operand" "vm")
10232 : 2 : (parallel [(const_int 0) (const_int 1)
10233 : 4 : (const_int 2) (const_int 3)]))))]
10234 : 625 : "TARGET_AVX"
10235 : : "vcvtps2pd\t{%x1, %0|%0, %x1}"
10236 : : [(set_attr "type" "ssecvt")
10237 : : (set_attr "prefix" "vex")
10238 : : (set_attr "mode" "V4DF")])
10239 : :
10240 : : (define_insn "vec_unpacks_lo_v16sf"
10241 : 263 : [(set (match_operand:V8DF 0 "register_operand" "=v")
10242 : 381 : (float_extend:V8DF
10243 : 357 : (vec_select:V8SF
10244 : 912 : (match_operand:V16SF 1 "nonimmediate_operand" "vm")
10245 : 263 : (parallel [(const_int 0) (const_int 1)
10246 : 24 : (const_int 2) (const_int 3)
10247 : 118 : (const_int 4) (const_int 5)
10248 : 252 : (const_int 6) (const_int 7)]))))]
10249 : 252 : "TARGET_AVX512F && TARGET_EVEX512"
10250 : 35 : "vcvtps2pd\t{%t1, %0|%0, %t1}"
10251 : 252 : [(set_attr "type" "ssecvt")
10252 : 252 : (set_attr "prefix" "evex")
10253 : 117 : (set_attr "mode" "V8DF")])
10254 : 369 :
10255 : 369 : (define_insn "<avx512>_cvt<ssemodesuffix>2mask<mode>"
10256 : : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
10257 : 369 : (unspec:<avx512fmaskmode>
10258 : 141 : [(match_operand:VI12_AVX512VL 1 "register_operand" "v")]
10259 : 252 : UNSPEC_CVTINT2MASK))]
10260 : 301 : "TARGET_AVX512BW"
10261 : 165 : "vpmov<ssemodesuffix>2m\t{%1, %0|%0, %1}"
10262 : 6 : [(set_attr "prefix" "evex")
10263 : 363 : (set_attr "mode" "<sseinsnmode>")])
10264 : 141 :
10265 : 246 : (define_insn "<avx512>_cvt<ssemodesuffix>2mask<mode>"
10266 : 141 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
10267 : 117 : (unspec:<avx512fmaskmode>
10268 : 222 : [(match_operand:VI48_AVX512VL 1 "register_operand" "v")]
10269 : 222 : UNSPEC_CVTINT2MASK))]
10270 : 271 : "TARGET_AVX512DQ"
10271 : 221 : "vpmov<ssemodesuffix>2m\t{%1, %0|%0, %1}"
10272 : 117 : [(set_attr "prefix" "evex")
10273 : 221 : (set_attr "mode" "<sseinsnmode>")])
10274 : 55 :
10275 : 275 : (define_expand "<avx512>_cvtmask2<ssemodesuffix><mode>"
10276 : 220 : [(set (match_operand:VI12_AVX512VL 0 "register_operand")
10277 : : (vec_merge:VI12_AVX512VL
10278 : : (match_dup 2)
10279 : : (match_dup 3)
10280 : : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
10281 : : "TARGET_AVX512BW"
10282 : 81 : {
10283 : 81 : operands[2] = CONSTM1_RTX (<MODE>mode);
10284 : 81 : operands[3] = CONST0_RTX (<MODE>mode);
10285 : : })
10286 : :
10287 : : (define_insn "*<avx512>_cvtmask2<ssemodesuffix><mode>"
10288 : 81 : [(set (match_operand:VI12_AVX512VL 0 "register_operand" "=v")
10289 : 81 : (vec_merge:VI12_AVX512VL
10290 : 81 : (match_operand:VI12_AVX512VL 2 "vector_all_ones_operand")
10291 : 81 : (match_operand:VI12_AVX512VL 3 "const0_operand")
10292 : 81 : (match_operand:<avx512fmaskmode> 1 "register_operand" "k")))]
10293 : 1574 : "TARGET_AVX512BW"
10294 : 81 : "vpmovm2<ssemodesuffix>\t{%1, %0|%0, %1}"
10295 : 81 : [(set_attr "prefix" "evex")
10296 : : (set_attr "mode" "<sseinsnmode>")])
10297 : 81 :
10298 : : (define_expand "<avx512>_cvtmask2<ssemodesuffix><mode>"
10299 : : [(set (match_operand:VI48_AVX512VL 0 "register_operand")
10300 : : (vec_merge:VI48_AVX512VL
10301 : : (match_dup 2)
10302 : 81 : (match_dup 3)
10303 : 81 : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
10304 : 81 : "TARGET_AVX512F"
10305 : 80 : "{
10306 : 80 : operands[2] = CONSTM1_RTX (<MODE>mode);
10307 : 80 : operands[3] = CONST0_RTX (<MODE>mode);
10308 : : }")
10309 : 28 :
10310 : 75 : (define_insn_and_split "*<avx512>_cvtmask2<ssemodesuffix><mode>"
10311 : 80 : [(set (match_operand:VI48_AVX512VL 0 "register_operand" "=v,v")
10312 : 183 : (vec_merge:VI48_AVX512VL
10313 : 183 : (match_operand:VI48_AVX512VL 2 "vector_all_ones_operand")
10314 : 183 : (match_operand:VI48_AVX512VL 3 "const0_operand")
10315 : 155 : (match_operand:<avx512fmaskmode> 1 "register_operand" "k,Yk")))]
10316 : 2304 : "TARGET_AVX512F"
10317 : 155 : "@
10318 : 155 : vpmovm2<ssemodesuffix>\t{%1, %0|%0, %1}
10319 : 28 : vpternlog<ssemodesuffix>\t{$0x81, %0, %0, %0%{%1%}%{z%}|%0%{%1%}%{z%}, %0, %0, 0x81}"
10320 : 308 : "&& !TARGET_AVX512DQ && reload_completed
10321 : 77 : && optimize_function_for_speed_p (cfun)"
10322 : 75 : [(set (match_dup 0) (match_dup 4))
10323 : 605 : (parallel
10324 : 30 : [(set (match_dup 0)
10325 : 685 : (vec_merge:VI48_AVX512VL
10326 : 80 : (match_dup 2)
10327 : 80 : (match_dup 3)
10328 : : (match_dup 1)))
10329 : : (unspec [(match_dup 0)] UNSPEC_INSN_FALSE_DEP)])]
10330 : 75 : "operands[4] = CONST0_RTX (<MODE>mode);"
10331 : : [(set_attr "isa" "avx512dq,*")
10332 : : (set_attr "length_immediate" "0,1")
10333 : 75 : (set_attr "prefix" "evex")
10334 : 75 : (set_attr "mode" "<sseinsnmode>")])
10335 : 75 :
10336 : 75 : (define_insn_and_split "*<avx512>_cvtmask2<ssemodesuffix><mode>_not"
10337 : 75 : [(set (match_operand:VI1248_AVX512VLBW 0 "register_operand")
10338 : 75 : (vec_merge:VI1248_AVX512VLBW
10339 : 75 : (match_operand:VI1248_AVX512VLBW 2 "const0_operand")
10340 : 75 : (match_operand:VI1248_AVX512VLBW 3 "vector_all_ones_operand")
10341 : 75 : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
10342 : 184 : "TARGET_AVX512F && ix86_pre_reload_split ()"
10343 : 75 : "#"
10344 : : "&& 1"
10345 : 77 : [(set (match_dup 4)
10346 : : (not:<avx512fmaskmode> (match_dup 1)))
10347 : : (set (match_dup 0)
10348 : 520 : (vec_merge:VI1248_AVX512VLBW
10349 : 520 : (match_dup 3)
10350 : 630 : (match_dup 2)
10351 : 477 : (match_dup 4)))]
10352 : 1479 : "operands[4] = gen_reg_rtx (<avx512fmaskmode>mode);")
10353 : 150 :
10354 : 477 : (define_insn "*<avx512>_cvtmask2<ssemodesuffix><mode>_pternlog_false_dep"
10355 : 452 : [(set (match_operand:VI48_AVX512VL 0 "register_operand" "=v")
10356 : 1002 : (vec_merge:VI48_AVX512VL
10357 : 75 : (match_operand:VI48_AVX512VL 2 "vector_all_ones_operand")
10358 : 77 : (match_operand:VI48_AVX512VL 3 "const0_operand")
10359 : 2 : (match_operand:<avx512fmaskmode> 1 "register_operand" "Yk")))
10360 : 2 : (unspec [(match_operand:VI48_AVX512VL 4 "register_operand" "0")] UNSPEC_INSN_FALSE_DEP)]
10361 : 73 : "TARGET_AVX512F && !TARGET_AVX512DQ"
10362 : 37783 : "vpternlog<ssemodesuffix>\t{$0x81, %0, %0, %0%{%1%}%{z%}|%0%{%1%}%{z%}, %0, %0, 0x81}"
10363 : 2 : [(set_attr "length_immediate" "1")
10364 : 7 : (set_attr "prefix" "evex")
10365 : 8 : (set_attr "mode" "<sseinsnmode>")])
10366 : 2 :
10367 : 2 : (define_expand "extendv2sfv2df2"
10368 : 2 : [(set (match_operand:V2DF 0 "register_operand")
10369 : 2 : (float_extend:V2DF
10370 : 2 : (match_operand:V2SF 1 "nonimmediate_operand")))]
10371 : 2 : "TARGET_MMX_WITH_SSE"
10372 : 38 : {
10373 : 2 : if (!MEM_P (operands[1]))
10374 : 4 : {
10375 : 25 : operands[1] = lowpart_subreg (V4SFmode,
10376 : : force_reg (V2SFmode, operands[1]),
10377 : : V2SFmode);
10378 : 23 : emit_insn (gen_sse2_cvtps2pd (operands[0], operands[1]));
10379 : 23 : DONE;
10380 : 902 : }
10381 : 0 : })
10382 : :
10383 : 902 : (define_insn "sse2_cvtps2pd<mask_name>"
10384 : 811 : [(set (match_operand:V2DF 0 "register_operand" "=v")
10385 : 824 : (float_extend:V2DF
10386 : 824 : (vec_select:V2SF
10387 : 824 : (match_operand:V4SF 1 "register_operand" "v")
10388 : 811 : (parallel [(const_int 0) (const_int 1)]))))]
10389 : 4962 : "TARGET_SSE2 && <mask_avx512vl_condition>"
10390 : 0 : "%vcvtps2pd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %q1}"
10391 : 0 : [(set_attr "type" "ssecvt")
10392 : 13 : (set_attr "amdfam10_decode" "direct")
10393 : 13 : (set_attr "athlon_decode" "double")
10394 : 13 : (set_attr "bdver1_decode" "double")
10395 : : (set_attr "prefix_data16" "0")
10396 : : (set_attr "prefix" "maybe_vex")
10397 : 893 : (set_attr "mode" "V2DF")])
10398 : 893 :
10399 : 971 : (define_insn "sse2_cvtps2pd<mask_name>_1"
10400 : 0 : [(set (match_operand:V2DF 0 "register_operand" "=v")
10401 : 878 : (float_extend:V2DF
10402 : 971 : (match_operand:V2SF 1 "memory_operand" "m")))]
10403 : 1105 : "TARGET_SSE2 && <mask_avx512vl_condition>"
10404 : 93 : "%vcvtps2pd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %q1}"
10405 : 971 : [(set_attr "type" "ssecvt")
10406 : 229 : (set_attr "amdfam10_decode" "direct")
10407 : 549 : (set_attr "athlon_decode" "double")
10408 : 456 : (set_attr "bdver1_decode" "double")
10409 : 320 : (set_attr "prefix_data16" "0")
10410 : : (set_attr "prefix" "maybe_vex")
10411 : : (set_attr "mode" "V2DF")])
10412 : :
10413 : 605 : (define_expand "vec_unpacks_hi_v4sf"
10414 : : [(set (match_dup 2)
10415 : 10401 : (vec_select:V4SF
10416 : 10401 : (vec_concat:V8SF
10417 : 10401 : (match_dup 2)
10418 : : (match_operand:V4SF 1 "vector_operand"))
10419 : 10401 : (parallel [(const_int 6) (const_int 7)
10420 : 9313 : (const_int 2) (const_int 3)])))
10421 : 9847 : (set (match_operand:V2DF 0 "register_operand")
10422 : 534 : (float_extend:V2DF
10423 : 2070 : (vec_select:V2SF
10424 : 1536 : (match_dup 2)
10425 : 2070 : (parallel [(const_int 0) (const_int 1)]))))]
10426 : 534 : "TARGET_SSE2"
10427 : 2344 : {
10428 : 1810 : operands[2] = gen_reg_rtx (V4SFmode);
10429 : 784 : emit_move_insn (operands[2], CONST0_RTX (V4SFmode));
10430 : 2046 : })
10431 : 2046 :
10432 : 510 : (define_expand "vec_unpacks_hi_v8sf"
10433 : 2320 : [(set (match_dup 2)
10434 : 1810 : (vec_select:V4SF
10435 : 716 : (match_operand:V8SF 1 "register_operand")
10436 : 1810 : (parallel [(const_int 4) (const_int 5)
10437 : 497 : (const_int 6) (const_int 7)])))
10438 : 1421 : (set (match_operand:V4DF 0 "register_operand")
10439 : 924 : (float_extend:V4DF
10440 : 1421 : (match_dup 2)))]
10441 : : "TARGET_AVX"
10442 : 1015 : "operands[2] = gen_reg_rtx (V4SFmode);")
10443 : :
10444 : 806 : (define_expand "vec_unpacks_hi_v16sf"
10445 : 897 : [(set (match_dup 2)
10446 : 897 : (vec_select:V8SF
10447 : 91 : (match_operand:V16SF 1 "register_operand")
10448 : 857 : (parallel [(const_int 8) (const_int 9)
10449 : 91 : (const_int 10) (const_int 11)
10450 : 173 : (const_int 12) (const_int 13)
10451 : 356 : (const_int 14) (const_int 15)])))
10452 : 173 : (set (match_operand:V8DF 0 "register_operand")
10453 : : (float_extend:V8DF
10454 : : (match_dup 2)))]
10455 : : "TARGET_AVX512F && TARGET_EVEX512"
10456 : 43 : "operands[2] = gen_reg_rtx (V8SFmode);")
10457 : :
10458 : : (define_expand "vec_unpacks_lo_v4sf"
10459 : 317 : [(set (match_operand:V2DF 0 "register_operand")
10460 : 317 : (float_extend:V2DF
10461 : 408 : (vec_select:V2SF
10462 : 43 : (match_operand:V4SF 1 "vector_operand")
10463 : 43 : (parallel [(const_int 0) (const_int 1)]))))]
10464 : 134 : "TARGET_SSE2"
10465 : 365 : {
10466 : 417 : if (MEM_P (operands[1]))
10467 : : {
10468 : 1 : operands[1] = adjust_address_nv (operands[1], V2SFmode, 0);
10469 : 10 : emit_insn (gen_sse2_cvtps2pd_1 (operands[0], operands[1]));
10470 : 10 : DONE;
10471 : 9 : }
10472 : 9 : })
10473 : 9 :
10474 : 9 : (define_expand "vec_unpacks_lo_v8sf"
10475 : 273 : [(set (match_operand:V4DF 0 "register_operand")
10476 : 273 : (float_extend:V4DF
10477 : 273 : (vec_select:V4SF
10478 : 273 : (match_operand:V8SF 1 "nonimmediate_operand")
10479 : 43 : (parallel [(const_int 0) (const_int 1)
10480 : 273 : (const_int 2) (const_int 3)]))))]
10481 : : "TARGET_AVX")
10482 : 43 :
10483 : 43 : (define_mode_attr sseunpackfltmode
10484 : 43 : [(V8HI "V4SF") (V4SI "V2DF") (V16HI "V8SF")
10485 : : (V8SI "V4DF") (V32HI "V16SF") (V16SI "V8DF")])
10486 : :
10487 : : (define_expand "vec_unpacks_float_hi_<mode>"
10488 : 273 : [(match_operand:<sseunpackfltmode> 0 "register_operand")
10489 : 940 : (match_operand:VI2_AVX512F 1 "register_operand")]
10490 : 273 : "TARGET_SSE2"
10491 : 93 : {
10492 : 760 : rtx tmp = gen_reg_rtx (<sseunpackmode>mode);
10493 : :
10494 : 93 : emit_insn (gen_vec_unpacks_hi_<mode> (tmp, operands[1]));
10495 : 93 : emit_insn (gen_rtx_SET (operands[0],
10496 : : gen_rtx_FLOAT (<sseunpackfltmode>mode, tmp)));
10497 : 93 : DONE;
10498 : 0 : })
10499 : 0 :
10500 : 0 : (define_expand "vec_unpacks_float_lo_<mode>"
10501 : 0 : [(match_operand:<sseunpackfltmode> 0 "register_operand")
10502 : 0 : (match_operand:VI2_AVX512F 1 "register_operand")]
10503 : 0 : "TARGET_SSE2"
10504 : 114 : {
10505 : 93 : rtx tmp = gen_reg_rtx (<sseunpackmode>mode);
10506 : :
10507 : 114 : emit_insn (gen_vec_unpacks_lo_<mode> (tmp, operands[1]));
10508 : 114 : emit_insn (gen_rtx_SET (operands[0],
10509 : 21 : gen_rtx_FLOAT (<sseunpackfltmode>mode, tmp)));
10510 : 114 : DONE;
10511 : 21 : })
10512 : 21 :
10513 : 21 : (define_expand "vec_unpacku_float_hi_<mode>"
10514 : : [(match_operand:<sseunpackfltmode> 0 "register_operand")
10515 : 9 : (match_operand:VI2_AVX512F 1 "register_operand")]
10516 : : "TARGET_SSE2"
10517 : 9 : {
10518 : 18 : rtx tmp = gen_reg_rtx (<sseunpackmode>mode);
10519 : 9 :
10520 : 18 : emit_insn (gen_vec_unpacku_hi_<mode> (tmp, operands[1]));
10521 : 18 : emit_insn (gen_rtx_SET (operands[0],
10522 : 9 : gen_rtx_FLOAT (<sseunpackfltmode>mode, tmp)));
10523 : 18 : DONE;
10524 : : })
10525 : :
10526 : : (define_expand "vec_unpacku_float_lo_<mode>"
10527 : : [(match_operand:<sseunpackfltmode> 0 "register_operand")
10528 : 779 : (match_operand:VI2_AVX512F 1 "register_operand")]
10529 : : "TARGET_SSE2"
10530 : 9 : {
10531 : 788 : rtx tmp = gen_reg_rtx (<sseunpackmode>mode);
10532 : 723 :
10533 : 732 : emit_insn (gen_vec_unpacku_lo_<mode> (tmp, operands[1]));
10534 : 732 : emit_insn (gen_rtx_SET (operands[0],
10535 : 723 : gen_rtx_FLOAT (<sseunpackfltmode>mode, tmp)));
10536 : 732 : DONE;
10537 : 723 : })
10538 : :
10539 : : (define_expand "vec_unpacks_float_hi_v4si"
10540 : : [(set (match_dup 2)
10541 : 28 : (vec_select:V4SI
10542 : : (match_operand:V4SI 1 "vector_operand")
10543 : : (parallel [(const_int 2) (const_int 3)
10544 : 28 : (const_int 2) (const_int 3)])))
10545 : 14 : (set (match_operand:V2DF 0 "register_operand")
10546 : 7 : (float:V2DF
10547 : 7 : (vec_select:V2SI
10548 : 14 : (match_dup 2)
10549 : 14 : (parallel [(const_int 0) (const_int 1)]))))]
10550 : 14 : "TARGET_SSE2"
10551 : 681 : "operands[2] = gen_reg_rtx (V4SImode);")
10552 : 14 :
10553 : 14 : (define_expand "vec_unpacks_float_lo_v4si"
10554 : 685 : [(set (match_operand:V2DF 0 "register_operand")
10555 : 681 : (float:V2DF
10556 : 681 : (vec_select:V2SI
10557 : 678 : (match_operand:V4SI 1 "vector_operand")
10558 : 678 : (parallel [(const_int 0) (const_int 1)]))))]
10559 : 678 : "TARGET_SSE2")
10560 : 4 :
10561 : 671 : (define_expand "vec_unpacks_float_hi_v8si"
10562 : 36 : [(set (match_dup 2)
10563 : : (vec_select:V4SI
10564 : : (match_operand:V8SI 1 "register_operand")
10565 : : (parallel [(const_int 4) (const_int 5)
10566 : 32 : (const_int 6) (const_int 7)])))
10567 : 32 : (set (match_operand:V4DF 0 "register_operand")
10568 : 32 : (float:V4DF
10569 : 32 : (match_dup 2)))]
10570 : 699 : "TARGET_AVX"
10571 : 88 : "operands[2] = gen_reg_rtx (V4SImode);")
10572 : 32 :
10573 : 32 : (define_expand "vec_unpacks_float_lo_v8si"
10574 : 88 : [(set (match_operand:V4DF 0 "register_operand")
10575 : 56 : (float:V4DF
10576 : 56 : (vec_select:V4SI
10577 : 56 : (match_operand:V8SI 1 "nonimmediate_operand")
10578 : 723 : (parallel [(const_int 0) (const_int 1)
10579 : 723 : (const_int 2) (const_int 3)]))))]
10580 : 667 : "TARGET_AVX")
10581 : 56 :
10582 : : (define_expand "vec_unpacks_float_hi_v16si"
10583 : : [(set (match_dup 2)
10584 : : (vec_select:V8SI
10585 : 399900334 : (match_operand:V16SI 1 "nonimmediate_operand")
10586 : : (parallel [(const_int 8) (const_int 9)
10587 : 399900333 : (const_int 10) (const_int 11)
10588 : : (const_int 12) (const_int 13)
10589 : 399900334 : (const_int 14) (const_int 15)])))
10590 : 57 : (set (match_operand:V8DF 0 "register_operand")
10591 : 296175 : (float:V8DF
10592 : 296175 : (match_dup 2)))]
10593 : 296231 : "TARGET_AVX512F && TARGET_EVEX512"
10594 : 78 : "operands[2] = gen_reg_rtx (V8SImode);")
10595 : 57 :
10596 : : (define_expand "vec_unpacks_float_lo_v16si"
10597 : 296189 : [(set (match_operand:V8DF 0 "register_operand")
10598 : 21 : (float:V8DF
10599 : 21 : (vec_select:V8SI
10600 : 97 : (match_operand:V16SI 1 "nonimmediate_operand")
10601 : 25 : (parallel [(const_int 0) (const_int 1)
10602 : 21 : (const_int 2) (const_int 3)
10603 : : (const_int 4) (const_int 5)
10604 : 97 : (const_int 6) (const_int 7)]))))]
10605 : 76 : "TARGET_AVX512F && TARGET_EVEX512")
10606 : 76 :
10607 : 76 : (define_expand "vec_unpacku_float_hi_v4si"
10608 : 76 : [(set (match_dup 5)
10609 : 76 : (vec_select:V4SI
10610 : 59883 : (match_operand:V4SI 1 "vector_operand")
10611 : 59883 : (parallel [(const_int 2) (const_int 3)
10612 : 59883 : (const_int 2) (const_int 3)])))
10613 : : (set (match_dup 6)
10614 : : (float:V2DF
10615 : : (vec_select:V2SI
10616 : 59807 : (match_dup 5)
10617 : 21 : (parallel [(const_int 0) (const_int 1)]))))
10618 : : (set (match_dup 7)
10619 : : (lt:V2DF (match_dup 6) (match_dup 3)))
10620 : 21 : (set (match_dup 8)
10621 : 21 : (and:V2DF (match_dup 7) (match_dup 4)))
10622 : 21 : (set (match_operand:V2DF 0 "register_operand")
10623 : : (plus:V2DF (match_dup 6) (match_dup 8)))]
10624 : : "TARGET_SSE2"
10625 : 447113 : {
10626 : 447113 : REAL_VALUE_TYPE TWO32r;
10627 : 447117 : rtx x;
10628 : 447113 : int i;
10629 : :
10630 : 7 : real_ldexp (&TWO32r, &dconst1, 32);
10631 : 11 : x = const_double_from_real_value (TWO32r, DFmode);
10632 : 4 :
10633 : 11 : operands[3] = force_reg (V2DFmode, CONST0_RTX (V2DFmode));
10634 : 11 : operands[4] = force_reg (V2DFmode,
10635 : 4 : ix86_build_const_vector (V2DFmode, 1, x));
10636 : 4 :
10637 : 11 : operands[5] = gen_reg_rtx (V4SImode);
10638 : :
10639 : 28 : for (i = 6; i < 9; i++)
10640 : 21 : operands[i] = gen_reg_rtx (V2DFmode);
10641 : : })
10642 : :
10643 : : (define_expand "vec_unpacku_float_lo_v4si"
10644 : 7 : [(set (match_dup 5)
10645 : 7 : (float:V2DF
10646 : 7 : (vec_select:V2SI
10647 : 7 : (match_operand:V4SI 1 "vector_operand")
10648 : 7 : (parallel [(const_int 0) (const_int 1)]))))
10649 : 7 : (set (match_dup 6)
10650 : 7 : (lt:V2DF (match_dup 5) (match_dup 3)))
10651 : 7 : (set (match_dup 7)
10652 : 7 : (and:V2DF (match_dup 6) (match_dup 4)))
10653 : 7 : (set (match_operand:V2DF 0 "register_operand")
10654 : 7 : (plus:V2DF (match_dup 5) (match_dup 7)))]
10655 : 7 : "TARGET_SSE2"
10656 : 14 : {
10657 : 14 : REAL_VALUE_TYPE TWO32r;
10658 : 14 : rtx x;
10659 : 14 : int i;
10660 : 7 :
10661 : 110 : real_ldexp (&TWO32r, &dconst1, 32);
10662 : 103 : x = const_double_from_real_value (TWO32r, DFmode);
10663 : 103 :
10664 : 7 : operands[3] = force_reg (V2DFmode, CONST0_RTX (V2DFmode));
10665 : 7 : operands[4] = force_reg (V2DFmode,
10666 : : ix86_build_const_vector (V2DFmode, 1, x));
10667 : :
10668 : 28 : for (i = 5; i < 8; i++)
10669 : 21 : operands[i] = gen_reg_rtx (V2DFmode);
10670 : : })
10671 : :
10672 : 7 : (define_expand "vec_unpacku_float_hi_v8si"
10673 : 7 : [(match_operand:V4DF 0 "register_operand")
10674 : 7 : (match_operand:V8SI 1 "register_operand")]
10675 : 7 : "TARGET_AVX"
10676 : 7 : {
10677 : 7 : REAL_VALUE_TYPE TWO32r;
10678 : 7 : rtx x, tmp[6];
10679 : 7 : int i;
10680 : 14 :
10681 : 7 : real_ldexp (&TWO32r, &dconst1, 32);
10682 : 7 : x = const_double_from_real_value (TWO32r, DFmode);
10683 : 7 :
10684 : 14 : tmp[0] = force_reg (V4DFmode, CONST0_RTX (V4DFmode));
10685 : 7 : tmp[1] = force_reg (V4DFmode, ix86_build_const_vector (V4DFmode, 1, x));
10686 : 7 : tmp[5] = gen_reg_rtx (V4SImode);
10687 : 7 :
10688 : 14 : for (i = 2; i < 5; i++)
10689 : 0 : tmp[i] = gen_reg_rtx (V4DFmode);
10690 : 7 : emit_insn (gen_vec_extract_hi_v8si (tmp[5], operands[1]));
10691 : 0 : emit_insn (gen_floatv4siv4df2 (tmp[2], tmp[5]));
10692 : 7 : emit_insn (gen_rtx_SET (tmp[3], gen_rtx_LT (V4DFmode, tmp[2], tmp[0])));
10693 : 7 : emit_insn (gen_andv4df3 (tmp[4], tmp[3], tmp[1]));
10694 : 7 : emit_insn (gen_addv4df3 (operands[0], tmp[2], tmp[4]));
10695 : 0 : DONE;
10696 : : })
10697 : :
10698 : 7 : (define_expand "vec_unpacku_float_hi_v16si"
10699 : 2 : [(match_operand:V8DF 0 "register_operand")
10700 : : (match_operand:V16SI 1 "register_operand")]
10701 : : "TARGET_AVX512F && TARGET_EVEX512"
10702 : 9 : {
10703 : 4 : REAL_VALUE_TYPE TWO32r;
10704 : 4 : rtx k, x, tmp[4];
10705 : 2 :
10706 : 11 : real_ldexp (&TWO32r, &dconst1, 32);
10707 : 4 : x = const_double_from_real_value (TWO32r, DFmode);
10708 : 2 :
10709 : 4 : tmp[0] = force_reg (V8DFmode, CONST0_RTX (V8DFmode));
10710 : 9 : tmp[1] = force_reg (V8DFmode, ix86_build_const_vector (V8DFmode, 1, x));
10711 : 9 : tmp[2] = gen_reg_rtx (V8DFmode);
10712 : 9 : tmp[3] = gen_reg_rtx (V8SImode);
10713 : 4 : k = gen_reg_rtx (QImode);
10714 : :
10715 : 2 : emit_insn (gen_vec_extract_hi_v16si (tmp[3], operands[1]));
10716 : 2 : emit_insn (gen_floatv8siv8df2 (tmp[2], tmp[3]));
10717 : 5 : ix86_expand_mask_vec_cmp (k, LT, tmp[2], tmp[0]);
10718 : 4 : emit_insn (gen_addv8df3_mask (tmp[2], tmp[2], tmp[1], tmp[2], k));
10719 : 4 : emit_move_insn (operands[0], tmp[2]);
10720 : 4 : DONE;
10721 : 3 : })
10722 : 3 :
10723 : 3 : (define_expand "vec_unpacku_float_lo_v8si"
10724 : 1 : [(match_operand:V4DF 0 "register_operand")
10725 : 1 : (match_operand:V8SI 1 "nonimmediate_operand")]
10726 : 1 : "TARGET_AVX"
10727 : 1 : {
10728 : 0 : REAL_VALUE_TYPE TWO32r;
10729 : 0 : rtx x, tmp[5];
10730 : 0 : int i;
10731 : :
10732 : 0 : real_ldexp (&TWO32r, &dconst1, 32);
10733 : 0 : x = const_double_from_real_value (TWO32r, DFmode);
10734 : :
10735 : 0 : tmp[0] = force_reg (V4DFmode, CONST0_RTX (V4DFmode));
10736 : 0 : tmp[1] = force_reg (V4DFmode, ix86_build_const_vector (V4DFmode, 1, x));
10737 : :
10738 : 1327 : for (i = 2; i < 5; i++)
10739 : 0 : tmp[i] = gen_reg_rtx (V4DFmode);
10740 : 0 : emit_insn (gen_avx_cvtdq2pd256_2 (tmp[2], operands[1]));
10741 : 0 : emit_insn (gen_rtx_SET (tmp[3], gen_rtx_LT (V4DFmode, tmp[2], tmp[0])));
10742 : 1327 : emit_insn (gen_andv4df3 (tmp[4], tmp[3], tmp[1]));
10743 : 1327 : emit_insn (gen_addv4df3 (operands[0], tmp[2], tmp[4]));
10744 : 1327 : DONE;
10745 : 1327 : })
10746 : 1327 :
10747 : 1327 : (define_expand "vec_unpacku_float_lo_v16si"
10748 : 1327 : [(match_operand:V8DF 0 "register_operand")
10749 : : (match_operand:V16SI 1 "nonimmediate_operand")]
10750 : : "TARGET_AVX512F && TARGET_EVEX512"
10751 : 2 : {
10752 : 2 : REAL_VALUE_TYPE TWO32r;
10753 : 2 : rtx k, x, tmp[3];
10754 : :
10755 : 2 : real_ldexp (&TWO32r, &dconst1, 32);
10756 : 2 : x = const_double_from_real_value (TWO32r, DFmode);
10757 : :
10758 : 2 : tmp[0] = force_reg (V8DFmode, CONST0_RTX (V8DFmode));
10759 : 2 : tmp[1] = force_reg (V8DFmode, ix86_build_const_vector (V8DFmode, 1, x));
10760 : 2 : tmp[2] = gen_reg_rtx (V8DFmode);
10761 : 2 : k = gen_reg_rtx (QImode);
10762 : 12 :
10763 : 2 : emit_insn (gen_avx512f_cvtdq2pd512_2 (tmp[2], operands[1]));
10764 : 2 : ix86_expand_mask_vec_cmp (k, LT, tmp[2], tmp[0]);
10765 : 2 : emit_insn (gen_addv8df3_mask (tmp[2], tmp[2], tmp[1], tmp[2], k));
10766 : 14 : emit_move_insn (operands[0], tmp[2]);
10767 : 14 : DONE;
10768 : 12 : })
10769 : 12 :
10770 : 12 : (define_expand "vec_pack_trunc_<mode>"
10771 : 12 : [(set (match_dup 3)
10772 : 12 : (float_truncate:<sf2dfmode>
10773 : : (match_operand:VF2_512_256 1 "nonimmediate_operand")))
10774 : : (set (match_dup 4)
10775 : : (float_truncate:<sf2dfmode>
10776 : : (match_operand:VF2_512_256 2 "nonimmediate_operand")))
10777 : : (set (match_operand:<ssePSmode> 0 "register_operand")
10778 : : (vec_concat:<ssePSmode>
10779 : : (match_dup 3)
10780 : : (match_dup 4)))]
10781 : : "TARGET_AVX"
10782 : 108 : {
10783 : 108 : operands[3] = gen_reg_rtx (<sf2dfmode>mode);
10784 : 108 : operands[4] = gen_reg_rtx (<sf2dfmode>mode);
10785 : 29 : })
10786 : :
10787 : : (define_expand "vec_pack_trunc_<mode>"
10788 : 108 : [(match_operand:<ssepackPHmode> 0 "register_operand")
10789 : 137 : (match_operand:VF1_AVX512VL 1 "register_operand")
10790 : 137 : (match_operand:VF1_AVX512VL 2 "register_operand")]
10791 : 137 : "TARGET_AVX512FP16"
10792 : 144 : {
10793 : 144 : rtx r1 = gen_reg_rtx (<vpckfloat_temp_mode>mode);
10794 : 144 : rtx r2 = gen_reg_rtx (<vpckfloat_temp_mode>mode);
10795 : 144 : rtx (*gen) (rtx, rtx);
10796 : 108 :
10797 : 115 : if (<MODE>mode == V4SFmode)
10798 : 2 : gen = gen_avx512fp16_truncv4sfv4hf2;
10799 : 108 : else
10800 : 5 : gen = gen_trunc<mode><vpckfloat_op_mode>2;
10801 : 7 : emit_insn (gen (r1, operands[1]));
10802 : 115 : emit_insn (gen (r2, operands[2]));
10803 : 7 : if (<MODE>mode == V4SFmode)
10804 : 2 : emit_insn (gen_sse_movlhps_v8hf (operands[0], r1, r2));
10805 : 108 : else
10806 : 5 : emit_insn (gen_avx_vec_concat<vpckfloat_concat_mode> (operands[0],
10807 : : r1, r2));
10808 : 7 : DONE;
10809 : 108 :
10810 : 108 : })
10811 : 108 :
10812 : : (define_expand "vec_pack_trunc_v2df"
10813 : : [(match_operand:V4SF 0 "register_operand")
10814 : : (match_operand:V2DF 1 "vector_operand")
10815 : : (match_operand:V2DF 2 "vector_operand")]
10816 : 298 : "TARGET_SSE2"
10817 : 1327 : {
10818 : 1327 : rtx tmp0, tmp1;
10819 : :
10820 : 1625 : if (TARGET_AVX && !TARGET_PREFER_AVX128 && optimize_insn_for_speed_p ())
10821 : 298 : {
10822 : 423 : tmp0 = gen_reg_rtx (V4DFmode);
10823 : 423 : tmp1 = force_reg (V2DFmode, operands[1]);
10824 : 298 :
10825 : 423 : emit_insn (gen_avx_vec_concatv4df (tmp0, tmp1, operands[2]));
10826 : 423 : emit_insn (gen_avx_cvtpd2ps256 (operands[0], tmp0));
10827 : : }
10828 : : else
10829 : : {
10830 : 1385 : tmp0 = gen_reg_rtx (V4SFmode);
10831 : 1202 : tmp1 = gen_reg_rtx (V4SFmode);
10832 : :
10833 : 1202 : emit_insn (gen_sse2_cvtpd2ps (tmp0, operands[1]));
10834 : 1385 : emit_insn (gen_sse2_cvtpd2ps (tmp1, operands[2]));
10835 : 1385 : emit_insn (gen_sse_movlhps (operands[0], tmp0, tmp1));
10836 : 183 : }
10837 : 1510 : DONE;
10838 : 183 : })
10839 : 183 :
10840 : 183 : (define_expand "vec_pack_sfix_trunc_v8df"
10841 : : [(match_operand:V16SI 0 "register_operand")
10842 : : (match_operand:V8DF 1 "nonimmediate_operand")
10843 : : (match_operand:V8DF 2 "nonimmediate_operand")]
10844 : : "TARGET_AVX512F && TARGET_EVEX512"
10845 : 12 : {
10846 : 12 : rtx r1, r2;
10847 : :
10848 : 12 : r1 = gen_reg_rtx (V8SImode);
10849 : 12 : r2 = gen_reg_rtx (V8SImode);
10850 : :
10851 : 12 : emit_insn (gen_fix_truncv8dfv8si2 (r1, operands[1]));
10852 : 12 : emit_insn (gen_fix_truncv8dfv8si2 (r2, operands[2]));
10853 : 12 : emit_insn (gen_avx_vec_concatv16si (operands[0], r1, r2));
10854 : 12 : DONE;
10855 : : })
10856 : :
10857 : : (define_expand "vec_pack_sfix_trunc_v4df"
10858 : 1 : [(match_operand:V8SI 0 "register_operand")
10859 : : (match_operand:V4DF 1 "nonimmediate_operand")
10860 : : (match_operand:V4DF 2 "nonimmediate_operand")]
10861 : : "TARGET_AVX"
10862 : 30 : {
10863 : 30 : rtx r1, r2;
10864 : 1 :
10865 : 30 : r1 = gen_reg_rtx (V4SImode);
10866 : 30 : r2 = gen_reg_rtx (V4SImode);
10867 : 1 :
10868 : 30 : emit_insn (gen_fix_truncv4dfv4si2 (r1, operands[1]));
10869 : 30 : emit_insn (gen_fix_truncv4dfv4si2 (r2, operands[2]));
10870 : 30 : emit_insn (gen_avx_vec_concatv8si (operands[0], r1, r2));
10871 : 29 : DONE;
10872 : : })
10873 : :
10874 : : (define_expand "vec_pack_sfix_trunc_v2df"
10875 : 3 : [(match_operand:V4SI 0 "register_operand")
10876 : : (match_operand:V2DF 1 "vector_operand")
10877 : : (match_operand:V2DF 2 "vector_operand")]
10878 : : "TARGET_SSE2"
10879 : 301 : {
10880 : 301 : rtx tmp0, tmp1, tmp2;
10881 : 3 :
10882 : 301 : if (TARGET_AVX && !TARGET_PREFER_AVX128 && optimize_insn_for_speed_p ())
10883 : 3 : {
10884 : 18 : tmp0 = gen_reg_rtx (V4DFmode);
10885 : 18 : tmp1 = force_reg (V2DFmode, operands[1]);
10886 : :
10887 : 15 : emit_insn (gen_avx_vec_concatv4df (tmp0, tmp1, operands[2]));
10888 : 15 : emit_insn (gen_fix_truncv4dfv4si2 (operands[0], tmp0));
10889 : : }
10890 : : else
10891 : : {
10892 : 321 : tmp0 = gen_reg_rtx (V4SImode);
10893 : 283 : tmp1 = gen_reg_rtx (V4SImode);
10894 : 283 : tmp2 = gen_reg_rtx (V2DImode);
10895 : :
10896 : 321 : emit_insn (gen_sse2_cvttpd2dq (tmp0, operands[1]));
10897 : 321 : emit_insn (gen_sse2_cvttpd2dq (tmp1, operands[2]));
10898 : 321 : emit_insn (gen_vec_interleave_lowv2di (tmp2,
10899 : 321 : gen_lowpart (V2DImode, tmp0),
10900 : 321 : gen_lowpart (V2DImode, tmp1)));
10901 : 321 : emit_move_insn (operands[0], gen_lowpart (V4SImode, tmp2));
10902 : 38 : }
10903 : 298 : DONE;
10904 : : })
10905 : :
10906 : : (define_mode_attr ssepackfltmode
10907 : : [(V8DF "V16SI") (V4DF "V8SI") (V2DF "V4SI")])
10908 : :
10909 : : (define_expand "vec_pack_ufix_trunc_<mode>"
10910 : : [(match_operand:<ssepackfltmode> 0 "register_operand")
10911 : : (match_operand:VF2 1 "register_operand")
10912 : : (match_operand:VF2 2 "register_operand")]
10913 : : "TARGET_SSE2"
10914 : 118 : {
10915 : 118 : if (<MODE>mode == V8DFmode)
10916 : : {
10917 : 0 : rtx r1, r2;
10918 : :
10919 : 0 : r1 = gen_reg_rtx (V8SImode);
10920 : 0 : r2 = gen_reg_rtx (V8SImode);
10921 : :
10922 : 0 : emit_insn (gen_fixuns_truncv8dfv8si2 (r1, operands[1]));
10923 : 0 : emit_insn (gen_fixuns_truncv8dfv8si2 (r2, operands[2]));
10924 : 558 : emit_insn (gen_avx_vec_concatv16si (operands[0], r1, r2));
10925 : : }
10926 : : else
10927 : : {
10928 : 118 : rtx tmp[7];
10929 : 676 : tmp[0] = ix86_expand_adjust_ufix_to_sfix_si (operands[1], &tmp[2]);
10930 : 676 : tmp[1] = ix86_expand_adjust_ufix_to_sfix_si (operands[2], &tmp[3]);
10931 : 676 : tmp[4] = gen_reg_rtx (<ssepackfltmode>mode);
10932 : 676 : emit_insn (gen_vec_pack_sfix_trunc_<mode> (tmp[4], tmp[0], tmp[1]));
10933 : 676 : if (<ssepackfltmode>mode == V4SImode || TARGET_AVX2)
10934 : 558 : {
10935 : 676 : tmp[5] = gen_reg_rtx (<ssepackfltmode>mode);
10936 : 676 : ix86_expand_vec_extract_even_odd (tmp[5], tmp[2], tmp[3], 0);
10937 : : }
10938 : : else
10939 : : {
10940 : 0 : tmp[5] = gen_reg_rtx (V8SFmode);
10941 : 0 : ix86_expand_vec_extract_even_odd (tmp[5],
10942 : 0 : gen_lowpart (V8SFmode, tmp[2]),
10943 : 0 : gen_lowpart (V8SFmode, tmp[3]), 0);
10944 : 0 : tmp[5] = gen_lowpart (V8SImode, tmp[5]);
10945 : : }
10946 : 118 : tmp[6] = expand_simple_binop (<ssepackfltmode>mode, XOR, tmp[4], tmp[5],
10947 : : operands[0], 0, OPTAB_DIRECT);
10948 : 118 : if (tmp[6] != operands[0])
10949 : 0 : emit_move_insn (operands[0], tmp[6]);
10950 : : }
10951 : :
10952 : 118 : DONE;
10953 : : })
10954 : :
10955 : : (define_expand "avx512f_vec_pack_sfix_v8df"
10956 : : [(match_operand:V16SI 0 "register_operand")
10957 : : (match_operand:V8DF 1 "nonimmediate_operand")
10958 : : (match_operand:V8DF 2 "nonimmediate_operand")]
10959 : : "TARGET_AVX512F && TARGET_EVEX512"
10960 : 2 : {
10961 : 2 : rtx r1, r2;
10962 : :
10963 : 2 : r1 = gen_reg_rtx (V8SImode);
10964 : 2 : r2 = gen_reg_rtx (V8SImode);
10965 : :
10966 : 2 : emit_insn (gen_avx512f_cvtpd2dq512 (r1, operands[1]));
10967 : 2 : emit_insn (gen_avx512f_cvtpd2dq512 (r2, operands[2]));
10968 : 2 : emit_insn (gen_avx_vec_concatv16si (operands[0], r1, r2));
10969 : 2 : DONE;
10970 : : })
10971 : :
10972 : : (define_expand "vec_pack_sfix_v4df"
10973 : 28 : [(match_operand:V8SI 0 "register_operand")
10974 : : (match_operand:V4DF 1 "nonimmediate_operand")
10975 : : (match_operand:V4DF 2 "nonimmediate_operand")]
10976 : : "TARGET_AVX"
10977 : 13 : {
10978 : 13 : rtx r1, r2;
10979 : 12 :
10980 : 29 : r1 = gen_reg_rtx (V4SImode);
10981 : 29 : r2 = gen_reg_rtx (V4SImode);
10982 : 28 :
10983 : 29 : emit_insn (gen_avx_cvtpd2dq256 (r1, operands[1]));
10984 : 17 : emit_insn (gen_avx_cvtpd2dq256 (r2, operands[2]));
10985 : 17 : emit_insn (gen_avx_vec_concatv8si (operands[0], r1, r2));
10986 : 17 : DONE;
10987 : 16 : })
10988 : 16 :
10989 : 16 : (define_expand "vec_pack_sfix_v2df"
10990 : 1 : [(match_operand:V4SI 0 "register_operand")
10991 : : (match_operand:V2DF 1 "vector_operand")
10992 : : (match_operand:V2DF 2 "vector_operand")]
10993 : : "TARGET_SSE2"
10994 : 4 : {
10995 : 4 : rtx tmp0, tmp1, tmp2;
10996 : 1 :
10997 : 4 : if (TARGET_AVX && !TARGET_PREFER_AVX128 && optimize_insn_for_speed_p ())
10998 : 1 : {
10999 : 2 : tmp0 = gen_reg_rtx (V4DFmode);
11000 : 2 : tmp1 = force_reg (V2DFmode, operands[1]);
11001 : 1 :
11002 : 2 : emit_insn (gen_avx_vec_concatv4df (tmp0, tmp1, operands[2]));
11003 : 1 : emit_insn (gen_avx_cvtpd2dq256 (operands[0], tmp0));
11004 : : }
11005 : : else
11006 : : {
11007 : 18 : tmp0 = gen_reg_rtx (V4SImode);
11008 : 2 : tmp1 = gen_reg_rtx (V4SImode);
11009 : 2 : tmp2 = gen_reg_rtx (V2DImode);
11010 : :
11011 : 2 : emit_insn (gen_sse2_cvtpd2dq (tmp0, operands[1]));
11012 : 2 : emit_insn (gen_sse2_cvtpd2dq (tmp1, operands[2]));
11013 : 2 : emit_insn (gen_vec_interleave_lowv2di (tmp2,
11014 : 18 : gen_lowpart (V2DImode, tmp0),
11015 : 18 : gen_lowpart (V2DImode, tmp1)));
11016 : 18 : emit_move_insn (operands[0], gen_lowpart (V4SImode, tmp2));
11017 : 16 : }
11018 : 19 : DONE;
11019 : 16 : })
11020 : 16 :
11021 : 16 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
11022 : 16 : ;;
11023 : 16 : ;; Parallel single-precision floating point element swizzling
11024 : : ;;
11025 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
11026 : :
11027 : : (define_expand "sse_movhlps_exp"
11028 : : [(set (match_operand:V4SF 0 "nonimmediate_operand")
11029 : : (vec_select:V4SF
11030 : : (vec_concat:V8SF
11031 : : (match_operand:V4SF 1 "nonimmediate_operand")
11032 : : (match_operand:V4SF 2 "nonimmediate_operand"))
11033 : : (parallel [(const_int 6)
11034 : : (const_int 7)
11035 : : (const_int 2)
11036 : : (const_int 3)])))]
11037 : : "TARGET_SSE"
11038 : 38 : {
11039 : 38 : rtx dst = ix86_fixup_binary_operands (UNKNOWN, V4SFmode, operands);
11040 : 0 :
11041 : 38 : emit_insn (gen_sse_movhlps (dst, operands[1], operands[2]));
11042 : 0 :
11043 : 0 : /* Fix up the destination if needed. */
11044 : 38 : if (dst != operands[0])
11045 : 8 : emit_move_insn (operands[0], dst);
11046 : 0 :
11047 : 38 : DONE;
11048 : 0 : })
11049 : :
11050 : : (define_insn "sse_movhlps"
11051 : : [(set (match_operand:V4SF 0 "nonimmediate_operand" "=x,v,x,v,m")
11052 : : (vec_select:V4SF
11053 : : (vec_concat:V8SF
11054 : : (match_operand:V4SF 1 "nonimmediate_operand" " 0,v,0,v,0")
11055 : : (match_operand:V4SF 2 "nonimmediate_operand" " x,v,o,o,v"))
11056 : : (parallel [(const_int 6)
11057 : : (const_int 7)
11058 : : (const_int 2)
11059 : : (const_int 3)])))]
11060 : 39397 : "TARGET_SSE && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
11061 : 9332 : "@
11062 : : movhlps\t{%2, %0|%0, %2}
11063 : : vmovhlps\t{%2, %1, %0|%0, %1, %2}
11064 : 430773 : movlps\t{%H2, %0|%0, %H2}
11065 : 430773 : vmovlps\t{%H2, %1, %0|%0, %1, %H2}
11066 : 430773 : %vmovhps\t{%2, %0|%q0, %2}"
11067 : : [(set_attr "isa" "noavx,avx,noavx,avx,*")
11068 : 35298 : (set_attr "type" "ssemov2")
11069 : 35298 : (set_attr "prefix" "orig,maybe_evex,orig,maybe_evex,maybe_vex")
11070 : 28500 : (set_attr "mode" "V4SF,V4SF,V2SF,V2SF,V2SF")])
11071 : 26421 :
11072 : 52429 : (define_expand "sse_movlhps_exp"
11073 : : [(set (match_operand:V4SF 0 "nonimmediate_operand")
11074 : : (vec_select:V4SF
11075 : : (vec_concat:V8SF
11076 : 14 : (match_operand:V4SF 1 "nonimmediate_operand")
11077 : : (match_operand:V4SF 2 "nonimmediate_operand"))
11078 : : (parallel [(const_int 0)
11079 : : (const_int 1)
11080 : 14 : (const_int 4)
11081 : 14 : (const_int 5)])))]
11082 : 14 : "TARGET_SSE"
11083 : 79 : {
11084 : 79 : rtx dst = ix86_fixup_binary_operands (UNKNOWN, V4SFmode, operands);
11085 : 14 :
11086 : 79 : emit_insn (gen_sse_movlhps (dst, operands[1], operands[2]));
11087 : :
11088 : : /* Fix up the destination if needed. */
11089 : 65 : if (dst != operands[0])
11090 : 1 : emit_move_insn (operands[0], dst);
11091 : :
11092 : 65 : DONE;
11093 : : })
11094 : :
11095 : : (define_insn "sse_movlhps"
11096 : : [(set (match_operand:V4SF 0 "nonimmediate_operand" "=x,v,x,v,o")
11097 : : (vec_select:V4SF
11098 : : (vec_concat:V8SF
11099 : : (match_operand:V4SF 1 "nonimmediate_operand" " 0,v,0,v,0")
11100 : : (match_operand:V4SF 2 "nonimmediate_operand" " x,v,m,v,v"))
11101 : : (parallel [(const_int 0)
11102 : : (const_int 1)
11103 : : (const_int 4)
11104 : : (const_int 5)])))]
11105 : 17131 : "TARGET_SSE && ix86_binary_operator_ok (UNKNOWN, V4SFmode, operands)"
11106 : 22515 : "@
11107 : : movlhps\t{%2, %0|%0, %2}
11108 : : vmovlhps\t{%2, %1, %0|%0, %1, %2}
11109 : 158020 : movhps\t{%2, %0|%0, %q2}
11110 : 158020 : vmovhps\t{%2, %1, %0|%0, %1, %q2}
11111 : : %vmovlps\t{%2, %H0|%H0, %2}"
11112 : 147426 : [(set_attr "isa" "noavx,avx,noavx,avx,*")
11113 : 147426 : (set_attr "type" "ssemov")
11114 : 146840 : (set_attr "prefix" "orig,maybe_evex,orig,maybe_evex,maybe_vex")
11115 : : (set_attr "mode" "V4SF,V4SF,V2SF,V2SF,V2SF")])
11116 : :
11117 : 147426 : (define_insn "sse_movlhps_<mode>"
11118 : : [(set (match_operand:V8_128 0 "nonimmediate_operand" "=x,v,x,o")
11119 : : (vec_select:V8_128
11120 : : (vec_concat:<ssedoublevecmode>
11121 : : (match_operand:V8_128 1 "nonimmediate_operand" " 0,v,0,0")
11122 : 7 : (match_operand:V8_128 2 "nonimmediate_operand" " x,v,m,v"))
11123 : : (parallel [(const_int 0) (const_int 1)
11124 : 7 : (const_int 2) (const_int 3)
11125 : 7 : (const_int 8) (const_int 9)
11126 : 7 : (const_int 10) (const_int 11)])))]
11127 : 128 : "TARGET_SSE && ix86_binary_operator_ok (UNKNOWN, <MODE>mode, operands)"
11128 : 51 : "@
11129 : 0 : movlhps\t{%2, %0|%0, %2}
11130 : 7 : vpunpcklqdq\t{%2, %1, %0|%0, %1, %2}
11131 : 26 : movhps\t{%2, %0|%0, %q2}
11132 : 26 : %vmovlps\t{%2, %H0|%H0, %2}"
11133 : : [(set_attr "isa" "noavx,avx,noavx,*")
11134 : : (set_attr "type" "ssemov")
11135 : 52 : (set_attr "prefix" "orig,maybe_evex,orig,maybe_vex")
11136 : 177909 : (set_attr "mode" "V4SF,TI,V2SF,V2SF")])
11137 : 177909 :
11138 : : (define_insn "<mask_codefor>avx512f_unpckhps512<mask_name>"
11139 : 175205 : [(set (match_operand:V16SF 0 "register_operand" "=v")
11140 : 175205 : (vec_select:V16SF
11141 : 175205 : (vec_concat:V32SF
11142 : : (match_operand:V16SF 1 "register_operand" "v")
11143 : 174377 : (match_operand:V16SF 2 "nonimmediate_operand" "vm"))
11144 : 174377 : (parallel [(const_int 2) (const_int 18)
11145 : 174377 : (const_int 3) (const_int 19)
11146 : 174377 : (const_int 6) (const_int 22)
11147 : 174377 : (const_int 7) (const_int 23)
11148 : : (const_int 10) (const_int 26)
11149 : 251 : (const_int 11) (const_int 27)
11150 : 251 : (const_int 14) (const_int 30)
11151 : 251 : (const_int 15) (const_int 31)])))]
11152 : 332 : "TARGET_AVX512F && TARGET_EVEX512"
11153 : 251 : "vunpckhps\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
11154 : 251 : [(set_attr "type" "sselog")
11155 : : (set_attr "prefix" "evex")
11156 : 553 : (set_attr "mode" "V16SF")])
11157 : 553 :
11158 : : ;; Recall that the 256-bit unpck insns only shuffle within their lanes.
11159 : 249 : (define_insn "avx_unpckhps256<mask_name>"
11160 : 304 : [(set (match_operand:V8SF 0 "register_operand" "=v")
11161 : 122 : (vec_select:V8SF
11162 : 122 : (vec_concat:V16SF
11163 : : (match_operand:V8SF 1 "register_operand" "v")
11164 : : (match_operand:V8SF 2 "nonimmediate_operand" "vm"))
11165 : 122 : (parallel [(const_int 2) (const_int 10)
11166 : : (const_int 3) (const_int 11)
11167 : : (const_int 6) (const_int 14)
11168 : : (const_int 7) (const_int 15)])))]
11169 : 105 : "TARGET_AVX && <mask_avx512vl_condition>"
11170 : : "vunpckhps\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
11171 : : [(set_attr "type" "sselog")
11172 : : (set_attr "prefix" "vex")
11173 : 346 : (set_attr "mode" "V8SF")])
11174 : 346 :
11175 : : (define_expand "vec_interleave_highv8sf"
11176 : : [(set (match_dup 3)
11177 : 346 : (vec_select:V8SF
11178 : : (vec_concat:V16SF
11179 : : (match_operand:V8SF 1 "register_operand")
11180 : : (match_operand:V8SF 2 "nonimmediate_operand"))
11181 : : (parallel [(const_int 0) (const_int 8)
11182 : : (const_int 1) (const_int 9)
11183 : : (const_int 4) (const_int 12)
11184 : : (const_int 5) (const_int 13)])))
11185 : : (set (match_dup 4)
11186 : : (vec_select:V8SF
11187 : : (vec_concat:V16SF
11188 : : (match_dup 1)
11189 : : (match_dup 2))
11190 : : (parallel [(const_int 2) (const_int 10)
11191 : : (const_int 3) (const_int 11)
11192 : : (const_int 6) (const_int 14)
11193 : : (const_int 7) (const_int 15)])))
11194 : : (set (match_operand:V8SF 0 "register_operand")
11195 : : (vec_select:V8SF
11196 : : (vec_concat:V16SF
11197 : : (match_dup 3)
11198 : : (match_dup 4))
11199 : : (parallel [(const_int 4) (const_int 5)
11200 : : (const_int 6) (const_int 7)
11201 : : (const_int 12) (const_int 13)
11202 : : (const_int 14) (const_int 15)])))]
11203 : : "TARGET_AVX"
11204 : 1 : {
11205 : 1 : operands[3] = gen_reg_rtx (V8SFmode);
11206 : 1 : operands[4] = gen_reg_rtx (V8SFmode);
11207 : : })
11208 : :
11209 : : (define_insn "vec_interleave_highv4sf<mask_name>"
11210 : 1 : [(set (match_operand:V4SF 0 "register_operand" "=x,v")
11211 : 1 : (vec_select:V4SF
11212 : 1 : (vec_concat:V8SF
11213 : 1 : (match_operand:V4SF 1 "register_operand" "0,v")
11214 : 1 : (match_operand:V4SF 2 "vector_operand" "xBm,vm"))
11215 : 1 : (parallel [(const_int 2) (const_int 6)
11216 : 1 : (const_int 3) (const_int 7)])))]
11217 : 13333 : "TARGET_SSE && <mask_avx512vl_condition>"
11218 : 160927 : "@
11219 : 1 : unpckhps\t{%2, %0|%0, %2}
11220 : : vunpckhps\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
11221 : 170284 : [(set_attr "isa" "noavx,avx")
11222 : 170283 : (set_attr "type" "sselog")
11223 : : (set_attr "prefix" "orig,vex")
11224 : 67479 : (set_attr "mode" "V4SF")])
11225 : 67692 :
11226 : : (define_insn "<mask_codefor>avx512f_unpcklps512<mask_name>"
11227 : 4660 : [(set (match_operand:V16SF 0 "register_operand" "=v")
11228 : 4660 : (vec_select:V16SF
11229 : 3705 : (vec_concat:V32SF
11230 : 4660 : (match_operand:V16SF 1 "register_operand" "v")
11231 : : (match_operand:V16SF 2 "nonimmediate_operand" "vm"))
11232 : : (parallel [(const_int 0) (const_int 16)
11233 : : (const_int 1) (const_int 17)
11234 : : (const_int 4) (const_int 20)
11235 : : (const_int 5) (const_int 21)
11236 : 1 : (const_int 8) (const_int 24)
11237 : : (const_int 9) (const_int 25)
11238 : : (const_int 12) (const_int 28)
11239 : : (const_int 13) (const_int 29)])))]
11240 : 335 : "TARGET_AVX512F && TARGET_EVEX512"
11241 : : "vunpcklps\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
11242 : : [(set_attr "type" "sselog")
11243 : : (set_attr "prefix" "evex")
11244 : 304 : (set_attr "mode" "V16SF")])
11245 : 304 :
11246 : : ;; Recall that the 256-bit unpck insns only shuffle within their lanes.
11247 : : (define_insn "avx_unpcklps256<mask_name>"
11248 : 304 : [(set (match_operand:V8SF 0 "register_operand" "=v")
11249 : : (vec_select:V8SF
11250 : : (vec_concat:V16SF
11251 : 1 : (match_operand:V8SF 1 "register_operand" "v")
11252 : : (match_operand:V8SF 2 "nonimmediate_operand" "vm"))
11253 : : (parallel [(const_int 0) (const_int 8)
11254 : : (const_int 1) (const_int 9)
11255 : : (const_int 4) (const_int 12)
11256 : : (const_int 5) (const_int 13)])))]
11257 : 111 : "TARGET_AVX && <mask_avx512vl_condition>"
11258 : : "vunpcklps\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
11259 : : [(set_attr "type" "sselog")
11260 : : (set_attr "prefix" "vex")
11261 : 346 : (set_attr "mode" "V8SF")])
11262 : 346 :
11263 : : (define_insn "unpcklps128_mask"
11264 : : [(set (match_operand:V4SF 0 "register_operand" "=v")
11265 : 346 : (vec_merge:V4SF
11266 : 1 : (vec_select:V4SF
11267 : 1 : (vec_concat:V8SF
11268 : 1 : (match_operand:V4SF 1 "register_operand" "v")
11269 : : (match_operand:V4SF 2 "nonimmediate_operand" "vm"))
11270 : : (parallel [(const_int 0) (const_int 4)
11271 : : (const_int 1) (const_int 5)]))
11272 : : (match_operand:V4SF 3 "nonimm_or_0_operand" "0C")
11273 : : (match_operand:QI 4 "register_operand" "Yk")))]
11274 : 189 : "TARGET_AVX512VL"
11275 : : "vunpcklps\t{%2, %1, %0%{%4%}%N3|%0%{%4%}%N3, %1, %2}"
11276 : 1 : [(set_attr "type" "sselog")
11277 : 1 : (set_attr "prefix" "evex")
11278 : 215 : (set_attr "mode" "V4SF")])
11279 : 216 :
11280 : : (define_expand "vec_interleave_lowv8sf"
11281 : : [(set (match_dup 3)
11282 : 215 : (vec_select:V8SF
11283 : : (vec_concat:V16SF
11284 : : (match_operand:V8SF 1 "register_operand")
11285 : : (match_operand:V8SF 2 "nonimmediate_operand"))
11286 : : (parallel [(const_int 0) (const_int 8)
11287 : : (const_int 1) (const_int 9)
11288 : : (const_int 4) (const_int 12)
11289 : : (const_int 5) (const_int 13)])))
11290 : : (set (match_dup 4)
11291 : : (vec_select:V8SF
11292 : : (vec_concat:V16SF
11293 : : (match_dup 1)
11294 : : (match_dup 2))
11295 : : (parallel [(const_int 2) (const_int 10)
11296 : : (const_int 3) (const_int 11)
11297 : : (const_int 6) (const_int 14)
11298 : : (const_int 7) (const_int 15)])))
11299 : : (set (match_operand:V8SF 0 "register_operand")
11300 : : (vec_select:V8SF
11301 : : (vec_concat:V16SF
11302 : : (match_dup 3)
11303 : : (match_dup 4))
11304 : : (parallel [(const_int 0) (const_int 1)
11305 : : (const_int 2) (const_int 3)
11306 : : (const_int 8) (const_int 9)
11307 : : (const_int 10) (const_int 11)])))]
11308 : : "TARGET_AVX"
11309 : 1 : {
11310 : 1 : operands[3] = gen_reg_rtx (V8SFmode);
11311 : 1 : operands[4] = gen_reg_rtx (V8SFmode);
11312 : : })
11313 : :
11314 : : (define_insn "vec_interleave_lowv4sf"
11315 : 1 : [(set (match_operand:V4SF 0 "register_operand" "=x,v")
11316 : 1 : (vec_select:V4SF
11317 : 1 : (vec_concat:V8SF
11318 : 1 : (match_operand:V4SF 1 "register_operand" "0,v")
11319 : 1 : (match_operand:V4SF 2 "vector_operand" "xBm,vm"))
11320 : 1 : (parallel [(const_int 0) (const_int 4)
11321 : 1 : (const_int 1) (const_int 5)])))]
11322 : 3694 : "TARGET_SSE"
11323 : 143734 : "@
11324 : 1 : unpcklps\t{%2, %0|%0, %2}
11325 : : vunpcklps\t{%2, %1, %0|%0, %1, %2}"
11326 : 8474 : [(set_attr "isa" "noavx,avx")
11327 : 8473 : (set_attr "type" "sselog")
11328 : : (set_attr "prefix" "orig,maybe_evex")
11329 : 8220 : (set_attr "mode" "V4SF")])
11330 : :
11331 : 4212 : ;; These are modeled with the same vec_concat as the others so that we
11332 : 4212 : ;; capture users of shufps that can use the new instructions
11333 : 4212 : (define_insn "avx_movshdup256<mask_name>"
11334 : : [(set (match_operand:V8SF 0 "register_operand" "=v")
11335 : 4200 : (vec_select:V8SF
11336 : 4200 : (vec_concat:V16SF
11337 : : (match_operand:V8SF 1 "nonimmediate_operand" "vm")
11338 : 4200 : (match_dup 1))
11339 : : (parallel [(const_int 1) (const_int 1)
11340 : 4200 : (const_int 3) (const_int 3)
11341 : 4201 : (const_int 5) (const_int 5)
11342 : 4200 : (const_int 7) (const_int 7)])))]
11343 : 83 : "TARGET_AVX && <mask_avx512vl_condition>"
11344 : 356 : "vmovshdup\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
11345 : : [(set_attr "type" "sse")
11346 : : (set_attr "prefix" "vex")
11347 : 1640 : (set_attr "mode" "V8SF")])
11348 : 1640 :
11349 : 1640 : (define_insn "sse3_movshdup<mask_name>"
11350 : : [(set (match_operand:V4SF 0 "register_operand" "=v")
11351 : 1640 : (vec_select:V4SF
11352 : 1640 : (vec_concat:V8SF
11353 : : (match_operand:V4SF 1 "vector_operand" "vBm")
11354 : 1640 : (match_dup 1))
11355 : 1640 : (parallel [(const_int 1)
11356 : 1 : (const_int 1)
11357 : 1640 : (const_int 7)
11358 : 1640 : (const_int 7)])))]
11359 : 1172 : "TARGET_SSE3 && <mask_avx512vl_condition>"
11360 : 6148 : "%vmovshdup\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
11361 : 507 : [(set_attr "type" "sse")
11362 : 621 : (set_attr "prefix_rep" "1")
11363 : 621 : (set_attr "prefix" "maybe_vex")
11364 : 26855 : (set_attr "mode" "V4SF")])
11365 : 256 :
11366 : 370 : (define_insn "<mask_codefor>avx512f_movshdup512<mask_name>"
11367 : 26706 : [(set (match_operand:V16SF 0 "register_operand" "=v")
11368 : 26706 : (vec_select:V16SF
11369 : 26500 : (vec_concat:V32SF
11370 : 462 : (match_operand:V16SF 1 "nonimmediate_operand" "vm")
11371 : 4675 : (match_dup 1))
11372 : 4675 : (parallel [(const_int 1) (const_int 1)
11373 : 1 : (const_int 3) (const_int 3)
11374 : 235 : (const_int 5) (const_int 5)
11375 : 4447 : (const_int 7) (const_int 7)
11376 : : (const_int 9) (const_int 9)
11377 : : (const_int 11) (const_int 11)
11378 : 235 : (const_int 13) (const_int 13)
11379 : 1 : (const_int 15) (const_int 15)])))]
11380 : 348 : "TARGET_AVX512F && TARGET_EVEX512"
11381 : 96 : "vmovshdup\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
11382 : 1 : [(set_attr "type" "sse")
11383 : 0 : (set_attr "prefix" "evex")
11384 : 36848 : (set_attr "mode" "V16SF")])
11385 : 36847 :
11386 : 36847 : (define_insn "avx_movsldup256<mask_name>"
11387 : 214 : [(set (match_operand:V8SF 0 "register_operand" "=v")
11388 : 31926 : (vec_select:V8SF
11389 : 31712 : (vec_concat:V16SF
11390 : 214 : (match_operand:V8SF 1 "nonimmediate_operand" "vm")
11391 : 31898 : (match_dup 1))
11392 : 31684 : (parallel [(const_int 0) (const_int 0)
11393 : 214 : (const_int 2) (const_int 2)
11394 : 31898 : (const_int 4) (const_int 4)
11395 : 31684 : (const_int 6) (const_int 6)])))]
11396 : 298 : "TARGET_AVX && <mask_avx512vl_condition>"
11397 : 34584 : "vmovsldup\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
11398 : 31684 : [(set_attr "type" "sse")
11399 : 214 : (set_attr "prefix" "vex")
11400 : 31898 : (set_attr "mode" "V8SF")])
11401 : 31898 :
11402 : 214 : (define_insn "sse3_movsldup<mask_name>"
11403 : 31898 : [(set (match_operand:V4SF 0 "register_operand" "=v")
11404 : 39854 : (vec_select:V4SF
11405 : 39854 : (vec_concat:V8SF
11406 : 8170 : (match_operand:V4SF 1 "vector_operand" "vBm")
11407 : 31684 : (match_dup 1))
11408 : 32659 : (parallel [(const_int 0)
11409 : 1401 : (const_int 0)
11410 : 31686 : (const_int 6)
11411 : 32868 : (const_int 6)])))]
11412 : 1880 : "TARGET_SSE3 && <mask_avx512vl_condition>"
11413 : 46581 : "%vmovsldup\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
11414 : 32630 : [(set_attr "type" "sse")
11415 : 972 : (set_attr "prefix_rep" "1")
11416 : 31896 : (set_attr "prefix" "maybe_vex")
11417 : 32234 : (set_attr "mode" "V4SF")])
11418 : 32234 :
11419 : 227 : (define_insn "<mask_codefor>avx512f_movsldup512<mask_name>"
11420 : 175515 : [(set (match_operand:V16SF 0 "register_operand" "=v")
11421 : 33279 : (vec_select:V16SF
11422 : 174485 : (vec_concat:V32SF
11423 : 63906 : (match_operand:V16SF 1 "nonimmediate_operand" "vm")
11424 : 63769 : (match_dup 1))
11425 : 62914 : (parallel [(const_int 0) (const_int 0)
11426 : 429 : (const_int 2) (const_int 2)
11427 : 202 : (const_int 4) (const_int 4)
11428 : 187792 : (const_int 6) (const_int 6)
11429 : 830 : (const_int 8) (const_int 8)
11430 : : (const_int 10) (const_int 10)
11431 : : (const_int 12) (const_int 12)
11432 : : (const_int 14) (const_int 14)])))]
11433 : 342 : "TARGET_AVX512F && TARGET_EVEX512"
11434 : 219 : "vmovsldup\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
11435 : : [(set_attr "type" "sse")
11436 : : (set_attr "prefix" "evex")
11437 : : (set_attr "mode" "V16SF")])
11438 : :
11439 : : (define_expand "avx_shufps256<mask_expand4_name>"
11440 : : [(match_operand:V8SF 0 "register_operand")
11441 : 13193 : (match_operand:V8SF 1 "register_operand")
11442 : 13193 : (match_operand:V8SF 2 "nonimmediate_operand")
11443 : 13193 : (match_operand:SI 3 "const_int_operand")]
11444 : 256 : "TARGET_AVX"
11445 : 1936 : {
11446 : 1680 : int mask = INTVAL (operands[3]);
11447 : 830 : emit_insn (gen_avx_shufps256_1<mask_expand4_name> (operands[0],
11448 : 387 : operands[1],
11449 : 131 : operands[2],
11450 : 256 : GEN_INT ((mask >> 0) & 3),
11451 : 387 : GEN_INT ((mask >> 2) & 3),
11452 : 705 : GEN_INT (((mask >> 4) & 3) + 8),
11453 : 830 : GEN_INT (((mask >> 6) & 3) + 8),
11454 : 961 : GEN_INT (((mask >> 0) & 3) + 4),
11455 : 705 : GEN_INT (((mask >> 2) & 3) + 4),
11456 : 830 : GEN_INT (((mask >> 4) & 3) + 12),
11457 : 961 : GEN_INT (((mask >> 6) & 3) + 12)
11458 : 131 : <mask_expand4_args>));
11459 : 830 : DONE;
11460 : 387 : })
11461 : 131 :
11462 : 256 : ;; One bit in mask selects 2 elements.
11463 : 387 : (define_insn "avx_shufps256_1<mask_name>"
11464 : 131 : [(set (match_operand:V8SF 0 "register_operand" "=v")
11465 : 256 : (vec_select:V8SF
11466 : 387 : (vec_concat:V16SF
11467 : 131 : (match_operand:V8SF 1 "register_operand" "v")
11468 : 256 : (match_operand:V8SF 2 "nonimmediate_operand" "vm"))
11469 : 387 : (parallel [(match_operand 3 "const_0_to_3_operand" )
11470 : 387 : (match_operand 4 "const_0_to_3_operand" )
11471 : 256 : (match_operand 5 "const_8_to_11_operand" )
11472 : 387 : (match_operand 6 "const_8_to_11_operand" )
11473 : 387 : (match_operand 7 "const_4_to_7_operand" )
11474 : 256 : (match_operand 8 "const_4_to_7_operand" )
11475 : 131 : (match_operand 9 "const_12_to_15_operand")
11476 : 131 : (match_operand 10 "const_12_to_15_operand")])))]
11477 : 492 : "TARGET_AVX
11478 : 131 : && <mask_avx512vl_condition>
11479 : 12838 : && (INTVAL (operands[3]) == (INTVAL (operands[7]) - 4)
11480 : 11461 : && INTVAL (operands[4]) == (INTVAL (operands[8]) - 4)
11481 : 11568 : && INTVAL (operands[5]) == (INTVAL (operands[9]) - 4)
11482 : 11286 : && INTVAL (operands[6]) == (INTVAL (operands[10]) - 4))"
11483 : 904 : {
11484 : 39350 : int mask;
11485 : 30043 : mask = INTVAL (operands[3]);
11486 : 39572 : mask |= INTVAL (operands[4]) << 2;
11487 : 904 : mask |= (INTVAL (operands[5]) - 8) << 4;
11488 : 904 : mask |= (INTVAL (operands[6]) - 8) << 6;
11489 : 1075 : operands[3] = GEN_INT (mask);
11490 : 1 :
11491 : 904 : return "vshufps\t{%3, %2, %1, %0<mask_operand11>|%0<mask_operand11>, %1, %2, %3}";
11492 : 1 : }
11493 : 1 : [(set_attr "type" "sseshuf")
11494 : 0 : (set_attr "length_immediate" "1")
11495 : 1 : (set_attr "prefix" "<mask_prefix>")
11496 : 30 : (set_attr "mode" "V8SF")])
11497 : :
11498 : : (define_expand "sse_shufps<mask_expand4_name>"
11499 : : [(match_operand:V4SF 0 "register_operand")
11500 : : (match_operand:V4SF 1 "register_operand")
11501 : : (match_operand:V4SF 2 "vector_operand")
11502 : : (match_operand:SI 3 "const_int_operand")]
11503 : : "TARGET_SSE"
11504 : 16 : {
11505 : 16 : int mask = INTVAL (operands[3]);
11506 : 16 : emit_insn (gen_sse_shufps_v4sf<mask_expand4_name> (operands[0],
11507 : : operands[1],
11508 : : operands[2],
11509 : : GEN_INT ((mask >> 0) & 3),
11510 : 16 : GEN_INT ((mask >> 2) & 3),
11511 : 16 : GEN_INT (((mask >> 4) & 3) + 4),
11512 : 16 : GEN_INT (((mask >> 6) & 3) + 4)
11513 : : <mask_expand4_args>));
11514 : 16 : DONE;
11515 : : })
11516 : :
11517 : : (define_insn "sse_shufps_v4sf_mask"
11518 : : [(set (match_operand:V4SF 0 "register_operand" "=v")
11519 : : (vec_merge:V4SF
11520 : : (vec_select:V4SF
11521 : : (vec_concat:V8SF
11522 : : (match_operand:V4SF 1 "register_operand" "v")
11523 : : (match_operand:V4SF 2 "nonimmediate_operand" "vm"))
11524 : : (parallel [(match_operand 3 "const_0_to_3_operand")
11525 : : (match_operand 4 "const_0_to_3_operand")
11526 : : (match_operand 5 "const_4_to_7_operand")
11527 : : (match_operand 6 "const_4_to_7_operand")]))
11528 : : (match_operand:V4SF 7 "nonimm_or_0_operand" "0C")
11529 : : (match_operand:QI 8 "register_operand" "Yk")))]
11530 : 182 : "TARGET_AVX512VL"
11531 : 14 : {
11532 : 14 : int mask = 0;
11533 : 14 : mask |= INTVAL (operands[3]) << 0;
11534 : 588 : mask |= INTVAL (operands[4]) << 2;
11535 : 588 : mask |= (INTVAL (operands[5]) - 4) << 4;
11536 : 14 : mask |= (INTVAL (operands[6]) - 4) << 6;
11537 : 14 : operands[3] = GEN_INT (mask);
11538 : 574 :
11539 : 172 : return "vshufps\t{%3, %2, %1, %0%{%8%}%N7|%0%{%8%}%N7, %1, %2, %3}";
11540 : 417 : }
11541 : 219 : [(set_attr "type" "sseshuf")
11542 : 196 : (set_attr "length_immediate" "1")
11543 : 195 : (set_attr "prefix" "evex")
11544 : 25452 : (set_attr "mode" "V4SF")])
11545 : 1 :
11546 : : (define_insn "sse_shufps_<mode>"
11547 : 1 : [(set (match_operand:VI4F_128 0 "register_operand" "=x,v")
11548 : 1 : (vec_select:VI4F_128
11549 : 0 : (vec_concat:<ssedoublevecmode>
11550 : 1 : (match_operand:VI4F_128 1 "register_operand" "0,v")
11551 : : (match_operand:VI4F_128 2 "vector_operand" "xBm,vm"))
11552 : : (parallel [(match_operand 3 "const_0_to_3_operand")
11553 : : (match_operand 4 "const_0_to_3_operand")
11554 : : (match_operand 5 "const_4_to_7_operand")
11555 : : (match_operand 6 "const_4_to_7_operand")])))]
11556 : 412695 : "TARGET_SSE"
11557 : 46553 : {
11558 : 46553 : int mask = 0;
11559 : 46553 : mask |= INTVAL (operands[3]) << 0;
11560 : 300183 : mask |= INTVAL (operands[4]) << 2;
11561 : 300183 : mask |= (INTVAL (operands[5]) - 4) << 4;
11562 : 46553 : mask |= (INTVAL (operands[6]) - 4) << 6;
11563 : 24839 : operands[3] = GEN_INT (mask);
11564 : 240281 :
11565 : 59194 : switch (which_alternative)
11566 : 6300 : {
11567 : 429 : case 0:
11568 : 242 : return "shufps\t{%3, %2, %0|%0, %2, %3}";
11569 : 19532 : case 1:
11570 : 6891 : return "vshufps\t{%3, %2, %1, %0|%0, %1, %2, %3}";
11571 : 0 : default:
11572 : 0 : gcc_unreachable ();
11573 : : }
11574 : : }
11575 : : [(set_attr "isa" "noavx,avx")
11576 : : (set_attr "type" "sseshuf")
11577 : : (set_attr "length_immediate" "1")
11578 : 21714 : (set_attr "prefix" "orig,maybe_evex")
11579 : : (set_attr "mode" "V4SF")])
11580 : :
11581 : : (define_insn "sse_storehps"
11582 : : [(set (match_operand:V2SF 0 "nonimmediate_operand" "=m,v,v")
11583 : : (vec_select:V2SF
11584 : : (match_operand:V4SF 1 "nonimmediate_operand" "v,v,o")
11585 : : (parallel [(const_int 2) (const_int 3)])))]
11586 : 116 : "TARGET_SSE && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
11587 : : "@
11588 : : %vmovhps\t{%1, %0|%q0, %1}
11589 : : %vmovhlps\t{%1, %d0|%d0, %1}
11590 : : %vmovlps\t{%H1, %d0|%d0, %H1}"
11591 : : [(set_attr "type" "ssemov")
11592 : : (set_attr "prefix" "maybe_vex")
11593 : : (set_attr "mode" "V2SF,V4SF,V2SF")])
11594 : 129109 :
11595 : 129109 : (define_expand "sse_loadhps_exp"
11596 : : [(set (match_operand:V4SF 0 "nonimmediate_operand")
11597 : 77263 : (vec_concat:V4SF
11598 : 77263 : (vec_select:V2SF
11599 : : (match_operand:V4SF 1 "nonimmediate_operand")
11600 : 63295 : (parallel [(const_int 0) (const_int 1)]))
11601 : : (match_operand:V2SF 2 "nonimmediate_operand")))]
11602 : 10521 : "TARGET_SSE"
11603 : 10533 : {
11604 : 8775 : rtx dst = ix86_fixup_binary_operands (UNKNOWN, V4SFmode, operands);
11605 : 8763 :
11606 : 17503 : emit_insn (gen_sse_loadhps (dst, operands[1], operands[2]));
11607 : :
11608 : : /* Fix up the destination if needed. */
11609 : 12 : if (dst != operands[0])
11610 : 0 : emit_move_insn (operands[0], dst);
11611 : :
11612 : 12 : DONE;
11613 : : })
11614 : :
11615 : : (define_insn "sse_loadhps"
11616 : : [(set (match_operand:V4SF 0 "nonimmediate_operand" "=x,v,x,v,o")
11617 : : (vec_concat:V4SF
11618 : : (vec_select:V2SF
11619 : : (match_operand:V4SF 1 "nonimmediate_operand" " 0,v,0,v,0")
11620 : : (parallel [(const_int 0) (const_int 1)]))
11621 : : (match_operand:V2SF 2 "nonimmediate_operand" " m,m,x,v,v")))]
11622 : 85 : "TARGET_SSE"
11623 : 6 : "@
11624 : : movhps\t{%2, %0|%0, %q2}
11625 : : vmovhps\t{%2, %1, %0|%0, %1, %q2}
11626 : 213 : movlhps\t{%2, %0|%0, %2}
11627 : 213 : vmovlhps\t{%2, %1, %0|%0, %1, %2}
11628 : : %vmovlps\t{%2, %H0|%H0, %2}"
11629 : : [(set_attr "isa" "noavx,avx,noavx,avx,*")
11630 : 213 : (set_attr "type" "ssemov2")
11631 : : (set_attr "prefix" "orig,maybe_evex,orig,maybe_evex,maybe_vex")
11632 : : (set_attr "mode" "V2SF,V2SF,V4SF,V4SF,V2SF")])
11633 : :
11634 : : (define_insn "sse_storelps"
11635 : : [(set (match_operand:V2SF 0 "nonimmediate_operand" "=m,v,v")
11636 : : (vec_select:V2SF
11637 : : (match_operand:V4SF 1 "nonimmediate_operand" " v,v,m")
11638 : : (parallel [(const_int 0) (const_int 1)])))]
11639 : 460 : "TARGET_SSE && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
11640 : 1 : "@
11641 : : %vmovlps\t{%1, %0|%q0, %1}
11642 : 1 : %vmovaps\t{%1, %0|%0, %1}
11643 : 1 : %vmovlps\t{%1, %d0|%d0, %q1}"
11644 : 0 : [(set_attr "type" "ssemov")
11645 : 1 : (set_attr "prefix" "maybe_vex")
11646 : : (set_attr "mode" "V2SF,V4SF,V2SF")])
11647 : :
11648 : 116 : (define_expand "sse_loadlps_exp"
11649 : 116 : [(set (match_operand:V4SF 0 "nonimmediate_operand")
11650 : 116 : (vec_concat:V4SF
11651 : 116 : (match_operand:V2SF 2 "nonimmediate_operand")
11652 : 232 : (vec_select:V2SF
11653 : : (match_operand:V4SF 1 "nonimmediate_operand")
11654 : : (parallel [(const_int 2) (const_int 3)]))))]
11655 : : "TARGET_SSE"
11656 : 14 : {
11657 : 14 : rtx dst = ix86_fixup_binary_operands (UNKNOWN, V4SFmode, operands);
11658 : :
11659 : 14 : emit_insn (gen_sse_loadlps (dst, operands[1], operands[2]));
11660 : :
11661 : : /* Fix up the destination if needed. */
11662 : 14 : if (dst != operands[0])
11663 : 0 : emit_move_insn (operands[0], dst);
11664 : :
11665 : 14 : DONE;
11666 : : })
11667 : :
11668 : : (define_insn "sse_loadlps"
11669 : : [(set (match_operand:V4SF 0 "nonimmediate_operand" "=x,v,x,v,m")
11670 : : (vec_concat:V4SF
11671 : : (match_operand:V2SF 2 "nonimmediate_operand" " 0,v,m,m,v")
11672 : : (vec_select:V2SF
11673 : : (match_operand:V4SF 1 "nonimmediate_operand" " x,v,0,v,0")
11674 : : (parallel [(const_int 2) (const_int 3)]))))]
11675 : 78 : "TARGET_SSE"
11676 : 3 : "@
11677 : : shufps\t{$0xe4, %1, %0|%0, %1, 0xe4}
11678 : : vshufps\t{$0xe4, %1, %2, %0|%0, %2, %1, 0xe4}
11679 : 96 : movlps\t{%2, %0|%0, %q2}
11680 : 96 : vmovlps\t{%2, %1, %0|%0, %1, %q2}
11681 : : %vmovlps\t{%2, %0|%q0, %2}"
11682 : : [(set_attr "isa" "noavx,avx,noavx,avx,*")
11683 : 96 : (set_attr "type" "sseshuf,sseshuf,ssemov2,ssemov2,ssemov")
11684 : : (set (attr "length_immediate")
11685 : : (if_then_else (eq_attr "alternative" "0,1")
11686 : : (const_string "1")
11687 : : (const_string "*")))
11688 : : (set_attr "prefix" "orig,maybe_evex,orig,maybe_evex,maybe_vex")
11689 : : (set_attr "mode" "V4SF,V4SF,V2SF,V2SF,V2SF")])
11690 : :
11691 : : (define_insn "sse_movss_<mode>"
11692 : : [(set (match_operand:VI4F_128 0 "register_operand" "=x,v,v")
11693 : 1 : (vec_merge:VI4F_128
11694 : : (match_operand:VI4F_128 2 "register_operand" " x,v,v")
11695 : 1 : (match_operand:VI4F_128 1 "reg_or_0_operand" " 0,v,C")
11696 : 1 : (const_int 1)))]
11697 : 1107 : "TARGET_SSE"
11698 : 1 : "@
11699 : : movss\t{%2, %0|%0, %2}
11700 : : vmovss\t{%2, %1, %0|%0, %1, %2}
11701 : 1549 : vmovd\t{%2, %0|%0, %2}"
11702 : 1549 : [(set_attr "isa" "noavx,avx,avx10_2")
11703 : : (set_attr "type" "ssemov")
11704 : 1549 : (set_attr "prefix" "orig,maybe_evex,evex")
11705 : : (set_attr "mode" "SF,SF,SI")])
11706 : :
11707 : : (define_insn "avx2_vec_dup<mode>"
11708 : : [(set (match_operand:VF1_128_256 0 "register_operand" "=v")
11709 : : (vec_duplicate:VF1_128_256
11710 : : (vec_select:SF
11711 : : (match_operand:V4SF 1 "register_operand" "v")
11712 : : (parallel [(const_int 0)]))))]
11713 : 90 : "TARGET_AVX2"
11714 : : "vbroadcastss\t{%1, %0|%0, %1}"
11715 : 23 : [(set_attr "type" "sselog1")
11716 : 23 : (set_attr "prefix" "maybe_evex")
11717 : : (set_attr "mode" "<MODE>")])
11718 : :
11719 : : (define_insn "avx2_vec_dupv8sf_1"
11720 : : [(set (match_operand:V8SF 0 "register_operand" "=v")
11721 : : (vec_duplicate:V8SF
11722 : : (vec_select:SF
11723 : : (match_operand:V8SF 1 "register_operand" "v")
11724 : : (parallel [(const_int 0)]))))]
11725 : 11 : "TARGET_AVX2"
11726 : : "vbroadcastss\t{%x1, %0|%0, %x1}"
11727 : : [(set_attr "type" "sselog1")
11728 : : (set_attr "prefix" "maybe_evex")
11729 : : (set_attr "mode" "V8SF")])
11730 : :
11731 : : (define_insn "avx512f_vec_dup<mode>_1"
11732 : : [(set (match_operand:VF_512 0 "register_operand" "=v")
11733 : 129 : (vec_duplicate:VF_512
11734 : 129 : (vec_select:<ssescalarmode>
11735 : 114 : (match_operand:VF_512 1 "register_operand" "v")
11736 : 243 : (parallel [(const_int 0)]))))]
11737 : 0 : "TARGET_AVX512F"
11738 : 114 : "vbroadcast<bcstscalarsuff>\t{%x1, %0|%0, %x1}"
11739 : 114 : [(set_attr "type" "sselog1")
11740 : : (set_attr "prefix" "evex")
11741 : : (set_attr "mode" "<MODE>")])
11742 : :
11743 : : ;; Although insertps takes register source, we prefer
11744 : : ;; unpcklps with register source since it is shorter.
11745 : : (define_insn "*vec_concatv2sf_sse4_1"
11746 : : [(set (match_operand:V2SF 0 "register_operand"
11747 : : "=Yr,*x, v,Yr,*x,v,v,*y ,*y")
11748 : : (vec_concat:V2SF
11749 : : (match_operand:SF 1 "nonimmediate_operand"
11750 : : " 0, 0,Yv, 0,0, v,m, 0 , m")
11751 : : (match_operand:SF 2 "nonimm_or_0_operand"
11752 : : " Yr,*x,Yv, jm,jm, m,C,*ym, C")))]
11753 : 22786 : "TARGET_SSE4_1 && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
11754 : : "@
11755 : : unpcklps\t{%2, %0|%0, %2}
11756 : 48285 : unpcklps\t{%2, %0|%0, %2}
11757 : 48285 : vunpcklps\t{%2, %1, %0|%0, %1, %2}
11758 : : insertps\t{$0x10, %2, %0|%0, %2, 0x10}
11759 : : insertps\t{$0x10, %2, %0|%0, %2, 0x10}
11760 : : vinsertps\t{$0x10, %2, %1, %0|%0, %1, %2, 0x10}
11761 : : %vmovss\t{%1, %0|%0, %1}
11762 : : punpckldq\t{%2, %0|%0, %2}
11763 : : movd\t{%1, %0|%0, %1}"
11764 : : [(set (attr "isa")
11765 : : (cond [(eq_attr "alternative" "0,1,3,4")
11766 : : (const_string "noavx")
11767 : : (eq_attr "alternative" "2,5")
11768 : : (const_string "avx")
11769 : : ]
11770 : : (const_string "*")))
11771 : : (set (attr "type")
11772 : : (cond [(eq_attr "alternative" "6")
11773 : : (const_string "ssemov")
11774 : : (eq_attr "alternative" "7")
11775 : : (const_string "mmxcvt")
11776 : : (eq_attr "alternative" "8")
11777 : : (const_string "mmxmov")
11778 : : ]
11779 : : (const_string "sselog")))
11780 : : (set (attr "mmx_isa")
11781 : : (if_then_else (eq_attr "alternative" "7,8")
11782 : : (const_string "native")
11783 : : (const_string "*")))
11784 : : (set (attr "addr")
11785 : : (if_then_else (eq_attr "alternative" "3,4")
11786 : : (const_string "gpr16")
11787 : : (const_string "*")))
11788 : : (set (attr "prefix_data16")
11789 : : (if_then_else (eq_attr "alternative" "3,4")
11790 : : (const_string "1")
11791 : : (const_string "*")))
11792 : : (set (attr "prefix_extra")
11793 : : (if_then_else (eq_attr "alternative" "3,4,5")
11794 : : (const_string "1")
11795 : : (const_string "*")))
11796 : : (set (attr "length_immediate")
11797 : : (if_then_else (eq_attr "alternative" "3,4,5")
11798 : : (const_string "1")
11799 : : (const_string "*")))
11800 : : (set (attr "prefix")
11801 : : (cond [(eq_attr "alternative" "2,5")
11802 : : (const_string "maybe_evex")
11803 : : (eq_attr "alternative" "6")
11804 : : (const_string "maybe_vex")
11805 : : ]
11806 : : (const_string "orig")))
11807 : : (set_attr "mode" "V4SF,V4SF,V4SF,V4SF,V4SF,V4SF,SF,DI,DI")])
11808 : :
11809 : : ;; ??? In theory we can match memory for the MMX alternative, but allowing
11810 : : ;; vector_operand for operand 2 and *not* allowing memory for the SSE
11811 : 11 : ;; alternatives pretty much forces the MMX alternative to be chosen.
11812 : : (define_insn "*vec_concatv2sf_sse"
11813 : : [(set (match_operand:V2SF 0 "register_operand" "=x,x,*y,*y")
11814 : : (vec_concat:V2SF
11815 : : (match_operand:SF 1 "nonimmediate_operand" " 0,m, 0, m")
11816 : : (match_operand:SF 2 "reg_or_0_operand" " x,C,*y, C")))]
11817 : 34194 : "TARGET_SSE"
11818 : : "@
11819 : : unpcklps\t{%2, %0|%0, %2}
11820 : : movss\t{%1, %0|%0, %1}
11821 : 803811 : punpckldq\t{%2, %0|%0, %2}
11822 : 803811 : movd\t{%1, %0|%0, %1}"
11823 : 724738 : [(set_attr "mmx_isa" "*,*,native,native")
11824 : 1528549 : (set_attr "type" "sselog,ssemov,mmxcvt,mmxmov")
11825 : 82252 : (set_attr "mode" "V4SF,SF,DI,DI")])
11826 : 721559 :
11827 : : (define_insn "*vec_concat<mode>"
11828 : 537617 : [(set (match_operand:V24F_128 0 "register_operand" "=x,v,x,v")
11829 : : (vec_concat:V24F_128
11830 : : (match_operand:<ssehalfvecmode> 1 "register_operand" " 0,v,0,v")
11831 : : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand" " x,v,m,m")))]
11832 : 19784 : "TARGET_SSE"
11833 : : "@
11834 : : movlhps\t{%2, %0|%0, %2}
11835 : : vmovlhps\t{%2, %1, %0|%0, %1, %2}
11836 : 1616 : movhps\t{%2, %0|%0, %q2}
11837 : 1616 : vmovhps\t{%2, %1, %0|%0, %1, %q2}"
11838 : : [(set_attr "isa" "noavx,avx,noavx,avx")
11839 : : (set_attr "type" "ssemov2")
11840 : 1616 : (set_attr "prefix" "orig,maybe_evex,orig,maybe_evex")
11841 : : (set_attr "mode" "V4SF,V4SF,V2SF,V2SF")])
11842 : :
11843 : : (define_insn "*vec_concat<mode>_0"
11844 : : [(set (match_operand:V24F_128 0 "register_operand" "=v")
11845 : : (vec_concat:V24F_128
11846 : : (match_operand:<ssehalfvecmode> 1 "nonimmediate_operand" "vm")
11847 : : (match_operand:<ssehalfvecmode> 2 "const0_operand")))]
11848 : 41880 : "TARGET_SSE2"
11849 : : "%vmovq\t{%1, %0|%0, %1}"
11850 : : [(set_attr "type" "ssemov")
11851 : : (set_attr "prefix" "maybe_vex")
11852 : 670 : (set_attr "mode" "DF")])
11853 : 670 :
11854 : : (define_insn "*vec_concat<mmxxmmmodelower>_movss"
11855 : : [(set (match_operand:<mmxxmmmode> 0 "register_operand" "=x,v,v")
11856 : 670 : (vec_merge:<mmxxmmmode>
11857 : : (vec_duplicate:<mmxxmmmode>
11858 : : (match_operand:V2FI_32 2 "nonimmediate_operand" "x,m,v"))
11859 : : (match_operand:<mmxxmmmode> 1 "reg_or_0_operand" "0,C,v" )
11860 : : (const_int 3)))]
11861 : 574 : "TARGET_SSE"
11862 : : "@
11863 : : movss\t{%2, %0|%0, %2}
11864 : : %vmovss\t{%2, %0|%0, %2}
11865 : 12 : vmovss\t{%2, %1, %0|%0, %1, %2}"
11866 : 12 : [(set_attr "isa" "noavx,*,avx")
11867 : : (set_attr "type" "ssemov")
11868 : : (set_attr "prefix" "orig,maybe_vex,maybe_vex")
11869 : 12 : (set_attr "mode" "SF")])
11870 : 105551 :
11871 : 105551 : ;; Avoid combining registers from different units in a single alternative,
11872 : : ;; see comment above inline_secondary_memory_needed function in i386.cc
11873 : 88692 : (define_insn "vec_set<mode>_0"
11874 : 88692 : [(set (match_operand:VI4F_128 0 "nonimmediate_operand"
11875 : : "=Yr,*x,v,v,v,v,x,x,v,Yr ,?x ,x ,m ,m ,m")
11876 : : (vec_merge:VI4F_128
11877 : 88692 : (vec_duplicate:VI4F_128
11878 : : (match_operand:<ssescalarmode> 2 "general_operand"
11879 : : " Yr,*x,v,v,m,r ,m,x,v,?jrjm,?jrjm,?rm,!x,?re,!*fF"))
11880 : : (match_operand:VI4F_128 1 "nonimm_or_0_operand"
11881 : : " C , C,C,C,C,C ,C,0,v,0 ,0 ,x ,0 ,0 ,0")
11882 : : (const_int 1)))]
11883 : 82054 : "TARGET_SSE"
11884 : : "@
11885 : : insertps\t{$0xe, %2, %0|%0, %2, 0xe}
11886 : : insertps\t{$0xe, %2, %0|%0, %2, 0xe}
11887 : 13532 : vmovd\t{%2, %0|%0, %2}
11888 : 13532 : vinsertps\t{$0xe, %2, %2, %0|%0, %2, %2, 0xe}
11889 : : %vmov<ssescalarmodesuffix>\t{%2, %0|%0, %2}
11890 : : %vmovd\t{%2, %0|%0, %2}
11891 : 13532 : movss\t{%2, %0|%0, %2}
11892 : : movss\t{%2, %0|%0, %2}
11893 : : vmovss\t{%2, %1, %0|%0, %1, %2}
11894 : : pinsrd\t{$0, %2, %0|%0, %2, 0}
11895 : : pinsrd\t{$0, %2, %0|%0, %2, 0}
11896 : : vpinsrd\t{$0, %2, %1, %0|%0, %1, %2, 0}
11897 : : #
11898 : : #
11899 : : #"
11900 : : [(set (attr "isa")
11901 : : (cond [(eq_attr "alternative" "0,1,9,10")
11902 : : (const_string "sse4_noavx")
11903 : : (eq_attr "alternative" "2")
11904 : : (const_string "avx10_2")
11905 : : (eq_attr "alternative" "3,8,11")
11906 : : (const_string "avx")
11907 : : (eq_attr "alternative" "4,5")
11908 : : (const_string "sse2")
11909 : : (eq_attr "alternative" "6,7")
11910 : : (const_string "noavx")
11911 : : ]
11912 : : (const_string "*")))
11913 : : (set (attr "type")
11914 : : (cond [(eq_attr "alternative" "0,1,3,9,10,11")
11915 : : (const_string "sselog")
11916 : : (eq_attr "alternative" "13")
11917 : : (const_string "imov")
11918 : : (eq_attr "alternative" "14")
11919 : : (const_string "fmov")
11920 : : (eq_attr "alternative" "4,6")
11921 : : (const_string "ssemov2")
11922 : : ]
11923 : : (const_string "ssemov")))
11924 : : (set (attr "addr")
11925 : : (if_then_else (eq_attr "alternative" "8,9")
11926 : : (const_string "gpr16")
11927 : : (const_string "*")))
11928 : : (set (attr "prefix_extra")
11929 : : (if_then_else (eq_attr "alternative" "9,10,11")
11930 : : (const_string "1")
11931 : : (const_string "*")))
11932 : : (set (attr "length_immediate")
11933 : : (if_then_else (eq_attr "alternative" "9,10,11")
11934 : : (const_string "1")
11935 : : (const_string "*")))
11936 : : (set (attr "prefix")
11937 : : (cond [(eq_attr "alternative" "0,1,6,7,9,10")
11938 : : (const_string "orig")
11939 : : (eq_attr "alternative" "2,3")
11940 : : (const_string "maybe_evex")
11941 : : (eq_attr "alternative" "4,5")
11942 : : (const_string "maybe_vex")
11943 : : (eq_attr "alternative" "8,11")
11944 : : (const_string "vex")
11945 : : ]
11946 : : (const_string "*")))
11947 : : (set_attr "mode" "SF,SF,SI,SF,<ssescalarmode>,SI,SF,SF,SF,TI,TI,TI,*,*,*")
11948 : : (set (attr "preferred_for_speed")
11949 : : (cond [(eq_attr "alternative" "5")
11950 : : (symbol_ref "TARGET_INTER_UNIT_MOVES_TO_VEC")
11951 : : ]
11952 : : (symbol_ref "true")))])
11953 : :
11954 : : (define_insn "@vec_set<mode>_0"
11955 : : [(set (match_operand:V8_128 0 "register_operand"
11956 : : "=v,v,v,v,x,x,Yr,*x,x,x,x,v,v")
11957 : : (vec_merge:V8_128
11958 : : (vec_duplicate:V8_128
11959 : : (match_operand:<ssescalarmode> 2 "nonimmediate_operand"
11960 : : " r,m,v,v,r,m,Yr,*x,r,m,x,r,m"))
11961 : : (match_operand:V8_128 1 "reg_or_0_operand"
11962 : : " C,C,C,v,0,0,0 ,0 ,x,x,x,v,v")
11963 : : (const_int 1)))]
11964 : 2076 : "TARGET_SSE2"
11965 : : "@
11966 : : vmovw\t{%k2, %0|%0, %k2}
11967 : : vmovw\t{%2, %0|%0, %2}
11968 : 925 : vmovw\t{%2, %0|%0, %2}
11969 : 925 : vmovsh\t{%2, %1, %0|%0, %1, %2}
11970 : : pinsrw\t{$0, %k2, %0|%0, %k2, 0}
11971 : : pinsrw\t{$0, %2, %0|%0, %2, 0}
11972 : 925 : pblendw\t{$1, %2, %0|%0, %2, 1}
11973 : : pblendw\t{$1, %2, %0|%0, %2, 1}
11974 : : vpinsrw\t{$0, %k2, %1, %0|%0, %1, %k2, 0}
11975 : : vpinsrw\t{$0, %2, %1, %0|%0, %1, %2, 0}
11976 : : vpblendw\t{$1, %2, %1, %0|%0, %1, %2, 1}
11977 : : vpinsrw\t{$0, %k2, %1, %0|%0, %1, %k2, 0}
11978 : : vpinsrw\t{$0, %2, %1, %0|%0, %1, %2, 0}"
11979 : : [(set (attr "isa")
11980 : : (cond [(eq_attr "alternative" "0,1,3")
11981 : : (const_string "avx512fp16")
11982 : : (eq_attr "alternative" "2")
11983 : : (const_string "avx10_2")
11984 : : (eq_attr "alternative" "4,5")
11985 : : (const_string "noavx")
11986 : : (eq_attr "alternative" "6,7")
11987 : : (const_string "sse4_noavx")
11988 : : (eq_attr "alternative" "8,9,10")
11989 : : (const_string "avx")
11990 : : (eq_attr "alternative" "11,12")
11991 : : (const_string "avx512bw")
11992 : : ]
11993 : : (const_string "*")))
11994 : : (set (attr "type")
11995 : : (if_then_else (eq_attr "alternative" "0,1,2,3,6,7,10")
11996 : : (const_string "ssemov")
11997 : : (const_string "sselog")))
11998 : : (set (attr "prefix_data16")
11999 : : (if_then_else (eq_attr "alternative" "4,5")
12000 : : (const_string "1")
12001 : : (const_string "*")))
12002 : : (set (attr "prefix_extra")
12003 : : (if_then_else (eq_attr "alternative" "6,7,10")
12004 : : (const_string "1")
12005 : : (const_string "*")))
12006 : : (set (attr "length_immediate")
12007 : : (if_then_else (eq_attr "alternative" "0,1,2,3")
12008 : : (const_string "*")
12009 : : (const_string "1")))
12010 : : (set (attr "prefix")
12011 : : (cond [(eq_attr "alternative" "0,1,2,3,11,12")
12012 : : (const_string "evex")
12013 : : (eq_attr "alternative" "8,9,10")
12014 : : (const_string "vex")
12015 : : ]
12016 : : (const_string "orig")))
12017 : : (set (attr "mode")
12018 : : (if_then_else (eq_attr "alternative" "0,1,2,3")
12019 : : (const_string "HF")
12020 : : (const_string "TI")))
12021 : : (set (attr "enabled")
12022 : 2873 : (cond [(and (not (match_test "<MODE>mode == V8HFmode || <MODE>mode == V8BFmode"))
12023 : : (eq_attr "alternative" "3"))
12024 : : (symbol_ref "false")
12025 : : ]
12026 : : (const_string "*")))])
12027 : :
12028 : : (define_insn_and_split "*vec_set<mode>_0_1"
12029 : : [(set (match_operand:V8_128 0 "register_operand")
12030 : : (vec_merge:V8_128
12031 : : (vec_duplicate:V8_128
12032 : : (vec_select:<ssescalarmode>
12033 : : (match_operand:V8_128 2 "nonimmediate_operand")
12034 : : (parallel [(const_int 0)])))
12035 : : (match_operand:V8_128 1 "reg_or_0_operand")
12036 : : (const_int 1)))]
12037 : 28 : "TARGET_SSE2 && ix86_pre_reload_split ()"
12038 : 0 : "#"
12039 : : "&& 1"
12040 : 0 : [(set (match_dup 0)
12041 : 7 : (vec_merge:V8_128
12042 : 0 : (vec_duplicate:V8_128 (match_dup 2))
12043 : 0 : (match_dup 1)
12044 : 0 : (const_int 1)))]
12045 : 3733 : {
12046 : 3733 : if (register_operand (operands[2], <MODE>mode))
12047 : 3746 : operands[2] = force_reg (<MODE>mode, operands[2]);
12048 : 3746 : operands[2] = gen_lowpart (<ssescalarmode>mode, operands[2]);
12049 : 3726 : })
12050 : 3727 :
12051 : 3727 : ;; vmovw clears also the higer bits
12052 : 3733 : (define_insn "vec_set<mode>_0"
12053 : 7 : [(set (match_operand:VI2F_256_512 0 "register_operand" "=v,v,v")
12054 : 239 : (vec_merge:VI2F_256_512
12055 : 239 : (vec_duplicate:VI2F_256_512
12056 : 7 : (match_operand:<ssescalarmode> 2 "nonimmediate_operand" "r,m,v"))
12057 : 7 : (match_operand:VI2F_256_512 1 "const0_operand")
12058 : 7 : (const_int 1)))]
12059 : 91 : "TARGET_AVX512FP16"
12060 : 232 : "@
12061 : : vmovw\t{%k2, %x0|%x0, %k2}
12062 : : vmovw\t{%2, %x0|%x0, %2}
12063 : 87 : vmovw\t{%2, %x0|%x0, %2}"
12064 : 94 : [(set_attr "isa" "*,*,avx10_2")
12065 : 7 : (set_attr "type" "ssemov")
12066 : 7 : (set_attr "prefix" "evex")
12067 : 87 : (set_attr "mode" "HF")])
12068 : :
12069 : : (define_insn_and_split "*vec_set<mode>_0_zero_extendhi"
12070 : : [(set (match_operand:VI48_AVX512F 0 "register_operand")
12071 : : (vec_merge:VI48_AVX512F
12072 : 1 : (vec_duplicate:VI48_AVX512F
12073 : : (zero_extend:<ssescalarmode>
12074 : 1 : (match_operand:HI 1 "nonimmediate_operand")))
12075 : 1 : (match_operand:VI48_AVX512F 2 "const0_operand")
12076 : 0 : (const_int 1)))]
12077 : 14 : "TARGET_AVX512FP16 && ix86_pre_reload_split ()"
12078 : 0 : "#"
12079 : : "&& 1"
12080 : 0 : [(const_int 0)]
12081 : 14 : {
12082 : 12 : rtx dest = gen_reg_rtx (<ssewvecmode>mode);
12083 : 10 : emit_insn (gen_vec_set<ssewvecmodelower>_0 (dest,
12084 : 8 : CONST0_RTX (<ssewvecmode>mode),
12085 : : operands[1]));
12086 : 5 : emit_move_insn (operands[0],
12087 : : lowpart_subreg (<MODE>mode, dest, <ssewvecmode>mode));
12088 : 5 : DONE;
12089 : : })
12090 : :
12091 : : (define_insn_and_split "*vec_setv2di_0_zero_extendhi_1"
12092 : : [(set (match_operand:V2DI 0 "register_operand")
12093 : : (vec_concat:V2DI
12094 : : (zero_extend:DI
12095 : : (match_operand:HI 1 "nonimmediate_operand"))
12096 : : (const_int 0)))]
12097 : 2 : "TARGET_AVX512FP16 && ix86_pre_reload_split ()"
12098 : 11 : "#"
12099 : : "&& 1"
12100 : 6026 : [(const_int 0)]
12101 : 17 : {
12102 : 11 : rtx dest = gen_reg_rtx (V8HImode);
12103 : 11 : emit_insn (gen_vec_setv8hi_0 (dest, CONST0_RTX (V8HImode), operands[1]));
12104 : 6037 : emit_move_insn (operands[0],
12105 : 6026 : lowpart_subreg (V2DImode, dest, V8HImode));
12106 : 6032 : DONE;
12107 : 6026 : })
12108 : 6026 :
12109 : 6026 : (define_insn "avx512fp16_mov<mode>"
12110 : 6026 : [(set (match_operand:V8_128 0 "register_operand" "=v,v")
12111 : : (vec_merge:V8_128
12112 : : (match_operand:V8_128 2 "register_operand" "v,v")
12113 : : (match_operand:V8_128 1 "reg_or_0_operand" "v,C")
12114 : : (const_int 1)))]
12115 : 146 : "TARGET_AVX512FP16
12116 : 13 : || (TARGET_AVX10_2_256 && const0_operand (operands[1], <MODE>mode))"
12117 : 163 : "@
12118 : 5 : vmovsh\t{%2, %1, %0|%0, %1, %2}
12119 : : vmovw\t{%2, %0|%2, %0}"
12120 : 62 : [(set_attr "isa" "*,avx10_2")
12121 : 62 : (set_attr "type" "ssemov")
12122 : 5 : (set_attr "prefix" "evex")
12123 : 67 : (set_attr "mode" "HF,HI")])
12124 : 82805 :
12125 : 82805 : ;; A subset is vec_setv4sf.
12126 : 82805 : (define_insn "*vec_setv4sf_sse4_1"
12127 : 82805 : [(set (match_operand:V4SF 0 "register_operand" "=Yr,*x,v")
12128 : 82805 : (vec_merge:V4SF
12129 : : (vec_duplicate:V4SF
12130 : 11270 : (match_operand:SF 2 "nonimmediate_operand" "Yrjm,*xjm,vm"))
12131 : 11270 : (match_operand:V4SF 1 "register_operand" "0,0,v")
12132 : : (match_operand:SI 3 "const_int_operand")))]
12133 : 11353 : "TARGET_SSE4_1
12134 : 166 : && ((unsigned) exact_log2 (INTVAL (operands[3]))
12135 : 83 : < GET_MODE_NUNITS (V4SFmode))"
12136 : 11 : {
12137 : 22 : operands[3] = GEN_INT (exact_log2 (INTVAL (operands[3])) << 4);
12138 : 11 : switch (which_alternative)
12139 : 24802 : {
12140 : 24802 : case 0:
12141 : : case 1:
12142 : : return "insertps\t{%3, %2, %0|%0, %2, %3}";
12143 : 24810 : case 2:
12144 : 8 : return "vinsertps\t{%3, %2, %1, %0|%0, %1, %2, %3}";
12145 : 0 : default:
12146 : 0 : gcc_unreachable ();
12147 : : }
12148 : : }
12149 : : [(set_attr "isa" "noavx,noavx,avx")
12150 : : (set_attr "type" "sselog")
12151 : : (set_attr "addr" "gpr16,gpr16,*")
12152 : : (set_attr "prefix_data16" "1,1,*")
12153 : : (set_attr "prefix_extra" "1")
12154 : : (set_attr "length_immediate" "1")
12155 : : (set_attr "prefix" "orig,orig,maybe_evex")
12156 : : (set_attr "mode" "V4SF")])
12157 : :
12158 : : ;; All of vinsertps, vmovss, vmovd clear also the higher bits.
12159 : : (define_insn "vec_set<mode>_0"
12160 : : [(set (match_operand:VI4F_256_512 0 "register_operand" "=v,v,v")
12161 : : (vec_merge:VI4F_256_512
12162 : : (vec_duplicate:VI4F_256_512
12163 : : (match_operand:<ssescalarmode> 2 "nonimmediate_operand" "v,m,r"))
12164 : : (match_operand:VI4F_256_512 1 "const0_operand")
12165 : : (const_int 1)))]
12166 : 293 : "TARGET_AVX"
12167 : : "@
12168 : : vinsertps\t{$0xe, %2, %2, %x0|%x0, %2, %2, 0xe}
12169 : : vmov<ssescalarmodesuffix>\t{%x2, %x0|%x0, %2}
12170 : 418 : vmovd\t{%2, %x0|%x0, %2}"
12171 : 418 : [(set (attr "type")
12172 : : (if_then_else (eq_attr "alternative" "0")
12173 : : (const_string "sselog")
12174 : 418 : (const_string "ssemov")))
12175 : : (set_attr "prefix" "maybe_evex")
12176 : 51 : (set_attr "mode" "SF,<ssescalarmode>,SI")
12177 : : (set (attr "preferred_for_speed")
12178 : : (cond [(eq_attr "alternative" "2")
12179 : : (symbol_ref "TARGET_INTER_UNIT_MOVES_TO_VEC")
12180 : : ]
12181 : : (symbol_ref "true")))])
12182 : :
12183 : : (define_insn_and_split "*vec_set<mode>_0_zero_extendsi"
12184 : : [(set (match_operand:VI8 0 "register_operand")
12185 : : (vec_merge:VI8
12186 : : (vec_duplicate:VI8
12187 : : (zero_extend:DI
12188 : : (match_operand:SI 1 "nonimmediate_operand")))
12189 : : (match_operand:VI8 2 "const0_operand")
12190 : : (const_int 1)))]
12191 : 4 : "TARGET_SSE2 && ix86_pre_reload_split ()"
12192 : 0 : "#"
12193 : : "&& 1"
12194 : 0 : [(const_int 0)]
12195 : 4 : {
12196 : 2 : rtx dest = gen_reg_rtx (<ssepackmode>mode);
12197 : 3 : emit_insn (gen_vec_set<ssepackmodelower>_0 (dest,
12198 : 2 : CONST0_RTX (<ssepackmode>mode),
12199 : : operands[1]));
12200 : 2 : emit_move_insn (operands[0],
12201 : 75535 : lowpart_subreg (<MODE>mode, dest, <ssepackmode>mode));
12202 : 75537 : DONE;
12203 : 75535 : })
12204 : 75535 :
12205 : 79968 : (define_insn_and_split "*vec_setv2di_0_zero_extendsi_1"
12206 : 75535 : [(set (match_operand:V2DI 0 "register_operand")
12207 : 75535 : (vec_concat:V2DI
12208 : 75535 : (zero_extend:DI
12209 : 79968 : (match_operand:SI 1 "nonimmediate_operand"))
12210 : 79968 : (const_int 0)))]
12211 : 4448 : "TARGET_SSE2 && ix86_pre_reload_split ()"
12212 : 4433 : "#"
12213 : 79968 : "&& 1"
12214 : 75878 : [(const_int 0)]
12215 : 10 : {
12216 : 2861 : rtx dest = gen_reg_rtx (V4SImode);
12217 : 2861 : emit_insn (gen_vec_setv4si_0 (dest, CONST0_RTX (V4SImode), operands[1]));
12218 : 3204 : emit_move_insn (operands[0],
12219 : 1545 : lowpart_subreg (V2DImode, dest, V4SImode));
12220 : 1904 : DONE;
12221 : 3829 : })
12222 : 4677 :
12223 : 1545 : (define_insn "@sse4_1_insertps_<mode>"
12224 : 994 : [(set (match_operand:VI4F_128 0 "register_operand" "=Yr,*x,v")
12225 : 1267 : (unspec:VI4F_128
12226 : 1267 : [(match_operand:VI4F_128 2 "nonimmediate_operand" "Yrjm,*xjm,vm")
12227 : 0 : (match_operand:VI4F_128 1 "register_operand" "0,0,v")
12228 : 1267 : (match_operand:SI 3 "const_0_to_255_operand")]
12229 : 1267 : UNSPEC_INSERTPS))]
12230 : 871 : "TARGET_SSE4_1"
12231 : 822 : {
12232 : 871 : if (MEM_P (operands[2]))
12233 : 2 : {
12234 : 1049 : unsigned count_s = INTVAL (operands[3]) >> 6;
12235 : 1049 : if (count_s)
12236 : 186 : operands[3] = GEN_INT (INTVAL (operands[3]) & 0x3f);
12237 : 1169 : operands[2] = adjust_address_nv (operands[2],
12238 : 123 : <ssescalarmode>mode, count_s * 4);
12239 : 552 : }
12240 : 242 : switch (which_alternative)
12241 : 26231 : {
12242 : 26231 : case 0:
12243 : : case 1:
12244 : 11256 : return "insertps\t{%3, %2, %0|%0, %2, %3}";
12245 : 11305 : case 2:
12246 : 49 : return "vinsertps\t{%3, %2, %1, %0|%0, %1, %2, %3}";
12247 : 28563 : default:
12248 : 28563 : gcc_unreachable ();
12249 : 28563 : }
12250 : 28563 : }
12251 : 28563 : [(set_attr "isa" "noavx,noavx,avx")
12252 : 28563 : (set_attr "addr" "gpr16,gpr16,*")
12253 : 28563 : (set_attr "type" "sselog")
12254 : 28632 : (set_attr "prefix_data16" "1,1,*")
12255 : 28563 : (set_attr "prefix_extra" "1")
12256 : 28563 : (set_attr "length_immediate" "1")
12257 : : (set_attr "prefix" "orig,orig,maybe_evex")
12258 : 28563 : (set_attr "mode" "V4SF")])
12259 : :
12260 : 66 : (define_split
12261 : 66 : [(set (match_operand:VI4F_128 0 "memory_operand")
12262 : : (vec_merge:VI4F_128
12263 : 127 : (vec_duplicate:VI4F_128
12264 : : (match_operand:<ssescalarmode> 1 "nonmemory_operand"))
12265 : : (match_dup 0)
12266 : : (const_int 1)))]
12267 : 0 : "TARGET_SSE && reload_completed"
12268 : : [(set (match_dup 0) (match_dup 1))]
12269 : 14 : "operands[0] = adjust_address (operands[0], <ssescalarmode>mode, 0);")
12270 : :
12271 : 0 : ;; Standard scalar operation patterns which preserve the rest of the
12272 : 0 : ;; vector for combiner.
12273 : 0 : (define_insn "vec_setv2df_0"
12274 : 0 : [(set (match_operand:V2DF 0 "register_operand" "=x,v,x,v")
12275 : 0 : (vec_merge:V2DF
12276 : 10346 : (vec_duplicate:V2DF
12277 : 10346 : (match_operand:DF 2 "nonimmediate_operand" " x,v,m,m"))
12278 : 10346 : (match_operand:V2DF 1 "register_operand" " 0,v,0,v")
12279 : 10346 : (const_int 1)))]
12280 : 10717 : "TARGET_SSE2"
12281 : : "@
12282 : 9268 : movsd\t{%2, %0|%0, %2}
12283 : : vmovsd\t{%2, %1, %0|%0, %1, %2}
12284 : 3548 : movlpd\t{%2, %0|%0, %2}
12285 : 3565 : vmovlpd\t{%2, %1, %0|%0, %1, %2}"
12286 : : [(set_attr "isa" "noavx,avx,noavx,avx")
12287 : : (set_attr "type" "ssemov2")
12288 : 3548 : (set_attr "mode" "DF")])
12289 : 17 :
12290 : 17 : (define_expand "vec_set<mode>"
12291 : 17 : [(match_operand:V_128 0 "register_operand")
12292 : 17 : (match_operand:<ssescalarmode> 1 "register_operand")
12293 : 17 : (match_operand 2 "vec_setm_sse41_operand")]
12294 : 17 : "TARGET_SSE"
12295 : 6513 : {
12296 : 6496 : if (CONST_INT_P (operands[2]))
12297 : 6458 : ix86_expand_vector_set (false, operands[0], operands[1],
12298 : 6458 : INTVAL (operands[2]));
12299 : : else
12300 : 38 : ix86_expand_vector_set_var (operands[0], operands[1], operands[2]);
12301 : 6496 : DONE;
12302 : : })
12303 : :
12304 : : (define_expand "vec_set<mode>"
12305 : : [(match_operand:V_256_512 0 "register_operand")
12306 : : (match_operand:<ssescalarmode> 1 "register_operand")
12307 : : (match_operand 2 "vec_setm_avx2_operand")]
12308 : : "TARGET_AVX"
12309 : 175 : {
12310 : 150 : if (CONST_INT_P (operands[2]))
12311 : 105 : ix86_expand_vector_set (false, operands[0], operands[1],
12312 : 105 : INTVAL (operands[2]));
12313 : : else
12314 : 70 : ix86_expand_vector_set_var (operands[0], operands[1], operands[2]);
12315 : 175 : DONE;
12316 : : })
12317 : :
12318 : : (define_insn_and_split "*vec_extractv4sf_0"
12319 : : [(set (match_operand:SF 0 "nonimmediate_operand" "=v,m,f,r")
12320 : : (vec_select:SF
12321 : : (match_operand:V4SF 1 "nonimmediate_operand" "vm,v,m,m")
12322 : 97 : (parallel [(const_int 0)])))]
12323 : 91693 : "TARGET_SSE && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
12324 : : "#"
12325 : 13566 : "&& reload_completed"
12326 : 4744 : [(set (match_dup 0) (match_dup 1))]
12327 : 4744 : "operands[1] = gen_lowpart (SFmode, operands[1]);")
12328 : 97 :
12329 : 97 : (define_insn_and_split "*sse4_1_extractps"
12330 : 4744 : [(set (match_operand:SF 0 "nonimmediate_operand" "=jrjm,jrjm,rm,Yv,Yv")
12331 : 4744 : (vec_select:SF
12332 : 2326 : (match_operand:V4SF 1 "register_operand" "Yr,*x,v,0,v")
12333 : 6876 : (parallel [(match_operand:SI 2 "const_0_to_3_operand")])))]
12334 : 158041 : "TARGET_SSE4_1"
12335 : 122320 : "@
12336 : 144824 : extractps\t{%2, %1, %0|%0, %1, %2}
12337 : 5080 : extractps\t{%2, %1, %0|%0, %1, %2}
12338 : 141336 : vextractps\t{%2, %1, %0|%0, %1, %2}
12339 : 5080 : #
12340 : 20740 : #"
12341 : 24138 : "&& reload_completed && SSE_REG_P (operands[0])"
12342 : 9662 : [(const_int 0)]
12343 : 24362 : {
12344 : 13220 : rtx dest = lowpart_subreg (V4SFmode, operands[0], SFmode);
12345 : 909 : switch (INTVAL (operands[2]))
12346 : 12058 : {
12347 : 337 : case 1:
12348 : 337 : case 3:
12349 : 513 : emit_insn (gen_sse_shufps_v4sf (dest, operands[1], operands[1],
12350 : 159 : operands[2], operands[2],
12351 : 178 : GEN_INT (INTVAL (operands[2]) + 4),
12352 : : GEN_INT (INTVAL (operands[2]) + 4)));
12353 : 176 : break;
12354 : 65 : case 2:
12355 : 65 : emit_insn (gen_vec_interleave_highv4sf (dest, operands[1], operands[1]));
12356 : 65 : break;
12357 : 0 : default:
12358 : : /* 0 should be handled by the *vec_extractv4sf_0 pattern above. */
12359 : 0 : gcc_unreachable ();
12360 : : }
12361 : 241 : DONE;
12362 : : }
12363 : : [(set_attr "isa" "noavx,noavx,avx,noavx,avx")
12364 : : (set_attr "addr" "gpr16,gpr16,*,*,*")
12365 : : (set_attr "type" "sselog,sselog,sselog,*,*")
12366 : : (set_attr "prefix_data16" "1,1,1,*,*")
12367 : : (set_attr "prefix_extra" "1,1,1,*,*")
12368 : : (set_attr "length_immediate" "1,1,1,*,*")
12369 : : (set_attr "prefix" "orig,orig,maybe_evex,*,*")
12370 : : (set_attr "mode" "V4SF,V4SF,V4SF,*,*")])
12371 : :
12372 : : (define_insn_and_split "*vec_extractv4sf_mem"
12373 : 21 : [(set (match_operand:SF 0 "register_operand" "=v,?r,f")
12374 : : (vec_select:SF
12375 : : (match_operand:V4SF 1 "memory_operand" "o,o,o")
12376 : : (parallel [(match_operand 2 "const_0_to_3_operand")])))]
12377 : 989 : "TARGET_SSE"
12378 : 11450 : "#"
12379 : 469 : "&& reload_completed"
12380 : 11806 : [(set (match_dup 0) (match_dup 1))]
12381 : 416 : {
12382 : 230 : operands[1] = adjust_address (operands[1], SFmode, INTVAL (operands[2]) * 4);
12383 : 2354 : })
12384 : 2366 :
12385 : 1434 : (define_mode_attr extract_type
12386 : 1620 : [(V16SF "avx512f") (V16SI "avx512f") (V8DF "avx512dq") (V8DI "avx512dq")])
12387 : 207 :
12388 : 2496 : (define_mode_attr extract_suf
12389 : 186 : [(V16SF "32x4") (V16SI "32x4") (V8DF "64x2") (V8DI "64x2")
12390 : 186 : (V8SF "32x4") (V8SI "32x4") (V4DF "64x2") (V4DI "64x2")])
12391 : :
12392 : 186 : (define_mode_iterator AVX512_VEC
12393 : 502 : [(V8DF "TARGET_AVX512DQ && TARGET_EVEX512")
12394 : 458 : (V8DI "TARGET_AVX512DQ && TARGET_EVEX512")
12395 : 1036 : (V16SF "TARGET_EVEX512") (V16SI "TARGET_EVEX512")])
12396 : :
12397 : 430 : (define_expand "<extract_type>_vextract<shuffletype><extract_suf>_mask"
12398 : 430 : [(match_operand:<ssequartermode> 0 "nonimmediate_operand")
12399 : 1083 : (match_operand:AVX512_VEC 1 "register_operand")
12400 : 738 : (match_operand:SI 2 "const_0_to_3_operand")
12401 : 240 : (match_operand:<ssequartermode> 3 "nonimmediate_operand")
12402 : 980 : (match_operand:QI 4 "register_operand")]
12403 : 975 : "TARGET_AVX512F"
12404 : 9256 : {
12405 : 6889 : int mask;
12406 : 27465 : mask = INTVAL (operands[2]);
12407 : 15820 : rtx dest = operands[0];
12408 : 8219 :
12409 : 15024 : if (MEM_P (operands[0]) && !rtx_equal_p (operands[0], operands[3]))
12410 : 163 : dest = gen_reg_rtx (<ssequartermode>mode);
12411 : 1682 :
12412 : 1841 : if (<MODE>mode == V16SImode || <MODE>mode == V16SFmode)
12413 : 8439 : emit_insn (gen_avx512f_vextract<shuffletype>32x4_1_mask (dest,
12414 : 7573 : operands[1], GEN_INT (mask * 4), GEN_INT (mask * 4 + 1),
12415 : 7573 : GEN_INT (mask * 4 + 2), GEN_INT (mask * 4 + 3), operands[3],
12416 : 6646 : operands[4]));
12417 : 7312 : else
12418 : 7360 : emit_insn (gen_avx512dq_vextract<shuffletype>64x2_1_mask (dest,
12419 : 7360 : operands[1], GEN_INT (mask * 2), GEN_INT (mask * 2 + 1), operands[3],
12420 : 7312 : operands[4]));
12421 : 7471 : if (dest != operands[0])
12422 : 6646 : emit_move_insn (operands[0], dest);
12423 : 7447 : DONE;
12424 : 7288 : })
12425 : 7288 :
12426 : 6646 : (define_insn "avx512dq_vextract<shuffletype>64x2_1_mask"
12427 : 6802 : [(set (match_operand:<ssequartermode> 0 "nonimmediate_operand" "=v,m")
12428 : 6802 : (vec_merge:<ssequartermode>
12429 : 6646 : (vec_select:<ssequartermode>
12430 : : (match_operand:V8FI 1 "register_operand" "v,v")
12431 : 5195 : (parallel [(match_operand 2 "const_0_to_7_operand")
12432 : : (match_operand 3 "const_0_to_7_operand")]))
12433 : 710 : (match_operand:<ssequartermode> 4 "nonimm_or_0_operand" "0C,0")
12434 : 710 : (match_operand:QI 5 "register_operand" "Yk,Yk")))]
12435 : 1084 : "TARGET_AVX512DQ
12436 : 1084 : && INTVAL (operands[2]) % 2 == 0
12437 : 1084 : && INTVAL (operands[2]) == INTVAL (operands[3]) - 1
12438 : 396 : && (!MEM_P (operands[0]) || rtx_equal_p (operands[0], operands[4]))"
12439 : 276 : {
12440 : 969 : operands[2] = GEN_INT (INTVAL (operands[2]) >> 1);
12441 : 28 : return "vextract<shuffletype>64x2\t{%2, %1, %0%{%5%}%N4|%0%{%5%}%N4, %1, %2}";
12442 : : }
12443 : : [(set_attr "type" "sselog1")
12444 : : (set_attr "length_immediate" "1")
12445 : : (set_attr "prefix" "evex")
12446 : 21 : (set_attr "mode" "<sseinsnmode>")])
12447 : :
12448 : : (define_insn "*avx512dq_vextract<shuffletype>64x2_1"
12449 : : [(set (match_operand:<ssequartermode> 0 "nonimmediate_operand" "=vm")
12450 : 108 : (vec_select:<ssequartermode>
12451 : : (match_operand:V8FI 1 "register_operand" "v")
12452 : : (parallel [(match_operand 2 "const_0_to_7_operand")
12453 : : (match_operand 3 "const_0_to_7_operand")])))]
12454 : 50 : "TARGET_AVX512DQ
12455 : 100 : && INTVAL (operands[2]) % 2 == 0
12456 : 208 : && INTVAL (operands[2]) == INTVAL (operands[3]) - 1"
12457 : 122 : {
12458 : 115 : operands[2] = GEN_INT (INTVAL (operands[2]) >> 1);
12459 : 122 : return "vextract<shuffletype>64x2\t{%2, %1, %0|%0, %1, %2}";
12460 : 108 : }
12461 : 108 : [(set_attr "type" "sselog1")
12462 : 108 : (set_attr "length_immediate" "1")
12463 : 108 : (set_attr "prefix" "evex")
12464 : 146 : (set_attr "mode" "<sseinsnmode>")])
12465 : :
12466 : : (define_split
12467 : : [(set (match_operand:<ssequartermode> 0 "nonimmediate_operand")
12468 : : (vec_select:<ssequartermode>
12469 : : (match_operand:V8FI 1 "register_operand")
12470 : : (parallel [(const_int 0) (const_int 1)])))]
12471 : 0 : "TARGET_AVX512DQ
12472 : 0 : && reload_completed
12473 : 0 : && (TARGET_AVX512VL
12474 : 0 : || REG_P (operands[0])
12475 : 0 : || !EXT_REX_SSE_REG_P (operands[1]))"
12476 : : [(set (match_dup 0) (match_dup 1))]
12477 : 0 : {
12478 : 0 : if (!TARGET_AVX512VL
12479 : 0 : && REG_P (operands[0])
12480 : 0 : && EXT_REX_SSE_REG_P (operands[1]))
12481 : 0 : operands[0]
12482 : 0 : = lowpart_subreg (<MODE>mode, operands[0], <ssequartermode>mode);
12483 : : else
12484 : 0 : operands[1] = gen_lowpart (<ssequartermode>mode, operands[1]);
12485 : : })
12486 : :
12487 : : (define_insn "avx512f_vextract<shuffletype>32x4_1_mask"
12488 : 0 : [(set (match_operand:<ssequartermode> 0 "nonimmediate_operand" "=v,m")
12489 : 0 : (vec_merge:<ssequartermode>
12490 : 0 : (vec_select:<ssequartermode>
12491 : 0 : (match_operand:V16FI 1 "register_operand" "v,v")
12492 : 0 : (parallel [(match_operand 2 "const_0_to_15_operand")
12493 : : (match_operand 3 "const_0_to_15_operand")
12494 : 0 : (match_operand 4 "const_0_to_15_operand")
12495 : 0 : (match_operand 5 "const_0_to_15_operand")]))
12496 : 0 : (match_operand:<ssequartermode> 6 "nonimm_or_0_operand" "0C,0")
12497 : : (match_operand:QI 7 "register_operand" "Yk,Yk")))]
12498 : 494 : "TARGET_AVX512F
12499 : 494 : && INTVAL (operands[2]) % 4 == 0
12500 : 494 : && INTVAL (operands[2]) == INTVAL (operands[3]) - 1
12501 : 1805 : && INTVAL (operands[3]) == INTVAL (operands[4]) - 1
12502 : 494 : && INTVAL (operands[4]) == INTVAL (operands[5]) - 1
12503 : 494 : && (!MEM_P (operands[0]) || rtx_equal_p (operands[0], operands[6]))"
12504 : 59 : {
12505 : 31 : operands[2] = GEN_INT (INTVAL (operands[2]) >> 2);
12506 : 59 : return "vextract<shuffletype>32x4\t{%2, %1, %0%{%7%}%N6|%0%{%7%}%N6, %1, %2}";
12507 : 1311 : }
12508 : 1311 : [(set_attr "type" "sselog1")
12509 : 1311 : (set_attr "length_immediate" "1")
12510 : 1311 : (set_attr "prefix" "evex")
12511 : 1358 : (set_attr "mode" "<sseinsnmode>")])
12512 : 1311 :
12513 : 1311 : (define_insn "*avx512f_vextract<shuffletype>32x4_1"
12514 : 1311 : [(set (match_operand:<ssequartermode> 0 "nonimmediate_operand" "=vm")
12515 : 1311 : (vec_select:<ssequartermode>
12516 : : (match_operand:V16FI 1 "register_operand" "v")
12517 : : (parallel [(match_operand 2 "const_0_to_15_operand")
12518 : : (match_operand 3 "const_0_to_15_operand")
12519 : : (match_operand 4 "const_0_to_15_operand")
12520 : : (match_operand 5 "const_0_to_15_operand")])))]
12521 : 166 : "TARGET_AVX512F
12522 : 323 : && INTVAL (operands[2]) % 4 == 0
12523 : 323 : && INTVAL (operands[2]) == INTVAL (operands[3]) - 1
12524 : 323 : && INTVAL (operands[3]) == INTVAL (operands[4]) - 1
12525 : 323 : && INTVAL (operands[4]) == INTVAL (operands[5]) - 1"
12526 : 37 : {
12527 : 19 : operands[2] = GEN_INT (INTVAL (operands[2]) >> 2);
12528 : 37 : return "vextract<shuffletype>32x4\t{%2, %1, %0|%0, %1, %2}";
12529 : : }
12530 : : [(set_attr "type" "sselog1")
12531 : : (set_attr "length_immediate" "1")
12532 : : (set_attr "prefix" "evex")
12533 : 107 : (set_attr "mode" "<sseinsnmode>")])
12534 : :
12535 : : (define_split
12536 : : [(set (match_operand:<ssequartermode> 0 "nonimmediate_operand")
12537 : : (vec_select:<ssequartermode>
12538 : : (match_operand:V16FI 1 "register_operand")
12539 : : (parallel [(const_int 0) (const_int 1)
12540 : : (const_int 2) (const_int 3)])))]
12541 : 17 : "TARGET_AVX512F
12542 : 17 : && reload_completed
12543 : 8 : && (TARGET_AVX512VL
12544 : 8 : || REG_P (operands[0])
12545 : 2 : || !EXT_REX_SSE_REG_P (operands[1]))"
12546 : : [(set (match_dup 0) (match_dup 1))]
12547 : 8 : {
12548 : 8 : if (!TARGET_AVX512VL
12549 : 8 : && REG_P (operands[0])
12550 : 14 : && EXT_REX_SSE_REG_P (operands[1]))
12551 : 0 : operands[0]
12552 : 0 : = lowpart_subreg (<MODE>mode, operands[0], <ssequartermode>mode);
12553 : : else
12554 : 8 : operands[1] = gen_lowpart (<ssequartermode>mode, operands[1]);
12555 : : })
12556 : :
12557 : : (define_mode_attr extract_type_2
12558 : 8 : [(V16SF "avx512dq") (V16SI "avx512dq") (V8DF "avx512f") (V8DI "avx512f")])
12559 : 8 :
12560 : 8 : (define_mode_attr extract_suf_2
12561 : 8 : [(V16SF "32x8") (V16SI "32x8") (V8DF "64x4") (V8DI "64x4")])
12562 : 8 :
12563 : : (define_mode_iterator AVX512_VEC_2
12564 : 8 : [(V16SF "TARGET_AVX512DQ && TARGET_EVEX512")
12565 : 8 : (V16SI "TARGET_AVX512DQ && TARGET_EVEX512")
12566 : 8 : (V8DF "TARGET_EVEX512") (V8DI "TARGET_EVEX512")])
12567 : :
12568 : : (define_expand "<extract_type_2>_vextract<shuffletype><extract_suf_2>_mask"
12569 : : [(match_operand:<ssehalfvecmode> 0 "nonimmediate_operand")
12570 : : (match_operand:AVX512_VEC_2 1 "register_operand")
12571 : : (match_operand:SI 2 "const_0_to_1_operand")
12572 : 293 : (match_operand:<ssehalfvecmode> 3 "nonimmediate_operand")
12573 : : (match_operand:QI 4 "register_operand")]
12574 : 293 : "TARGET_AVX512F"
12575 : 1788 : {
12576 : 1788 : rtx (*insn)(rtx, rtx, rtx, rtx);
12577 : 1788 : rtx dest = operands[0];
12578 : 0 :
12579 : 1788 : if (MEM_P (dest) && !rtx_equal_p (dest, operands[3]))
12580 : 193 : dest = gen_reg_rtx (<ssehalfvecmode>mode);
12581 : :
12582 : 1495 : switch (INTVAL (operands[2]))
12583 : : {
12584 : : case 0:
12585 : : insn = gen_vec_extract_lo_<mode>_mask;
12586 : : break;
12587 : 1133 : case 1:
12588 : 1133 : insn = gen_vec_extract_hi_<mode>_mask;
12589 : 1133 : break;
12590 : 0 : default:
12591 : 0 : gcc_unreachable ();
12592 : : }
12593 : :
12594 : 1495 : emit_insn (insn (dest, operands[1], operands[3], operands[4]));
12595 : 1495 : if (dest != operands[0])
12596 : 193 : emit_move_insn (operands[0], dest);
12597 : 1495 : DONE;
12598 : : })
12599 : :
12600 : : (define_split
12601 : : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand")
12602 : : (vec_select:<ssehalfvecmode>
12603 : : (match_operand:V8FI 1 "nonimmediate_operand")
12604 : : (parallel [(const_int 0) (const_int 1)
12605 : : (const_int 2) (const_int 3)])))]
12606 : 1310 : "TARGET_AVX512F && !(MEM_P (operands[0]) && MEM_P (operands[1]))
12607 : 1310 : && reload_completed
12608 : 515 : && (TARGET_AVX512VL
12609 : 496 : || (REG_P (operands[0]) && !EXT_REX_SSE_REG_P (operands[1])))"
12610 : : [(set (match_dup 0) (match_dup 1))]
12611 : 293 : "operands[1] = gen_lowpart (<ssehalfvecmode>mode, operands[1]);")
12612 : :
12613 : : (define_insn "vec_extract_lo_<mode>_mask"
12614 : 293 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=v,m")
12615 : 293 : (vec_merge:<ssehalfvecmode>
12616 : 293 : (vec_select:<ssehalfvecmode>
12617 : 293 : (match_operand:V8FI 1 "register_operand" "v,v")
12618 : 293 : (parallel [(const_int 0) (const_int 1)
12619 : : (const_int 2) (const_int 3)]))
12620 : 293 : (match_operand:<ssehalfvecmode> 2 "nonimm_or_0_operand" "0C,0")
12621 : 293 : (match_operand:QI 3 "register_operand" "Yk,Yk")))]
12622 : 662 : "TARGET_AVX512F
12623 : 690 : && (!MEM_P (operands[0]) || rtx_equal_p (operands[0], operands[2]))"
12624 : 1816 : "vextract<shuffletype>64x4\t{$0x0, %1, %0%{%3%}%N2|%0%{%3%}%N2, %1, 0x0}"
12625 : : [(set_attr "type" "sselog1")
12626 : : (set_attr "length_immediate" "1")
12627 : 60 : (set_attr "memory" "none,store")
12628 : 1816 : (set_attr "prefix" "evex")
12629 : 1816 : (set_attr "mode" "<sseinsnmode>")])
12630 : 1816 :
12631 : 1876 : (define_insn "vec_extract_lo_<mode>"
12632 : 1876 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=v,vm,v")
12633 : 1876 : (vec_select:<ssehalfvecmode>
12634 : 1876 : (match_operand:V8FI 1 "nonimmediate_operand" "v,v,vm")
12635 : 60 : (parallel [(const_int 0) (const_int 1)
12636 : 60 : (const_int 2) (const_int 3)])))]
12637 : 9962 : "TARGET_AVX512F && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
12638 : 111 : {
12639 : 111 : if (!TARGET_AVX512VL && !MEM_P (operands[1]))
12640 : : return "vextract<shuffletype>64x4\t{$0x0, %1, %0|%0, %1, 0x0}";
12641 : : else
12642 : 0 : return "#";
12643 : : }
12644 : : [(set_attr "type" "sselog1")
12645 : : (set_attr "length_immediate" "1")
12646 : : (set_attr "memory" "none,store,load")
12647 : 22 : (set_attr "prefix" "evex")
12648 : : (set_attr "mode" "<sseinsnmode>")])
12649 : :
12650 : : (define_insn "vec_extract_hi_<mode>_mask"
12651 : : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=v,m")
12652 : : (vec_merge:<ssehalfvecmode>
12653 : : (vec_select:<ssehalfvecmode>
12654 : : (match_operand:V8FI 1 "register_operand" "v,v")
12655 : : (parallel [(const_int 4) (const_int 5)
12656 : : (const_int 6) (const_int 7)]))
12657 : 0 : (match_operand:<ssehalfvecmode> 2 "nonimm_or_0_operand" "0C,0")
12658 : : (match_operand:QI 3 "register_operand" "Yk,Yk")))]
12659 : 1172 : "TARGET_AVX512F
12660 : 2203 : && (!MEM_P (operands[0]) || rtx_equal_p (operands[0], operands[2]))"
12661 : : "vextract<shuffletype>64x4\t{$0x1, %1, %0%{%3%}%N2|%0%{%3%}%N2, %1, 0x1}"
12662 : : [(set_attr "type" "sselog1")
12663 : : (set_attr "length_immediate" "1")
12664 : : (set_attr "prefix" "evex")
12665 : : (set_attr "mode" "<sseinsnmode>")])
12666 : :
12667 : : (define_insn "vec_extract_hi_<mode>"
12668 : : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=vm")
12669 : : (vec_select:<ssehalfvecmode>
12670 : : (match_operand:V8FI 1 "register_operand" "v")
12671 : : (parallel [(const_int 4) (const_int 5)
12672 : : (const_int 6) (const_int 7)])))]
12673 : 4997 : "TARGET_AVX512F"
12674 : : "vextract<shuffletype>64x4\t{$0x1, %1, %0|%0, %1, 0x1}"
12675 : : [(set_attr "type" "sselog1")
12676 : : (set_attr "length_immediate" "1")
12677 : : (set_attr "prefix" "evex")
12678 : : (set_attr "mode" "<sseinsnmode>")])
12679 : :
12680 : : (define_insn "vec_extract_hi_<mode>_mask"
12681 : : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=v,m")
12682 : : (vec_merge:<ssehalfvecmode>
12683 : : (vec_select:<ssehalfvecmode>
12684 : : (match_operand:V16FI 1 "register_operand" "v,v")
12685 : : (parallel [(const_int 8) (const_int 9)
12686 : : (const_int 10) (const_int 11)
12687 : : (const_int 12) (const_int 13)
12688 : : (const_int 14) (const_int 15)]))
12689 : : (match_operand:<ssehalfvecmode> 2 "nonimm_or_0_operand" "0C,0")
12690 : : (match_operand:QI 3 "register_operand" "Yk,Yk")))]
12691 : 182 : "TARGET_AVX512DQ
12692 : 650 : && (!MEM_P (operands[0]) || rtx_equal_p (operands[0], operands[2]))"
12693 : : "vextract<shuffletype>32x8\t{$0x1, %1, %0%{%3%}%N2|%0%{%3%}%N2, %1, 0x1}"
12694 : : [(set_attr "type" "sselog1")
12695 : : (set_attr "length_immediate" "1")
12696 : : (set_attr "prefix" "evex")
12697 : : (set_attr "mode" "<sseinsnmode>")])
12698 : :
12699 : : (define_insn "vec_extract_hi_<mode>"
12700 : : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=vm,vm")
12701 : : (vec_select:<ssehalfvecmode>
12702 : : (match_operand:V16FI 1 "register_operand" "v,v")
12703 : : (parallel [(const_int 8) (const_int 9)
12704 : : (const_int 10) (const_int 11)
12705 : : (const_int 12) (const_int 13)
12706 : : (const_int 14) (const_int 15)])))]
12707 : 5315 : "TARGET_AVX512F"
12708 : : "@
12709 : : vextract<shuffletype>32x8\t{$0x1, %1, %0|%0, %1, 0x1}
12710 : : vextracti64x4\t{$0x1, %1, %0|%0, %1, 0x1}"
12711 : : [(set_attr "type" "sselog1")
12712 : : (set_attr "isa" "avx512dq,noavx512dq")
12713 : : (set_attr "length_immediate" "1")
12714 : : (set_attr "prefix" "evex")
12715 : : (set_attr "mode" "<sseinsnmode>")])
12716 : :
12717 : : (define_mode_iterator VI48F_256_DQ
12718 : : [V8SI V8SF (V4DI "TARGET_AVX512DQ") (V4DF "TARGET_AVX512DQ")])
12719 : :
12720 : : (define_expand "avx512vl_vextractf128<mode>"
12721 : : [(match_operand:<ssehalfvecmode> 0 "nonimmediate_operand")
12722 : : (match_operand:VI48F_256_DQ 1 "register_operand")
12723 : : (match_operand:SI 2 "const_0_to_1_operand")
12724 : : (match_operand:<ssehalfvecmode> 3 "nonimm_or_0_operand")
12725 : : (match_operand:QI 4 "register_operand")]
12726 : : "TARGET_AVX512VL"
12727 : 108 : {
12728 : 108 : rtx (*insn)(rtx, rtx, rtx, rtx);
12729 : 108 : rtx dest = operands[0];
12730 : :
12731 : 108 : if (MEM_P (dest)
12732 : 108 : && (GET_MODE_SIZE (GET_MODE_INNER (<MODE>mode)) == 4
12733 : : /* For V8S[IF]mode there are maskm insns with =m and 0
12734 : : constraints. */
12735 : 0 : ? !rtx_equal_p (dest, operands[3])
12736 : : /* For V4D[IF]mode, hi insns don't allow memory, and
12737 : : lo insns have =m and 0C constraints. */
12738 : 0 : : (operands[2] != const0_rtx
12739 : 0 : || (!rtx_equal_p (dest, operands[3])
12740 : 0 : && GET_CODE (operands[3]) != CONST_VECTOR))))
12741 : 0 : dest = gen_reg_rtx (<ssehalfvecmode>mode);
12742 : 108 : switch (INTVAL (operands[2]))
12743 : : {
12744 : : case 0:
12745 : : insn = gen_vec_extract_lo_<mode>_mask;
12746 : : break;
12747 : 102 : case 1:
12748 : 102 : insn = gen_vec_extract_hi_<mode>_mask;
12749 : 102 : break;
12750 : 0 : default:
12751 : 0 : gcc_unreachable ();
12752 : : }
12753 : :
12754 : 108 : emit_insn (insn (dest, operands[1], operands[3], operands[4]));
12755 : 108 : if (dest != operands[0])
12756 : 0 : emit_move_insn (operands[0], dest);
12757 : 108 : DONE;
12758 : : })
12759 : :
12760 : : (define_expand "avx_vextractf128<mode>"
12761 : : [(match_operand:<ssehalfvecmode> 0 "nonimmediate_operand")
12762 : : (match_operand:V_256 1 "register_operand")
12763 : : (match_operand:SI 2 "const_0_to_1_operand")]
12764 : : "TARGET_AVX"
12765 : 1878 : {
12766 : 1878 : rtx (*insn)(rtx, rtx);
12767 : :
12768 : 1876 : switch (INTVAL (operands[2]))
12769 : : {
12770 : : case 0:
12771 : : insn = gen_vec_extract_lo_<mode>;
12772 : : break;
12773 : 1254 : case 1:
12774 : 1254 : insn = gen_vec_extract_hi_<mode>;
12775 : 1254 : break;
12776 : 0 : default:
12777 : 0 : gcc_unreachable ();
12778 : : }
12779 : :
12780 : 1878 : emit_insn (insn (operands[0], operands[1]));
12781 : 1878 : DONE;
12782 : : })
12783 : :
12784 : : (define_insn "vec_extract_lo_<mode>_mask"
12785 : 4404 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=v,m")
12786 : : (vec_merge:<ssehalfvecmode>
12787 : 4404 : (vec_select:<ssehalfvecmode>
12788 : 4404 : (match_operand:V16FI 1 "register_operand" "v,v")
12789 : 4404 : (parallel [(const_int 0) (const_int 1)
12790 : 4404 : (const_int 2) (const_int 3)
12791 : 0 : (const_int 4) (const_int 5)
12792 : 4404 : (const_int 6) (const_int 7)]))
12793 : : (match_operand:<ssehalfvecmode> 2 "nonimm_or_0_operand" "0C,0")
12794 : : (match_operand:QI 3 "register_operand" "Yk,Yk")))]
12795 : 0 : "TARGET_AVX512DQ
12796 : 0 : && (!MEM_P (operands[0]) || rtx_equal_p (operands[0], operands[2]))"
12797 : : "vextract<shuffletype>32x8\t{$0x0, %1, %0%{%3%}%N2|%0%{%3%}%N2, %1, 0x0}"
12798 : : [(set_attr "type" "sselog1")
12799 : : (set_attr "length_immediate" "1")
12800 : : (set_attr "memory" "none,store")
12801 : : (set_attr "prefix" "evex")
12802 : 2 : (set_attr "mode" "<sseinsnmode>")])
12803 : 800 :
12804 : : (define_insn "vec_extract_lo_<mode>"
12805 : 800 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=v,v,m")
12806 : 802 : (vec_select:<ssehalfvecmode>
12807 : 800 : (match_operand:V16FI 1 "nonimmediate_operand" "v,m,v")
12808 : 800 : (parallel [(const_int 0) (const_int 1)
12809 : 0 : (const_int 2) (const_int 3)
12810 : 800 : (const_int 4) (const_int 5)
12811 : 2 : (const_int 6) (const_int 7)])))]
12812 : 6523 : "TARGET_AVX512F
12813 : 12121 : && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
12814 : 0 : {
12815 : 0 : if (!TARGET_AVX512VL
12816 : 0 : && !REG_P (operands[0])
12817 : 0 : && EXT_REX_SSE_REG_P (operands[1]))
12818 : : {
12819 : 0 : if (TARGET_AVX512DQ)
12820 : : return "vextract<shuffletype>32x8\t{$0x0, %1, %0|%0, %1, 0x0}";
12821 : : else
12822 : 0 : return "vextract<shuffletype>64x4\t{$0x0, %1, %0|%0, %1, 0x0}";
12823 : : }
12824 : : else
12825 : : return "#";
12826 : : }
12827 : : [(set_attr "type" "sselog1")
12828 : : (set_attr "length_immediate" "1")
12829 : : (set_attr "memory" "none,load,store")
12830 : 1341 : (set_attr "prefix" "evex")
12831 : : (set_attr "mode" "<sseinsnmode>")])
12832 : :
12833 : : (define_split
12834 : : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand")
12835 : : (vec_select:<ssehalfvecmode>
12836 : : (match_operand:V16FI 1 "nonimmediate_operand")
12837 : : (parallel [(const_int 0) (const_int 1)
12838 : : (const_int 2) (const_int 3)
12839 : : (const_int 4) (const_int 5)
12840 : : (const_int 6) (const_int 7)])))]
12841 : 1540 : "TARGET_AVX512F && !(MEM_P (operands[0]) && MEM_P (operands[1]))
12842 : 1540 : && reload_completed
12843 : 428 : && (TARGET_AVX512VL
12844 : 326 : || REG_P (operands[0])
12845 : 4 : || !EXT_REX_SSE_REG_P (operands[1]))"
12846 : : [(set (match_dup 0) (match_dup 1))]
12847 : 428 : {
12848 : 428 : if (!TARGET_AVX512VL
12849 : 326 : && REG_P (operands[0])
12850 : 750 : && EXT_REX_SSE_REG_P (operands[1]))
12851 : 54 : operands[0]
12852 : 54 : = lowpart_subreg (<MODE>mode, operands[0], <ssehalfvecmode>mode);
12853 : : else
12854 : 374 : operands[1] = gen_lowpart (<ssehalfvecmode>mode, operands[1]);
12855 : : })
12856 : :
12857 : : (define_insn "vec_extract_lo_<mode>_mask"
12858 : 428 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=v,m")
12859 : 428 : (vec_merge:<ssehalfvecmode>
12860 : 428 : (vec_select:<ssehalfvecmode>
12861 : 428 : (match_operand:VI8F_256 1 "register_operand" "v,v")
12862 : 428 : (parallel [(const_int 0) (const_int 1)]))
12863 : : (match_operand:<ssehalfvecmode> 2 "nonimm_or_0_operand" "0C,0")
12864 : 428 : (match_operand:QI 3 "register_operand" "Yk,Yk")))]
12865 : 428 : "TARGET_AVX512DQ
12866 : 428 : && TARGET_AVX512VL
12867 : 0 : && (!MEM_P (operands[0]) || rtx_equal_p (operands[0], operands[2]))"
12868 : 0 : "vextract<shuffletype>64x2\t{$0x0, %1, %0%{%3%}%N2|%0%{%3%}%N2, %1, 0x0}"
12869 : : [(set_attr "type" "sselog1")
12870 : : (set_attr "length_immediate" "1")
12871 : 0 : (set_attr "memory" "none,store")
12872 : 33 : (set_attr "prefix" "evex")
12873 : 0 : (set_attr "mode" "XI")])
12874 : 33 :
12875 : 445 : (define_insn "vec_extract_lo_<mode>"
12876 : 445 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=vm,v")
12877 : 33 : (vec_select:<ssehalfvecmode>
12878 : 412 : (match_operand:VI8F_256 1 "nonimmediate_operand" "v,vm")
12879 : 33 : (parallel [(const_int 0) (const_int 1)])))]
12880 : 9204 : "TARGET_AVX
12881 : 9458 : && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
12882 : 560 : "#")
12883 : :
12884 : : (define_split
12885 : 32115 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand")
12886 : 31918 : (vec_select:<ssehalfvecmode>
12887 : 31912 : (match_operand:VI8F_256 1 "nonimmediate_operand")
12888 : 31912 : (parallel [(const_int 0) (const_int 1)])))]
12889 : 71207 : "TARGET_AVX && !(MEM_P (operands[0]) && MEM_P (operands[1]))
12890 : 59125 : && reload_completed"
12891 : : [(set (match_dup 0) (match_dup 1))]
12892 : 58022 : "operands[1] = gen_lowpart (<ssehalfvecmode>mode, operands[1]);")
12893 : :
12894 : 14186 : (define_insn "vec_extract_hi_<mode>_mask"
12895 : 17332 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=v,m")
12896 : 17328 : (vec_merge:<ssehalfvecmode>
12897 : 17328 : (vec_select:<ssehalfvecmode>
12898 : 19096 : (match_operand:VI8F_256 1 "register_operand" "v,v")
12899 : 4910 : (parallel [(const_int 2) (const_int 3)]))
12900 : 1764 : (match_operand:<ssehalfvecmode> 2 "nonimm_or_0_operand" "0C,0")
12901 : 3146 : (match_operand:QI 3 "register_operand" "Yk,Yk")))]
12902 : 4910 : "TARGET_AVX512DQ
12903 : 3333 : && TARGET_AVX512VL
12904 : 14287 : && (!MEM_P (operands[0]) || rtx_equal_p (operands[0], operands[2]))"
12905 : 22 : "vextract<shuffletype>64x2\t{$0x1, %1, %0%{%3%}%N2|%0%{%3%}%N2, %1, 0x1}"
12906 : 0 : [(set_attr "type" "sselog1")
12907 : 14098 : (set_attr "length_immediate" "1")
12908 : 14313 : (set_attr "prefix" "vex")
12909 : 14645 : (set_attr "mode" "<sseinsnmode>")])
12910 : 14307 :
12911 : 14430 : (define_insn "vec_extract_hi_<mode>"
12912 : 332 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=xjm,vm")
12913 : 3746 : (vec_select:<ssehalfvecmode>
12914 : 3324 : (match_operand:VI8F_256 1 "register_operand" "x,v")
12915 : 0 : (parallel [(const_int 2) (const_int 3)])))]
12916 : 16381 : "TARGET_AVX"
12917 : 8500 : {
12918 : 4463 : if (TARGET_AVX512VL)
12919 : 2444 : {
12920 : 40723 : if (TARGET_AVX512DQ)
12921 : 37540 : return "vextract<shuffletype>64x2\t{$0x1, %1, %0|%0, %1, 0x1}";
12922 : 43089 : else
12923 : 43204 : return "vextract<shuffletype>32x4\t{$0x1, %1, %0|%0, %1, 0x1}";
12924 : 77610 : }
12925 : 5563 : else
12926 : 3122 : return "vextract<i128>\t{$0x1, %1, %0|%0, %1, 0x1}";
12927 : 3663 : }
12928 : 3830 : [(set_attr "isa" "noavx512vl,avx512vl")
12929 : 3122 : (set_attr "addr" "gpr16,*")
12930 : 388106 : (set_attr "type" "sselog1")
12931 : 3218 : (set_attr "prefix_extra" "1")
12932 : 3122 : (set_attr "length_immediate" "1")
12933 : 3122 : (set_attr "prefix" "vex")
12934 : 384984 : (set_attr "mode" "<sseinsnmode>")])
12935 : 388106 :
12936 : 388106 : (define_split
12937 : 384984 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand")
12938 : 384984 : (vec_select:<ssehalfvecmode>
12939 : 387458 : (match_operand:VI4F_256 1 "nonimmediate_operand")
12940 : 387458 : (parallel [(const_int 0) (const_int 1)
12941 : 2474 : (const_int 2) (const_int 3)])))]
12942 : 390308 : "TARGET_AVX && !(MEM_P (operands[0]) && MEM_P (operands[1]))
12943 : 392149 : && reload_completed"
12944 : 385566 : [(set (match_dup 0) (match_dup 1))]
12945 : 3208 : "operands[1] = gen_lowpart (<ssehalfvecmode>mode, operands[1]);")
12946 : 189644 :
12947 : 189644 : (define_insn "vec_extract_lo_<mode>_mask"
12948 : 1604 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=v,m")
12949 : 191248 : (vec_merge:<ssehalfvecmode>
12950 : 191248 : (vec_select:<ssehalfvecmode>
12951 : 5338 : (match_operand:VI4F_256 1 "register_operand" "v,v")
12952 : 194584 : (parallel [(const_int 0) (const_int 1)
12953 : 193363 : (const_int 2) (const_int 3)]))
12954 : 2373 : (match_operand:<ssehalfvecmode> 2 "nonimm_or_0_operand" "0C,0")
12955 : 195663 : (match_operand:QI 3 "register_operand" "Yk,Yk")))]
12956 : 1817 : "TARGET_AVX512VL
12957 : 103579 : && (!MEM_P (operands[0]) || rtx_equal_p (operands[0], operands[2]))"
12958 : 103366 : "vextract<shuffletype>32x4\t{$0x0, %1, %0%{%3%}%N2|%0%{%3%}%N2, %1, 0x0}"
12959 : 51878 : [(set_attr "type" "sselog1")
12960 : 49740 : (set_attr "length_immediate" "1")
12961 : 211 : (set_attr "prefix" "evex")
12962 : 49620 : (set_attr "mode" "<sseinsnmode>")])
12963 : 28 :
12964 : 6438 : (define_insn "vec_extract_lo_<mode>"
12965 : 9152 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=vm,v")
12966 : 9208 : (vec_select:<ssehalfvecmode>
12967 : 9152 : (match_operand:VI4F_256 1 "nonimmediate_operand" "v,vm")
12968 : 21311 : (parallel [(const_int 0) (const_int 1)
12969 : 229 : (const_int 2) (const_int 3)])))]
12970 : 22089 : "TARGET_AVX
12971 : 19816 : && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
12972 : 1152 : "#"
12973 : 1051 : [(set_attr "type" "sselog1")
12974 : 1045 : (set_attr "prefix_extra" "1")
12975 : 18671 : (set_attr "length_immediate" "1")
12976 : 18671 : (set_attr "prefix" "evex")
12977 : 21766 : (set_attr "mode" "<sseinsnmode>")])
12978 : 18661 :
12979 : 37322 : (define_insn "vec_extract_hi_<mode>_mask"
12980 : 56658 : [(set (match_operand:<ssehalfvecmode> 0 "register_operand" "=v,m")
12981 : 56658 : (vec_merge:<ssehalfvecmode>
12982 : 56658 : (vec_select:<ssehalfvecmode>
12983 : : (match_operand:VI4F_256 1 "register_operand" "v,v")
12984 : 56658 : (parallel [(const_int 4) (const_int 5)
12985 : : (const_int 6) (const_int 7)]))
12986 : 8899 : (match_operand:<ssehalfvecmode> 2 "nonimm_or_0_operand" "0C,0")
12987 : 8899 : (match_operand:<avx512fmaskmode> 3 "register_operand" "Yk,Yk")))]
12988 : 9110 : "TARGET_AVX512VL
12989 : 9110 : && (!MEM_P (operands[0]) || rtx_equal_p (operands[0], operands[2]))"
12990 : 17532 : "vextract<shuffletype>32x4\t{$0x1, %1, %0%{%3%}%N2|%0%{%3%}%N2, %1, 0x1}"
12991 : : [(set_attr "type" "sselog1")
12992 : : (set_attr "length_immediate" "1")
12993 : 254 : (set_attr "prefix" "evex")
12994 : 254 : (set_attr "mode" "<sseinsnmode>")])
12995 : 238 :
12996 : : (define_insn "vec_extract_hi_<mode>"
12997 : : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=xjm, vm")
12998 : 488 : (vec_select:<ssehalfvecmode>
12999 : : (match_operand:VI4F_256 1 "register_operand" "x, v")
13000 : : (parallel [(const_int 4) (const_int 5)
13001 : : (const_int 6) (const_int 7)])))]
13002 : 16988 : "TARGET_AVX"
13003 : 183998 : "@
13004 : : vextract<i128>\t{$0x1, %1, %0|%0, %1, 0x1}
13005 : : vextract<shuffletype>32x4\t{$0x1, %1, %0|%0, %1, 0x1}"
13006 : 25250 : [(set_attr "isa" "noavx512vl, avx512vl")
13007 : 208233 : (set_attr "addr" "gpr16,*")
13008 : 208223 : (set_attr "prefix" "vex, evex")
13009 : 208223 : (set_attr "type" "sselog1")
13010 : 232716 : (set_attr "length_immediate" "1")
13011 : 182983 : (set_attr "mode" "<sseinsnmode>")])
13012 : 182983 :
13013 : : (define_insn_and_split "@vec_extract_lo_<mode>"
13014 : 163391 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=v,v,m")
13015 : 163391 : (vec_select:<ssehalfvecmode>
13016 : 188046 : (match_operand:V32_512 1 "nonimmediate_operand" "v,m,v")
13017 : 163391 : (parallel [(const_int 0) (const_int 1)
13018 : 163391 : (const_int 2) (const_int 3)
13019 : : (const_int 4) (const_int 5)
13020 : 24655 : (const_int 6) (const_int 7)
13021 : 24655 : (const_int 8) (const_int 9)
13022 : 44247 : (const_int 10) (const_int 11)
13023 : 44247 : (const_int 12) (const_int 13)
13024 : 44247 : (const_int 14) (const_int 15)])))]
13025 : 44893 : "TARGET_AVX512F && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
13026 : 24655 : {
13027 : 27289 : if (TARGET_AVX512VL
13028 : 2634 : || REG_P (operands[0])
13029 : 27289 : || !EXT_REX_SSE_REG_P (operands[1]))
13030 : 24655 : return "#";
13031 : : else
13032 : 24655 : return "vextracti64x4\t{$0x0, %1, %0|%0, %1, 0x0}";
13033 : 24655 : }
13034 : 80 : "&& reload_completed
13035 : 24 : && (TARGET_AVX512VL
13036 : 12256 : || REG_P (operands[0])
13037 : 12234 : || !EXT_REX_SSE_REG_P (operands[1]))"
13038 : 12258 : [(set (match_dup 0) (match_dup 1))]
13039 : 24 : {
13040 : 11659 : if (!TARGET_AVX512VL
13041 : 6394 : && REG_P (operands[0])
13042 : 74 : && EXT_REX_SSE_REG_P (operands[1]))
13043 : 1425 : operands[0] = lowpart_subreg (<MODE>mode, operands[0],
13044 : 1425 : <ssehalfvecmode>mode);
13045 : : else
13046 : 1303 : operands[1] = gen_lowpart (<ssehalfvecmode>mode, operands[1]);
13047 : 1279 : }
13048 : 1275 : [(set_attr "type" "sselog1")
13049 : : (set_attr "length_immediate" "1")
13050 : 24 : (set_attr "memory" "none,load,store")
13051 : 24 : (set_attr "prefix" "evex")
13052 : 24 : (set_attr "mode" "XI")])
13053 : 1283 :
13054 : 112 : (define_insn "@vec_extract_hi_<mode>"
13055 : 88 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=vm")
13056 : 1391 : (vec_select:<ssehalfvecmode>
13057 : 1215 : (match_operand:V32_512 1 "register_operand" "v")
13058 : 112 : (parallel [(const_int 16) (const_int 17)
13059 : 88 : (const_int 18) (const_int 19)
13060 : 88 : (const_int 20) (const_int 21)
13061 : : (const_int 22) (const_int 23)
13062 : 88 : (const_int 24) (const_int 25)
13063 : 266 : (const_int 26) (const_int 27)
13064 : 166 : (const_int 28) (const_int 29)
13065 : : (const_int 30) (const_int 31)])))]
13066 : 324 : "TARGET_AVX512F"
13067 : 344 : "vextracti64x4\t{$0x1, %1, %0|%0, %1, 0x1}"
13068 : 344 : [(set_attr "type" "sselog1")
13069 : 256 : (set_attr "length_immediate" "1")
13070 : 266 : (set_attr "prefix" "evex")
13071 : 344 : (set_attr "mode" "XI")])
13072 : 266 :
13073 : 266 : (define_insn_and_split "@vec_extract_lo_<mode>"
13074 : : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=v,m")
13075 : : (vec_select:<ssehalfvecmode>
13076 : : (match_operand:V16_256 1 "nonimmediate_operand" "vm,v")
13077 : : (parallel [(const_int 0) (const_int 1)
13078 : : (const_int 2) (const_int 3)
13079 : : (const_int 4) (const_int 5)
13080 : : (const_int 6) (const_int 7)])))]
13081 : 6970 : "TARGET_AVX && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
13082 : : "#"
13083 : 771 : "&& reload_completed"
13084 : : [(set (match_dup 0) (match_dup 1))]
13085 : 1640 : "operands[1] = gen_lowpart (<ssehalfvecmode>mode, operands[1]);")
13086 : 972 :
13087 : 129 : (define_insn "@vec_extract_hi_<mode>"
13088 : 592 : [(set (match_operand:<ssehalfvecmode> 0 "nonimmediate_operand" "=xjm,vm")
13089 : 334 : (vec_select:<ssehalfvecmode>
13090 : 334 : (match_operand:V16_256 1 "register_operand" "x,v")
13091 : 334 : (parallel [(const_int 8) (const_int 9)
13092 : 334 : (const_int 10) (const_int 11)
13093 : 366517 : (const_int 12) (const_int 13)
13094 : 334 : (const_int 14) (const_int 15)])))]
13095 : 373747 : "TARGET_AVX"
13096 : 367031 : "@
13097 : 366517 : vextract%~128\t{$0x1, %1, %0|%0, %1, 0x1}
13098 : 366517 : vextracti32x4\t{$0x1, %1, %0|%0, %1, 0x1}"
13099 : 369215 : [(set_attr "type" "sselog1")
13100 : 367379 : (set_attr "prefix_extra" "1")
13101 : 874 : (set_attr "length_immediate" "1")
13102 : 27461 : (set_attr "isa" "noavx512vl,avx512vl")
13103 : 28260 : (set_attr "addr" "gpr16,*")
13104 : 60299 : (set_attr "prefix" "vex,evex")
13105 : 31923 : (set_attr "mode" "OI")])
13106 : 1895 :
13107 : 24534 : (define_insn_and_split "vec_extract_lo_v64qi"
13108 : 141876 : [(set (match_operand:V32QI 0 "nonimmediate_operand" "=v,v,m")
13109 : 119284 : (vec_select:V32QI
13110 : 120935 : (match_operand:V64QI 1 "nonimmediate_operand" "v,m,v")
13111 : 21820 : (parallel [(const_int 0) (const_int 1)
13112 : 1698 : (const_int 2) (const_int 3)
13113 : 1698 : (const_int 4) (const_int 5)
13114 : 35760 : (const_int 6) (const_int 7)
13115 : 15401 : (const_int 8) (const_int 9)
13116 : 15401 : (const_int 10) (const_int 11)
13117 : 20417 : (const_int 12) (const_int 13)
13118 : 589 : (const_int 14) (const_int 15)
13119 : 589 : (const_int 16) (const_int 17)
13120 : 22179 : (const_int 18) (const_int 19)
13121 : 3021 : (const_int 20) (const_int 21)
13122 : 589 : (const_int 22) (const_int 23)
13123 : 19521 : (const_int 24) (const_int 25)
13124 : 589 : (const_int 26) (const_int 27)
13125 : 22542 : (const_int 28) (const_int 29)
13126 : : (const_int 30) (const_int 31)])))]
13127 : 582 : "TARGET_AVX512F && TARGET_EVEX512
13128 : 11860 : && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
13129 : 75 : {
13130 : 589 : if (TARGET_AVX512VL
13131 : 589 : || REG_P (operands[0])
13132 : 1140 : || !EXT_REX_SSE_REG_P (operands[1]))
13133 : 909 : return "#";
13134 : 961 : else
13135 : 52 : return "vextracti64x4\t{$0x0, %1, %0|%0, %1, 0x0}";
13136 : 909 : }
13137 : 977 : "&& reload_completed
13138 : 28 : && (TARGET_AVX512VL
13139 : 932 : || REG_P (operands[0])
13140 : 321 : || !EXT_REX_SSE_REG_P (operands[1]))"
13141 : 617 : [(set (match_dup 0) (match_dup 1))]
13142 : 28 : {
13143 : 348 : if (!TARGET_AVX512VL
13144 : 612 : && REG_P (operands[0])
13145 : 487 : && EXT_REX_SSE_REG_P (operands[1]))
13146 : 320 : operands[0] = lowpart_subreg (V64QImode, operands[0], V32QImode);
13147 : 589 : else
13148 : 360772 : operands[1] = gen_lowpart (V32QImode, operands[1]);
13149 : 320 : }
13150 : 361013 : [(set_attr "type" "sselog1")
13151 : 360744 : (set_attr "length_immediate" "1")
13152 : 348 : (set_attr "memory" "none,load,store")
13153 : 226992 : (set_attr "prefix" "evex")
13154 : 226992 : (set_attr "mode" "XI")])
13155 : 228340 :
13156 : 28 : (define_insn "vec_extract_hi_v64qi"
13157 : 226695 : [(set (match_operand:V32QI 0 "nonimmediate_operand" "=vm")
13158 : 348 : (vec_select:V32QI
13159 : 80 : (match_operand:V64QI 1 "register_operand" "v")
13160 : 400 : (parallel [(const_int 32) (const_int 33)
13161 : 372 : (const_int 34) (const_int 35)
13162 : 52 : (const_int 36) (const_int 37)
13163 : 372 : (const_int 38) (const_int 39)
13164 : 320 : (const_int 40) (const_int 41)
13165 : 4355 : (const_int 42) (const_int 43)
13166 : 320 : (const_int 44) (const_int 45)
13167 : 320 : (const_int 46) (const_int 47)
13168 : : (const_int 48) (const_int 49)
13169 : 4675 : (const_int 50) (const_int 51)
13170 : 4675 : (const_int 52) (const_int 53)
13171 : 4355 : (const_int 54) (const_int 55)
13172 : 4675 : (const_int 56) (const_int 57)
13173 : 4675 : (const_int 58) (const_int 59)
13174 : 4355 : (const_int 60) (const_int 61)
13175 : 4675 : (const_int 62) (const_int 63)])))]
13176 : 320 : "TARGET_AVX512F && TARGET_EVEX512"
13177 : 11 : "vextracti64x4\t{$0x1, %1, %0|%0, %1, 0x1}"
13178 : 320 : [(set_attr "type" "sselog1")
13179 : 320 : (set_attr "length_immediate" "1")
13180 : : (set_attr "prefix" "evex")
13181 : 320 : (set_attr "mode" "XI")])
13182 : 320 :
13183 : : (define_insn_and_split "vec_extract_lo_v32qi"
13184 : 320 : [(set (match_operand:V16QI 0 "nonimmediate_operand" "=v,m")
13185 : 320 : (vec_select:V16QI
13186 : 22488 : (match_operand:V32QI 1 "nonimmediate_operand" "vm,v")
13187 : 320 : (parallel [(const_int 0) (const_int 1)
13188 : 320 : (const_int 2) (const_int 3)
13189 : : (const_int 4) (const_int 5)
13190 : 22808 : (const_int 6) (const_int 7)
13191 : 320 : (const_int 8) (const_int 9)
13192 : 22488 : (const_int 10) (const_int 11)
13193 : 22808 : (const_int 12) (const_int 13)
13194 : 320 : (const_int 14) (const_int 15)])))]
13195 : 28876 : "TARGET_AVX && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
13196 : 22488 : "#"
13197 : 1053 : "&& reload_completed"
13198 : 16488 : [(set (match_dup 0) (match_dup 1))]
13199 : 16808 : "operands[1] = gen_lowpart (V16QImode, operands[1]);")
13200 : 320 :
13201 : 16260 : (define_insn "vec_extract_hi_v32qi"
13202 : 16488 : [(set (match_operand:V16QI 0 "nonimmediate_operand" "=xjm,vm")
13203 : 6978 : (vec_select:V16QI
13204 : 6658 : (match_operand:V32QI 1 "register_operand" "x,v")
13205 : 6658 : (parallel [(const_int 16) (const_int 17)
13206 : 548 : (const_int 18) (const_int 19)
13207 : 6605 : (const_int 20) (const_int 21)
13208 : 7153 : (const_int 22) (const_int 23)
13209 : 548 : (const_int 24) (const_int 25)
13210 : 6658 : (const_int 26) (const_int 27)
13211 : 6750 : (const_int 28) (const_int 29)
13212 : 320 : (const_int 30) (const_int 31)])))]
13213 : 5872 : "TARGET_AVX"
13214 : 6975 : "@
13215 : 7343 : vextract%~128\t{$0x1, %1, %0|%0, %1, 0x1}
13216 : 6430 : vextracti32x4\t{$0x1, %1, %0|%0, %1, 0x1}"
13217 : 6750 : [(set_attr "type" "sselog1")
13218 : 320 : (set_attr "prefix_extra" "1")
13219 : 7093 : (set_attr "length_immediate" "1")
13220 : 13773 : (set_attr "isa" "noavx512vl,avx512vl")
13221 : 7343 : (set_attr "addr" "gpr16,*")
13222 : 13453 : (set_attr "prefix" "vex,evex")
13223 : 13773 : (set_attr "mode" "OI")])
13224 : 7343 :
13225 : 7588 : ;; NB: *vec_extract<mode>_0 must be placed before *vec_extracthf.
13226 : 7059 : ;; Otherwise, it will be ignored.
13227 : 63121 : (define_insn_and_split "*vec_extract<mode>_0"
13228 : 6430 : [(set (match_operand:<ssescalarmode> 0 "nonimmediate_operand" "=v,m,r")
13229 : 6430 : (vec_select:<ssescalarmode>
13230 : : (match_operand:VHFBF 1 "nonimmediate_operand" "vm,v,m")
13231 : 69551 : (parallel [(const_int 0)])))]
13232 : 9640 : "TARGET_AVX512F && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
13233 : 63191 : "#"
13234 : 500 : "&& reload_completed"
13235 : 6561 : [(set (match_dup 0) (match_dup 1))]
13236 : 65909 : "operands[1] = gen_lowpart (<ssescalarmode>mode, operands[1]);")
13237 : 65778 :
13238 : 6842 : (define_insn "*vec_extract<mode>"
13239 : 613 : [(set (match_operand:HFBF 0 "register_sse4nonimm_operand" "=?r,jm,m,x,Yw")
13240 : 201 : (vec_select:HFBF
13241 : 56371 : (match_operand:<ssevecmode> 1 "register_operand" "v,x,v,0,YW")
13242 : 50009 : (parallel
13243 : 114136 : [(match_operand:SI 2 "const_0_to_7_operand")])))]
13244 : 116818 : "TARGET_SSE2"
13245 : 7561 : {
13246 : 55561 : switch (which_alternative)
13247 : 15090 : {
13248 : : case 0:
13249 : 6430 : return "%vpextrw\t{%2, %1, %k0|%k0, %1, %2}";
13250 : 0 : case 1:
13251 : 243 : return "pextrw\t{%2, %1, %0|%0, %1, %2}";
13252 : 36115 : case 2:
13253 : 13442 : return "vpextrw\t{%2, %1, %0|%0, %1, %2}";
13254 : 3620 :
13255 : 10302 : case 3:
13256 : 26054 : operands[2] = GEN_INT (INTVAL (operands[2]) * 2);
13257 : 32491 : return "psrldq\t{%2, %0|%0, %2}";
13258 : 23162 : case 4:
13259 : 23162 : operands[2] = GEN_INT (INTVAL (operands[2]) * 2);
13260 : 27133 : return "vpsrldq\t{%2, %1, %0|%0, %1, %2}";
13261 : 25852 :
13262 : 29823 : default:
13263 : 0 : gcc_unreachable ();
13264 : : }
13265 : : }
13266 : : [(set_attr "isa" "*,sse4_noavx,avx,noavx,avx")
13267 : : (set_attr "addr" "*,gpr16,*,*,*")
13268 : : (set_attr "type" "sselog1,sselog1,sselog1,sseishft1,sseishft1")
13269 : 390 : (set_attr "prefix" "maybe_evex")
13270 : : (set_attr "mode" "TI")])
13271 : :
13272 : : ;; Modes handled by vec_extract patterns.
13273 : : (define_mode_iterator VEC_EXTRACT_MODE
13274 : : [(V64QI "TARGET_AVX512BW && TARGET_EVEX512") (V32QI "TARGET_AVX") V16QI
13275 : : (V32HI "TARGET_AVX512BW && TARGET_EVEX512") (V16HI "TARGET_AVX") V8HI
13276 : : (V16SI "TARGET_AVX512F && TARGET_EVEX512") (V8SI "TARGET_AVX") V4SI
13277 : : (V8DI "TARGET_AVX512F && TARGET_EVEX512") (V4DI "TARGET_AVX") V2DI
13278 : : (V32HF "TARGET_AVX512BW && TARGET_EVEX512") (V16HF "TARGET_AVX") V8HF
13279 : : (V32BF "TARGET_AVX512BW && TARGET_EVEX512") (V16BF "TARGET_AVX") V8BF
13280 : : (V16SF "TARGET_AVX512F && TARGET_EVEX512") (V8SF "TARGET_AVX") V4SF
13281 : : (V8DF "TARGET_AVX512F && TARGET_EVEX512") (V4DF "TARGET_AVX") V2DF
13282 : : (V4TI "TARGET_AVX512F && TARGET_EVEX512") (V2TI "TARGET_AVX")])
13283 : :
13284 : : (define_expand "vec_extract<mode><ssescalarmodelower>"
13285 : 3 : [(match_operand:<ssescalarmode> 0 "register_operand")
13286 : : (match_operand:VEC_EXTRACT_MODE 1 "register_operand")
13287 : : (match_operand 2 "const_int_operand")]
13288 : : "TARGET_SSE"
13289 : 82226 : {
13290 : 82226 : ix86_expand_vector_extract (false, operands[0], operands[1],
13291 : 34241 : INTVAL (operands[2]));
13292 : 82226 : DONE;
13293 : : })
13294 : :
13295 : : (define_expand "vec_extract<mode><ssehalfvecmodelower>"
13296 : : [(match_operand:<ssehalfvecmode> 0 "nonimmediate_operand")
13297 : : (match_operand:V_256_512 1 "register_operand")
13298 : : (match_operand 2 "const_0_to_1_operand")]
13299 : : "TARGET_AVX"
13300 : 8893 : {
13301 : 8893 : if (INTVAL (operands[2]))
13302 : 4421 : emit_insn (gen_vec_extract_hi_<mode> (operands[0], operands[1]));
13303 : : else
13304 : 4472 : emit_insn (gen_vec_extract_lo_<mode> (operands[0], operands[1]));
13305 : 8893 : DONE;
13306 : : })
13307 : :
13308 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
13309 : : ;;
13310 : : ;; Parallel double-precision floating point element swizzling
13311 : : ;;
13312 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
13313 : 55182 :
13314 : : (define_insn "<mask_codefor>avx512f_unpckhpd512<mask_name>"
13315 : : [(set (match_operand:V8DF 0 "register_operand" "=v")
13316 : : (vec_select:V8DF
13317 : 55182 : (vec_concat:V16DF
13318 : 55182 : (match_operand:V8DF 1 "register_operand" "v")
13319 : 55182 : (match_operand:V8DF 2 "nonimmediate_operand" "vm"))
13320 : 55182 : (parallel [(const_int 1) (const_int 9)
13321 : 55182 : (const_int 3) (const_int 11)
13322 : 55182 : (const_int 5) (const_int 13)
13323 : 55182 : (const_int 7) (const_int 15)])))]
13324 : 330 : "TARGET_AVX512F && TARGET_EVEX512"
13325 : : "vunpckhpd\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
13326 : 5002 : [(set_attr "type" "sselog")
13327 : 0 : (set_attr "prefix" "evex")
13328 : 390 : (set_attr "mode" "V8DF")])
13329 : 390 :
13330 : 4957 : ;; Recall that the 256-bit unpck insns only shuffle within their lanes.
13331 : 4964 : (define_insn "avx_unpckhpd256<mask_name>"
13332 : 5347 : [(set (match_operand:V4DF 0 "register_operand" "=v")
13333 : 5002 : (vec_select:V4DF
13334 : 3313 : (vec_concat:V8DF
13335 : 5002 : (match_operand:V4DF 1 "register_operand" "v")
13336 : 4964 : (match_operand:V4DF 2 "nonimmediate_operand" "vm"))
13337 : 38 : (parallel [(const_int 1) (const_int 5)
13338 : 38 : (const_int 3) (const_int 7)])))]
13339 : 4242 : "TARGET_AVX && <mask_avx512vl_condition>"
13340 : 38 : "vunpckhpd\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
13341 : 38 : [(set_attr "type" "sselog")
13342 : 38 : (set_attr "prefix" "vex")
13343 : 370 : (set_attr "mode" "V4DF")])
13344 : 370 :
13345 : : (define_expand "vec_interleave_highv4df"
13346 : : [(set (match_dup 3)
13347 : 370 : (vec_select:V4DF
13348 : : (vec_concat:V8DF
13349 : : (match_operand:V4DF 1 "register_operand")
13350 : : (match_operand:V4DF 2 "nonimmediate_operand"))
13351 : : (parallel [(const_int 0) (const_int 4)
13352 : : (const_int 2) (const_int 6)])))
13353 : : (set (match_dup 4)
13354 : : (vec_select:V4DF
13355 : : (vec_concat:V8DF
13356 : : (match_dup 1)
13357 : : (match_dup 2))
13358 : : (parallel [(const_int 1) (const_int 5)
13359 : : (const_int 3) (const_int 7)])))
13360 : : (set (match_operand:V4DF 0 "register_operand")
13361 : : (vec_select:V4DF
13362 : : (vec_concat:V8DF
13363 : : (match_dup 3)
13364 : : (match_dup 4))
13365 : : (parallel [(const_int 2) (const_int 3)
13366 : : (const_int 6) (const_int 7)])))]
13367 : : "TARGET_AVX"
13368 : 0 : {
13369 : 0 : operands[3] = gen_reg_rtx (V4DFmode);
13370 : 0 : operands[4] = gen_reg_rtx (V4DFmode);
13371 : : })
13372 : :
13373 : :
13374 : 0 : (define_insn "avx512vl_unpckhpd128_mask"
13375 : 0 : [(set (match_operand:V2DF 0 "register_operand" "=v")
13376 : 0 : (vec_merge:V2DF
13377 : 0 : (vec_select:V2DF
13378 : 0 : (vec_concat:V4DF
13379 : 0 : (match_operand:V2DF 1 "register_operand" "v")
13380 : 0 : (match_operand:V2DF 2 "nonimmediate_operand" "vm"))
13381 : 0 : (parallel [(const_int 1) (const_int 3)]))
13382 : 0 : (match_operand:V2DF 3 "nonimm_or_0_operand" "0C")
13383 : 0 : (match_operand:QI 4 "register_operand" "Yk")))]
13384 : 190 : "TARGET_AVX512VL"
13385 : 0 : "vunpckhpd\t{%2, %1, %0%{%4%}%N3|%0%{%4%}%N3, %1, %2}"
13386 : : [(set_attr "type" "sselog")
13387 : : (set_attr "prefix" "evex")
13388 : 219 : (set_attr "mode" "V2DF")])
13389 : 219 :
13390 : : (define_expand "vec_interleave_highv2df"
13391 : : [(set (match_operand:V2DF 0 "register_operand")
13392 : 219 : (vec_select:V2DF
13393 : : (vec_concat:V4DF
13394 : : (match_operand:V2DF 1 "nonimmediate_operand")
13395 : : (match_operand:V2DF 2 "nonimmediate_operand"))
13396 : 0 : (parallel [(const_int 1)
13397 : : (const_int 3)])))]
13398 : : "TARGET_SSE2"
13399 : 3254 : {
13400 : 3254 : if (!ix86_vec_interleave_v2df_operator_ok (operands, 1))
13401 : 4 : operands[2] = force_reg (V2DFmode, operands[2]);
13402 : : })
13403 : :
13404 : : (define_insn "*vec_interleave_highv2df"
13405 : 3254 : [(set (match_operand:V2DF 0 "nonimmediate_operand" "=x,v,x,v,m")
13406 : 3254 : (vec_select:V2DF
13407 : 3254 : (vec_concat:V4DF
13408 : 3254 : (match_operand:V2DF 1 "nonimmediate_operand" " 0,v,o,o,v")
13409 : 3254 : (match_operand:V2DF 2 "nonimmediate_operand" " x,v,0,v,0"))
13410 : 3254 : (parallel [(const_int 1)
13411 : : (const_int 3)])))]
13412 : 64110 : "TARGET_SSE2 && ix86_vec_interleave_v2df_operator_ok (operands, 1)"
13413 : : "@
13414 : : unpckhpd\t{%2, %0|%0, %2}
13415 : : vunpckhpd\t{%2, %1, %0|%0, %1, %2}
13416 : 10364 : movlpd\t{%H1, %0|%0, %H1}
13417 : 10364 : vmovlpd\t{%H1, %2, %0|%0, %2, %H1}
13418 : 0 : %vmovhpd\t{%1, %0|%q0, %1}"
13419 : 0 : [(set_attr "isa" "noavx,avx,noavx,avx,*")
13420 : 10364 : (set_attr "type" "sselog,sselog,ssemov,ssemov,ssemov")
13421 : 3254 : (set (attr "prefix_data16")
13422 : 3254 : (if_then_else (eq_attr "alternative" "2,4")
13423 : 3254 : (const_string "1")
13424 : : (const_string "*")))
13425 : : (set_attr "prefix" "orig,maybe_evex,orig,maybe_evex,maybe_vex")
13426 : 0 : (set_attr "mode" "V2DF,V2DF,V1DF,V1DF,V1DF")])
13427 : :
13428 : 9 : (define_insn "avx512f_movddup512<mask_name>"
13429 : 0 : [(set (match_operand:V8DF 0 "register_operand" "=v")
13430 : 0 : (vec_select:V8DF
13431 : 0 : (vec_concat:V16DF
13432 : 0 : (match_operand:V8DF 1 "nonimmediate_operand" "m")
13433 : 0 : (match_dup 1))
13434 : 0 : (parallel [(const_int 0) (const_int 8)
13435 : 9 : (const_int 2) (const_int 10)
13436 : 9 : (const_int 4) (const_int 12)
13437 : 9 : (const_int 6) (const_int 14)])))]
13438 : 290 : "TARGET_AVX512F && TARGET_EVEX512"
13439 : 9 : "vmovddup\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
13440 : 9 : [(set_attr "type" "sselog1")
13441 : 348 : (set_attr "prefix" "evex")
13442 : 244 : (set_attr "mode" "V8DF")])
13443 : 111 :
13444 : 346 : (define_insn "avx512f_unpcklpd512<mask_name>"
13445 : 337 : [(set (match_operand:V8DF 0 "register_operand" "=v")
13446 : 337 : (vec_select:V8DF
13447 : 235 : (vec_concat:V16DF
13448 : : (match_operand:V8DF 1 "register_operand" "v")
13449 : 220 : (match_operand:V8DF 2 "nonimmediate_operand" "vm"))
13450 : 220 : (parallel [(const_int 0) (const_int 8)
13451 : : (const_int 2) (const_int 10)
13452 : : (const_int 4) (const_int 12)
13453 : : (const_int 6) (const_int 14)])))]
13454 : 322 : "TARGET_AVX512F && TARGET_EVEX512"
13455 : : "vunpcklpd\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
13456 : : [(set_attr "type" "sselog")
13457 : 0 : (set_attr "prefix" "evex")
13458 : 381 : (set_attr "mode" "V8DF")])
13459 : 381 :
13460 : : ;; Recall that the 256-bit unpck insns only shuffle within their lanes.
13461 : : (define_insn "avx_movddup256<mask_name>"
13462 : 381 : [(set (match_operand:V4DF 0 "register_operand" "=v")
13463 : : (vec_select:V4DF
13464 : : (vec_concat:V8DF
13465 : 0 : (match_operand:V4DF 1 "nonimmediate_operand" "m")
13466 : : (match_dup 1))
13467 : 0 : (parallel [(const_int 0) (const_int 4)
13468 : 0 : (const_int 2) (const_int 6)])))]
13469 : 85 : "TARGET_AVX && <mask_avx512vl_condition>"
13470 : 0 : "vmovddup\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
13471 : 0 : [(set_attr "type" "sselog1")
13472 : 4115 : (set_attr "prefix" "<mask_prefix>")
13473 : 215 : (set_attr "mode" "V4DF")])
13474 : 4113 :
13475 : 4328 : (define_insn "avx_unpcklpd256<mask_name>"
13476 : 4113 : [(set (match_operand:V4DF 0 "register_operand" "=v")
13477 : 4113 : (vec_select:V4DF
13478 : 215 : (vec_concat:V8DF
13479 : 0 : (match_operand:V4DF 1 "register_operand" " v")
13480 : 203 : (match_operand:V4DF 2 "nonimmediate_operand" "vm"))
13481 : 203 : (parallel [(const_int 0) (const_int 4)
13482 : 0 : (const_int 2) (const_int 6)])))]
13483 : 4113 : "TARGET_AVX && <mask_avx512vl_condition>"
13484 : 0 : "vunpcklpd\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
13485 : 0 : [(set_attr "type" "sselog")
13486 : 0 : (set_attr "prefix" "<mask_prefix>")
13487 : 2723 : (set_attr "mode" "V4DF")])
13488 : 2723 :
13489 : : (define_expand "vec_interleave_lowv4df"
13490 : : [(set (match_dup 3)
13491 : 2723 : (vec_select:V4DF
13492 : : (vec_concat:V8DF
13493 : : (match_operand:V4DF 1 "register_operand")
13494 : : (match_operand:V4DF 2 "nonimmediate_operand"))
13495 : : (parallel [(const_int 0) (const_int 4)
13496 : 0 : (const_int 2) (const_int 6)])))
13497 : 0 : (set (match_dup 4)
13498 : 0 : (vec_select:V4DF
13499 : : (vec_concat:V8DF
13500 : : (match_dup 1)
13501 : : (match_dup 2))
13502 : : (parallel [(const_int 1) (const_int 5)
13503 : : (const_int 3) (const_int 7)])))
13504 : 0 : (set (match_operand:V4DF 0 "register_operand")
13505 : : (vec_select:V4DF
13506 : 0 : (vec_concat:V8DF
13507 : 0 : (match_dup 3)
13508 : 0 : (match_dup 4))
13509 : 0 : (parallel [(const_int 0) (const_int 1)
13510 : 0 : (const_int 4) (const_int 5)])))]
13511 : 0 : "TARGET_AVX"
13512 : 0 : {
13513 : 0 : operands[3] = gen_reg_rtx (V4DFmode);
13514 : 0 : operands[4] = gen_reg_rtx (V4DFmode);
13515 : 0 : })
13516 : 0 :
13517 : 0 : (define_insn "avx512vl_unpcklpd128_mask"
13518 : 0 : [(set (match_operand:V2DF 0 "register_operand" "=v")
13519 : 0 : (vec_merge:V2DF
13520 : 0 : (vec_select:V2DF
13521 : 0 : (vec_concat:V4DF
13522 : 0 : (match_operand:V2DF 1 "register_operand" "v")
13523 : 0 : (match_operand:V2DF 2 "nonimmediate_operand" "vm"))
13524 : 0 : (parallel [(const_int 0) (const_int 2)]))
13525 : 0 : (match_operand:V2DF 3 "nonimm_or_0_operand" "0C")
13526 : 0 : (match_operand:QI 4 "register_operand" "Yk")))]
13527 : 190 : "TARGET_AVX512VL"
13528 : : "vunpcklpd\t{%2, %1, %0%{%4%}%N3|%0%{%4%}%N3, %1, %2}"
13529 : 0 : [(set_attr "type" "sselog")
13530 : : (set_attr "prefix" "evex")
13531 : 220 : (set_attr "mode" "V2DF")])
13532 : 220 :
13533 : : (define_expand "vec_interleave_lowv2df"
13534 : : [(set (match_operand:V2DF 0 "register_operand")
13535 : 220 : (vec_select:V2DF
13536 : 0 : (vec_concat:V4DF
13537 : 0 : (match_operand:V2DF 1 "nonimmediate_operand")
13538 : : (match_operand:V2DF 2 "nonimmediate_operand"))
13539 : : (parallel [(const_int 0)
13540 : 0 : (const_int 2)])))]
13541 : : "TARGET_SSE2"
13542 : 14 : {
13543 : 35 : if (!ix86_vec_interleave_v2df_operator_ok (operands, 0))
13544 : 5 : operands[1] = force_reg (V2DFmode, operands[1]);
13545 : 21 : })
13546 : 21 :
13547 : 21 : (define_insn "*vec_interleave_lowv2df"
13548 : 35 : [(set (match_operand:V2DF 0 "nonimmediate_operand" "=x,v,x,v,o")
13549 : 35 : (vec_select:V2DF
13550 : 35 : (vec_concat:V4DF
13551 : 35 : (match_operand:V2DF 1 "nonimmediate_operand" " 0,v,0,v,0")
13552 : 14 : (match_operand:V2DF 2 "nonimmediate_operand" " x,v,m,m,v"))
13553 : 35 : (parallel [(const_int 0)
13554 : : (const_int 2)])))]
13555 : 25230 : "TARGET_SSE2 && ix86_vec_interleave_v2df_operator_ok (operands, 0)"
13556 : : "@
13557 : : unpcklpd\t{%2, %0|%0, %2}
13558 : : vunpcklpd\t{%2, %1, %0|%0, %1, %2}
13559 : 56297 : movhpd\t{%2, %0|%0, %q2}
13560 : 56297 : vmovhpd\t{%2, %1, %0|%0, %1, %q2}
13561 : : %vmovlpd\t{%2, %H0|%H0, %2}"
13562 : 0 : [(set_attr "isa" "noavx,avx,noavx,avx,*")
13563 : 56297 : (set_attr "type" "sselog,sselog,ssemov,ssemov,ssemov")
13564 : 14 : (set (attr "prefix_data16")
13565 : 14 : (if_then_else (eq_attr "alternative" "2,4")
13566 : 14 : (const_string "1")
13567 : : (const_string "*")))
13568 : : (set_attr "prefix" "orig,maybe_evex,orig,maybe_evex,maybe_vex")
13569 : : (set_attr "mode" "V2DF,V2DF,V1DF,V1DF,V1DF")])
13570 : 0 :
13571 : 8 : (define_split
13572 : 0 : [(set (match_operand:V2DF 0 "memory_operand")
13573 : 0 : (vec_select:V2DF
13574 : 0 : (vec_concat:V4DF
13575 : 0 : (match_operand:V2DF 1 "register_operand")
13576 : 0 : (match_dup 1))
13577 : 0 : (parallel [(const_int 0)
13578 : 8 : (const_int 2)])))]
13579 : 8 : "TARGET_SSE3 && reload_completed"
13580 : 8 : [(const_int 0)]
13581 : 8 : {
13582 : 10598 : rtx low = gen_lowpart (DFmode, operands[1]);
13583 : 10598 :
13584 : 10598 : emit_move_insn (adjust_address (operands[0], DFmode, 0), low);
13585 : 8 : emit_move_insn (adjust_address (operands[0], DFmode, 8), low);
13586 : 8 : DONE;
13587 : 8 : })
13588 : 0 :
13589 : 0 : (define_split
13590 : 0 : [(set (match_operand:V2DF 0 "register_operand")
13591 : 0 : (vec_select:V2DF
13592 : : (vec_concat:V4DF
13593 : 0 : (match_operand:V2DF 1 "memory_operand")
13594 : : (match_dup 1))
13595 : : (parallel [(match_operand:SI 2 "const_0_to_1_operand")
13596 : : (match_operand:SI 3 "const_int_operand")])))]
13597 : 0 : "TARGET_SSE3 && INTVAL (operands[2]) + 2 == INTVAL (operands[3])"
13598 : : [(set (match_dup 0) (vec_duplicate:V2DF (match_dup 1)))]
13599 : 0 : {
13600 : 0 : operands[1] = adjust_address (operands[1], DFmode, INTVAL (operands[2]) * 8);
13601 : 266 : })
13602 : 266 :
13603 : 266 : (define_insn "avx512f_vmscalef<mode><mask_scalar_name><round_scalar_name>"
13604 : 266 : [(set (match_operand:VFH_128 0 "register_operand" "=v")
13605 : 0 : (vec_merge:VFH_128
13606 : 8 : (unspec:VFH_128
13607 : 16 : [(match_operand:VFH_128 1 "register_operand" "v")
13608 : 0 : (match_operand:VFH_128 2 "<round_scalar_nimm_predicate>" "<round_scalar_constraint>")]
13609 : 0 : UNSPEC_SCALEF)
13610 : 0 : (match_dup 1)
13611 : 0 : (const_int 1)))]
13612 : 595 : "TARGET_AVX512F"
13613 : 0 : "vscalef<ssescalarmodesuffix>\t{<round_scalar_mask_op3>%2, %1, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %1, %2<round_scalar_mask_op3>}"
13614 : 0 : [(set_attr "prefix" "evex")
13615 : 0 : (set_attr "mode" "<ssescalarmode>")])
13616 : 24 :
13617 : 24 : (define_insn "<avx512>_scalef<mode><mask_name><round_name>"
13618 : 0 : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v")
13619 : 0 : (unspec:VFH_AVX512VL
13620 : 0 : [(match_operand:VFH_AVX512VL 1 "register_operand" "v")
13621 : 0 : (match_operand:VFH_AVX512VL 2 "nonimmediate_operand" "<round_constraint>")]
13622 : 0 : UNSPEC_SCALEF))]
13623 : 910 : "TARGET_AVX512F && <round_mode_condition>"
13624 : 0 : "vscalef<ssemodesuffix>\t{<round_mask_op3>%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2<round_mask_op3>}"
13625 : 0 : [(set_attr "prefix" "evex")
13626 : 0 : (set_attr "mode" "<MODE>")])
13627 : 0 :
13628 : 0 : (define_expand "<avx512>_vternlog<mode>_maskz"
13629 : 825 : [(match_operand:VI48_AVX512VL 0 "register_operand")
13630 : 0 : (match_operand:VI48_AVX512VL 1 "register_operand")
13631 : 0 : (match_operand:VI48_AVX512VL 2 "register_operand")
13632 : 0 : (match_operand:VI48_AVX512VL 3 "nonimmediate_operand")
13633 : 0 : (match_operand:SI 4 "const_0_to_255_operand")
13634 : 0 : (match_operand:<avx512fmaskmode> 5 "register_operand")]
13635 : 2301 : "TARGET_AVX512F"
13636 : 55 : {
13637 : 55 : emit_insn (gen_<avx512>_vternlog<mode>_maskz_1 (
13638 : 0 : operands[0], operands[1], operands[2], operands[3],
13639 : 0 : operands[4], CONST0_RTX (<MODE>mode), operands[5]));
13640 : 55 : DONE;
13641 : 0 : })
13642 : 0 :
13643 : 0 : (define_insn "<avx512>_vternlog<mode><sd_maskz_name>"
13644 : 0 : [(set (match_operand:VI48_AVX512VL 0 "register_operand" "=v")
13645 : 0 : (unspec:VI48_AVX512VL
13646 : 0 : [(match_operand:VI48_AVX512VL 1 "register_operand" "0")
13647 : 0 : (match_operand:VI48_AVX512VL 2 "register_operand" "v")
13648 : 0 : (match_operand:VI48_AVX512VL 3 "bcst_vector_operand" "vmBr")
13649 : 0 : (match_operand:SI 4 "const_0_to_255_operand")]
13650 : 0 : UNSPEC_VTERNLOG))]
13651 : 5778 : "TARGET_AVX512F"
13652 : 0 : "vpternlog<ssemodesuffix>\t{%4, %3, %2, %0<sd_mask_op5>|%0<sd_mask_op5>, %2, %3, %4}"
13653 : 0 : [(set_attr "type" "sselog")
13654 : 0 : (set_attr "prefix" "evex")
13655 : 0 : (set_attr "mode" "<sseinsnmode>")])
13656 : 0 :
13657 : 0 : (define_insn "*<avx512>_vternlog<mode>_all"
13658 : 0 : [(set (match_operand:V 0 "register_operand" "=v,v")
13659 : 0 : (unspec:V
13660 : 0 : [(match_operand:V 1 "register_operand" "0,0")
13661 : 0 : (match_operand:V 2 "register_operand" "v,v")
13662 : 0 : (match_operand:V 3 "bcst_vector_operand" "vBr,m")
13663 : 0 : (match_operand:SI 4 "const_0_to_255_operand")]
13664 : 0 : UNSPEC_VTERNLOG))]
13665 : 233 : "(<MODE_SIZE> == 64 || TARGET_AVX512VL
13666 : 3441 : || (TARGET_AVX512F && TARGET_EVEX512 && !TARGET_PREFER_AVX256))
13667 : 0 : /* Disallow embeded broadcast for vector HFmode since
13668 : 0 : it's not real AVX512FP16 instruction. */
13669 : 1990 : && (GET_MODE_SIZE (GET_MODE_INNER (<MODE>mode)) >= 4
13670 : 212 : || GET_CODE (operands[3]) != VEC_DUPLICATE)"
13671 : 1565 : {
13672 : 3 : if (TARGET_AVX512VL)
13673 : 0 : return "vpternlog<ternlogsuffix>\t{%4, %3, %2, %0|%0, %2, %3, %4}";
13674 : 227 : else
13675 : 1592 : return "vpternlog<ternlogsuffix>\t{%4, %g3, %g2, %g0|%g0, %g2, %g3, %4}";
13676 : 0 : }
13677 : 111 : [(set_attr "type" "sselog")
13678 : 101 : (set_attr "prefix" "evex")
13679 : 0 : (set (attr "mode")
13680 : 1597 : (if_then_else (match_test "TARGET_AVX512VL")
13681 : 0 : (const_string "<sseinsnmode>")
13682 : 0 : (const_string "XI")))
13683 : 0 : (set (attr "enabled")
13684 : 0 : (if_then_else (eq_attr "alternative" "1")
13685 : 0 : (symbol_ref "<MODE_SIZE> == 64 || TARGET_AVX512VL")
13686 : 0 : (const_string "*")))])
13687 : 8 :
13688 : 0 : ;; When VPTERNLOG happens to be invariant w.r.t first and second operands,
13689 : 8 : ;; and the third operand is memory, eliminate false dependencies by loading
13690 : 8 : ;; memory into the output operand first.
13691 : 8 : (define_split
13692 : 8 : [(set (match_operand:V 0 "register_operand")
13693 : 8 : (unspec:V
13694 : 8 : [(match_operand:V 1 "register_operand")
13695 : 8 : (match_operand:V 2 "register_operand")
13696 : 0 : (match_operand:V 3 "memory_operand")
13697 : 8 : (match_operand:SI 4 "const_0_to_255_operand")]
13698 : 0 : UNSPEC_VTERNLOG))]
13699 : 96 : "!reload_completed && vpternlog_redundant_operand_mask (operands[4]) == 3"
13700 : 0 : [(set (match_dup 0)
13701 : 2550 : (match_dup 3))
13702 : 3394 : (set (match_dup 0)
13703 : 0 : (unspec:V
13704 : 0 : [(match_dup 0)
13705 : 0 : (match_dup 0)
13706 : 0 : (match_dup 0)
13707 : 0 : (match_dup 4)]
13708 : 0 : UNSPEC_VTERNLOG))])
13709 : 0 :
13710 : 0 : ;; Eliminate false dependencies when VPTERNLOG is invariant w.r.t any
13711 : 0 : ;; of input operands (except the case handled in the above split).
13712 : 0 : (define_split
13713 : 0 : [(set (match_operand:V 0 "register_operand")
13714 : 0 : (unspec:V
13715 : 0 : [(match_operand:V 1 "register_operand")
13716 : 2 : (match_operand:V 2 "register_operand")
13717 : 0 : (match_operand:V 3 "nonimmediate_operand")
13718 : 2 : (match_operand:SI 4 "const_0_to_255_operand")]
13719 : 2 : UNSPEC_VTERNLOG))]
13720 : 6890 : "!reload_completed && vpternlog_redundant_operand_mask (operands[4]) != 0"
13721 : 2531 : [(set (match_dup 0)
13722 : 23 : (unspec:V
13723 : 2 : [(match_dup 1)
13724 : 2189 : (match_dup 2)
13725 : 2187 : (match_dup 3)
13726 : 2 : (match_dup 4)]
13727 : 0 : UNSPEC_VTERNLOG))]
13728 : 2262 : "substitute_vpternlog_operands (operands);")
13729 : 2184 :
13730 : 0 : ;; There must be lots of other combinations like
13731 : 31 : ;;
13732 : 78 : ;; (any_logic:V
13733 : 31 : ;; (any_logic:V op1 op2)
13734 : 78 : ;; (any_logic:V op1 op3))
13735 : 78 : ;;
13736 : 78 : ;; (any_logic:V
13737 : 78 : ;; (any_logic:V
13738 : 78 : ;; (any_logic:V op1, op2)
13739 : 78 : ;; op3)
13740 : 78 : ;; op1)
13741 : 78 : ;;
13742 : 0 : ;; and so on.
13743 : 0 :
13744 : 0 : (define_insn_and_split "*<avx512>_vpternlog<mode>_0"
13745 : 0 : [(set (match_operand:V 0 "register_operand")
13746 : 0 : (match_operand:V 1 "ternlog_operand"))]
13747 : 155639 : "(<MODE_SIZE> == 64 || TARGET_AVX512VL
13748 : 153809 : || (TARGET_AVX512F && TARGET_EVEX512 && !TARGET_PREFER_AVX256))
13749 : 71982 : && ix86_pre_reload_split ()"
13750 : 13437199 : "#"
13751 : 125 : "&& 1"
13752 : 4550663 : [(const_int 0)]
13753 : 1415958 : {
13754 : 1413743 : rtx args[3];
13755 : 7892843 : args[0] = NULL_RTX;
13756 : 9209805 : args[1] = NULL_RTX;
13757 : 2629 : args[2] = NULL_RTX;
13758 : 5886328 : int idx = ix86_ternlog_idx (operands[1], args);
13759 : 4540456 : ix86_expand_ternlog (<MODE>mode, args[0], args[1], args[2], idx,
13760 : 424605 : operands[0]);
13761 : 426047 : DONE;
13762 : 842 : })
13763 : 727083 :
13764 : 727083 : (define_code_iterator any_logic1 [and ior xor])
13765 : 0 : (define_code_iterator any_logic2 [and ior xor])
13766 : 79298 : (define_code_attr logic_op [(and "&") (ior "|") (xor "^")])
13767 : 79298 :
13768 : : (define_insn_and_split "*<avx512>_vpternlog<mode>_1"
13769 : : [(set (match_operand:V 0 "register_operand")
13770 : : (any_logic:V
13771 : : (any_logic1:V
13772 : : (match_operand:V 1 "regmem_or_bitnot_regmem_operand")
13773 : : (match_operand:V 2 "regmem_or_bitnot_regmem_operand"))
13774 : 1442 : (any_logic2:V
13775 : 29465400 : (match_operand:V 3 "regmem_or_bitnot_regmem_operand")
13776 : 1442 : (match_operand:V 4 "regmem_or_bitnot_regmem_operand"))))]
13777 : 4601 : "(<MODE_SIZE> == 64 || TARGET_AVX512VL
13778 : 6269 : || (TARGET_AVX512F && TARGET_EVEX512 && !TARGET_PREFER_AVX256))
13779 : 1442 : && ix86_pre_reload_split ()
13780 : 0 : && (rtx_equal_p (STRIP_UNARY (operands[1]),
13781 : 0 : STRIP_UNARY (operands[4]))
13782 : 29465400 : || rtx_equal_p (STRIP_UNARY (operands[2]),
13783 : 0 : STRIP_UNARY (operands[4]))
13784 : 27556008 : || rtx_equal_p (STRIP_UNARY (operands[1]),
13785 : 27556008 : STRIP_UNARY (operands[3]))
13786 : 0 : || rtx_equal_p (STRIP_UNARY (operands[2]),
13787 : 0 : STRIP_UNARY (operands[3])))"
13788 : 2944 : "#"
13789 : 29450886 : "&& 1"
13790 : 3110 : [(set (match_dup 0)
13791 : 0 : (unspec:V
13792 : 29450886 : [(match_dup 6)
13793 : 1515760 : (match_dup 2)
13794 : 30756492 : (match_dup 1)
13795 : : (match_dup 5)]
13796 : : UNSPEC_VTERNLOG))]
13797 : 0 : {
13798 : : /* VPTERNLOGD reg6, reg2, reg1, imm8. */
13799 : 0 : int reg6 = 0xF0;
13800 : 0 : int reg2 = 0xCC;
13801 : 0 : int reg1 = 0xAA;
13802 : 0 : int reg3 = 0;
13803 : 0 : int reg4 = 0;
13804 : 0 : int reg_mask, tmp1, tmp2;
13805 : 0 : if (rtx_equal_p (STRIP_UNARY (operands[1]),
13806 : 0 : STRIP_UNARY (operands[4])))
13807 : : {
13808 : 0 : reg4 = reg1;
13809 : 0 : reg3 = reg6;
13810 : 0 : operands[6] = operands[3];
13811 : : }
13812 : 0 : else if (rtx_equal_p (STRIP_UNARY (operands[2]),
13813 : 0 : STRIP_UNARY (operands[4])))
13814 : : {
13815 : 0 : reg4 = reg2;
13816 : 0 : reg3 = reg6;
13817 : 0 : operands[6] = operands[3];
13818 : : }
13819 : 0 : else if (rtx_equal_p (STRIP_UNARY (operands[1]),
13820 : 0 : STRIP_UNARY (operands[3])))
13821 : : {
13822 : 0 : reg4 = reg6;
13823 : 0 : reg3 = reg1;
13824 : 0 : operands[6] = operands[4];
13825 : : }
13826 : : else
13827 : : {
13828 : 0 : reg4 = reg6;
13829 : 0 : reg3 = reg2;
13830 : 0 : operands[6] = operands[4];
13831 : : }
13832 : :
13833 : 0 : reg1 = UNARY_P (operands[1]) ? ~reg1 : reg1;
13834 : 0 : reg2 = UNARY_P (operands[2]) ? ~reg2 : reg2;
13835 : 0 : reg3 = UNARY_P (operands[3]) ? ~reg3 : reg3;
13836 : 0 : reg4 = UNARY_P (operands[4]) ? ~reg4 : reg4;
13837 : :
13838 : 0 : tmp1 = reg1 <any_logic1:logic_op> reg2;
13839 : 0 : tmp2 = reg3 <any_logic2:logic_op> reg4;
13840 : 0 : reg_mask = tmp1 <any_logic:logic_op> tmp2;
13841 : 0 : reg_mask &= 0xFF;
13842 : :
13843 : 0 : operands[1] = STRIP_UNARY (operands[1]);
13844 : 0 : operands[2] = STRIP_UNARY (operands[2]);
13845 : 0 : operands[6] = STRIP_UNARY (operands[6]);
13846 : 0 : if (!register_operand (operands[2], <MODE>mode))
13847 : 0 : operands[2] = force_reg (<MODE>mode, operands[2]);
13848 : 0 : if (!register_operand (operands[6], <MODE>mode))
13849 : 0 : operands[6] = force_reg (<MODE>mode, operands[6]);
13850 : 0 : operands[5] = GEN_INT (reg_mask);
13851 : : })
13852 : :
13853 : : (define_insn_and_split "*<avx512>_vpternlog<mode>_2"
13854 : 0 : [(set (match_operand:V 0 "register_operand")
13855 : 0 : (any_logic:V
13856 : 0 : (any_logic1:V
13857 : 0 : (any_logic2:V
13858 : 0 : (match_operand:V 1 "regmem_or_bitnot_regmem_operand")
13859 : 0 : (match_operand:V 2 "regmem_or_bitnot_regmem_operand"))
13860 : 0 : (match_operand:V 3 "regmem_or_bitnot_regmem_operand"))
13861 : 0 : (match_operand:V 4 "regmem_or_bitnot_regmem_operand")))]
13862 : 4887 : "(<MODE_SIZE> == 64 || TARGET_AVX512VL
13863 : 9073 : || (TARGET_AVX512F && TARGET_EVEX512 && !TARGET_PREFER_AVX256))
13864 : 456 : && ix86_pre_reload_split ()
13865 : 581 : && (rtx_equal_p (STRIP_UNARY (operands[1]),
13866 : 581 : STRIP_UNARY (operands[4]))
13867 : 581 : || rtx_equal_p (STRIP_UNARY (operands[2]),
13868 : 581 : STRIP_UNARY (operands[4]))
13869 : 581 : || rtx_equal_p (STRIP_UNARY (operands[1]),
13870 : 581 : STRIP_UNARY (operands[3]))
13871 : 581 : || rtx_equal_p (STRIP_UNARY (operands[2]),
13872 : 581 : STRIP_UNARY (operands[3])))"
13873 : 3902 : "#"
13874 : : "&& 1"
13875 : 3933 : [(set (match_dup 0)
13876 : 0 : (unspec:V
13877 : 282 : [(match_dup 6)
13878 : 4354 : (match_dup 2)
13879 : 4424 : (match_dup 1)
13880 : 37395 : (match_dup 5)]
13881 : 38798 : UNSPEC_VTERNLOG))]
13882 : 64671 : {
13883 : 64745 : /* VPTERNLOGD reg6, reg2, reg1, imm8. */
13884 : 1305 : int reg6 = 0xF0;
13885 : 378025 : int reg2 = 0xCC;
13886 : 0 : int reg1 = 0xAA;
13887 : 46419 : int reg3 = 0;
13888 : 3090255 : int reg4 = 0;
13889 : 44964 : int reg_mask, tmp1, tmp2;
13890 : 8329928 : if (rtx_equal_p (STRIP_UNARY (operands[1]),
13891 : 8347261 : STRIP_UNARY (operands[4])))
13892 : 10891505 : {
13893 : 8329437 : reg4 = reg1;
13894 : 4688032 : reg3 = reg6;
13895 : 9464531 : operands[6] = operands[3];
13896 : 3336438 : }
13897 : 472559 : else if (rtx_equal_p (STRIP_UNARY (operands[2]),
13898 : 2212752 : STRIP_UNARY (operands[4])))
13899 : 1067975 : {
13900 : 3641367 : reg4 = reg2;
13901 : 4524867 : reg3 = reg6;
13902 : 4526797 : operands[6] = operands[3];
13903 : 5269339 : }
13904 : 5269705 : else if (rtx_equal_p (STRIP_UNARY (operands[1]),
13905 : 3762961 : STRIP_UNARY (operands[3])))
13906 : 2857461 : {
13907 : 2857400 : reg4 = reg6;
13908 : 2936781 : reg3 = reg1;
13909 : 2936423 : operands[6] = operands[4];
13910 : 2936362 : }
13911 : 2857095 : else
13912 : 2862259 : {
13913 : 2862206 : reg4 = reg6;
13914 : 5217 : reg3 = reg2;
13915 : 2857086 : operands[6] = operands[4];
13916 : 2855165 : }
13917 : 2855358 :
13918 : 2857840 : reg1 = UNARY_P (operands[1]) ? ~reg1 : reg1;
13919 : 2482 : reg2 = UNARY_P (operands[2]) ? ~reg2 : reg2;
13920 : 1989549 : reg3 = UNARY_P (operands[3]) ? ~reg3 : reg3;
13921 : 1986879 : reg4 = UNARY_P (operands[4]) ? ~reg4 : reg4;
13922 : 1986826 :
13923 : 53 : tmp1 = reg1 <any_logic2:logic_op> reg2;
13924 : 1862482 : tmp2 = tmp1 <any_logic1:logic_op> reg3;
13925 : 1862429 : reg_mask = tmp2 <any_logic:logic_op> reg4;
13926 : 1862482 : reg_mask &= 0xFF;
13927 : 1854709 :
13928 : 1857692 : operands[1] = STRIP_UNARY (operands[1]);
13929 : 1857745 : operands[2] = STRIP_UNARY (operands[2]);
13930 : 3089 : operands[6] = STRIP_UNARY (operands[6]);
13931 : 750197 : operands[5] = GEN_INT (reg_mask);
13932 : 3089 : if (!register_operand (operands[2], <MODE>mode))
13933 : 747214 : operands[2] = force_reg (<MODE>mode, operands[2]);
13934 : 747161 : if (!register_operand (operands[6], <MODE>mode))
13935 : 53 : operands[6] = force_reg (<MODE>mode, operands[6]);
13936 : 53 :
13937 : 0 : })
13938 : 53 :
13939 : 53 : (define_insn_and_split "*<avx512>_vpternlog<mode>_3"
13940 : 0 : [(set (match_operand:V 0 "register_operand")
13941 : 53 : (any_logic:V
13942 : 53 : (any_logic1:V
13943 : 0 : (match_operand:V 1 "regmem_or_bitnot_regmem_operand")
13944 : 53 : (match_operand:V 2 "regmem_or_bitnot_regmem_operand"))
13945 : 53 : (match_operand:V 3 "regmem_or_bitnot_regmem_operand")))]
13946 : 111072 : "(<MODE_SIZE> == 64 || TARGET_AVX512VL
13947 : 112340 : || (TARGET_AVX512F && TARGET_EVEX512 && !TARGET_PREFER_AVX256))
13948 : 53 : && ix86_pre_reload_split ()"
13949 : 86019 : "#"
13950 : 53 : "&& 1"
13951 : 1230 : [(set (match_dup 0)
13952 : 0 : (unspec:V
13953 : 0 : [(match_dup 3)
13954 : 1321 : (match_dup 2)
13955 : 1268 : (match_dup 1)
13956 : 35999 : (match_dup 4)]
13957 : 35999 : UNSPEC_VTERNLOG))]
13958 : 48880 : {
13959 : 48880 : /* VPTERNLOGD reg3, reg2, reg1, imm8. */
13960 : 1233 : int reg3 = 0xF0;
13961 : 0 : int reg2 = 0xCC;
13962 : 0 : int reg1 = 0xAA;
13963 : 53 : int reg_mask, tmp1;
13964 : 0 :
13965 : 53 : reg1 = UNARY_P (operands[1]) ? ~reg1 : reg1;
13966 : 53 : reg2 = UNARY_P (operands[2]) ? ~reg2 : reg2;
13967 : 0 : reg3 = UNARY_P (operands[3]) ? ~reg3 : reg3;
13968 : 53 :
13969 : 53 : tmp1 = reg1 <any_logic1:logic_op> reg2;
13970 : 0 : reg_mask = tmp1 <any_logic:logic_op> reg3;
13971 : 53 : reg_mask &= 0xFF;
13972 : 53 :
13973 : 0 : operands[1] = STRIP_UNARY (operands[1]);
13974 : 53 : operands[2] = STRIP_UNARY (operands[2]);
13975 : 53 : operands[3] = STRIP_UNARY (operands[3]);
13976 : 53 : operands[4] = GEN_INT (reg_mask);
13977 : 53 : if (!register_operand (operands[2], <MODE>mode))
13978 : 53 : operands[2] = force_reg (<MODE>mode, operands[2]);
13979 : 106 : if (!register_operand (operands[3], <MODE>mode))
13980 : 0 : operands[3] = force_reg (<MODE>mode, operands[3]);
13981 : 0 : })
13982 : 53 :
13983 : 53 :
13984 : 53 : (define_expand "<avx512>_vternlog<mode>_mask"
13985 : 53 : [(set (match_operand:VI48_AVX512VL 0 "register_operand")
13986 : 0 : (vec_merge:VI48_AVX512VL
13987 : 53 : (unspec:VI48_AVX512VL
13988 : 53 : [(match_operand:VI48_AVX512VL 1 "register_operand")
13989 : 53 : (match_operand:VI48_AVX512VL 2 "register_operand")
13990 : 53 : (match_operand:VI48_AVX512VL 3 "bcst_vector_operand")
13991 : 0 : (match_operand:SI 4 "const_0_to_255_operand")]
13992 : 0 : UNSPEC_VTERNLOG)
13993 : 0 : (match_dup 1)
13994 : 0 : (match_operand:<avx512fmaskmode> 5 "general_operand")))]
13995 : : "TARGET_AVX512F"
13996 : 114 : {
13997 : 114 : unsigned HOST_WIDE_INT mode_mask = GET_MODE_MASK (<avx512fmaskmode>mode);
13998 : 114 : if (CONST_INT_P (operands[5])
13999 : 65 : && (UINTVAL (operands[5]) & mode_mask) == mode_mask)
14000 : : {
14001 : 59 : ix86_expand_ternlog (<MODE>mode, operands[1], operands[2],
14002 : 59 : operands[3], INTVAL (operands[4]),
14003 : 0 : operands[0]);
14004 : 59 : DONE;
14005 : : }
14006 : 55 : if (!register_operand (operands[5], <avx512fmaskmode>mode))
14007 : 6 : operands[5] = force_reg (<avx512fmaskmode>mode, operands[5]);
14008 : : })
14009 : 154 :
14010 : 0 : (define_insn "*<avx512>_vternlog<mode>_mask"
14011 : 55 : [(set (match_operand:VI48_AVX512VL 0 "register_operand" "=v")
14012 : 55 : (vec_merge:VI48_AVX512VL
14013 : 55 : (unspec:VI48_AVX512VL
14014 : 55 : [(match_operand:VI48_AVX512VL 1 "register_operand" "0")
14015 : 55 : (match_operand:VI48_AVX512VL 2 "register_operand" "v")
14016 : 199 : (match_operand:VI48_AVX512VL 3 "bcst_vector_operand" "vmBr")
14017 : 154 : (match_operand:SI 4 "const_0_to_255_operand")]
14018 : 10 : UNSPEC_VTERNLOG)
14019 : 0 : (match_dup 1)
14020 : 0 : (match_operand:<avx512fmaskmode> 5 "register_operand" "Yk")))]
14021 : 421 : "TARGET_AVX512F"
14022 : 209 : "vpternlog<ssemodesuffix>\t{%4, %3, %2, %0%{%5%}|%0%{%5%}, %2, %3, %4}"
14023 : 154 : [(set_attr "type" "sselog")
14024 : 95 : (set_attr "prefix" "evex")
14025 : 154 : (set_attr "mode" "<sseinsnmode>")])
14026 : 10 :
14027 : 10 : (define_insn "<avx512>_getexp<mode><mask_name><round_saeonly_name>"
14028 : : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v")
14029 : : (unspec:VFH_AVX512VL [(match_operand:VFH_AVX512VL 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
14030 : : UNSPEC_GETEXP))]
14031 : 794 : "TARGET_AVX512F && <round_saeonly_mode_condition>"
14032 : : "vgetexp<ssemodesuffix>\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}";
14033 : : [(set_attr "prefix" "evex")
14034 : : (set_attr "mode" "<MODE>")])
14035 : 55 :
14036 : 55 : (define_insn "avx512f_sgetexp<mode><mask_scalar_name><round_saeonly_scalar_name>"
14037 : 797 : [(set (match_operand:VFH_128 0 "register_operand" "=v")
14038 : : (vec_merge:VFH_128
14039 : : (unspec:VFH_128
14040 : : [(match_operand:VFH_128 1 "register_operand" "v")
14041 : : (match_operand:VFH_128 2 "<round_saeonly_scalar_nimm_predicate>" "<round_saeonly_scalar_constraint>")]
14042 : 44 : UNSPEC_GETEXP)
14043 : 2160 : (match_dup 1)
14044 : : (const_int 1)))]
14045 : 703 : "TARGET_AVX512F"
14046 : : "vgetexp<ssescalarmodesuffix>\t{<round_saeonly_scalar_mask_op3>%2, %1, %0<mask_scalar_operand3>|%0<mask_scalar_operand3>, %1, %<iptr>2<round_saeonly_scalar_mask_op3>}";
14047 : : [(set_attr "prefix" "evex")
14048 : : (set_attr "mode" "<ssescalarmode>")])
14049 : 149 :
14050 : 177 : (define_insn "<mask_codefor><avx512>_align<mode><mask_name>"
14051 : 44 : [(set (match_operand:VI48_AVX512VL 0 "register_operand" "=v")
14052 : 44 : (unspec:VI48_AVX512VL [(match_operand:VI48_AVX512VL 1 "register_operand" "v")
14053 : 44 : (match_operand:VI48_AVX512VL 2 "nonimmediate_operand" "vm")
14054 : 44 : (match_operand:SI 3 "const_0_to_255_operand")]
14055 : 44 : UNSPEC_ALIGN))]
14056 : 610 : "TARGET_AVX512F"
14057 : 44 : "valign<ssemodesuffix>\t{%3, %2, %1, %0<mask_operand4>|%0<mask_operand4>, %1, %2, %3}";
14058 : 44 : [(set_attr "prefix" "evex")
14059 : 28 : (set_attr "mode" "<sseinsnmode>")])
14060 : 28 :
14061 : : (define_mode_attr vec_extract_imm_predicate
14062 : : [(V16SF "const_0_to_15_operand") (V8SF "const_0_to_7_operand")
14063 : : (V16SI "const_0_to_15_operand") (V8SI "const_0_to_7_operand")
14064 : : (V8DF "const_0_to_7_operand") (V4DF "const_0_to_3_operand")
14065 : : (V8DI "const_0_to_7_operand") (V4DI "const_0_to_3_operand")])
14066 : :
14067 : : (define_insn "*vec_extract<mode><ssescalarmodelower>_valign"
14068 : : [(set (match_operand:<ssescalarmode> 0 "register_operand" "=v")
14069 : : (vec_select:<ssescalarmode>
14070 : : (match_operand:V48_256_512_AVX512VL 1 "register_operand" "v")
14071 : : (parallel [(match_operand 2 "<vec_extract_imm_predicate>")])))]
14072 : 8718 : "TARGET_AVX512F
14073 : 5954 : && INTVAL(operands[2]) * GET_MODE_SIZE (<ssescalarmode>mode) >= 16"
14074 : 199 : {
14075 : 35 : int byte_offset = INTVAL (operands[2]) * GET_MODE_SIZE (<ssescalarmode>mode);
14076 : 199 : if (byte_offset % 16 == 0)
14077 : : {
14078 : 93 : operands[2] = GEN_INT (byte_offset / 16);
14079 : 93 : if (byte_offset / 16 == 1)
14080 : : return "vextract<shuffletype><extract_suf>\t{%2, %t1, %x0|%x0, %t1, %2}";
14081 : : else
14082 : 59 : return "vextract<shuffletype><extract_suf>\t{%2, %1, %x0|%x0, %1, %2}";
14083 : : }
14084 : : else
14085 : : return "valign<ternlogsuffix>\t{%2, %1, %1, %<xtg_mode>0|%<xtg_mode>0, %1, %1, %2}";
14086 : : }
14087 : : [(set_attr "prefix" "maybe_evex")
14088 : : (set_attr "mode" "<sseintvecinsnmode>")])
14089 : :
14090 : 206 : (define_expand "avx512f_shufps512_mask"
14091 : : [(match_operand:V16SF 0 "register_operand")
14092 : : (match_operand:V16SF 1 "register_operand")
14093 : : (match_operand:V16SF 2 "nonimmediate_operand")
14094 : : (match_operand:SI 3 "const_0_to_255_operand")
14095 : : (match_operand:V16SF 4 "register_operand")
14096 : : (match_operand:HI 5 "register_operand")]
14097 : : "TARGET_AVX512F && TARGET_EVEX512"
14098 : 22 : {
14099 : 22 : int mask = INTVAL (operands[3]);
14100 : 22 : emit_insn (gen_avx512f_shufps512_1_mask (operands[0], operands[1], operands[2],
14101 : : GEN_INT ((mask >> 0) & 3),
14102 : : GEN_INT ((mask >> 2) & 3),
14103 : 22 : GEN_INT (((mask >> 4) & 3) + 16),
14104 : 22 : GEN_INT (((mask >> 6) & 3) + 16),
14105 : 22 : GEN_INT (((mask >> 0) & 3) + 4),
14106 : 22 : GEN_INT (((mask >> 2) & 3) + 4),
14107 : 22 : GEN_INT (((mask >> 4) & 3) + 20),
14108 : 22 : GEN_INT (((mask >> 6) & 3) + 20),
14109 : 22 : GEN_INT (((mask >> 0) & 3) + 8),
14110 : 22 : GEN_INT (((mask >> 2) & 3) + 8),
14111 : 22 : GEN_INT (((mask >> 4) & 3) + 24),
14112 : 22 : GEN_INT (((mask >> 6) & 3) + 24),
14113 : 22 : GEN_INT (((mask >> 0) & 3) + 12),
14114 : 22 : GEN_INT (((mask >> 2) & 3) + 12),
14115 : 22 : GEN_INT (((mask >> 4) & 3) + 28),
14116 : 22 : GEN_INT (((mask >> 6) & 3) + 28),
14117 : : operands[4], operands[5]));
14118 : 22 : DONE;
14119 : : })
14120 : :
14121 : :
14122 : : (define_expand "<avx512>_fixupimm<mode>_maskz<round_saeonly_expand_name>"
14123 : : [(match_operand:VF_AVX512VL 0 "register_operand")
14124 : : (match_operand:VF_AVX512VL 1 "register_operand")
14125 : : (match_operand:VF_AVX512VL 2 "register_operand")
14126 : : (match_operand:<sseintvecmode> 3 "<round_saeonly_expand_nimm_predicate>")
14127 : : (match_operand:SI 4 "const_0_to_255_operand")
14128 : : (match_operand:<avx512fmaskmode> 5 "register_operand")]
14129 : : "TARGET_AVX512F"
14130 : 89 : {
14131 : 89 : emit_insn (gen_<avx512>_fixupimm<mode>_maskz_1<round_saeonly_expand_name> (
14132 : : operands[0], operands[1], operands[2], operands[3],
14133 : : operands[4], CONST0_RTX (<MODE>mode), operands[5]
14134 : : <round_saeonly_expand_operand6>));
14135 : 89 : DONE;
14136 : : })
14137 : :
14138 : : (define_insn "<avx512>_fixupimm<mode><sd_maskz_name><round_saeonly_name>"
14139 : : [(set (match_operand:VF_AVX512VL 0 "register_operand" "=v")
14140 : : (unspec:VF_AVX512VL
14141 : : [(match_operand:VF_AVX512VL 1 "register_operand" "0")
14142 : : (match_operand:VF_AVX512VL 2 "register_operand" "v")
14143 : : (match_operand:<sseintvecmode> 3 "nonimmediate_operand" "<round_saeonly_constraint>")
14144 : : (match_operand:SI 4 "const_0_to_255_operand")]
14145 : : UNSPEC_FIXUPIMM))]
14146 : 74 : "TARGET_AVX512F && <round_saeonly_mode_condition>"
14147 : : "vfixupimm<ssemodesuffix>\t{%4, <round_saeonly_sd_mask_op5>%3, %2, %0<sd_mask_op5>|%0<sd_mask_op5>, %2, %3<round_saeonly_sd_mask_op5>, %4}";
14148 : 9 : [(set_attr "prefix" "evex")
14149 : : (set_attr "mode" "<MODE>")])
14150 : :
14151 : : (define_insn "<avx512>_fixupimm<mode>_mask<round_saeonly_name>"
14152 : 280 : [(set (match_operand:VF_AVX512VL 0 "register_operand" "=v")
14153 : : (vec_merge:VF_AVX512VL
14154 : : (unspec:VF_AVX512VL
14155 : 9 : [(match_operand:VF_AVX512VL 1 "register_operand" "0")
14156 : 9 : (match_operand:VF_AVX512VL 2 "register_operand" "v")
14157 : 9 : (match_operand:<sseintvecmode> 3 "nonimmediate_operand" "<round_saeonly_constraint>")
14158 : 815 : (match_operand:SI 4 "const_0_to_255_operand")]
14159 : 9 : UNSPEC_FIXUPIMM)
14160 : 9 : (match_dup 1)
14161 : 9 : (match_operand:<avx512fmaskmode> 5 "register_operand" "Yk")))]
14162 : 62 : "TARGET_AVX512F && <round_saeonly_mode_condition>"
14163 : 9 : "vfixupimm<ssemodesuffix>\t{%4, <round_saeonly_op6>%3, %2, %0%{%5%}|%0%{%5%}, %2, %3<round_saeonly_op6>, %4}";
14164 : 9 : [(set_attr "prefix" "evex")
14165 : 69 : (set_attr "mode" "<MODE>")])
14166 : :
14167 : : (define_expand "avx512f_sfixupimm<mode>_maskz<round_saeonly_expand_name>"
14168 : 265 : [(match_operand:VF_128 0 "register_operand")
14169 : : (match_operand:VF_128 1 "register_operand")
14170 : : (match_operand:VF_128 2 "register_operand")
14171 : 41 : (match_operand:<sseintvecmode> 3 "<round_saeonly_expand_nimm_predicate>")
14172 : 56 : (match_operand:SI 4 "const_0_to_255_operand")
14173 : 69 : (match_operand:<avx512fmaskmode> 5 "register_operand")]
14174 : 803 : "TARGET_AVX512F"
14175 : 112 : {
14176 : 112 : emit_insn (gen_avx512f_sfixupimm<mode>_maskz_1<round_saeonly_expand_name> (
14177 : 75 : operands[0], operands[1], operands[2], operands[3],
14178 : 91 : operands[4], CONST0_RTX (<MODE>mode), operands[5]
14179 : 134 : <round_saeonly_expand_operand6>));
14180 : 153 : DONE;
14181 : 134 : })
14182 : 102 :
14183 : 78 : (define_insn "avx512f_sfixupimm<mode><maskz_scalar_name><round_saeonly_name>"
14184 : 65 : [(set (match_operand:VF_128 0 "register_operand" "=v")
14185 : 41 : (vec_merge:VF_128
14186 : 41 : (unspec:VF_128
14187 : 41 : [(match_operand:VF_128 1 "register_operand" "0")
14188 : 19 : (match_operand:VF_128 2 "register_operand" "v")
14189 : 19 : (match_operand:<sseintvecmode> 3 "<round_saeonly_nimm_scalar_predicate>" "<round_saeonly_constraint>")
14190 : 24 : (match_operand:SI 4 "const_0_to_255_operand")]
14191 : 24 : UNSPEC_FIXUPIMM)
14192 : 24 : (match_dup 2)
14193 : : (const_int 1)))]
14194 : 58 : "TARGET_AVX512F"
14195 : : "vfixupimm<ssescalarmodesuffix>\t{%4, <round_saeonly_maskz_scalar_op5>%3, %2, %0<maskz_scalar_op5>|%0<maskz_scalar_op5>, %2, %<iptr>3<round_saeonly_maskz_scalar_op5>, %4}";
14196 : : [(set_attr "prefix" "evex")
14197 : 4 : (set_attr "mode" "<ssescalarmode>")])
14198 : 75 :
14199 : 75 : (define_insn "avx512f_sfixupimm<mode>_mask<round_saeonly_name>"
14200 : 4 : [(set (match_operand:VF_128 0 "register_operand" "=v")
14201 : : (vec_merge:VF_128
14202 : 75 : (vec_merge:VF_128
14203 : : (unspec:VF_128
14204 : : [(match_operand:VF_128 1 "register_operand" "0")
14205 : : (match_operand:VF_128 2 "register_operand" "v")
14206 : : (match_operand:<sseintvecmode> 3 "<round_saeonly_nimm_scalar_predicate>" "<round_saeonly_constraint>")
14207 : : (match_operand:SI 4 "const_0_to_255_operand")]
14208 : 1 : UNSPEC_FIXUPIMM)
14209 : : (match_dup 2)
14210 : 1 : (const_int 1))
14211 : 1266 : (match_dup 1)
14212 : 1 : (match_operand:<avx512fmaskmode> 5 "register_operand" "Yk")))]
14213 : 1320 : "TARGET_AVX512F"
14214 : 1265 : "vfixupimm<ssescalarmodesuffix>\t{%4, <round_saeonly_op6>%3, %2, %0%{%5%}|%0%{%5%}, %2, %<iptr>3<round_saeonly_op6>, %4}";
14215 : 1266 : [(set_attr "prefix" "evex")
14216 : 1265 : (set_attr "mode" "<ssescalarmode>")])
14217 : 1058 :
14218 : 1327 : (define_insn "<avx512>_rndscale<mode><mask_name><round_saeonly_name>"
14219 : 996 : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v")
14220 : 996 : (unspec:VFH_AVX512VL
14221 : 1058 : [(match_operand:VFH_AVX512VL 1 "nonimmediate_operand" "<round_saeonly_constraint>")
14222 : 996 : (match_operand:SI 2 "const_0_to_255_operand")]
14223 : 0 : UNSPEC_ROUND))]
14224 : 4586 : "TARGET_AVX512F && <round_saeonly_mode_condition>"
14225 : 996 : "vrndscale<ssemodesuffix>\t{%2, <round_saeonly_mask_op3>%1, %0<mask_operand3>|%0<mask_operand3>, %1<round_saeonly_mask_op3>, %2}"
14226 : 996 : [(set_attr "length_immediate" "1")
14227 : 996 : (set_attr "prefix" "evex")
14228 : 996 : (set_attr "mode" "<MODE>")])
14229 : 996 :
14230 : 768 : (define_insn "avx512f_rndscale<mode><mask_scalar_name><round_saeonly_scalar_name>"
14231 : : [(set (match_operand:VFH_128 0 "register_operand" "=v")
14232 : : (vec_merge:VFH_128
14233 : : (unspec:VFH_128
14234 : : [(match_operand:VFH_128 2 "<round_saeonly_scalar_nimm_predicate>" "<round_saeonly_scalar_constraint>")
14235 : 996 : (match_operand:SI 3 "const_0_to_255_operand")]
14236 : 3668 : UNSPEC_ROUND)
14237 : 996 : (match_operand:VFH_128 1 "register_operand" "v")
14238 : : (const_int 1)))]
14239 : 870 : "TARGET_AVX512F"
14240 : : "vrndscale<ssescalarmodesuffix>\t{%3, <round_saeonly_scalar_mask_op4>%2, %1, %0<mask_scalar_operand4>|%0<mask_scalar_operand4>, %1, %<iptr>2<round_saeonly_scalar_mask_op4>, %3}"
14241 : 107 : [(set_attr "length_immediate" "1")
14242 : 107 : (set_attr "prefix" "evex")
14243 : 1 : (set_attr "mode" "<MODE>")])
14244 : :
14245 : 1 : (define_insn "*avx512f_rndscale<mode><round_saeonly_name>"
14246 : 1 : [(set (match_operand:VFH_128 0 "register_operand" "=v")
14247 : 1 : (vec_merge:VFH_128
14248 : 1 : (vec_duplicate:VFH_128
14249 : 0 : (unspec:<ssescalarmode>
14250 : 1 : [(match_operand:<ssescalarmode> 2 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")
14251 : : (match_operand:SI 3 "const_0_to_255_operand")]
14252 : : UNSPEC_ROUND))
14253 : : (match_operand:VFH_128 1 "register_operand" "v")
14254 : : (const_int 1)))]
14255 : 36 : "TARGET_AVX512F"
14256 : : "vrndscale<ssescalarmodesuffix>\t{%3, <round_saeonly_op4>%2, %1, %0|%0, %1, %2<round_saeonly_op4>, %3}"
14257 : 0 : [(set_attr "length_immediate" "1")
14258 : 0 : (set_attr "prefix" "evex")
14259 : 0 : (set_attr "mode" "<MODE>")])
14260 : :
14261 : : ;; One bit in mask selects 2 elements.
14262 : : (define_insn "avx512f_shufps512_1<mask_name>"
14263 : : [(set (match_operand:V16SF 0 "register_operand" "=v")
14264 : : (vec_select:V16SF
14265 : : (vec_concat:V32SF
14266 : : (match_operand:V16SF 1 "register_operand" "v")
14267 : : (match_operand:V16SF 2 "nonimmediate_operand" "vm"))
14268 : : (parallel [(match_operand 3 "const_0_to_3_operand")
14269 : : (match_operand 4 "const_0_to_3_operand")
14270 : : (match_operand 5 "const_16_to_19_operand")
14271 : : (match_operand 6 "const_16_to_19_operand")
14272 : : (match_operand 7 "const_4_to_7_operand")
14273 : : (match_operand 8 "const_4_to_7_operand")
14274 : : (match_operand 9 "const_20_to_23_operand")
14275 : : (match_operand 10 "const_20_to_23_operand")
14276 : : (match_operand 11 "const_8_to_11_operand")
14277 : : (match_operand 12 "const_8_to_11_operand")
14278 : : (match_operand 13 "const_24_to_27_operand")
14279 : : (match_operand 14 "const_24_to_27_operand")
14280 : : (match_operand 15 "const_12_to_15_operand")
14281 : : (match_operand 16 "const_12_to_15_operand")
14282 : : (match_operand 17 "const_28_to_31_operand")
14283 : : (match_operand 18 "const_28_to_31_operand")])))]
14284 : 545 : "TARGET_AVX512F && TARGET_EVEX512
14285 : 545 : && (INTVAL (operands[3]) == (INTVAL (operands[7]) - 4)
14286 : 545 : && INTVAL (operands[4]) == (INTVAL (operands[8]) - 4)
14287 : 545 : && INTVAL (operands[5]) == (INTVAL (operands[9]) - 4)
14288 : 545 : && INTVAL (operands[6]) == (INTVAL (operands[10]) - 4)
14289 : 545 : && INTVAL (operands[3]) == (INTVAL (operands[11]) - 8)
14290 : 545 : && INTVAL (operands[4]) == (INTVAL (operands[12]) - 8)
14291 : 545 : && INTVAL (operands[5]) == (INTVAL (operands[13]) - 8)
14292 : 545 : && INTVAL (operands[6]) == (INTVAL (operands[14]) - 8)
14293 : 545 : && INTVAL (operands[3]) == (INTVAL (operands[15]) - 12)
14294 : 545 : && INTVAL (operands[4]) == (INTVAL (operands[16]) - 12)
14295 : 545 : && INTVAL (operands[5]) == (INTVAL (operands[17]) - 12)
14296 : 545 : && INTVAL (operands[6]) == (INTVAL (operands[18]) - 12))"
14297 : 64 : {
14298 : 953 : int mask;
14299 : 746 : mask = INTVAL (operands[3]);
14300 : 1383 : mask |= INTVAL (operands[4]) << 2;
14301 : 64 : mask |= (INTVAL (operands[5]) - 16) << 4;
14302 : 64 : mask |= (INTVAL (operands[6]) - 16) << 6;
14303 : 42 : operands[3] = GEN_INT (mask);
14304 : :
14305 : 64 : return "vshufps\t{%3, %2, %1, %0<mask_operand19>|%0<mask_operand19>, %1, %2, %3}";
14306 : : }
14307 : : [(set_attr "type" "sselog")
14308 : : (set_attr "length_immediate" "1")
14309 : : (set_attr "prefix" "evex")
14310 : 32 : (set_attr "mode" "V16SF")])
14311 : :
14312 : : (define_expand "avx512f_shufpd512_mask"
14313 : : [(match_operand:V8DF 0 "register_operand")
14314 : : (match_operand:V8DF 1 "register_operand")
14315 : : (match_operand:V8DF 2 "nonimmediate_operand")
14316 : : (match_operand:SI 3 "const_0_to_255_operand")
14317 : : (match_operand:V8DF 4 "register_operand")
14318 : : (match_operand:QI 5 "register_operand")]
14319 : : "TARGET_AVX512F && TARGET_EVEX512"
14320 : 22 : {
14321 : 22 : int mask = INTVAL (operands[3]);
14322 : 154 : emit_insn (gen_avx512f_shufpd512_1_mask (operands[0], operands[1], operands[2],
14323 : : GEN_INT (mask & 1),
14324 : 22 : GEN_INT (mask & 2 ? 9 : 8),
14325 : 22 : GEN_INT (mask & 4 ? 3 : 2),
14326 : 22 : GEN_INT (mask & 8 ? 11 : 10),
14327 : 22 : GEN_INT (mask & 16 ? 5 : 4),
14328 : 22 : GEN_INT (mask & 32 ? 13 : 12),
14329 : 22 : GEN_INT (mask & 64 ? 7 : 6),
14330 : 22 : GEN_INT (mask & 128 ? 15 : 14),
14331 : : operands[4], operands[5]));
14332 : 22 : DONE;
14333 : : })
14334 : :
14335 : : (define_insn "avx512f_shufpd512_1<mask_name>"
14336 : : [(set (match_operand:V8DF 0 "register_operand" "=v")
14337 : : (vec_select:V8DF
14338 : : (vec_concat:V16DF
14339 : : (match_operand:V8DF 1 "register_operand" "v")
14340 : : (match_operand:V8DF 2 "nonimmediate_operand" "vm"))
14341 : : (parallel [(match_operand 3 "const_0_to_1_operand")
14342 : : (match_operand 4 "const_8_to_9_operand")
14343 : : (match_operand 5 "const_2_to_3_operand")
14344 : : (match_operand 6 "const_10_to_11_operand")
14345 : : (match_operand 7 "const_4_to_5_operand")
14346 : : (match_operand 8 "const_12_to_13_operand")
14347 : : (match_operand 9 "const_6_to_7_operand")
14348 : : (match_operand 10 "const_14_to_15_operand")])))]
14349 : 277 : "TARGET_AVX512F && TARGET_EVEX512"
14350 : 32 : {
14351 : 789 : int mask;
14352 : 595 : mask = INTVAL (operands[3]);
14353 : 1071 : mask |= (INTVAL (operands[4]) - 8) << 1;
14354 : 32 : mask |= (INTVAL (operands[5]) - 2) << 2;
14355 : 32 : mask |= (INTVAL (operands[6]) - 10) << 3;
14356 : 32 : mask |= (INTVAL (operands[7]) - 4) << 4;
14357 : 32 : mask |= (INTVAL (operands[8]) - 12) << 5;
14358 : 32 : mask |= (INTVAL (operands[9]) - 6) << 6;
14359 : 32 : mask |= (INTVAL (operands[10]) - 14) << 7;
14360 : 10 : operands[3] = GEN_INT (mask);
14361 : :
14362 : 32 : return "vshufpd\t{%3, %2, %1, %0<mask_operand11>|%0<mask_operand11>, %1, %2, %3}";
14363 : 0 : }
14364 : : [(set_attr "type" "sselog")
14365 : 0 : (set_attr "length_immediate" "1")
14366 : 0 : (set_attr "prefix" "evex")
14367 : 46 : (set_attr "mode" "V8DF")])
14368 : 0 :
14369 : 0 : (define_expand "avx_shufpd256<mask_expand4_name>"
14370 : 0 : [(match_operand:V4DF 0 "register_operand")
14371 : : (match_operand:V4DF 1 "register_operand")
14372 : : (match_operand:V4DF 2 "nonimmediate_operand")
14373 : : (match_operand:SI 3 "const_int_operand")]
14374 : : "TARGET_AVX"
14375 : 16 : {
14376 : 16 : int mask = INTVAL (operands[3]);
14377 : 48 : emit_insn (gen_avx_shufpd256_1<mask_expand4_name> (operands[0],
14378 : : operands[1],
14379 : : operands[2],
14380 : : GEN_INT (mask & 1),
14381 : 16 : GEN_INT (mask & 2 ? 5 : 4),
14382 : 16 : GEN_INT (mask & 4 ? 3 : 2),
14383 : 16 : GEN_INT (mask & 8 ? 7 : 6)
14384 : : <mask_expand4_args>));
14385 : 16 : DONE;
14386 : : })
14387 : :
14388 : : (define_insn "avx_shufpd256_1<mask_name>"
14389 : : [(set (match_operand:V4DF 0 "register_operand" "=v")
14390 : : (vec_select:V4DF
14391 : : (vec_concat:V8DF
14392 : : (match_operand:V4DF 1 "register_operand" "v")
14393 : : (match_operand:V4DF 2 "nonimmediate_operand" "vm"))
14394 : : (parallel [(match_operand 3 "const_0_to_1_operand")
14395 : : (match_operand 4 "const_4_to_5_operand")
14396 : : (match_operand 5 "const_2_to_3_operand")
14397 : : (match_operand 6 "const_6_to_7_operand")])))]
14398 : 242 : "TARGET_AVX && <mask_avx512vl_condition>"
14399 : 40 : {
14400 : 12661 : int mask;
14401 : 10066 : mask = INTVAL (operands[3]);
14402 : 9746 : mask |= (INTVAL (operands[4]) - 4) << 1;
14403 : 9520 : mask |= (INTVAL (operands[5]) - 2) << 2;
14404 : 12883 : mask |= (INTVAL (operands[6]) - 6) << 3;
14405 : 24 : operands[3] = GEN_INT (mask);
14406 : :
14407 : 40 : return "vshufpd\t{%3, %2, %1, %0<mask_operand7>|%0<mask_operand7>, %1, %2, %3}";
14408 : : }
14409 : 0 : [(set_attr "type" "sseshuf")
14410 : : (set_attr "length_immediate" "1")
14411 : : (set_attr "prefix" "vex")
14412 : 30 : (set_attr "mode" "V4DF")])
14413 : 0 :
14414 : 0 : (define_expand "sse2_shufpd<mask_expand4_name>"
14415 : 5 : [(match_operand:V2DF 0 "register_operand")
14416 : 0 : (match_operand:V2DF 1 "register_operand")
14417 : 0 : (match_operand:V2DF 2 "vector_operand")
14418 : 5 : (match_operand:SI 3 "const_int_operand")]
14419 : 0 : "TARGET_SSE2"
14420 : 16 : {
14421 : 16 : int mask = INTVAL (operands[3]);
14422 : 16 : emit_insn (gen_sse2_shufpd_v2df<mask_expand4_name> (operands[0], operands[1],
14423 : : operands[2], GEN_INT (mask & 1),
14424 : 16 : GEN_INT (mask & 2 ? 3 : 2)
14425 : 3 : <mask_expand4_args>));
14426 : 16 : DONE;
14427 : : })
14428 : 3 :
14429 : : (define_insn "sse2_shufpd_v2df_mask"
14430 : : [(set (match_operand:V2DF 0 "register_operand" "=v")
14431 : : (vec_merge:V2DF
14432 : : (vec_select:V2DF
14433 : : (vec_concat:V4DF
14434 : : (match_operand:V2DF 1 "register_operand" "v")
14435 : 12 : (match_operand:V2DF 2 "nonimmediate_operand" "vm"))
14436 : : (parallel [(match_operand 3 "const_0_to_1_operand")
14437 : : (match_operand 4 "const_2_to_3_operand")]))
14438 : : (match_operand:V2DF 5 "nonimm_or_0_operand" "0C")
14439 : 12 : (match_operand:QI 6 "register_operand" "Yk")))]
14440 : 182 : "TARGET_AVX512VL"
14441 : 14 : {
14442 : 14 : int mask;
14443 : 14 : mask = INTVAL (operands[3]);
14444 : 504 : mask |= (INTVAL (operands[4]) - 2) << 1;
14445 : 504 : operands[3] = GEN_INT (mask);
14446 : :
14447 : 968 : return "vshufpd\t{%3, %2, %1, %0%{%6%}%N5|%0%{%6%}%N5, %1, %2, %3}";
14448 : 954 : }
14449 : 12 : [(set_attr "type" "sseshuf")
14450 : 954 : (set_attr "length_immediate" "1")
14451 : 954 : (set_attr "prefix" "evex")
14452 : 954 : (set_attr "mode" "V2DF")])
14453 : 966 :
14454 : 954 : ;; punpcklqdq and punpckhqdq are shorter than shufpd.
14455 : 954 : (define_insn "avx2_interleave_highv4di<mask_name>"
14456 : 954 : [(set (match_operand:V4DI 0 "register_operand" "=v")
14457 : 1 : (vec_select:V4DI
14458 : 844 : (vec_concat:V8DI
14459 : 845 : (match_operand:V4DI 1 "register_operand" "v")
14460 : 1 : (match_operand:V4DI 2 "nonimmediate_operand" "vm"))
14461 : 202 : (parallel [(const_int 1)
14462 : 202 : (const_int 5)
14463 : 213 : (const_int 3)
14464 : 1 : (const_int 7)])))]
14465 : 330 : "TARGET_AVX2 && <mask_avx512vl_condition>"
14466 : 201 : "vpunpckhqdq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
14467 : 12 : [(set_attr "type" "sselog")
14468 : 201 : (set_attr "prefix" "vex")
14469 : 201 : (set_attr "mode" "OI")])
14470 : :
14471 : 201 : (define_insn "<mask_codefor>avx512f_interleave_highv8di<mask_name>"
14472 : 1831 : [(set (match_operand:V8DI 0 "register_operand" "=v")
14473 : : (vec_select:V8DI
14474 : 201 : (vec_concat:V16DI
14475 : 201 : (match_operand:V8DI 1 "register_operand" "v")
14476 : : (match_operand:V8DI 2 "nonimmediate_operand" "vm"))
14477 : 213 : (parallel [(const_int 1) (const_int 9)
14478 : 201 : (const_int 3) (const_int 11)
14479 : : (const_int 5) (const_int 13)
14480 : 201 : (const_int 7) (const_int 15)])))]
14481 : 570 : "TARGET_AVX512F && TARGET_EVEX512"
14482 : 201 : "vpunpckhqdq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
14483 : 890796 : [(set_attr "type" "sselog")
14484 : 201 : (set_attr "prefix" "evex")
14485 : 201 : (set_attr "mode" "XI")])
14486 : :
14487 : 890997 : (define_insn "vec_interleave_highv2di<mask_name>"
14488 : 890997 : [(set (match_operand:V2DI 0 "register_operand" "=x,v")
14489 : 890796 : (vec_select:V2DI
14490 : 890997 : (vec_concat:V4DI
14491 : 891008 : (match_operand:V2DI 1 "register_operand" "0,v")
14492 : 890796 : (match_operand:V2DI 2 "vector_operand" "xBm,vm"))
14493 : 989570 : (parallel [(const_int 1)
14494 : 989570 : (const_int 3)])))]
14495 : 113987 : "TARGET_SSE2 && <mask_avx512vl_condition>"
14496 : 884351 : "@
14497 : 981385 : punpckhqdq\t{%2, %0|%0, %2}
14498 : 97034 : vpunpckhqdq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
14499 : 6847 : [(set_attr "isa" "noavx,avx")
14500 : 974735 : (set_attr "type" "sselog")
14501 : 884364 : (set_attr "prefix_data16" "1,*")
14502 : 96340 : (set_attr "prefix" "orig,<mask_prefix>")
14503 : 201 : (set_attr "mode" "TI")])
14504 : 674729 :
14505 : 89539 : (define_insn "avx2_interleave_lowv4di<mask_name>"
14506 : 173681 : [(set (match_operand:V4DI 0 "register_operand" "=v")
14507 : 674672 : (vec_select:V4DI
14508 : 89274 : (vec_concat:V8DI
14509 : 210 : (match_operand:V4DI 1 "register_operand" "v")
14510 : 115758 : (match_operand:V4DI 2 "nonimmediate_operand" "vm"))
14511 : 31576 : (parallel [(const_int 0)
14512 : 5755 : (const_int 4)
14513 : 5953 : (const_int 2)
14514 : 31189 : (const_int 6)])))]
14515 : 1228 : "TARGET_AVX2 && <mask_avx512vl_condition>"
14516 : 4148 : "vpunpcklqdq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
14517 : : [(set_attr "type" "sselog")
14518 : 834 : (set_attr "prefix" "vex")
14519 : 842 : (set_attr "mode" "OI")])
14520 : 771 :
14521 : 769 : (define_insn "<mask_codefor>avx512f_interleave_lowv8di<mask_name>"
14522 : 8 : [(set (match_operand:V8DI 0 "register_operand" "=v")
14523 : 777 : (vec_select:V8DI
14524 : 8 : (vec_concat:V16DI
14525 : 341 : (match_operand:V8DI 1 "register_operand" "v")
14526 : 341 : (match_operand:V8DI 2 "nonimmediate_operand" "vm"))
14527 : 341 : (parallel [(const_int 0) (const_int 8)
14528 : 14801 : (const_int 2) (const_int 10)
14529 : 4349 : (const_int 4) (const_int 12)
14530 : 4009 : (const_int 6) (const_int 14)])))]
14531 : 16041 : "TARGET_AVX512F && TARGET_EVEX512"
14532 : : "vpunpcklqdq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
14533 : : [(set_attr "type" "sselog")
14534 : : (set_attr "prefix" "evex")
14535 : : (set_attr "mode" "XI")])
14536 : :
14537 : : (define_insn "vec_interleave_lowv2di<mask_name>"
14538 : : [(set (match_operand:V2DI 0 "register_operand" "=x,v")
14539 : : (vec_select:V2DI
14540 : : (vec_concat:V4DI
14541 : : (match_operand:V2DI 1 "register_operand" "0,v")
14542 : : (match_operand:V2DI 2 "vector_operand" "xBm,vm"))
14543 : 2977 : (parallel [(const_int 0)
14544 : 2977 : (const_int 2)])))]
14545 : 29814 : "TARGET_SSE2 && <mask_avx512vl_condition>"
14546 : : "@
14547 : : punpcklqdq\t{%2, %0|%0, %2}
14548 : 3268 : vpunpcklqdq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
14549 : : [(set_attr "isa" "noavx,avx")
14550 : : (set_attr "type" "sselog")
14551 : : (set_attr "prefix_data16" "1,*")
14552 : : (set_attr "prefix" "orig,vex")
14553 : : (set_attr "mode" "TI")])
14554 : :
14555 : : (define_insn "sse2_shufpd_<mode>"
14556 : : [(set (match_operand:VI8F_128 0 "register_operand" "=x,v")
14557 : : (vec_select:VI8F_128
14558 : : (vec_concat:<ssedoublevecmode>
14559 : 84095 : (match_operand:VI8F_128 1 "register_operand" "0,v")
14560 : 67131 : (match_operand:VI8F_128 2 "vector_operand" "xBm,vm"))
14561 : : (parallel [(match_operand 3 "const_0_to_1_operand")
14562 : 62890 : (match_operand 4 "const_2_to_3_operand")])))]
14563 : 96014 : "TARGET_SSE2"
14564 : 82028 : {
14565 : 82028 : int mask;
14566 : 82028 : mask = INTVAL (operands[3]);
14567 : 27972 : mask |= (INTVAL (operands[4]) - 2) << 1;
14568 : 81484 : operands[3] = GEN_INT (mask);
14569 : 16964 :
14570 : 66251 : switch (which_alternative)
14571 : 72911 : {
14572 : 16964 : case 0:
14573 : 18322 : return "shufpd\t{%3, %2, %0|%0, %2, %3}";
14574 : 64081 : case 1:
14575 : 16968 : return "vshufpd\t{%3, %2, %1, %0|%0, %1, %2, %3}";
14576 : 16964 : default:
14577 : 1358 : gcc_unreachable ();
14578 : 4860 : }
14579 : 4860 : }
14580 : 4860 : [(set_attr "isa" "noavx,avx")
14581 : 1358 : (set_attr "type" "sseshuf")
14582 : 4860 : (set_attr "length_immediate" "1")
14583 : 5404 : (set_attr "prefix" "orig,maybe_evex")
14584 : 1358 : (set_attr "mode" "V2DF")])
14585 : 4860 :
14586 : 4860 : ;; Avoid combining registers from different units in a single alternative,
14587 : 1358 : ;; see comment above inline_secondary_memory_needed function in i386.cc
14588 : 1358 : (define_insn "sse2_storehpd"
14589 : 2697 : [(set (match_operand:DF 0 "nonimmediate_operand" "=m,x,Yv,x,*f,r")
14590 : 2697 : (vec_select:DF
14591 : 1339 : (match_operand:V2DF 1 "nonimmediate_operand" " v,0, v,o,o,o")
14592 : 2697 : (parallel [(const_int 1)])))]
14593 : 16097 : "TARGET_SSE2 && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
14594 : 1339 : "@
14595 : 2697 : %vmovhpd\t{%1, %0|%0, %1}
14596 : 2697 : unpckhpd\t%0, %0
14597 : 1339 : vunpckhpd\t{%d1, %0|%0, %d1}
14598 : 2697 : #
14599 : 2697 : #
14600 : 1339 : #"
14601 : 2697 : [(set_attr "isa" "*,noavx,avx,*,*,*")
14602 : 2697 : (set_attr "type" "ssemov,sselog1,sselog1,ssemov,fmov,imov")
14603 : 1339 : (set (attr "prefix_data16")
14604 : 2697 : (if_then_else
14605 : 2697 : (and (eq_attr "alternative" "0")
14606 : 1339 : (not (match_test "TARGET_AVX")))
14607 : 2697 : (const_string "1")
14608 : 2697 : (const_string "*")))
14609 : 1339 : (set_attr "prefix" "maybe_vex,orig,maybe_evex,*,*,*")
14610 : 2697 : (set_attr "mode" "V1DF,V1DF,V2DF,DF,DF,DF")])
14611 : 2697 :
14612 : 1339 : (define_split
14613 : 2697 : [(set (match_operand:DF 0 "register_operand")
14614 : 2697 : (vec_select:DF
14615 : 1339 : (match_operand:V2DF 1 "memory_operand")
14616 : 2697 : (parallel [(const_int 1)])))]
14617 : 2760 : "TARGET_SSE2 && reload_completed"
14618 : 1402 : [(set (match_dup 0) (match_dup 1))]
14619 : 2760 : "operands[1] = adjust_address (operands[1], DFmode, 8);")
14620 : 2697 :
14621 : 1339 : (define_insn "*vec_extractv2df_1_sse"
14622 : 2760 : [(set (match_operand:DF 0 "nonimmediate_operand" "=m,x,x")
14623 : 2760 : (vec_select:DF
14624 : 1402 : (match_operand:V2DF 1 "nonimmediate_operand" "x,x,o")
14625 : 2760 : (parallel [(const_int 1)])))]
14626 : 1421 : "!TARGET_SSE2 && TARGET_SSE
14627 : 947 : && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
14628 : 1421 : "@
14629 : 261516 : movhps\t{%1, %0|%0, %1}
14630 : 260158 : movhlps\t{%1, %0|%0, %1}
14631 : 1358 : movlps\t{%H1, %0|%0, %H1}"
14632 : 13570 : [(set_attr "type" "ssemov")
14633 : 12820 : (set_attr "mode" "V2SF,V4SF,V2SF")])
14634 : 1537 :
14635 : 14002 : ;; Convert highpart SUBREG in sse2_storehpd or *vec_extractv2df_1_sse.
14636 : 12418 : (define_split
14637 : 11250 : [(set (match_operand:DF 0 "register_operand")
14638 : 23444 : (subreg:DF (match_operand:V2DF 1 "register_operand") 8))]
14639 : 228 : "TARGET_SSE"
14640 : 928471 : [(set (match_dup 0)
14641 : 928495 : (vec_select:DF (match_dup 1) (parallel [(const_int 1)])))])
14642 : 204 :
14643 : 857204 : ;; Avoid combining registers from different units in a single alternative,
14644 : 857204 : ;; see comment above inline_secondary_memory_needed function in i386.cc
14645 : 832267 : (define_insn "sse2_storelpd"
14646 : 25142 : [(set (match_operand:DF 0 "nonimmediate_operand" "=m,x,x,*f,r")
14647 : 797545 : (vec_select:DF
14648 : 817742 : (match_operand:V2DF 1 "nonimmediate_operand" " v,x,m,m,m")
14649 : 797546 : (parallel [(const_int 0)])))]
14650 : 846088 : "TARGET_SSE2 && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
14651 : 2752 : "@
14652 : 6943 : %vmovlpd\t{%1, %0|%0, %1}
14653 : 9062 : #
14654 : 3442 : #
14655 : 4800 : #
14656 : 4876 : #"
14657 : : [(set_attr "type" "ssemov,ssemov,ssemov,fmov,imov")
14658 : 1358 : (set (attr "prefix_data16")
14659 : 1358 : (if_then_else (eq_attr "alternative" "0")
14660 : : (const_string "1")
14661 : 1358 : (const_string "*")))
14662 : 1358 : (set_attr "prefix" "maybe_vex")
14663 : : (set_attr "mode" "V1DF,DF,DF,DF,DF")])
14664 : 1358 :
14665 : 1358 : (define_split
14666 : : [(set (match_operand:DF 0 "register_operand")
14667 : 1358 : (vec_select:DF
14668 : 1358 : (match_operand:V2DF 1 "nonimmediate_operand")
14669 : : (parallel [(const_int 0)])))]
14670 : 8115 : "TARGET_SSE2 && reload_completed"
14671 : 2560 : [(set (match_dup 0) (match_dup 1))]
14672 : 1202 : "operands[1] = gen_lowpart (DFmode, operands[1]);")
14673 : 1358 :
14674 : 2650 : (define_insn "*vec_extractv2df_0_sse"
14675 : 2494 : [(set (match_operand:DF 0 "nonimmediate_operand" "=m,x,x")
14676 : 2667 : (vec_select:DF
14677 : 2667 : (match_operand:V2DF 1 "nonimmediate_operand" "x,x,m")
14678 : 2494 : (parallel [(const_int 0)])))]
14679 : 2560 : "!TARGET_SSE2 && TARGET_SSE
14680 : 1358 : && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
14681 : 1202 : "@
14682 : 2560 : movlps\t{%1, %0|%0, %1}
14683 : 2571 : movaps\t{%1, %0|%0, %1}
14684 : : movlps\t{%1, %0|%0, %q1}"
14685 : 7687 : [(set_attr "type" "ssemov")
14686 : 7687 : (set_attr "mode" "V2SF,V4SF,V2SF")])
14687 : 1692 :
14688 : 334 : ;; Convert lowpart SUBREG into sse2_storelpd or *vec_extractv2df_0_sse.
14689 : 6330 : (define_split
14690 : 24 : [(set (match_operand:DF 0 "register_operand")
14691 : 1335 : (subreg:DF (match_operand:V2DF 1 "register_operand") 0))]
14692 : 2331 : "TARGET_SSE"
14693 : 2523 : [(set (match_dup 0)
14694 : 1432 : (vec_select:DF (match_dup 1) (parallel [(const_int 0)])))])
14695 : 435 :
14696 : 166857 : (define_expand "sse2_loadhpd_exp"
14697 : 166421 : [(set (match_operand:V2DF 0 "nonimmediate_operand")
14698 : 162105 : (vec_concat:V2DF
14699 : 162105 : (vec_select:DF
14700 : 166421 : (match_operand:V2DF 1 "nonimmediate_operand")
14701 : 427 : (parallel [(const_int 0)]))
14702 : 427 : (match_operand:DF 2 "nonimmediate_operand")))]
14703 : : "TARGET_SSE2"
14704 : 427 : {
14705 : 427 : rtx dst = ix86_fixup_binary_operands (UNKNOWN, V2DFmode, operands);
14706 : :
14707 : 427 : emit_insn (gen_sse2_loadhpd (dst, operands[1], operands[2]));
14708 : 427 :
14709 : : /* Fix up the destination if needed. */
14710 : 427 : if (dst != operands[0])
14711 : 427 : emit_move_insn (operands[0], dst);
14712 : :
14713 : 427 : DONE;
14714 : 427 : })
14715 : :
14716 : 427 : ;; Avoid combining registers from different units in a single alternative,
14717 : 427 : ;; see comment above inline_secondary_memory_needed function in i386.cc
14718 : : (define_insn "sse2_loadhpd"
14719 : 427 : [(set (match_operand:V2DF 0 "nonimmediate_operand"
14720 : 427 : "=x,v,x,v ,o,o ,o")
14721 : : (vec_concat:V2DF
14722 : 427 : (vec_select:DF
14723 : 427 : (match_operand:V2DF 1 "nonimmediate_operand"
14724 : : " 0,v,0,v ,0,0 ,0")
14725 : 427 : (parallel [(const_int 0)]))
14726 : 427 : (match_operand:DF 2 "nonimmediate_operand"
14727 : : " m,m,x,Yv,x,*f,r")))]
14728 : 1397 : "TARGET_SSE2 && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
14729 : 2390 : "@
14730 : : movhpd\t{%2, %0|%0, %2}
14731 : 427 : vmovhpd\t{%2, %1, %0|%0, %1, %2}
14732 : 427 : unpcklpd\t{%2, %0|%0, %2}
14733 : : vunpcklpd\t{%2, %1, %0|%0, %1, %2}
14734 : 427 : #
14735 : 427 : #
14736 : 1992 : #"
14737 : 2419 : [(set_attr "isa" "noavx,avx,noavx,avx,*,*,*")
14738 : 2419 : (set_attr "type" "ssemov2,ssemov2,sselog,sselog,ssemov,fmov,imov")
14739 : 12 : (set (attr "prefix_data16")
14740 : 1572 : (if_then_else (eq_attr "alternative" "0")
14741 : 1572 : (const_string "1")
14742 : : (const_string "*")))
14743 : 820 : (set_attr "prefix" "orig,maybe_evex,orig,maybe_evex,*,*,*")
14744 : 427 : (set_attr "mode" "V1DF,V1DF,V2DF,V2DF,DF,DF,DF")])
14745 : 91 :
14746 : 91 : (define_split
14747 : 427 : [(set (match_operand:V2DF 0 "memory_operand")
14748 : : (vec_concat:V2DF
14749 : 90 : (vec_select:DF (match_dup 0) (parallel [(const_int 0)]))
14750 : 603 : (match_operand:DF 1 "register_operand")))]
14751 : 0 : "TARGET_SSE2 && reload_completed"
14752 : 427 : [(set (match_dup 0) (match_dup 1))]
14753 : 439 : "operands[0] = adjust_address (operands[0], DFmode, 8);")
14754 : :
14755 : 963055 : (define_expand "sse2_loadlpd_exp"
14756 : 963055 : [(set (match_operand:V2DF 0 "nonimmediate_operand")
14757 : 962640 : (vec_concat:V2DF
14758 : 963055 : (match_operand:DF 2 "nonimmediate_operand")
14759 : 963055 : (vec_select:DF
14760 : 962628 : (match_operand:V2DF 1 "nonimmediate_operand")
14761 : 427 : (parallel [(const_int 1)]))))]
14762 : 962930 : "TARGET_SSE2"
14763 : 10580 : {
14764 : 428 : rtx dst = ix86_fixup_binary_operands (UNKNOWN, V2DFmode, operands);
14765 : 962931 :
14766 : 962502 : emit_insn (gen_sse2_loadlpd (dst, operands[1], operands[2]));
14767 : 434 :
14768 : 428 : /* Fix up the destination if needed. */
14769 : 13 : if (dst != operands[0])
14770 : 434 : emit_move_insn (operands[0], dst);
14771 : 433 :
14772 : 7 : DONE;
14773 : 446 : })
14774 : 434 :
14775 : 7 : ;; Avoid combining registers from different units in a single alternative,
14776 : 429 : ;; see comment above inline_secondary_memory_needed function in i386.cc
14777 : 427 : (define_insn "sse2_loadlpd"
14778 : : [(set (match_operand:V2DF 0 "nonimmediate_operand"
14779 : 427 : "=v,x,v,x,v,x,x,v,m,m ,m")
14780 : 427 : (vec_concat:V2DF
14781 : : (match_operand:DF 2 "nonimmediate_operand"
14782 : 427 : "vm,m,m,x,v,0,0,v,x,*f,r")
14783 : 439 : (vec_select:DF
14784 : : (match_operand:V2DF 1 "nonimm_or_0_operand"
14785 : 427 : " C,0,v,0,v,x,o,o,0,0 ,0")
14786 : 427 : (parallel [(const_int 1)]))))]
14787 : 439 : "TARGET_SSE2 && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
14788 : 2533 : "@
14789 : 427 : %vmovq\t{%2, %0|%0, %2}
14790 : 427 : movlpd\t{%2, %0|%0, %2}
14791 : 457 : vmovlpd\t{%2, %1, %0|%0, %1, %2}
14792 : 457 : movsd\t{%2, %0|%0, %2}
14793 : 457 : vmovsd\t{%2, %1, %0|%0, %1, %2}
14794 : 427 : shufpd\t{$2, %1, %0|%0, %1, 2}
14795 : 457 : movhpd\t{%H1, %0|%0, %H1}
14796 : 457 : vmovhpd\t{%H1, %2, %0|%0, %2, %H1}
14797 : 448 : #
14798 : 469 : #
14799 : 457 : #"
14800 : 478 : [(set_attr "isa" "*,noavx,avx,noavx,avx,noavx,noavx,avx,*,*,*")
14801 : 427 : (set (attr "type")
14802 : 439 : (cond [(eq_attr "alternative" "5")
14803 : 427 : (const_string "sselog")
14804 : 427 : (eq_attr "alternative" "9")
14805 : 427 : (const_string "fmov")
14806 : 427 : (eq_attr "alternative" "10")
14807 : 469 : (const_string "imov")
14808 : 427 : (eq_attr "alternative" "0,1,2")
14809 : 427 : (const_string "ssemov2")
14810 : 427 : ]
14811 : 439 : (const_string "ssemov")))
14812 : 439 : (set (attr "prefix_data16")
14813 : 427 : (if_then_else (eq_attr "alternative" "1,6")
14814 : 427 : (const_string "1")
14815 : 427 : (const_string "*")))
14816 : 439 : (set (attr "length_immediate")
14817 : 427 : (if_then_else (eq_attr "alternative" "5")
14818 : 427 : (const_string "1")
14819 : 846 : (const_string "*")))
14820 : : (set (attr "prefix")
14821 : 11 : (cond [(eq_attr "alternative" "0")
14822 : : (const_string "maybe_vex")
14823 : : (eq_attr "alternative" "1,3,5,6")
14824 : : (const_string "orig")
14825 : 11 : (eq_attr "alternative" "2,4,7")
14826 : 11 : (const_string "maybe_evex")
14827 : : ]
14828 : : (const_string "*")))
14829 : : (set_attr "mode" "DF,V1DF,V1DF,V1DF,V1DF,V2DF,V1DF,V1DF,DF,DF,DF")])
14830 : 11 :
14831 : : (define_split
14832 : : [(set (match_operand:V2DF 0 "memory_operand")
14833 : : (vec_concat:V2DF
14834 : : (match_operand:DF 1 "register_operand")
14835 : 12 : (vec_select:DF (match_dup 0) (parallel [(const_int 1)]))))]
14836 : 0 : "TARGET_SSE2 && reload_completed"
14837 : : [(set (match_dup 0) (match_dup 1))]
14838 : 0 : "operands[0] = adjust_address (operands[0], DFmode, 0);")
14839 : 12 :
14840 : 287 : (define_insn "sse2_movsd_<mode>"
14841 : 276 : [(set (match_operand:VI8F_128 0 "nonimmediate_operand" "=x,v,x,v,m,x,x,v,o")
14842 : 274 : (vec_merge:VI8F_128
14843 : 0 : (match_operand:VI8F_128 2 "nonimmediate_operand" " x,v,m,m,v,0,0,v,0")
14844 : 261 : (match_operand:VI8F_128 1 "nonimmediate_operand" " 0,v,0,v,0,x,o,o,v")
14845 : 250 : (const_int 1)))]
14846 : 10247 : "TARGET_SSE2"
14847 : 250 : "@
14848 : 0 : movsd\t{%2, %0|%0, %2}
14849 : 74 : vmovsd\t{%2, %1, %0|%0, %1, %2}
14850 : 60 : movlpd\t{%2, %0|%0, %q2}
14851 : : vmovlpd\t{%2, %1, %0|%0, %1, %q2}
14852 : 14 : %vmovlpd\t{%2, %0|%q0, %2}
14853 : 74 : shufpd\t{$2, %1, %0|%0, %1, 2}
14854 : 6357 : movhps\t{%H1, %0|%0, %H1}
14855 : 14 : vmovhps\t{%H1, %2, %0|%0, %2, %H1}
14856 : 213 : %vmovhps\t{%1, %H0|%H0, %1}"
14857 : 6146 : [(set_attr "isa" "noavx,avx,noavx,avx,*,noavx,noavx,avx,*")
14858 : 16 : (set (attr "type")
14859 : 6132 : (if_then_else
14860 : 6132 : (eq_attr "alternative" "5")
14861 : 4 : (const_string "sselog")
14862 : 4555 : (const_string "ssemov2")))
14863 : 4551 : (set (attr "prefix_data16")
14864 : 4551 : (if_then_else
14865 : : (and (eq_attr "alternative" "2,4")
14866 : : (not (match_test "TARGET_AVX")))
14867 : : (const_string "1")
14868 : 12 : (const_string "*")))
14869 : : (set (attr "length_immediate")
14870 : : (if_then_else (eq_attr "alternative" "5")
14871 : : (const_string "1")
14872 : 12 : (const_string "*")))
14873 : : (set (attr "prefix")
14874 : : (cond [(eq_attr "alternative" "1,3,7")
14875 : : (const_string "maybe_evex")
14876 : : (eq_attr "alternative" "4,8")
14877 : : (const_string "maybe_vex")
14878 : : ]
14879 : : (const_string "orig")))
14880 : : (set_attr "mode" "DF,DF,V1DF,V1DF,V1DF,V2DF,V1DF,V1DF,V1DF")])
14881 : :
14882 : 6 : (define_insn "vec_dupv2df<mask_name>"
14883 : : [(set (match_operand:V2DF 0 "register_operand" "=x,v,v")
14884 : : (vec_duplicate:V2DF
14885 : 6 : (match_operand:DF 1 "nonimmediate_operand" "0,Yvm,vm")))]
14886 : 39385 : "TARGET_SSE2"
14887 : 6 : "@
14888 : 6 : unpcklpd\t%0, %0
14889 : 6 : %vmovddup\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}
14890 : 6 : vbroadcastsd\t{%1, }%g0<mask_operand2>{|, %1}"
14891 : : [(set_attr "isa" "noavx,sse3,*")
14892 : : (set_attr "type" "sselog1,ssemov,ssemov")
14893 : : (set_attr "prefix" "orig,maybe_evex,evex")
14894 : : (set_attr "mode" "V2DF,DF,V8DF")
14895 : : (set (attr "enabled")
14896 : : (cond [(eq_attr "alternative" "2")
14897 : 277 : (symbol_ref "TARGET_AVX512F && TARGET_EVEX512
14898 : 4267 : && !TARGET_AVX512VL && !TARGET_PREFER_AVX256")
14899 : : (match_test "<mask_avx512vl_condition>")
14900 : 56 : (const_string "*")
14901 : : ]
14902 : : (symbol_ref "false")))])
14903 : 4038 :
14904 : : (define_insn "vec_concatv2df"
14905 : 2019 : [(set (match_operand:V2DF 0 "register_operand" "=x,x,v,x,x, v,x,x")
14906 : : (vec_concat:V2DF
14907 : : (match_operand:DF 1 "nonimmediate_operand" " 0,x,v,0,x,vm,0,0")
14908 : : (match_operand:DF 2 "nonimm_or_0_operand" " x,x,v,m,m, C,x,m")))]
14909 : 19568 : "TARGET_SSE && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
14910 : : "@
14911 : : unpcklpd\t{%2, %0|%0, %2}
14912 : : vunpcklpd\t{%2, %1, %0|%0, %1, %2}
14913 : 6123 : vunpcklpd\t{%2, %1, %0|%0, %1, %2}
14914 : 6123 : movhpd\t{%2, %0|%0, %2}
14915 : : vmovhpd\t{%2, %1, %0|%0, %1, %2}
14916 : : %vmovq\t{%1, %0|%0, %1}
14917 : 6123 : movlhps\t{%2, %0|%0, %2}
14918 : : movhps\t{%2, %0|%0, %2}"
14919 : : [(set (attr "isa")
14920 : : (cond [(eq_attr "alternative" "0,3")
14921 : : (const_string "sse2_noavx")
14922 : : (eq_attr "alternative" "1,4")
14923 : : (const_string "avx")
14924 : : (eq_attr "alternative" "2")
14925 : : (const_string "avx512vl")
14926 : : (eq_attr "alternative" "5")
14927 : : (const_string "sse2")
14928 : : ]
14929 : : (const_string "noavx")))
14930 : : (set (attr "type")
14931 : : (if_then_else
14932 : : (eq_attr "alternative" "0,1,2")
14933 : : (const_string "sselog")
14934 : : (const_string "ssemov2")))
14935 : : (set (attr "prefix_data16")
14936 : : (if_then_else (eq_attr "alternative" "3")
14937 : : (const_string "1")
14938 : : (const_string "*")))
14939 : : (set (attr "prefix")
14940 : : (cond [(eq_attr "alternative" "1,4")
14941 : : (const_string "vex")
14942 : : (eq_attr "alternative" "2")
14943 : : (const_string "evex")
14944 : : (eq_attr "alternative" "5")
14945 : : (const_string "maybe_vex")
14946 : : ]
14947 : : (const_string "orig")))
14948 : : (set_attr "mode" "V2DF,V2DF,V2DF,V1DF,V1DF,DF,V4SF,V2SF")])
14949 : :
14950 : : ;; vmovq clears also the higher bits.
14951 : : (define_insn "vec_set<mode>_0"
14952 : : [(set (match_operand:VF2_512_256 0 "register_operand" "=v")
14953 : : (vec_merge:VF2_512_256
14954 : : (vec_duplicate:VF2_512_256
14955 : : (match_operand:<ssescalarmode> 2 "nonimmediate_operand" "vm"))
14956 : : (match_operand:VF2_512_256 1 "const0_operand")
14957 : : (const_int 1)))]
14958 : 69 : "TARGET_AVX"
14959 : : "vmovq\t{%2, %x0|%x0, %2}"
14960 : : [(set_attr "type" "ssemov")
14961 : : (set_attr "prefix" "maybe_evex")
14962 : 42 : (set_attr "mode" "DF")])
14963 : 42 :
14964 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
14965 : : ;;
14966 : 42 : ;; Parallel integer down-conversion operations
14967 : : ;;
14968 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
14969 : :
14970 : : (define_mode_iterator PMOV_DST_MODE_1 [V16QI V16HI V8SI V8HI])
14971 : : (define_mode_attr pmov_src_mode
14972 : : [(V16QI "V16SI") (V16HI "V16SI") (V8SI "V8DI") (V8HI "V8DI")])
14973 : : (define_mode_attr pmov_src_lower
14974 : : [(V16QI "v16si") (V16HI "v16si") (V8SI "v8di") (V8HI "v8di")])
14975 : : (define_mode_attr pmov_suff_1
14976 : : [(V16QI "db") (V16HI "dw") (V8SI "qd") (V8HI "qw")])
14977 : :
14978 : : (define_expand "trunc<pmov_src_lower><mode>2"
14979 : : [(set (match_operand:PMOV_DST_MODE_1 0 "nonimmediate_operand")
14980 : : (truncate:PMOV_DST_MODE_1
14981 : : (match_operand:<pmov_src_mode> 1 "register_operand")))]
14982 : : "TARGET_AVX512F && TARGET_EVEX512")
14983 : :
14984 : : (define_insn "*avx512f_<code><pmov_src_lower><mode>2"
14985 : : [(set (match_operand:PMOV_DST_MODE_1 0 "nonimmediate_operand" "=v,m")
14986 : : (any_truncate:PMOV_DST_MODE_1
14987 : : (match_operand:<pmov_src_mode> 1 "register_operand" "v,v")))]
14988 : 50 : "TARGET_AVX512F && TARGET_EVEX512"
14989 : : "vpmov<trunsuffix><pmov_suff_1>\t{%1, %0|%0, %1}"
14990 : : [(set_attr "type" "ssemov")
14991 : : (set_attr "memory" "none,store")
14992 : 2626 : (set_attr "prefix" "evex")
14993 : 2417 : (set_attr "mode" "<sseinsnmode>")])
14994 : :
14995 : : (define_insn_and_split "*avx512bw_permvar_truncv16siv16hi_1"
14996 : : [(set (match_operand:V16HI 0 "nonimmediate_operand")
14997 : : (vec_select:V16HI
14998 : : (unspec:V32HI
14999 : : [(match_operand:V32HI 1 "register_operand")
15000 : : (match_operand:V32HI 2 "permvar_truncate_operand")]
15001 : : UNSPEC_VPERMVAR)
15002 : : (parallel [(const_int 0) (const_int 1)
15003 : : (const_int 2) (const_int 3)
15004 : : (const_int 4) (const_int 5)
15005 : : (const_int 6) (const_int 7)
15006 : : (const_int 8) (const_int 9)
15007 : : (const_int 10) (const_int 11)
15008 : : (const_int 12) (const_int 13)
15009 : : (const_int 14) (const_int 15)])))]
15010 : 2 : "TARGET_AVX512BW && TARGET_EVEX512 && ix86_pre_reload_split ()"
15011 : 0 : "#"
15012 : : "&& 1"
15013 : 0 : [(set (match_dup 0)
15014 : 1 : (truncate:V16HI (match_dup 1)))]
15015 : 2 : "operands[1] = lowpart_subreg (V16SImode,
15016 : 1 : force_reg (V32HImode, operands[1]),
15017 : 1 : V32HImode);")
15018 : :
15019 : : (define_insn_and_split "*avx512bw_permvar_truncv16siv16hi_1_hf"
15020 : 1 : [(set (match_operand:V16HF 0 "nonimmediate_operand")
15021 : 1 : (vec_select:V16HF
15022 : 1 : (subreg:V32HF
15023 : 1 : (unspec:V32HI
15024 : 1 : [(match_operand:V32HI 1 "register_operand")
15025 : : (match_operand:V32HI 2 "permvar_truncate_operand")]
15026 : : UNSPEC_VPERMVAR) 0)
15027 : 1 : (parallel [(const_int 0) (const_int 1)
15028 : 1 : (const_int 2) (const_int 3)
15029 : 1 : (const_int 4) (const_int 5)
15030 : : (const_int 6) (const_int 7)
15031 : : (const_int 8) (const_int 9)
15032 : : (const_int 10) (const_int 11)
15033 : : (const_int 12) (const_int 13)
15034 : 12 : (const_int 14) (const_int 15)])))]
15035 : 2 : "TARGET_AVX512BW && TARGET_EVEX512 && ix86_pre_reload_split ()"
15036 : 0 : "#"
15037 : : "&& 1"
15038 : 12 : [(set (match_dup 0)
15039 : 1 : (truncate:V16HI (match_dup 1)))]
15040 : 2 : {
15041 : 2 : operands[1] = lowpart_subreg (V16SImode,
15042 : 1 : force_reg (V32HImode, operands[1]),
15043 : : V32HImode);
15044 : 1 : if (MEM_P (operands[0]))
15045 : 0 : operands[0] = lowpart_subreg (V16HImode, operands[0], V16HFmode);
15046 : : else
15047 : : {
15048 : 250 : rtx op0 = gen_reg_rtx (V16HImode);
15049 : 1 : emit_insn (gen_truncv16siv16hi2 (op0, operands[1]));
15050 : 1 : emit_move_insn (operands[0], lowpart_subreg (V16HFmode, op0, V16HImode));
15051 : 250 : DONE;
15052 : 249 : }
15053 : 249 : })
15054 : 249 :
15055 : 249 :
15056 : 249 : (define_insn_and_split "*avx512f_permvar_truncv8siv8hi_1"
15057 : 0 : [(set (match_operand:V8HI 0 "nonimmediate_operand")
15058 : 0 : (vec_select:V8HI
15059 : 0 : (unspec:V16HI
15060 : 0 : [(match_operand:V16HI 1 "register_operand")
15061 : : (match_operand:V16HI 2 "permvar_truncate_operand")]
15062 : : UNSPEC_VPERMVAR)
15063 : 0 : (parallel [(const_int 0) (const_int 1)
15064 : 0 : (const_int 2) (const_int 3)
15065 : 0 : (const_int 4) (const_int 5)
15066 : : (const_int 6) (const_int 7)])))]
15067 : 2 : "TARGET_AVX512VL && TARGET_AVX512BW && ix86_pre_reload_split ()"
15068 : 0 : "#"
15069 : : "&& 1"
15070 : 0 : [(set (match_dup 0)
15071 : 2 : (truncate:V8HI (match_dup 1)))]
15072 : 2 : "operands[1] = lowpart_subreg (V8SImode,
15073 : 2 : force_reg (V16HImode, operands[1]),
15074 : 2 : V16HImode);")
15075 : 1 :
15076 : 1 : (define_insn_and_split "*avx512f_permvar_truncv8siv8hi_1_hf"
15077 : 1 : [(set (match_operand:V8HF 0 "nonimmediate_operand")
15078 : 2 : (vec_select:V8HF
15079 : 1 : (subreg:V16HF
15080 : 1 : (unspec:V16HI
15081 : 1 : [(match_operand:V16HI 1 "register_operand")
15082 : : (match_operand:V16HI 2 "permvar_truncate_operand")]
15083 : : UNSPEC_VPERMVAR) 0)
15084 : 1 : (parallel [(const_int 0) (const_int 1)
15085 : 1 : (const_int 2) (const_int 3)
15086 : 1 : (const_int 4) (const_int 5)
15087 : : (const_int 6) (const_int 7)])))]
15088 : 2 : "TARGET_AVX512VL && TARGET_AVX512BW && ix86_pre_reload_split ()"
15089 : 0 : "#"
15090 : : "&& 1"
15091 : 12 : [(set (match_dup 0)
15092 : 1 : (truncate:V8HI (match_dup 1)))]
15093 : 1 : {
15094 : 1 : operands[1] = lowpart_subreg (V8SImode,
15095 : 12 : force_reg (V16HImode, operands[1]),
15096 : 2298 : V16HImode);
15097 : 2299 : if (MEM_P (operands[0]))
15098 : 455 : operands[0] = lowpart_subreg (V8HImode, operands[0], V8HFmode);
15099 : 455 : else
15100 : 692 : {
15101 : 114 : rtx op0 = gen_reg_rtx (V8HImode);
15102 : 2 : emit_insn (gen_truncv8siv8hi2 (op0, operands[1]));
15103 : 3 : emit_move_insn (operands[0], lowpart_subreg (V8HFmode, op0, V8HImode));
15104 : 3 : DONE;
15105 : : }
15106 : 1 : })
15107 : :
15108 : 1 : (define_insn_and_split "*avx512f_vpermvar_truncv8div8si_1"
15109 : 1 : [(set (match_operand:V8SI 0 "nonimmediate_operand")
15110 : 1 : (vec_select:V8SI
15111 : 1 : (unspec:V16SI
15112 : 0 : [(match_operand:V16SI 1 "register_operand")
15113 : 1 : (match_operand:V16SI 2 "permvar_truncate_operand")]
15114 : : UNSPEC_VPERMVAR)
15115 : : (parallel [(const_int 0) (const_int 1)
15116 : 0 : (const_int 2) (const_int 3)
15117 : 0 : (const_int 4) (const_int 5)
15118 : 0 : (const_int 6) (const_int 7)])))]
15119 : 2 : "TARGET_AVX512F && TARGET_EVEX512 && ix86_pre_reload_split ()"
15120 : 0 : "#"
15121 : : "&& 1"
15122 : 0 : [(set (match_dup 0)
15123 : 12 : (truncate:V8SI (match_dup 1)))]
15124 : 2 : "operands[1] = lowpart_subreg (V8DImode,
15125 : 1 : force_reg (V16SImode, operands[1]),
15126 : 1 : V16SImode);")
15127 : 11 :
15128 : : (define_insn "avx512f_<code><pmov_src_lower><mode>2_mask"
15129 : 1 : [(set (match_operand:PMOV_DST_MODE_1 0 "nonimmediate_operand" "=v,m")
15130 : 1 : (vec_merge:PMOV_DST_MODE_1
15131 : 1 : (any_truncate:PMOV_DST_MODE_1
15132 : 1 : (match_operand:<pmov_src_mode> 1 "register_operand" "v,v"))
15133 : 1 : (match_operand:PMOV_DST_MODE_1 2 "nonimm_or_0_operand" "0C,0")
15134 : : (match_operand:<avx512fmaskmode> 3 "register_operand" "Yk,Yk")))]
15135 : 7368 : "TARGET_AVX512F && TARGET_EVEX512"
15136 : 1 : "vpmov<trunsuffix><pmov_suff_1>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
15137 : 12 : [(set_attr "type" "ssemov")
15138 : 1 : (set_attr "memory" "none,store")
15139 : 3603 : (set_attr "prefix" "evex")
15140 : 2727 : (set_attr "mode" "<sseinsnmode>")])
15141 : 11 :
15142 : : (define_expand "avx512f_<code><pmov_src_lower><mode>2_mask_store"
15143 : : [(set (match_operand:PMOV_DST_MODE_1 0 "memory_operand")
15144 : 1 : (vec_merge:PMOV_DST_MODE_1
15145 : : (any_truncate:PMOV_DST_MODE_1
15146 : 1 : (match_operand:<pmov_src_mode> 1 "register_operand"))
15147 : 1 : (match_dup 0)
15148 : 1 : (match_operand:<avx512fmaskmode> 2 "register_operand")))]
15149 : 1 : "TARGET_AVX512F && TARGET_EVEX512")
15150 : 0 :
15151 : 13 : (define_expand "truncv32hiv32qi2"
15152 : : [(set (match_operand:V32QI 0 "nonimmediate_operand")
15153 : : (truncate:V32QI
15154 : : (match_operand:V32HI 1 "register_operand")))]
15155 : 12 : "TARGET_AVX512BW && TARGET_EVEX512")
15156 : :
15157 : : (define_insn "avx512bw_<code>v32hiv32qi2"
15158 : : [(set (match_operand:V32QI 0 "nonimmediate_operand" "=v,m")
15159 : : (any_truncate:V32QI
15160 : : (match_operand:V32HI 1 "register_operand" "v,v")))]
15161 : 1508 : "TARGET_AVX512BW && TARGET_EVEX512"
15162 : : "vpmov<trunsuffix>wb\t{%1, %0|%0, %1}"
15163 : : [(set_attr "type" "ssemov")
15164 : : (set_attr "memory" "none,store")
15165 : 216 : (set_attr "prefix" "evex")
15166 : 205 : (set_attr "mode" "XI")])
15167 : :
15168 : : (define_insn_and_split "*avx512f_permvar_truncv32hiv32qi_1"
15169 : 11 : [(set (match_operand:V32QI 0 "nonimmediate_operand")
15170 : 11 : (vec_select:V32QI
15171 : 11 : (unspec:V64QI
15172 : 11 : [(match_operand:V64QI 1 "register_operand")
15173 : 11 : (match_operand:V64QI 2 "permvar_truncate_operand")]
15174 : 11 : UNSPEC_VPERMVAR)
15175 : 11 : (parallel [(const_int 0) (const_int 1)
15176 : : (const_int 2) (const_int 3)
15177 : : (const_int 4) (const_int 5)
15178 : : (const_int 6) (const_int 7)
15179 : : (const_int 8) (const_int 9)
15180 : : (const_int 10) (const_int 11)
15181 : : (const_int 12) (const_int 13)
15182 : : (const_int 14) (const_int 15)
15183 : : (const_int 16) (const_int 17)
15184 : : (const_int 18) (const_int 19)
15185 : : (const_int 20) (const_int 21)
15186 : : (const_int 22) (const_int 23)
15187 : : (const_int 24) (const_int 25)
15188 : : (const_int 26) (const_int 27)
15189 : : (const_int 28) (const_int 29)
15190 : : (const_int 30) (const_int 31)])))]
15191 : 2 : "TARGET_AVX512VBMI && TARGET_EVEX512 && ix86_pre_reload_split ()"
15192 : 0 : "#"
15193 : : "&& 1"
15194 : 0 : [(set (match_dup 0)
15195 : 1 : (truncate:V32QI (match_dup 1)))]
15196 : 2 : "operands[1] = lowpart_subreg (V32HImode,
15197 : 1 : force_reg (V64QImode, operands[1]),
15198 : 1 : V64QImode);")
15199 : :
15200 : : (define_insn "avx512bw_<code>v32hiv32qi2_mask"
15201 : 1 : [(set (match_operand:V32QI 0 "nonimmediate_operand" "=v,m")
15202 : 1 : (vec_merge:V32QI
15203 : 1 : (any_truncate:V32QI
15204 : 1 : (match_operand:V32HI 1 "register_operand" "v,v"))
15205 : 1 : (match_operand:V32QI 2 "nonimm_or_0_operand" "0C,0")
15206 : : (match_operand:SI 3 "register_operand" "Yk,Yk")))]
15207 : 1770 : "TARGET_AVX512BW && TARGET_EVEX512"
15208 : 1 : "vpmov<trunsuffix>wb\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
15209 : 1 : [(set_attr "type" "ssemov")
15210 : 1 : (set_attr "memory" "none,store")
15211 : 855 : (set_attr "prefix" "evex")
15212 : 855 : (set_attr "mode" "XI")])
15213 : :
15214 : : (define_expand "avx512bw_<code>v32hiv32qi2_mask_store"
15215 : 6 : [(set (match_operand:V32QI 0 "nonimmediate_operand")
15216 : : (vec_merge:V32QI
15217 : : (any_truncate:V32QI
15218 : 6 : (match_operand:V32HI 1 "register_operand"))
15219 : 6 : (match_dup 0)
15220 : 6 : (match_operand:SI 2 "register_operand")))]
15221 : 6 : "TARGET_AVX512BW && TARGET_EVEX512")
15222 : 6 :
15223 : 6 : (define_mode_iterator PMOV_DST_MODE_2
15224 : : [V4SI V8HI (V16QI "TARGET_AVX512BW")])
15225 : : (define_mode_iterator PMOV_DST_MODE_2_AVX2
15226 : : [V4SI V8HI V16QI])
15227 : : (define_mode_attr pmov_suff_2
15228 : 1167 : [(V16QI "wb") (V8HI "dw") (V4SI "qd")])
15229 : 1167 :
15230 : : (define_expand "trunc<ssedoublemodelower><mode>2"
15231 : : [(set (match_operand:PMOV_DST_MODE_2_AVX2 0 "nonimmediate_operand")
15232 : : (truncate:PMOV_DST_MODE_2_AVX2
15233 : : (match_operand:<ssedoublemode> 1 "register_operand")))]
15234 : : "TARGET_AVX2"
15235 : 261 : {
15236 : 261 : if (!TARGET_AVX512VL
15237 : 247 : || (<MODE>mode == V16QImode && !TARGET_AVX512BW))
15238 : : {
15239 : 6 : ix86_expand_trunc_with_avx2_noavx512f (operands[0],
15240 : : operands[1],
15241 : : <ssedoublevecmode>mode);
15242 : 6 : DONE;
15243 : : }
15244 : : })
15245 : :
15246 : : (define_insn "*avx512vl_<code><ssedoublemodelower><mode>2"
15247 : 255 : [(set (match_operand:PMOV_DST_MODE_2 0 "nonimmediate_operand" "=v,m")
15248 : 255 : (any_truncate:PMOV_DST_MODE_2
15249 : 255 : (match_operand:<ssedoublemode> 1 "register_operand" "v,v")))]
15250 : 669 : "TARGET_AVX512VL"
15251 : : "vpmov<trunsuffix><pmov_suff_2>\t{%1, %0|%0, %1}"
15252 : 255 : [(set_attr "type" "ssemov")
15253 : : (set_attr "memory" "none,store")
15254 : 754 : (set_attr "prefix" "evex")
15255 : 1009 : (set_attr "mode" "<sseinsnmode>")])
15256 : 255 :
15257 : 255 : (define_insn_and_split "*avx512f_permvar_truncv16hiv16qi_1"
15258 : 20058 : [(set (match_operand:V16QI 0 "nonimmediate_operand")
15259 : 12820 : (vec_select:V16QI
15260 : 7238 : (unspec:V32QI
15261 : 1318 : [(match_operand:V32QI 1 "register_operand")
15262 : 8570 : (match_operand:V32QI 2 "permvar_truncate_operand")]
15263 : 8522 : UNSPEC_VPERMVAR)
15264 : : (parallel [(const_int 0) (const_int 1)
15265 : 5987 : (const_int 2) (const_int 3)
15266 : 5987 : (const_int 4) (const_int 5)
15267 : 49 : (const_int 6) (const_int 7)
15268 : 5858 : (const_int 8) (const_int 9)
15269 : 5857 : (const_int 10) (const_int 11)
15270 : 49 : (const_int 12) (const_int 13)
15271 : 2597 : (const_int 14) (const_int 15)])))]
15272 : 2599 : "TARGET_AVX512VL && TARGET_AVX512VBMI
15273 : 2 : && ix86_pre_reload_split ()"
15274 : 0 : "#"
15275 : 53 : "&& 1"
15276 : 53 : [(set (match_dup 0)
15277 : 1 : (truncate:V16QI (match_dup 1)))]
15278 : 3 : "operands[1] = lowpart_subreg (V16HImode,
15279 : 1 : force_reg (V32QImode, operands[1]),
15280 : 2 : V32QImode);")
15281 : :
15282 : : (define_insn_and_split "*avx512f_permvar_truncv4div4si_1"
15283 : 1 : [(set (match_operand:V4SI 0 "nonimmediate_operand")
15284 : 1 : (vec_select:V4SI
15285 : 1 : (unspec:V8SI
15286 : 1 : [(match_operand:V8SI 1 "register_operand")
15287 : 1 : (match_operand:V8SI 2 "permvar_truncate_operand")]
15288 : : UNSPEC_VPERMVAR)
15289 : : (parallel [(const_int 0) (const_int 1)
15290 : 1 : (const_int 2) (const_int 3)])))]
15291 : 3 : "TARGET_AVX512VL && ix86_pre_reload_split ()"
15292 : 1 : "#"
15293 : : "&& 1"
15294 : 0 : [(set (match_dup 0)
15295 : 1 : (truncate:V4SI (match_dup 1)))]
15296 : 1 : "operands[1] = lowpart_subreg (V4DImode,
15297 : : force_reg (V8SImode, operands[1]),
15298 : 0 : V8SImode);")
15299 : 414 :
15300 : 414 : (define_insn "<avx512>_<code><ssedoublemodelower><mode>2_mask"
15301 : 279 : [(set (match_operand:PMOV_DST_MODE_2 0 "nonimmediate_operand" "=v,m")
15302 : 279 : (vec_merge:PMOV_DST_MODE_2
15303 : 233 : (any_truncate:PMOV_DST_MODE_2
15304 : 233 : (match_operand:<ssedoublemode> 1 "register_operand" "v,v"))
15305 : 645 : (match_operand:PMOV_DST_MODE_2 2 "nonimm_or_0_operand" "0C,0")
15306 : 184 : (match_operand:<avx512fmaskmode> 3 "register_operand" "Yk,Yk")))]
15307 : 1731 : "TARGET_AVX512VL"
15308 : 231 : "vpmov<trunsuffix><pmov_suff_2>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
15309 : 231 : [(set_attr "type" "ssemov")
15310 : 231 : (set_attr "memory" "none,store")
15311 : 358402092 : (set_attr "prefix" "evex")
15312 : 885 : (set_attr "mode" "<sseinsnmode>")])
15313 : 358401207 :
15314 : : (define_expand "<avx512>_<code><ssedoublemodelower><mode>2_mask_store"
15315 : 11628 : [(set (match_operand:PMOV_DST_MODE_2 0 "nonimmediate_operand")
15316 : 7914 : (vec_merge:PMOV_DST_MODE_2
15317 : 3714 : (any_truncate:PMOV_DST_MODE_2
15318 : 2885 : (match_operand:<ssedoublemode> 1 "register_operand"))
15319 : 6599 : (match_dup 0)
15320 : 3714 : (match_operand:<avx512fmaskmode> 2 "register_operand")))]
15321 : 303 : "TARGET_AVX512VL")
15322 : 1709 :
15323 : 1406 : (define_mode_iterator PMOV_SRC_MODE_3 [V4DI V2DI V8SI V4SI (V8HI "TARGET_AVX512BW")])
15324 : : (define_mode_iterator PMOV_SRC_MODE_3_AVX2
15325 : 1406 : [(V4DI "TARGET_AVX2") V2DI (V8SI "TARGET_AVX2") V4SI V8HI])
15326 : 1406 : (define_mode_attr pmov_dst_3_lower
15327 : 1582 : [(V4DI "v4qi") (V2DI "v2qi") (V8SI "v8qi") (V4SI "v4qi") (V8HI "v8qi")])
15328 : 1582 : (define_mode_attr pmov_dst_3
15329 : 1406 : [(V4DI "V4QI") (V2DI "V2QI") (V8SI "V8QI") (V4SI "V4QI") (V8HI "V8QI")])
15330 : 1406 : (define_mode_attr pmov_dst_zeroed_3
15331 : : [(V4DI "V12QI") (V2DI "V14QI") (V8SI "V8QI") (V4SI "V12QI") (V8HI "V8QI")])
15332 : 703 : (define_mode_attr pmov_suff_3
15333 : 703 : [(V4DI "qb") (V2DI "qb") (V8SI "db") (V4SI "db") (V8HI "wb")])
15334 : :
15335 : : (define_expand "trunc<mode><pmov_dst_3_lower>2"
15336 : 202 : [(set (match_operand:<pmov_dst_3> 0 "register_operand")
15337 : 202 : (truncate:<pmov_dst_3>
15338 : : (match_operand:PMOV_SRC_MODE_3_AVX2 1 "register_operand")))]
15339 : : "TARGET_SSSE3"
15340 : 81 : {
15341 : 81 : if (TARGET_AVX512VL
15342 : 41 : && (<MODE>mode != V8HImode || TARGET_AVX512BW))
15343 : : {
15344 : 66 : rtx op0 = gen_reg_rtx (V16QImode);
15345 : :
15346 : 66 : emit_insn (gen_avx512vl_truncate<mode>v<ssescalarnum>qi2
15347 : : (op0, operands[1], CONST0_RTX (<pmov_dst_zeroed_3>mode)));
15348 : :
15349 : 66 : emit_move_insn (operands[0],
15350 : : lowpart_subreg (<pmov_dst_3>mode, op0, V16QImode));
15351 : 66 : }
15352 : : else
15353 : : {
15354 : 15 : ix86_expand_trunc_with_avx2_noavx512f (operands[0],
15355 : : operands[1],
15356 : : <ssebytemode>mode);
15357 : : }
15358 : 81 : DONE;
15359 : : })
15360 : :
15361 : : (define_insn "avx512vl_<code><mode>v<ssescalarnum>qi2"
15362 : : [(set (match_operand:V16QI 0 "register_operand" "=v")
15363 : : (vec_concat:V16QI
15364 : : (any_truncate:<pmov_dst_3>
15365 : : (match_operand:PMOV_SRC_MODE_3 1 "register_operand" "v"))
15366 : : (match_operand:<pmov_dst_zeroed_3> 2 "const0_operand")))]
15367 : 49 : "TARGET_AVX512VL"
15368 : : "vpmov<trunsuffix><pmov_suff_3>\t{%1, %0|%0, %1}"
15369 : : [(set_attr "type" "ssemov")
15370 : : (set_attr "prefix" "evex")
15371 : 925 : (set_attr "mode" "TI")])
15372 : 925 :
15373 : : (define_insn_and_split "*avx512f_pshufb_truncv8hiv8qi_1"
15374 : : [(set (match_operand:DI 0 "register_operand")
15375 : : (vec_select:DI
15376 : : (subreg:V2DI
15377 : 11 : (unspec:V16QI
15378 : 0 : [(match_operand:V16QI 1 "register_operand")
15379 : : (match_operand:V16QI 2 "pshufb_truncv8hiv8qi_operand")]
15380 : 0 : UNSPEC_PSHUFB) 0)
15381 : 11 : (parallel [(const_int 0)])))]
15382 : 16 : "TARGET_AVX512VL && TARGET_AVX512BW && ix86_pre_reload_split ()"
15383 : 11 : "#"
15384 : 20 : "&& 1"
15385 : 25 : [(const_int 0)]
15386 : 14 : {
15387 : 14 : rtx op1 = gen_reg_rtx (V8QImode);
15388 : 1 : operands[1] = lowpart_subreg (V8HImode,
15389 : : force_reg (V16QImode, operands[1]),
15390 : : V16QImode);
15391 : 1 : emit_insn (gen_truncv8hiv8qi2 (op1, operands[1]));
15392 : 1 : emit_move_insn (operands[0], lowpart_subreg (DImode, op1, V8QImode));
15393 : 1 : DONE;
15394 : : })
15395 : :
15396 : : (define_insn "*avx512vl_<code>v2div2qi2_store_1"
15397 : : [(set (match_operand:V2QI 0 "memory_operand" "=m")
15398 : : (any_truncate:V2QI
15399 : : (match_operand:V2DI 1 "register_operand" "v")))]
15400 : 0 : "TARGET_AVX512VL"
15401 : 60 : "vpmov<trunsuffix>qb\t{%1, %0|%0, %1}"
15402 : : [(set_attr "type" "ssemov")
15403 : : (set_attr "memory" "store")
15404 : 70 : (set_attr "prefix" "evex")
15405 : 81 : (set_attr "mode" "TI")])
15406 : :
15407 : 70 : (define_insn_and_split "*avx512vl_<code>v2div2qi2_store_2"
15408 : 55 : [(set (match_operand:HI 0 "memory_operand")
15409 : 122 : (subreg:HI
15410 : 11 : (any_truncate:V2QI
15411 : 11 : (match_operand:V2DI 1 "register_operand")) 0))]
15412 : 11 : "TARGET_AVX512VL && ix86_pre_reload_split ()"
15413 : 518 : "#"
15414 : 11 : "&& 1"
15415 : 11 : [(set (match_dup 0)
15416 : 0 : (any_truncate:V2QI (match_dup 1)))]
15417 : 422 : "operands[0] = adjust_address_nv (operands[0], V2QImode, 0);")
15418 : 422 :
15419 : 0 : (define_insn "avx512vl_<code>v2div2qi2_mask"
15420 : 459010755 : [(set (match_operand:V16QI 0 "register_operand" "=v")
15421 : 459010755 : (vec_concat:V16QI
15422 : 7659574 : (vec_merge:V2QI
15423 : 0 : (any_truncate:V2QI
15424 : 459219746 : (match_operand:V2DI 1 "register_operand" "v"))
15425 : : (vec_select:V2QI
15426 : : (match_operand:V16QI 2 "nonimm_or_0_operand" "0C")
15427 : 0 : (parallel [(const_int 0) (const_int 1)]))
15428 : 0 : (match_operand:QI 3 "register_operand" "Yk"))
15429 : 0 : (const_vector:V14QI [(const_int 0) (const_int 0)
15430 : : (const_int 0) (const_int 0)
15431 : : (const_int 0) (const_int 0)
15432 : : (const_int 0) (const_int 0)
15433 : : (const_int 0) (const_int 0)
15434 : 11 : (const_int 0) (const_int 0)
15435 : 0 : (const_int 0) (const_int 0)])))]
15436 : 138 : "TARGET_AVX512VL"
15437 : 0 : "vpmov<trunsuffix>qb\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
15438 : 11 : [(set_attr "type" "ssemov")
15439 : 11 : (set_attr "prefix" "evex")
15440 : 428 : (set_attr "mode" "TI")])
15441 : 428 :
15442 : 11 : (define_insn "*avx512vl_<code>v2div2qi2_mask_1"
15443 : 11 : [(set (match_operand:V16QI 0 "register_operand" "=v")
15444 : 11 : (vec_concat:V16QI
15445 : : (vec_merge:V2QI
15446 : : (any_truncate:V2QI
15447 : : (match_operand:V2DI 1 "register_operand" "v"))
15448 : : (const_vector:V2QI [(const_int 0) (const_int 0)])
15449 : : (match_operand:QI 2 "register_operand" "Yk"))
15450 : : (const_vector:V14QI [(const_int 0) (const_int 0)
15451 : : (const_int 0) (const_int 0)
15452 : : (const_int 0) (const_int 0)
15453 : : (const_int 0) (const_int 0)
15454 : : (const_int 0) (const_int 0)
15455 : : (const_int 0) (const_int 0)
15456 : : (const_int 0) (const_int 0)])))]
15457 : 204 : "TARGET_AVX512VL"
15458 : : "vpmov<trunsuffix>qb\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
15459 : : [(set_attr "type" "ssemov")
15460 : : (set_attr "prefix" "evex")
15461 : 204 : (set_attr "mode" "TI")])
15462 : 204 :
15463 : : (define_insn "avx512vl_<code>v2div2qi2_mask_store_1"
15464 : : [(set (match_operand:V2QI 0 "memory_operand" "=m")
15465 : : (vec_merge:V2QI
15466 : : (any_truncate:V2QI
15467 : : (match_operand:V2DI 1 "register_operand" "v"))
15468 : : (match_dup 0)
15469 : : (match_operand:QI 2 "register_operand" "Yk")))]
15470 : 86 : "TARGET_AVX512VL"
15471 : : "vpmov<trunsuffix>qb\t{%1, %0%{%2%}|%0%{%2%}, %1}"
15472 : : [(set_attr "type" "ssemov")
15473 : : (set_attr "memory" "store")
15474 : 278 : (set_attr "prefix" "evex")
15475 : 278 : (set_attr "mode" "TI")])
15476 : :
15477 : : (define_expand "avx512vl_<code>v2div2qi2_mask_store_2"
15478 : : [(match_operand:HI 0 "memory_operand")
15479 : : (any_truncate:V2QI
15480 : : (match_operand:V2DI 1 "register_operand"))
15481 : : (match_operand:QI 2 "register_operand")]
15482 : : "TARGET_AVX512VL"
15483 : 33 : {
15484 : 33 : operands[0] = adjust_address_nv (operands[0], V2QImode, 0);
15485 : 33 : emit_insn (gen_avx512vl_<code>v2div2qi2_mask_store_1 (operands[0],
15486 : : operands[1],
15487 : : operands[2]));
15488 : 33 : DONE;
15489 : : })
15490 : :
15491 : : (define_insn "*avx512vl_<code><mode>v4qi2_store_1"
15492 : : [(set (match_operand:V4QI 0 "memory_operand" "=m")
15493 : : (any_truncate:V4QI
15494 : : (match_operand:VI4_128_8_256 1 "register_operand" "v")))]
15495 : 0 : "TARGET_AVX512VL"
15496 : : "vpmov<trunsuffix><pmov_suff_3>\t{%1, %0|%0, %1}"
15497 : : [(set_attr "type" "ssemov")
15498 : : (set_attr "memory" "store")
15499 : 0 : (set_attr "prefix" "evex")
15500 : 0 : (set_attr "mode" "TI")])
15501 : 0 :
15502 : : (define_insn_and_split "*avx512vl_<code><mode>v4qi2_store_2"
15503 : 194 : [(set (match_operand:SI 0 "memory_operand")
15504 : 194 : (subreg:SI
15505 : : (any_truncate:V4QI
15506 : 194 : (match_operand:VI4_128_8_256 1 "register_operand")) 0))]
15507 : 0 : "TARGET_AVX512VL && ix86_pre_reload_split ()"
15508 : 156 : "#"
15509 : : "&& 1"
15510 : 11 : [(set (match_dup 0)
15511 : 67 : (any_truncate:V4QI (match_dup 1)))]
15512 : 67 : "operands[0] = adjust_address_nv (operands[0], V4QImode, 0);")
15513 : 0 :
15514 : 11 : (define_insn "avx512vl_<code><mode>v4qi2_mask"
15515 : 11 : [(set (match_operand:V16QI 0 "register_operand" "=v")
15516 : 11 : (vec_concat:V16QI
15517 : 11 : (vec_merge:V4QI
15518 : 11 : (any_truncate:V4QI
15519 : 11 : (match_operand:VI4_128_8_256 1 "register_operand" "v"))
15520 : 11 : (vec_select:V4QI
15521 : : (match_operand:V16QI 2 "nonimm_or_0_operand" "0C")
15522 : 0 : (parallel [(const_int 0) (const_int 1)
15523 : 0 : (const_int 2) (const_int 3)]))
15524 : 0 : (match_operand:QI 3 "register_operand" "Yk"))
15525 : : (const_vector:V12QI [(const_int 0) (const_int 0)
15526 : : (const_int 0) (const_int 0)
15527 : : (const_int 0) (const_int 0)
15528 : : (const_int 0) (const_int 0)
15529 : 44 : (const_int 0) (const_int 0)
15530 : 0 : (const_int 0) (const_int 0)])))]
15531 : 845 : "TARGET_AVX512VL"
15532 : 0 : "vpmov<trunsuffix><pmov_suff_3>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
15533 : 44 : [(set_attr "type" "ssemov")
15534 : 44 : (set_attr "prefix" "evex")
15535 : 882 : (set_attr "mode" "TI")])
15536 : 470 :
15537 : 44 : (define_insn "*avx512vl_<code><mode>v4qi2_mask_1"
15538 : 44 : [(set (match_operand:V16QI 0 "register_operand" "=v")
15539 : 44 : (vec_concat:V16QI
15540 : : (vec_merge:V4QI
15541 : : (any_truncate:V4QI
15542 : : (match_operand:VI4_128_8_256 1 "register_operand" "v"))
15543 : : (const_vector:V4QI [(const_int 0) (const_int 0)
15544 : : (const_int 0) (const_int 0)])
15545 : : (match_operand:QI 2 "register_operand" "Yk"))
15546 : : (const_vector:V12QI [(const_int 0) (const_int 0)
15547 : : (const_int 0) (const_int 0)
15548 : : (const_int 0) (const_int 0)
15549 : : (const_int 0) (const_int 0)
15550 : : (const_int 0) (const_int 0)
15551 : : (const_int 0) (const_int 0)])))]
15552 : 408 : "TARGET_AVX512VL"
15553 : : "vpmov<trunsuffix><pmov_suff_3>\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
15554 : : [(set_attr "type" "ssemov")
15555 : : (set_attr "prefix" "evex")
15556 : 408 : (set_attr "mode" "TI")])
15557 : 204 :
15558 : : (define_insn "avx512vl_<code><mode>v4qi2_mask_store_1"
15559 : : [(set (match_operand:V4QI 0 "memory_operand" "=m")
15560 : : (vec_merge:V4QI
15561 : : (any_truncate:V4QI
15562 : : (match_operand:VI4_128_8_256 1 "register_operand" "v"))
15563 : : (match_dup 0)
15564 : : (match_operand:QI 2 "register_operand" "Yk")))]
15565 : 278 : "TARGET_AVX512VL"
15566 : : "vpmov<trunsuffix><pmov_suff_3>\t{%1, %0%{%2%}|%0%{%2%}, %1}"
15567 : : [(set_attr "type" "ssemov")
15568 : : (set_attr "memory" "store")
15569 : 569 : (set_attr "prefix" "evex")
15570 : 569 : (set_attr "mode" "TI")])
15571 : :
15572 : : (define_expand "avx512vl_<code><mode>v4qi2_mask_store_2"
15573 : : [(match_operand:SI 0 "memory_operand")
15574 : : (any_truncate:V4QI
15575 : : (match_operand:VI4_128_8_256 1 "register_operand"))
15576 : : (match_operand:QI 2 "register_operand")]
15577 : : "TARGET_AVX512VL"
15578 : 66 : {
15579 : 66 : operands[0] = adjust_address_nv (operands[0], V4QImode, 0);
15580 : 66 : emit_insn (gen_avx512vl_<code><mode>v4qi2_mask_store_1 (operands[0],
15581 : : operands[1],
15582 : : operands[2]));
15583 : 66 : DONE;
15584 : : })
15585 : :
15586 : : (define_mode_iterator VI2_128_BW_4_256
15587 : 0 : [(V8HI "TARGET_AVX512BW") V8SI])
15588 : 0 :
15589 : : (define_insn "*avx512vl_<code><mode>v8qi2_store_1"
15590 : : [(set (match_operand:V8QI 0 "memory_operand" "=m")
15591 : 906 : (any_truncate:V8QI
15592 : 906 : (match_operand:VI2_128_BW_4_256 1 "register_operand" "v")))]
15593 : 0 : "TARGET_AVX512VL"
15594 : : "vpmov<trunsuffix><pmov_suff_3>\t{%1, %0|%0, %1}"
15595 : : [(set_attr "type" "ssemov")
15596 : : (set_attr "memory" "store")
15597 : 1 : (set_attr "prefix" "evex")
15598 : 1 : (set_attr "mode" "TI")])
15599 : :
15600 : : (define_insn_and_split "*avx512vl_<code><mode>v8qi2_store_2"
15601 : : [(set (match_operand:DI 0 "memory_operand" "=m")
15602 : : (subreg:DI
15603 : : (any_truncate:V8QI
15604 : : (match_operand:VI2_128_BW_4_256 1 "register_operand" "v")) 0))]
15605 : 31 : "TARGET_AVX512VL && ix86_pre_reload_split ()"
15606 : 0 : "#"
15607 : : "&& 1"
15608 : 9 : [(set (match_dup 0)
15609 : 31 : (any_truncate:V8QI (match_dup 1)))]
15610 : 31 : "operands[0] = adjust_address_nv (operands[0], V8QImode, 0);")
15611 : 31 :
15612 : 31 : (define_insn "avx512vl_<code><mode>v8qi2_mask"
15613 : 31 : [(set (match_operand:V16QI 0 "register_operand" "=v")
15614 : 22 : (vec_concat:V16QI
15615 : 22 : (vec_merge:V8QI
15616 : 0 : (any_truncate:V8QI
15617 : 0 : (match_operand:VI2_128_BW_4_256 1 "register_operand" "v"))
15618 : : (vec_select:V8QI
15619 : : (match_operand:V16QI 2 "nonimm_or_0_operand" "0C")
15620 : 0 : (parallel [(const_int 0) (const_int 1)
15621 : 0 : (const_int 2) (const_int 3)
15622 : 0 : (const_int 4) (const_int 5)
15623 : : (const_int 6) (const_int 7)]))
15624 : : (match_operand:QI 3 "register_operand" "Yk"))
15625 : : (const_vector:V8QI [(const_int 0) (const_int 0)
15626 : : (const_int 0) (const_int 0)
15627 : 55 : (const_int 0) (const_int 0)
15628 : 2 : (const_int 0) (const_int 0)])))]
15629 : 424 : "TARGET_AVX512VL"
15630 : 10 : "vpmov<trunsuffix><pmov_suff_3>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
15631 : 57 : [(set_attr "type" "ssemov")
15632 : 55 : (set_attr "prefix" "evex")
15633 : 483 : (set_attr "mode" "TI")])
15634 : 907 :
15635 : 55 : (define_insn "*avx512vl_<code><mode>v8qi2_mask_1"
15636 : 47 : [(set (match_operand:V16QI 0 "register_operand" "=v")
15637 : 47 : (vec_concat:V16QI
15638 : : (vec_merge:V8QI
15639 : : (any_truncate:V8QI
15640 : : (match_operand:VI2_128_BW_4_256 1 "register_operand" "v"))
15641 : : (const_vector:V8QI [(const_int 0) (const_int 0)
15642 : : (const_int 0) (const_int 0)
15643 : : (const_int 0) (const_int 0)
15644 : : (const_int 0) (const_int 0)])
15645 : : (match_operand:QI 2 "register_operand" "Yk"))
15646 : : (const_vector:V8QI [(const_int 0) (const_int 0)
15647 : : (const_int 0) (const_int 0)
15648 : : (const_int 0) (const_int 0)
15649 : : (const_int 0) (const_int 0)])))]
15650 : 204 : "TARGET_AVX512VL"
15651 : : "vpmov<trunsuffix><pmov_suff_3>\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
15652 : : [(set_attr "type" "ssemov")
15653 : : (set_attr "prefix" "evex")
15654 : 204 : (set_attr "mode" "TI")])
15655 : 408 :
15656 : : (define_insn "avx512vl_<code><mode>v8qi2_mask_store_1"
15657 : : [(set (match_operand:V8QI 0 "memory_operand" "=m")
15658 : : (vec_merge:V8QI
15659 : : (any_truncate:V8QI
15660 : : (match_operand:VI2_128_BW_4_256 1 "register_operand" "v"))
15661 : : (match_dup 0)
15662 : : (match_operand:QI 2 "register_operand" "Yk")))]
15663 : 278 : "TARGET_AVX512VL"
15664 : : "vpmov<trunsuffix><pmov_suff_3>\t{%1, %0%{%2%}|%0%{%2%}, %1}"
15665 : : [(set_attr "type" "ssemov")
15666 : : (set_attr "memory" "store")
15667 : 290 : (set_attr "prefix" "evex")
15668 : 580 : (set_attr "mode" "TI")])
15669 : :
15670 : : (define_expand "avx512vl_<code><mode>v8qi2_mask_store_2"
15671 : : [(match_operand:DI 0 "memory_operand")
15672 : : (any_truncate:V8QI
15673 : : (match_operand:VI2_128_BW_4_256 1 "register_operand"))
15674 : : (match_operand:QI 2 "register_operand")]
15675 : : "TARGET_AVX512VL"
15676 : 69 : {
15677 : 69 : operands[0] = adjust_address_nv (operands[0], V8QImode, 0);
15678 : 69 : emit_insn (gen_avx512vl_<code><mode>v8qi2_mask_store_1 (operands[0],
15679 : : operands[1],
15680 : : operands[2]));
15681 : 69 : DONE;
15682 : : })
15683 : :
15684 : : (define_mode_iterator PMOV_SRC_MODE_4 [(V4DI "TARGET_AVX2") V2DI V4SI])
15685 : : (define_mode_attr pmov_dst_4
15686 : : [(V4DI "V4HI") (V2DI "V2HI") (V4SI "V4HI")])
15687 : : (define_mode_attr pmov_dst_4_lower
15688 : 166 : [(V4DI "v4hi") (V2DI "v2hi") (V4SI "v4hi")])
15689 : 166 : (define_mode_attr pmov_dst_zeroed_4
15690 : : [(V4DI "V4HI") (V2DI "V6HI") (V4SI "V4HI")])
15691 : : (define_mode_attr pmov_suff_4
15692 : : [(V4DI "qw") (V2DI "qw") (V4SI "dw")])
15693 : :
15694 : : (define_expand "trunc<mode><pmov_dst_4_lower>2"
15695 : : [(set (match_operand:<pmov_dst_4> 0 "register_operand")
15696 : : (truncate:<pmov_dst_4>
15697 : : (match_operand:PMOV_SRC_MODE_4 1 "register_operand")))]
15698 : : "TARGET_SSSE3"
15699 : 17 : {
15700 : 17 : if (TARGET_AVX512VL)
15701 : : {
15702 : 11 : rtx op0 = gen_reg_rtx (V8HImode);
15703 : :
15704 : 11 : emit_insn (gen_avx512vl_truncate<mode>v<ssescalarnum>hi2
15705 : : (op0, operands[1], CONST0_RTX (<pmov_dst_zeroed_4>mode)));
15706 : 0 :
15707 : 11 : emit_move_insn (operands[0],
15708 : 0 : lowpart_subreg (<pmov_dst_4>mode, op0, V8HImode));
15709 : 11 : DONE;
15710 : 0 : }
15711 : 0 : else
15712 : 6 : ix86_expand_trunc_with_avx2_noavx512f (operands[0], operands[1], <ssewvecmode>mode);
15713 : 6 : DONE;
15714 : : })
15715 : :
15716 : : (define_insn "avx512vl_<code><mode>v<ssescalarnum>hi2"
15717 : : [(set (match_operand:V8HI 0 "register_operand" "=v")
15718 : : (vec_concat:V8HI
15719 : : (any_truncate:<pmov_dst_4>
15720 : : (match_operand:PMOV_SRC_MODE_4 1 "register_operand" "v"))
15721 : : (match_operand:<pmov_dst_zeroed_4> 2 "const0_operand")))]
15722 : 342 : "TARGET_AVX512VL"
15723 : : "vpmov<trunsuffix><pmov_suff_4>\t{%1, %0|%0, %1}"
15724 : : [(set_attr "type" "ssemov")
15725 : : (set_attr "prefix" "evex")
15726 : 341 : (set_attr "mode" "TI")])
15727 : 164 :
15728 : : (define_insn_and_split "*avx512f_pshufb_truncv4siv4hi_1"
15729 : : [(set (match_operand:DI 0 "register_operand")
15730 : : (vec_select:DI
15731 : : (subreg:V2DI
15732 : 33 : (unspec:V16QI
15733 : : [(match_operand:V16QI 1 "register_operand")
15734 : : (match_operand:V16QI 2 "pshufb_truncv4siv4hi_operand")]
15735 : : UNSPEC_PSHUFB) 0)
15736 : 33 : (parallel [(const_int 0)])))]
15737 : 39 : "TARGET_AVX512VL && ix86_pre_reload_split ()"
15738 : 38 : "#"
15739 : 33 : "&& 1"
15740 : 35 : [(const_int 0)]
15741 : 39 : {
15742 : 38 : rtx op1 = gen_reg_rtx (V4HImode);
15743 : 3 : operands[1] = lowpart_subreg (V4SImode,
15744 : 1 : force_reg (V16QImode, operands[1]),
15745 : : V16QImode);
15746 : 2 : emit_insn (gen_truncv4siv4hi2 (op1, operands[1]));
15747 : 2 : emit_move_insn (operands[0], lowpart_subreg (DImode, op1, V4HImode));
15748 : 2 : DONE;
15749 : : })
15750 : :
15751 : : (define_insn "*avx512vl_<code><mode>v4hi2_store_1"
15752 : : [(set (match_operand:V4HI 0 "memory_operand" "=m")
15753 : : (any_truncate:V4HI
15754 : : (match_operand:VI4_128_8_256 1 "register_operand" "v")))]
15755 : 0 : "TARGET_AVX512VL"
15756 : : "vpmov<trunsuffix><pmov_suff_4>\t{%1, %0|%0, %1}"
15757 : : [(set_attr "type" "ssemov")
15758 : : (set_attr "memory" "store")
15759 : 0 : (set_attr "prefix" "evex")
15760 : 12 : (set_attr "mode" "TI")])
15761 : :
15762 : : (define_insn_and_split "*avx512vl_<code><mode>v4hi2_store_2"
15763 : 19 : [(set (match_operand:DI 0 "memory_operand")
15764 : 31 : (subreg:DI
15765 : 12 : (any_truncate:V4HI
15766 : 12 : (match_operand:VI4_128_8_256 1 "register_operand")) 0))]
15767 : 31 : "TARGET_AVX512VL && ix86_pre_reload_split ()"
15768 : 12 : "#"
15769 : 12 : "&& 1"
15770 : 12 : [(set (match_dup 0)
15771 : 0 : (any_truncate:V4HI (match_dup 1)))]
15772 : 0 : "operands[0] = adjust_address_nv (operands[0], V4HImode, 0);")
15773 : 0 :
15774 : 0 : (define_insn "avx512vl_<code><mode>v4hi2_mask"
15775 : 0 : [(set (match_operand:V8HI 0 "register_operand" "=v")
15776 : 0 : (vec_concat:V8HI
15777 : 0 : (vec_merge:V4HI
15778 : 0 : (any_truncate:V4HI
15779 : 0 : (match_operand:VI4_128_8_256 1 "register_operand" "v"))
15780 : : (vec_select:V4HI
15781 : : (match_operand:V8HI 2 "nonimm_or_0_operand" "0C")
15782 : 0 : (parallel [(const_int 0) (const_int 1)
15783 : 0 : (const_int 2) (const_int 3)]))
15784 : 0 : (match_operand:QI 3 "register_operand" "Yk"))
15785 : : (const_vector:V4HI [(const_int 0) (const_int 0)
15786 : : (const_int 0) (const_int 0)])))]
15787 : 412 : "TARGET_AVX512VL"
15788 : : "vpmov<trunsuffix><pmov_suff_4>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
15789 : 34 : [(set_attr "type" "ssemov")
15790 : 0 : (set_attr "prefix" "evex")
15791 : 861 : (set_attr "mode" "TI")])
15792 : 861 :
15793 : 34 : (define_insn "*avx512vl_<code><mode>v4hi2_mask_1"
15794 : 34 : [(set (match_operand:V8HI 0 "register_operand" "=v")
15795 : 34 : (vec_concat:V8HI
15796 : 34 : (vec_merge:V4HI
15797 : 34 : (any_truncate:V4HI
15798 : 34 : (match_operand:VI4_128_8_256 1 "register_operand" "v"))
15799 : 34 : (const_vector:V4HI [(const_int 0) (const_int 0)
15800 : : (const_int 0) (const_int 0)])
15801 : : (match_operand:QI 2 "register_operand" "Yk"))
15802 : : (const_vector:V4HI [(const_int 0) (const_int 0)
15803 : : (const_int 0) (const_int 0)])))]
15804 : 204 : "TARGET_AVX512VL"
15805 : : "vpmov<trunsuffix><pmov_suff_4>\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
15806 : : [(set_attr "type" "ssemov")
15807 : : (set_attr "prefix" "evex")
15808 : 408 : (set_attr "mode" "TI")])
15809 : 408 :
15810 : : (define_insn "avx512vl_<code><mode>v4hi2_mask_store_1"
15811 : : [(set (match_operand:V4HI 0 "memory_operand" "=m")
15812 : : (vec_merge:V4HI
15813 : : (any_truncate:V4HI
15814 : : (match_operand:VI4_128_8_256 1 "register_operand" "v"))
15815 : : (match_dup 0)
15816 : : (match_operand:QI 2 "register_operand" "Yk")))]
15817 : 537 : "TARGET_AVX512VL"
15818 : 68 : {
15819 : 68 : if (GET_MODE_SIZE (GET_MODE_INNER (<MODE>mode)) == 4)
15820 : 34 : return "vpmov<trunsuffix><pmov_suff_4>\t{%1, %0%{%2%}|%0%{%2%}, %1}";
15821 : 526 : return "vpmov<trunsuffix><pmov_suff_4>\t{%1, %0%{%2%}|%0%{%2%}, %1}";
15822 : 263 : }
15823 : : [(set_attr "type" "ssemov")
15824 : : (set_attr "memory" "store")
15825 : : (set_attr "prefix" "evex")
15826 : 57 : (set_attr "mode" "TI")])
15827 : :
15828 : : (define_expand "avx512vl_<code><mode>v4hi2_mask_store_2"
15829 : : [(match_operand:DI 0 "memory_operand")
15830 : : (any_truncate:V4HI
15831 : : (match_operand:VI4_128_8_256 1 "register_operand"))
15832 : : (match_operand:QI 2 "register_operand")]
15833 : : "TARGET_AVX512VL"
15834 : 68 : {
15835 : 68 : operands[0] = adjust_address_nv (operands[0], V4HImode, 0);
15836 : 68 : emit_insn (gen_avx512vl_<code><mode>v4hi2_mask_store_1 (operands[0],
15837 : : operands[1],
15838 : : operands[2]));
15839 : 68 : DONE;
15840 : : })
15841 : :
15842 : : (define_insn "*avx512vl_<code>v2div2hi2_store_1"
15843 : : [(set (match_operand:V2HI 0 "memory_operand" "=m")
15844 : : (any_truncate:V2HI
15845 : : (match_operand:V2DI 1 "register_operand" "v")))]
15846 : 0 : "TARGET_AVX512VL"
15847 : 32 : "vpmov<trunsuffix>qw\t{%1, %0|%0, %1}"
15848 : : [(set_attr "type" "ssemov")
15849 : : (set_attr "memory" "store")
15850 : 206 : (set_attr "prefix" "evex")
15851 : 206 : (set_attr "mode" "TI")])
15852 : :
15853 : 0 : (define_insn_and_split "*avx512vl_<code>v2div2hi2_store_2"
15854 : 0 : [(set (match_operand:SI 0 "memory_operand")
15855 : : (subreg:SI
15856 : : (any_truncate:V2HI
15857 : : (match_operand:V2DI 1 "register_operand")) 0))]
15858 : 0 : "TARGET_AVX512VL && ix86_pre_reload_split ()"
15859 : 0 : "#"
15860 : : "&& 1"
15861 : 141 : [(set (match_dup 0)
15862 : 1 : (any_truncate:V2HI (match_dup 1)))]
15863 : 0 : "operands[0] = adjust_address_nv (operands[0], V2HImode, 0);")
15864 : 97 :
15865 : 142 : (define_insn "avx512vl_<code>v2div2hi2_mask"
15866 : 141 : [(set (match_operand:V8HI 0 "register_operand" "=v")
15867 : 142 : (vec_concat:V8HI
15868 : 141 : (vec_merge:V2HI
15869 : 141 : (any_truncate:V2HI
15870 : 45 : (match_operand:V2DI 1 "register_operand" "v"))
15871 : 45 : (vec_select:V2HI
15872 : : (match_operand:V8HI 2 "nonimm_or_0_operand" "0C")
15873 : 0 : (parallel [(const_int 0) (const_int 1)]))
15874 : 0 : (match_operand:QI 3 "register_operand" "Yk"))
15875 : 0 : (const_vector:V6HI [(const_int 0) (const_int 0)
15876 : : (const_int 0) (const_int 0)
15877 : : (const_int 0) (const_int 0)])))]
15878 : 417 : "TARGET_AVX512VL"
15879 : : "vpmov<trunsuffix>qw\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
15880 : : [(set_attr "type" "ssemov")
15881 : 0 : (set_attr "prefix" "evex")
15882 : 414 : (set_attr "mode" "TI")])
15883 : 414 :
15884 : 0 : (define_insn "*avx512vl_<code>v2div2hi2_mask_1"
15885 : 0 : [(set (match_operand:V8HI 0 "register_operand" "=v")
15886 : 0 : (vec_concat:V8HI
15887 : 0 : (vec_merge:V2HI
15888 : 0 : (any_truncate:V2HI
15889 : : (match_operand:V2DI 1 "register_operand" "v"))
15890 : : (const_vector:V2HI [(const_int 0) (const_int 0)])
15891 : : (match_operand:QI 2 "register_operand" "Yk"))
15892 : : (const_vector:V6HI [(const_int 0) (const_int 0)
15893 : : (const_int 0) (const_int 0)
15894 : : (const_int 0) (const_int 0)])))]
15895 : 204 : "TARGET_AVX512VL"
15896 : : "vpmov<trunsuffix>qw\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
15897 : : [(set_attr "type" "ssemov")
15898 : : (set_attr "prefix" "evex")
15899 : 204 : (set_attr "mode" "TI")])
15900 : 204 :
15901 : : (define_insn "avx512vl_<code>v2div2hi2_mask_store_1"
15902 : : [(set (match_operand:V2HI 0 "memory_operand" "=m")
15903 : : (vec_merge:V2HI
15904 : : (any_truncate:V2HI
15905 : : (match_operand:V2DI 1 "register_operand" "v"))
15906 : : (match_dup 0)
15907 : : (match_operand:QI 2 "register_operand" "Yk")))]
15908 : 263 : "TARGET_AVX512VL"
15909 : : "vpmov<trunsuffix>qw\t{%1, %0%{%2%}|%0%{%2%}, %1}"
15910 : : [(set_attr "type" "ssemov")
15911 : : (set_attr "memory" "store")
15912 : 255 : (set_attr "prefix" "evex")
15913 : 255 : (set_attr "mode" "TI")])
15914 : :
15915 : : (define_expand "avx512vl_<code>v2div2hi2_mask_store_2"
15916 : : [(match_operand:SI 0 "memory_operand")
15917 : : (any_truncate:V2HI
15918 : : (match_operand:V2DI 1 "register_operand"))
15919 : : (match_operand:QI 2 "register_operand")]
15920 : : "TARGET_AVX512VL"
15921 : 34 : {
15922 : 34 : operands[0] = adjust_address_nv (operands[0], V2HImode, 0);
15923 : 34 : emit_insn (gen_avx512vl_<code>v2div2hi2_mask_store_1 (operands[0],
15924 : : operands[1],
15925 : : operands[2]));
15926 : 34 : DONE;
15927 : : })
15928 : :
15929 : : (define_expand "truncv2div2si2"
15930 : : [(set (match_operand:V2SI 0 "register_operand")
15931 : : (truncate:V2SI
15932 : : (match_operand:V2DI 1 "register_operand")))]
15933 : : "TARGET_SSE"
15934 : 96 : {
15935 : 96 : if (TARGET_AVX512VL)
15936 : : {
15937 : 5 : rtx op0 = gen_reg_rtx (V4SImode);
15938 : :
15939 : 5 : emit_insn (gen_avx512vl_truncatev2div2si2
15940 : : (op0, operands[1], CONST0_RTX (V2SImode)));
15941 : :
15942 : 5 : emit_move_insn (operands[0],
15943 : : lowpart_subreg (V2SImode, op0, V4SImode));
15944 : : }
15945 : : else
15946 : : {
15947 : 91 : rtx tmp = lowpart_subreg (V4SImode,
15948 : 14 : force_reg (V2DImode, operands[1]), V2DImode);
15949 : 91 : rtx op0 = gen_reg_rtx (V4SImode);
15950 : 91 : emit_insn (gen_sse_shufps_v4si (op0, tmp, tmp, const0_rtx, GEN_INT (2),
15951 : 3 : GEN_INT (6), GEN_INT (7)));
15952 : 105 : emit_move_insn (operands[0], lowpart_subreg (V2SImode, op0, V4SImode));
15953 : 14 : }
15954 : 110 : DONE;
15955 : 14 : })
15956 : 14 :
15957 : 11 : (define_insn "avx512vl_<code>v2div2si2"
15958 : 11 : [(set (match_operand:V4SI 0 "register_operand" "=v")
15959 : : (vec_concat:V4SI
15960 : : (any_truncate:V2SI
15961 : : (match_operand:V2DI 1 "register_operand" "v"))
15962 : : (match_operand:V2SI 2 "const0_operand")))]
15963 : 177 : "TARGET_AVX512VL"
15964 : : "vpmov<trunsuffix>qd\t{%1, %0|%0, %1}"
15965 : : [(set_attr "type" "ssemov")
15966 : : (set_attr "prefix" "evex")
15967 : : (set_attr "mode" "TI")])
15968 : :
15969 : : (define_insn_and_split "*avx512f_pshufd_truncv2div2si_1"
15970 : 510 : [(set (match_operand:DI 0 "register_operand")
15971 : 284 : (vec_select:DI
15972 : 510 : (subreg:V2DI
15973 : : (vec_select:V4SI
15974 : 119 : (match_operand:V4SI 1 "register_operand")
15975 : 50 : (parallel [(const_int 0) (const_int 2)
15976 : 50 : (const_int 2) (const_int 3)])) 0)
15977 : 0 : (parallel [(const_int 0)])))]
15978 : 55 : "TARGET_AVX512VL && ix86_pre_reload_split ()"
15979 : 51 : "#"
15980 : 0 : "&& 1"
15981 : 51 : [(const_int 0)]
15982 : 51 : {
15983 : 1 : rtx op1 = gen_reg_rtx (V2SImode);
15984 : 51 : operands[1] = lowpart_subreg (V2DImode,
15985 : 50 : force_reg (V4SImode, operands[1]),
15986 : : V4SImode);
15987 : 51 : emit_insn (gen_truncv2div2si2 (op1, operands[1]));
15988 : 3751921 : emit_move_insn (operands[0], lowpart_subreg (DImode, op1, V2SImode));
15989 : 103816 : DONE;
15990 : 50 : })
15991 : 99730 :
15992 : 3747785 : (define_insn "*avx512vl_<code>v2div2si2_store_1"
15993 : 3648055 : [(set (match_operand:V2SI 0 "memory_operand" "=m")
15994 : 3648055 : (any_truncate:V2SI
15995 : 3648055 : (match_operand:V2DI 1 "register_operand" "v")))]
15996 : 50 : "TARGET_AVX512VL"
15997 : 3648074 : "vpmov<trunsuffix>qd\t{%1, %0|%0, %1}"
15998 : 3648055 : [(set_attr "type" "ssemov")
15999 : : (set_attr "memory" "store")
16000 : 982621 : (set_attr "prefix" "evex")
16001 : 982621 : (set_attr "mode" "TI")])
16002 : 0 :
16003 : 982621 : (define_insn_and_split "*avx512vl_<code>v2div2si2_store_2"
16004 : 982621 : [(set (match_operand:DI 0 "memory_operand")
16005 : 983184 : (subreg:DI
16006 : 563 : (any_truncate:V2SI
16007 : 982621 : (match_operand:V2DI 1 "register_operand")) 0))]
16008 : 982621 : "TARGET_AVX512VL && ix86_pre_reload_split ()"
16009 : 0 : "#"
16010 : 500219 : "&& 1"
16011 : 789439953 : [(set (match_dup 0)
16012 : 309399 : (any_truncate:V2SI (match_dup 1)))]
16013 : 309399 : "operands[0] = adjust_address_nv (operands[0], V2SImode, 0);")
16014 : 338579 :
16015 : 337979 : (define_insn "avx512vl_<code>v2div2si2_mask"
16016 : 1153826 : [(set (match_operand:V4SI 0 "register_operand" "=v")
16017 : 342080 : (vec_concat:V4SI
16018 : 826590 : (vec_merge:V2SI
16019 : 6 : (any_truncate:V2SI
16020 : 337059 : (match_operand:V2DI 1 "register_operand" "v"))
16021 : 337059 : (vec_select:V2SI
16022 : 12943 : (match_operand:V4SI 2 "nonimm_or_0_operand" "0C")
16023 : 310730 : (parallel [(const_int 0) (const_int 1)]))
16024 : 0 : (match_operand:QI 3 "register_operand" "Yk"))
16025 : 1020 : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
16026 : 14377 : "TARGET_AVX512VL"
16027 : 13963 : "vpmov<trunsuffix>qd\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
16028 : 13963 : [(set_attr "type" "ssemov")
16029 : 13874 : (set_attr "prefix" "evex")
16030 : 15164 : (set_attr "mode" "TI")])
16031 : 14176 :
16032 : 13149 : (define_insn "*avx512vl_<code>v2div2si2_mask_1"
16033 : 39495 : [(set (match_operand:V4SI 0 "register_operand" "=v")
16034 : 39532 : (vec_concat:V4SI
16035 : 26589 : (vec_merge:V2SI
16036 : 30596 : (any_truncate:V2SI
16037 : 4044 : (match_operand:V2DI 1 "register_operand" "v"))
16038 : 8814 : (const_vector:V2SI [(const_int 0) (const_int 0)])
16039 : 8814 : (match_operand:QI 2 "register_operand" "Yk"))
16040 : 37 : (const_vector:V2SI [(const_int 0) (const_int 0)])))]
16041 : 7636 : "TARGET_AVX512VL"
16042 : : "vpmov<trunsuffix>qd\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
16043 : 5627 : [(set_attr "type" "ssemov")
16044 : 5627 : (set_attr "prefix" "evex")
16045 : 5831 : (set_attr "mode" "TI")])
16046 : 204 :
16047 : 5627 : (define_insn "avx512vl_<code>v2div2si2_mask_store_1"
16048 : : [(set (match_operand:V2SI 0 "memory_operand" "=m")
16049 : 0 : (vec_merge:V2SI
16050 : 0 : (any_truncate:V2SI
16051 : 0 : (match_operand:V2DI 1 "register_operand" "v"))
16052 : : (match_dup 0)
16053 : : (match_operand:QI 2 "register_operand" "Yk")))]
16054 : 255 : "TARGET_AVX512VL"
16055 : : "vpmov<trunsuffix>qd\t{%1, %0%{%2%}|%0%{%2%}, %1}"
16056 : : [(set_attr "type" "ssemov")
16057 : : (set_attr "memory" "store")
16058 : : (set_attr "prefix" "evex")
16059 : : (set_attr "mode" "TI")])
16060 : :
16061 : : (define_expand "avx512vl_<code>v2div2si2_mask_store_2"
16062 : 10923 : [(match_operand:DI 0 "memory_operand")
16063 : 10923 : (any_truncate:V2SI
16064 : : (match_operand:V2DI 1 "register_operand"))
16065 : 180 : (match_operand:QI 2 "register_operand")]
16066 : 180 : "TARGET_AVX512VL"
16067 : 33 : {
16068 : 36179 : operands[0] = adjust_address_nv (operands[0], V2SImode, 0);
16069 : 33 : emit_insn (gen_avx512vl_<code>v2div2si2_mask_store_1 (operands[0],
16070 : : operands[1],
16071 : : operands[2]));
16072 : 36179 : DONE;
16073 : 36146 : })
16074 : 36146 :
16075 : 36146 : (define_expand "truncv8div8qi2"
16076 : 36146 : [(set (match_operand:V8QI 0 "register_operand")
16077 : 36146 : (truncate:V8QI
16078 : 36146 : (match_operand:V8DI 1 "register_operand")))]
16079 : 36146 : "TARGET_AVX512F && TARGET_EVEX512"
16080 : 3 : {
16081 : 24687 : rtx op0 = gen_reg_rtx (V16QImode);
16082 : 24684 :
16083 : 24687 : emit_insn (gen_avx512f_truncatev8div16qi2 (op0, operands[1]));
16084 : 24684 :
16085 : 24687 : emit_move_insn (operands[0],
16086 : 24684 : lowpart_subreg (V8QImode, op0, V16QImode));
16087 : 24687 : DONE;
16088 : : })
16089 : 22937 :
16090 : 22937 : (define_insn "avx512f_<code>v8div16qi2"
16091 : 22937 : [(set (match_operand:V16QI 0 "register_operand" "=v")
16092 : 22937 : (vec_concat:V16QI
16093 : 22937 : (any_truncate:V8QI
16094 : 23316 : (match_operand:V8DI 1 "register_operand" "v"))
16095 : 22937 : (const_vector:V8QI [(const_int 0) (const_int 0)
16096 : 22937 : (const_int 0) (const_int 0)
16097 : 23316 : (const_int 0) (const_int 0)
16098 : 23316 : (const_int 0) (const_int 0)])))]
16099 : 23480 : "TARGET_AVX512F && TARGET_EVEX512"
16100 : 23712 : "vpmov<trunsuffix>qb\t{%1, %0|%0, %1}"
16101 : 23316 : [(set_attr "type" "ssemov")
16102 : 23316 : (set_attr "prefix" "evex")
16103 : 1461 : (set_attr "mode" "TI")])
16104 : 1750 :
16105 : 1750 : (define_insn "*avx512f_<code>v8div16qi2_store_1"
16106 : 591 : [(set (match_operand:V8QI 0 "memory_operand" "=m")
16107 : 496 : (any_truncate:V8QI
16108 : 496 : (match_operand:V8DI 1 "register_operand" "v")))]
16109 : 155 : "TARGET_AVX512F && TARGET_EVEX512"
16110 : 54 : "vpmov<trunsuffix>qb\t{%1, %0|%0, %1}"
16111 : 54 : [(set_attr "type" "ssemov")
16112 : 5 : (set_attr "memory" "store")
16113 : 154 : (set_attr "prefix" "evex")
16114 : 1666 : (set_attr "mode" "TI")])
16115 : 1666 :
16116 : 1661 : (define_insn_and_split "*avx512f_<code>v8div16qi2_store_2"
16117 : 1688 : [(set (match_operand:DI 0 "memory_operand")
16118 : 1688 : (subreg:DI
16119 : 1661 : (any_truncate:V8QI
16120 : 1661 : (match_operand:V8DI 1 "register_operand")) 0))]
16121 : 1661 : "TARGET_AVX512F && TARGET_EVEX512 && ix86_pre_reload_split ()"
16122 : 1661 : "#"
16123 : 1661 : "&& 1"
16124 : 1661 : [(set (match_dup 0)
16125 : 1661 : (any_truncate:V8QI (match_dup 1)))]
16126 : 1661 : "operands[0] = adjust_address_nv (operands[0], V8QImode, 0);")
16127 : 1661 :
16128 : 1661 : (define_insn "avx512f_<code>v8div16qi2_mask"
16129 : 1661 : [(set (match_operand:V16QI 0 "register_operand" "=v")
16130 : 0 : (vec_concat:V16QI
16131 : 692 : (vec_merge:V8QI
16132 : 692 : (any_truncate:V8QI
16133 : 692 : (match_operand:V8DI 1 "register_operand" "v"))
16134 : 692 : (vec_select:V8QI
16135 : : (match_operand:V16QI 2 "nonimm_or_0_operand" "0C")
16136 : 63 : (parallel [(const_int 0) (const_int 1)
16137 : 63 : (const_int 2) (const_int 3)
16138 : 0 : (const_int 4) (const_int 5)
16139 : : (const_int 6) (const_int 7)]))
16140 : : (match_operand:QI 3 "register_operand" "Yk"))
16141 : : (const_vector:V8QI [(const_int 0) (const_int 0)
16142 : : (const_int 0) (const_int 0)
16143 : 93 : (const_int 0) (const_int 0)
16144 : : (const_int 0) (const_int 0)])))]
16145 : 426 : "TARGET_AVX512F && TARGET_EVEX512"
16146 : 93 : "vpmov<trunsuffix>qb\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
16147 : 93 : [(set_attr "type" "ssemov")
16148 : 93 : (set_attr "prefix" "evex")
16149 : 297 : (set_attr "mode" "TI")])
16150 : 297 :
16151 : 93 : (define_insn "*avx512f_<code>v8div16qi2_mask_1"
16152 : 93 : [(set (match_operand:V16QI 0 "register_operand" "=v")
16153 : : (vec_concat:V16QI
16154 : : (vec_merge:V8QI
16155 : : (any_truncate:V8QI
16156 : : (match_operand:V8DI 1 "register_operand" "v"))
16157 : : (const_vector:V8QI [(const_int 0) (const_int 0)
16158 : : (const_int 0) (const_int 0)
16159 : : (const_int 0) (const_int 0)
16160 : : (const_int 0) (const_int 0)])
16161 : : (match_operand:QI 2 "register_operand" "Yk"))
16162 : : (const_vector:V8QI [(const_int 0) (const_int 0)
16163 : : (const_int 0) (const_int 0)
16164 : : (const_int 0) (const_int 0)
16165 : : (const_int 0) (const_int 0)])))]
16166 : 204 : "TARGET_AVX512F && TARGET_EVEX512"
16167 : : "vpmov<trunsuffix>qb\t{%1, %0%{%2%}%{z%}|%0%{%2%}%{z%}, %1}"
16168 : : [(set_attr "type" "ssemov")
16169 : : (set_attr "prefix" "evex")
16170 : : (set_attr "mode" "TI")])
16171 : :
16172 : : (define_insn "avx512f_<code>v8div16qi2_mask_store_1"
16173 : : [(set (match_operand:V8QI 0 "memory_operand" "=m")
16174 : 4258 : (vec_merge:V8QI
16175 : 4258 : (any_truncate:V8QI
16176 : : (match_operand:V8DI 1 "register_operand" "v"))
16177 : 286 : (match_dup 0)
16178 : 286 : (match_operand:QI 2 "register_operand" "Yk")))]
16179 : 290 : "TARGET_AVX512F && TARGET_EVEX512"
16180 : 1854656 : "vpmov<trunsuffix>qb\t{%1, %0%{%2%}|%0%{%2%}, %1}"
16181 : : [(set_attr "type" "ssemov")
16182 : : (set_attr "memory" "store")
16183 : 274 : (set_attr "prefix" "evex")
16184 : 1854930 : (set_attr "mode" "TI")])
16185 : 1854656 :
16186 : 1854656 : (define_expand "avx512f_<code>v8div16qi2_mask_store_2"
16187 : 1854656 : [(match_operand:DI 0 "memory_operand")
16188 : 1854656 : (any_truncate:V8QI
16189 : 1854656 : (match_operand:V8DI 1 "register_operand"))
16190 : 1854656 : (match_operand:QI 2 "register_operand")]
16191 : : "TARGET_AVX512F && TARGET_EVEX512"
16192 : 1690864 : {
16193 : 1690864 : operands[0] = adjust_address_nv (operands[0], V8QImode, 0);
16194 : 1690864 : emit_insn (gen_avx512f_<code>v8div16qi2_mask_store_1 (operands[0],
16195 : 1690827 : operands[1],
16196 : 1690827 : operands[2]));
16197 : 37 : DONE;
16198 : 962932 : })
16199 : 962932 :
16200 : 962932 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
16201 : : ;;
16202 : : ;; Parallel integral arithmetic
16203 : : ;;
16204 : 377615 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
16205 : 377615 :
16206 : 377615 : (define_expand "neg<mode>2"
16207 : : [(set (match_operand:VI_AVX2 0 "register_operand")
16208 : : (minus:VI_AVX2
16209 : : (match_dup 2)
16210 : 145150 : (match_operand:VI_AVX2 1 "vector_operand")))]
16211 : 145150 : "TARGET_SSE2"
16212 : 146523 : "operands[2] = force_reg (<MODE>mode, CONST0_RTX (<MODE>mode));")
16213 : :
16214 : : (define_expand "<insn><mode>3"
16215 : 1035 : [(set (match_operand:VI_AVX2 0 "register_operand")
16216 : 188935 : (plusminus:VI_AVX2
16217 : 188935 : (match_operand:VI_AVX2 1 "vector_operand")
16218 : 188935 : (match_operand:VI_AVX2 2 "vector_operand")))]
16219 : 1483 : "TARGET_SSE2"
16220 : 82486 : "ix86_fixup_binary_operands_no_copy (<CODE>, <MODE>mode, operands);")
16221 : :
16222 : 2393 : (define_expand "cond_<insn><mode>"
16223 : 83257 : [(set (match_operand:VI1248_AVX512VLBW 0 "register_operand")
16224 : 31056 : (vec_merge:VI1248_AVX512VLBW
16225 : 81899 : (plusminus:VI1248_AVX512VLBW
16226 : 1035 : (match_operand:VI1248_AVX512VLBW 2 "nonimmediate_operand")
16227 : 1035 : (match_operand:VI1248_AVX512VLBW 3 "nonimmediate_operand"))
16228 : 46157 : (match_operand:VI1248_AVX512VLBW 4 "nonimm_or_0_operand")
16229 : 15872 : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
16230 : 97323 : "TARGET_AVX512F"
16231 : 919 : {
16232 : 919 : emit_insn (gen_<insn><mode>3_mask (operands[0],
16233 : 5528 : operands[2],
16234 : 81451 : operands[3],
16235 : 81451 : operands[4],
16236 : 81561 : operands[1]));
16237 : 600388 : DONE;
16238 : 604997 : })
16239 : 5528 :
16240 : 604997 : (define_expand "<insn><mode>3_mask"
16241 : 681041 : [(set (match_operand:VI48_AVX512VL 0 "register_operand")
16242 : 604474 : (vec_merge:VI48_AVX512VL
16243 : 604887 : (plusminus:VI48_AVX512VL
16244 : : (match_operand:VI48_AVX512VL 1 "nonimmediate_operand")
16245 : 675502 : (match_operand:VI48_AVX512VL 2 "nonimmediate_operand"))
16246 : 76033 : (match_operand:VI48_AVX512VL 3 "nonimm_or_0_operand")
16247 : 81062 : (match_operand:<avx512fmaskmode> 4 "register_operand")))]
16248 : 5029 : "TARGET_AVX512F"
16249 : 77261 : "ix86_fixup_binary_operands_no_copy (<CODE>, <MODE>mode, operands);")
16250 : 76044 :
16251 : 85971 : (define_expand "<insn><mode>3_mask"
16252 : 1228 : [(set (match_operand:VI12_AVX512VL 0 "register_operand")
16253 : 1228 : (vec_merge:VI12_AVX512VL
16254 : 1228 : (plusminus:VI12_AVX512VL
16255 : 11 : (match_operand:VI12_AVX512VL 1 "nonimmediate_operand")
16256 : 1217 : (match_operand:VI12_AVX512VL 2 "nonimmediate_operand"))
16257 : 1217 : (match_operand:VI12_AVX512VL 3 "nonimm_or_0_operand")
16258 : 1217 : (match_operand:<avx512fmaskmode> 4 "register_operand")))]
16259 : 1217 : "TARGET_AVX512BW"
16260 : 1554 : "ix86_fixup_binary_operands_no_copy (<CODE>, <MODE>mode, operands);")
16261 : 1217 :
16262 : : (define_insn "*<insn><mode>3"
16263 : 1217 : [(set (match_operand:VI_AVX2 0 "register_operand" "=x,<v_Yw>")
16264 : 337 : (plusminus:VI_AVX2
16265 : 337 : (match_operand:VI_AVX2 1 "bcst_vector_operand" "<comm>0,<v_Yw>")
16266 : 2407 : (match_operand:VI_AVX2 2 "bcst_vector_operand" "xBm,<v_Yw>mBr")))]
16267 : 892965 : "TARGET_SSE2 && ix86_binary_operator_ok (<CODE>, <MODE>mode, operands)"
16268 : 6321 : "@
16269 : 337 : p<plusminus_mnemonic><ssemodesuffix>\t{%2, %0|%0, %2}
16270 : 1217 : vp<plusminus_mnemonic><ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
16271 : 18698 : [(set_attr "isa" "noavx,avx")
16272 : 38300 : (set_attr "type" "sseiadd")
16273 : 2070 : (set_attr "prefix_data16" "1,*")
16274 : 337 : (set_attr "prefix" "orig,maybe_evex")
16275 : 2070 : (set_attr "mode" "<sseinsnmode>")])
16276 : 2070 :
16277 : 2414 : (define_insn "*<insn><mode>3_mask"
16278 : 2070 : [(set (match_operand:VI48_AVX512VL 0 "register_operand" "=v")
16279 : 2070 : (vec_merge:VI48_AVX512VL
16280 : 2070 : (plusminus:VI48_AVX512VL
16281 : 337 : (match_operand:VI48_AVX512VL 1 "nonimmediate_operand" "<comm>v")
16282 : 337 : (match_operand:VI48_AVX512VL 2 "nonimmediate_operand" "vm"))
16283 : 681 : (match_operand:VI48_AVX512VL 3 "nonimm_or_0_operand" "0C")
16284 : 344 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
16285 : 7360 : "TARGET_AVX512F && ix86_binary_operator_ok (<CODE>, <MODE>mode, operands)"
16286 : 344 : "vp<plusminus_mnemonic><ssemodesuffix>\t{%2, %1, %0%{%4%}%N3|%0%{%4%}%N3, %1, %2}"
16287 : 344 : [(set_attr "type" "sseiadd")
16288 : 558 : (set_attr "prefix" "evex")
16289 : 344 : (set_attr "mode" "<sseinsnmode>")])
16290 : 344 :
16291 : 344 : (define_insn "*<insn><mode>3_mask"
16292 : 28 : [(set (match_operand:VI12_AVX512VL 0 "register_operand" "=v")
16293 : 28 : (vec_merge:VI12_AVX512VL
16294 : 214 : (plusminus:VI12_AVX512VL
16295 : 200 : (match_operand:VI12_AVX512VL 1 "nonimmediate_operand" "<comm>v")
16296 : 214 : (match_operand:VI12_AVX512VL 2 "nonimmediate_operand" "vm"))
16297 : 214 : (match_operand:VI12_AVX512VL 3 "nonimm_or_0_operand" "0C")
16298 : 214 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
16299 : 2998 : "TARGET_AVX512BW && ix86_binary_operator_ok (<CODE>, <MODE>mode, operands)"
16300 : 186 : "vp<plusminus_mnemonic><ssemodesuffix>\t{%2, %1, %0%{%4%}%N3|%0%{%4%}%N3, %1, %2}"
16301 : 186 : [(set_attr "type" "sseiadd")
16302 : 162 : (set_attr "prefix" "evex")
16303 : 26 : (set_attr "mode" "<sseinsnmode>")])
16304 : :
16305 : : (define_expand "<insn><mode>3<mask_name>"
16306 : : [(set (match_operand:VI12_AVX2_AVX512BW 0 "register_operand")
16307 : : (sat_plusminus:VI12_AVX2_AVX512BW
16308 : : (match_operand:VI12_AVX2_AVX512BW 1 "vector_operand")
16309 : : (match_operand:VI12_AVX2_AVX512BW 2 "vector_operand")))]
16310 : : "TARGET_SSE2 && <mask_mode512bit_condition> && <mask_avx512bw_condition>"
16311 : 166 : "ix86_fixup_binary_operands_no_copy (<CODE>, <MODE>mode, operands);")
16312 : :
16313 : : (define_insn "*<sse2_avx2>_<insn><mode>3<mask_name>"
16314 : 1006 : [(set (match_operand:VI12_AVX2_AVX512BW 0 "register_operand" "=x,<v_Yw>")
16315 : 1006 : (sat_plusminus:VI12_AVX2_AVX512BW
16316 : 1006 : (match_operand:VI12_AVX2_AVX512BW 1 "vector_operand" "<comm>0,<v_Yw>")
16317 : 1006 : (match_operand:VI12_AVX2_AVX512BW 2 "vector_operand" "xBm,<v_Yw>m")))]
16318 : 6994 : "TARGET_SSE2 && <mask_mode512bit_condition> && <mask_avx512bw_condition>
16319 : 12152 : && ix86_binary_operator_ok (<CODE>, <MODE>mode, operands)"
16320 : 948 : "@
16321 : 322 : p<plusminus_mnemonic><ssemodesuffix>\t{%2, %0|%0, %2}
16322 : 684 : vp<plusminus_mnemonic><ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
16323 : 1796 : [(set_attr "isa" "noavx,avx")
16324 : 1401 : (set_attr "type" "sseiadd")
16325 : 1006 : (set_attr "prefix_data16" "1,*")
16326 : 322 : (set_attr "prefix" "orig,maybe_evex")
16327 : 368914 : (set_attr "mode" "TI")])
16328 : 367695 :
16329 : 897 : ;; PR96906 - optimize psubusw compared to 0 into pminuw compared to op0.
16330 : 9330 : (define_split
16331 : 1564128 : [(set (match_operand:VI12_AVX2 0 "register_operand")
16332 : 1739 : (eq:VI12_AVX2
16333 : 1396031 : (us_minus:VI12_AVX2
16334 : 1395401 : (match_operand:VI12_AVX2 1 "vector_operand")
16335 : 632 : (match_operand:VI12_AVX2 2 "vector_operand"))
16336 : 16185 : (match_operand:VI12_AVX2 3 "const0_operand")))]
16337 : 16206 : "TARGET_SSE2
16338 : 820 : && (<MODE>mode != V8HImode || TARGET_SSE4_1)
16339 : 8707 : && ix86_binary_operator_ok (US_MINUS, <MODE>mode, operands)"
16340 : 7455 : [(set (match_dup 4)
16341 : 563 : (umin:VI12_AVX2 (match_dup 1) (match_dup 2)))
16342 : 51491 : (set (match_dup 0)
16343 : 52591 : (eq:VI12_AVX2 (match_dup 4) (match_dup 1)))]
16344 : 1197 : "operands[4] = gen_reg_rtx (<MODE>mode);")
16345 : 53087 :
16346 : 51934 : (define_expand "mul<mode>3"
16347 : 7161 : [(set (match_operand:VI1_AVX512 0 "register_operand")
16348 : 45984 : (mult:VI1_AVX512 (match_operand:VI1_AVX512 1 "register_operand")
16349 : 44815 : (match_operand:VI1_AVX512 2 "register_operand")))]
16350 : 187 : "TARGET_SSE2"
16351 : 423308 : {
16352 : 423260 : ix86_expand_vecop_qihi (MULT, operands[0], operands[1], operands[2]);
16353 : 1635 : DONE;
16354 : 409753 : })
16355 : 409753 :
16356 : 4 : (define_expand "cond_mul<mode>"
16357 : 12652875 : [(set (match_operand:VI2_AVX512VL 0 "register_operand")
16358 : 12652871 : (vec_merge:VI2_AVX512VL
16359 : 30 : (mult:VI2_AVX512VL
16360 : 12947 : (match_operand:VI2_AVX512VL 2 "vector_operand")
16361 : 12951 : (match_operand:VI2_AVX512VL 3 "vector_operand"))
16362 : : (match_operand:VI2_AVX512VL 4 "nonimm_or_0_operand")
16363 : 1769 : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
16364 : 1769 : "TARGET_AVX512BW"
16365 : 7 : {
16366 : 7 : emit_insn (gen_mul<mode>3_mask (operands[0],
16367 : 4 : operands[2],
16368 : : operands[3],
16369 : : operands[4],
16370 : : operands[1]));
16371 : 3 : DONE;
16372 : 102437 : })
16373 : :
16374 : 96937 : (define_expand "mul<mode>3<mask_name>"
16375 : 97078 : [(set (match_operand:VI2_AVX2_AVX512BW 0 "register_operand")
16376 : 102386 : (mult:VI2_AVX2_AVX512BW (match_operand:VI2_AVX2_AVX512BW 1 "vector_operand")
16377 : 102386 : (match_operand:VI2_AVX2_AVX512BW 2 "vector_operand")))]
16378 : 102437 : "TARGET_SSE2 && <mask_mode512bit_condition> && <mask_avx512bw_condition>"
16379 : 102695 : "ix86_fixup_binary_operands_no_copy (MULT, <MODE>mode, operands);")
16380 : 102554 :
16381 : 102578 : (define_insn "*mul<mode>3<mask_name>"
16382 : 102746 : [(set (match_operand:VI2_AVX2_AVX512BW 0 "register_operand" "=x,<v_Yw>")
16383 : 5833 : (mult:VI2_AVX2_AVX512BW (match_operand:VI2_AVX2_AVX512BW 1 "vector_operand" "%0,<v_Yw>")
16384 : 32619 : (match_operand:VI2_AVX2_AVX512BW 2 "vector_operand" "xBm,<v_Yw>m")))]
16385 : 112997 : "TARGET_SSE2 && !(MEM_P (operands[1]) && MEM_P (operands[2]))
16386 : 6272 : && <mask_mode512bit_condition> && <mask_avx512bw_condition>"
16387 : 32386 : "@
16388 : 26820 : pmullw\t{%2, %0|%0, %2}
16389 : 5641 : vpmullw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
16390 : 760 : [(set_attr "isa" "noavx,avx")
16391 : 27464 : (set_attr "type" "sseimul")
16392 : 26722 : (set_attr "prefix_data16" "1,*")
16393 : 32826 : (set_attr "prefix" "orig,vex")
16394 : 5988 : (set_attr "mode" "<sseinsnmode>")])
16395 : 5567 :
16396 : 1 : (define_expand "<s>mul<mode>3_highpart<mask_name>"
16397 : : [(set (match_operand:VI2_AVX2_AVX512BW 0 "register_operand")
16398 : 1 : (truncate:VI2_AVX2_AVX512BW
16399 : 1 : (lshiftrt:<ssedoublemode>
16400 : 220 : (mult:<ssedoublemode>
16401 : 76 : (any_extend:<ssedoublemode>
16402 : 75 : (match_operand:VI2_AVX2_AVX512BW 1 "vector_operand"))
16403 : : (any_extend:<ssedoublemode>
16404 : 48 : (match_operand:VI2_AVX2_AVX512BW 2 "vector_operand")))
16405 : 48 : (const_int 16))))]
16406 : 144 : "TARGET_SSE2
16407 : 468 : && <mask_mode512bit_condition> && <mask_avx512bw_condition>"
16408 : 492 : "ix86_fixup_binary_operands_no_copy (MULT, <MODE>mode, operands);")
16409 : 144 :
16410 : 144 : (define_insn "*<s>mul<mode>3_highpart<mask_name>"
16411 : 1138 : [(set (match_operand:VI2_AVX2_AVX512BW 0 "register_operand" "=x,<v_Yw>")
16412 : 862 : (truncate:VI2_AVX2_AVX512BW
16413 : 1186 : (lshiftrt:<ssedoublemode>
16414 : 1042 : (mult:<ssedoublemode>
16415 : 1090 : (any_extend:<ssedoublemode>
16416 : 1090 : (match_operand:VI2_AVX2_AVX512BW 1 "vector_operand" "%0,<v_Yw>"))
16417 : 492 : (any_extend:<ssedoublemode>
16418 : 790 : (match_operand:VI2_AVX2_AVX512BW 2 "vector_operand" "xBm,<v_Yw>m")))
16419 : 216 : (const_int 16))))]
16420 : 5862 : "TARGET_SSE2 && !(MEM_P (operands[1]) && MEM_P (operands[2]))
16421 : 1216 : && <mask_mode512bit_condition> && <mask_avx512bw_condition>"
16422 : 168 : "@
16423 : : pmulh<u>w\t{%2, %0|%0, %2}
16424 : : vpmulh<u>w\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
16425 : : [(set_attr "isa" "noavx,avx")
16426 : : (set_attr "type" "sseimul")
16427 : 598 : (set_attr "prefix_data16" "1,*")
16428 : 598 : (set_attr "prefix" "orig,vex")
16429 : 4512 : (set_attr "mode" "<sseinsnmode>")])
16430 : 3914 :
16431 : : (define_expand "vec_widen_umult_even_v16si<mask_name>"
16432 : : [(set (match_operand:V8DI 0 "register_operand")
16433 : 3946 : (mult:V8DI
16434 : 15232 : (zero_extend:V8DI
16435 : 168 : (vec_select:V8SI
16436 : 3844 : (match_operand:V16SI 1 "nonimmediate_operand")
16437 : 3676 : (parallel [(const_int 0) (const_int 2)
16438 : 11029 : (const_int 4) (const_int 6)
16439 : 13334 : (const_int 8) (const_int 10)
16440 : 13394 : (const_int 12) (const_int 14)])))
16441 : 13301 : (zero_extend:V8DI
16442 : 11089 : (vec_select:V8SI
16443 : 13394 : (match_operand:V16SI 2 "nonimmediate_operand")
16444 : 13358 : (parallel [(const_int 0) (const_int 2)
16445 : 157 : (const_int 4) (const_int 6)
16446 : 2374 : (const_int 8) (const_int 10)
16447 : 2482 : (const_int 12) (const_int 14)])))))]
16448 : 2482 : "TARGET_AVX512F && TARGET_EVEX512"
16449 : 2776 : "ix86_fixup_binary_operands_no_copy (MULT, V16SImode, operands);")
16450 : 2422 :
16451 : 2422 : (define_insn "*vec_widen_umult_even_v16si<mask_name>"
16452 : 1388 : [(set (match_operand:V8DI 0 "register_operand" "=v")
16453 : 1825 : (mult:V8DI
16454 : 1878 : (zero_extend:V8DI
16455 : 515 : (vec_select:V8SI
16456 : 1717 : (match_operand:V16SI 1 "nonimmediate_operand" "%v")
16457 : 390 : (parallel [(const_int 0) (const_int 2)
16458 : 142 : (const_int 4) (const_int 6)
16459 : 637 : (const_int 8) (const_int 10)
16460 : 36 : (const_int 12) (const_int 14)])))
16461 : 36 : (zero_extend:V8DI
16462 : : (vec_select:V8SI
16463 : 283 : (match_operand:V16SI 2 "nonimmediate_operand" "vm")
16464 : : (parallel [(const_int 0) (const_int 2)
16465 : : (const_int 4) (const_int 6)
16466 : : (const_int 8) (const_int 10)
16467 : : (const_int 12) (const_int 14)])))))]
16468 : 5059 : "TARGET_AVX512F && TARGET_EVEX512
16469 : 233 : && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
16470 : : "vpmuludq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
16471 : : [(set_attr "type" "sseimul")
16472 : : (set_attr "prefix" "evex")
16473 : 7876 : (set_attr "mode" "XI")])
16474 : 15546 :
16475 : : (define_expand "vec_widen_umult_even_v8si<mask_name>"
16476 : : [(set (match_operand:V4DI 0 "register_operand")
16477 : : (mult:V4DI
16478 : : (zero_extend:V4DI
16479 : : (vec_select:V4SI
16480 : : (match_operand:V8SI 1 "nonimmediate_operand")
16481 : : (parallel [(const_int 0) (const_int 2)
16482 : : (const_int 4) (const_int 6)])))
16483 : : (zero_extend:V4DI
16484 : : (vec_select:V4SI
16485 : : (match_operand:V8SI 2 "nonimmediate_operand")
16486 : : (parallel [(const_int 0) (const_int 2)
16487 : 354 : (const_int 4) (const_int 6)])))))]
16488 : 354 : "TARGET_AVX2 && <mask_avx512vl_condition>"
16489 : 1082 : "ix86_fixup_binary_operands_no_copy (MULT, V8SImode, operands);")
16490 : :
16491 : : (define_insn "*vec_widen_umult_even_v8si<mask_name>"
16492 : 728 : [(set (match_operand:V4DI 0 "register_operand" "=v")
16493 : 728 : (mult:V4DI
16494 : 780 : (zero_extend:V4DI
16495 : 764 : (vec_select:V4SI
16496 : 764 : (match_operand:V8SI 1 "nonimmediate_operand" "%v")
16497 : 728 : (parallel [(const_int 0) (const_int 2)
16498 : 40 : (const_int 4) (const_int 6)])))
16499 : 744 : (zero_extend:V4DI
16500 : 40 : (vec_select:V4SI
16501 : 43 : (match_operand:V8SI 2 "nonimmediate_operand" "vm")
16502 : 16 : (parallel [(const_int 0) (const_int 2)
16503 : 40 : (const_int 4) (const_int 6)])))))]
16504 : 7686 : "TARGET_AVX2 && <mask_avx512vl_condition>
16505 : 7876 : && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
16506 : : "vpmuludq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
16507 : 3 : [(set_attr "type" "sseimul")
16508 : 3 : (set_attr "prefix" "maybe_evex")
16509 : 100935 : (set_attr "mode" "OI")])
16510 : 201671 :
16511 : 3 : (define_expand "vec_widen_umult_even_v4si<mask_name>"
16512 : 3 : [(set (match_operand:V2DI 0 "register_operand")
16513 : 3 : (mult:V2DI
16514 : 3 : (zero_extend:V2DI
16515 : 3 : (vec_select:V2SI
16516 : : (match_operand:V4SI 1 "vector_operand")
16517 : : (parallel [(const_int 0) (const_int 2)])))
16518 : : (zero_extend:V2DI
16519 : 704 : (vec_select:V2SI
16520 : 704 : (match_operand:V4SI 2 "vector_operand")
16521 : 704 : (parallel [(const_int 0) (const_int 2)])))))]
16522 : : "TARGET_SSE2 && <mask_avx512vl_condition>"
16523 : 9721 : "ix86_fixup_binary_operands_no_copy (MULT, V4SImode, operands);")
16524 : :
16525 : : (define_insn "*vec_widen_umult_even_v4si<mask_name>"
16526 : 10062 : [(set (match_operand:V2DI 0 "register_operand" "=x,v")
16527 : 9745 : (mult:V2DI
16528 : 9745 : (zero_extend:V2DI
16529 : 9721 : (vec_select:V2SI
16530 : 10038 : (match_operand:V4SI 1 "vector_operand" "%0,v")
16531 : 10038 : (parallel [(const_int 0) (const_int 2)])))
16532 : 341 : (zero_extend:V2DI
16533 : 10039 : (vec_select:V2SI
16534 : 341 : (match_operand:V4SI 2 "vector_operand" "xBm,vm")
16535 : 341 : (parallel [(const_int 0) (const_int 2)])))))]
16536 : 101053 : "TARGET_SSE2 && <mask_avx512vl_condition>
16537 : 100956 : && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
16538 : : "@
16539 : 1 : pmuludq\t{%2, %0|%0, %2}
16540 : 1 : vpmuludq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
16541 : 1 : [(set_attr "isa" "noavx,avx")
16542 : 1 : (set_attr "type" "sseimul")
16543 : 1 : (set_attr "prefix_data16" "1,*")
16544 : 1 : (set_attr "prefix" "orig,maybe_evex")
16545 : 102472 : (set_attr "mode" "TI")])
16546 : 102472 :
16547 : 1 : (define_expand "vec_widen_smult_even_v16si<mask_name>"
16548 : : [(set (match_operand:V8DI 0 "register_operand")
16549 : 10157 : (mult:V8DI
16550 : 10390 : (sign_extend:V8DI
16551 : 9697 : (vec_select:V8SI
16552 : : (match_operand:V16SI 1 "nonimmediate_operand")
16553 : : (parallel [(const_int 0) (const_int 2)
16554 : : (const_int 4) (const_int 6)
16555 : : (const_int 8) (const_int 10)
16556 : 48 : (const_int 12) (const_int 14)])))
16557 : 24 : (sign_extend:V8DI
16558 : 24 : (vec_select:V8SI
16559 : : (match_operand:V16SI 2 "nonimmediate_operand")
16560 : : (parallel [(const_int 0) (const_int 2)
16561 : : (const_int 4) (const_int 6)
16562 : 24 : (const_int 8) (const_int 10)
16563 : 286 : (const_int 12) (const_int 14)])))))]
16564 : 24 : "TARGET_AVX512F && TARGET_EVEX512"
16565 : 72 : "ix86_fixup_binary_operands_no_copy (MULT, V16SImode, operands);")
16566 : 24 :
16567 : 286 : (define_insn "*vec_widen_smult_even_v16si<mask_name>"
16568 : 334 : [(set (match_operand:V8DI 0 "register_operand" "=v")
16569 : 334 : (mult:V8DI
16570 : 334 : (sign_extend:V8DI
16571 : 310 : (vec_select:V8SI
16572 : 310 : (match_operand:V16SI 1 "nonimmediate_operand" "%v")
16573 : 310 : (parallel [(const_int 0) (const_int 2)
16574 : 36 : (const_int 4) (const_int 6)
16575 : 48 : (const_int 8) (const_int 10)
16576 : 36 : (const_int 12) (const_int 14)])))
16577 : 36 : (sign_extend:V8DI
16578 : : (vec_select:V8SI
16579 : 36 : (match_operand:V16SI 2 "nonimmediate_operand" "vm")
16580 : : (parallel [(const_int 0) (const_int 2)
16581 : : (const_int 4) (const_int 6)
16582 : : (const_int 8) (const_int 10)
16583 : : (const_int 12) (const_int 14)])))))]
16584 : 460 : "TARGET_AVX512F && TARGET_EVEX512
16585 : 460 : && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
16586 : : "vpmuldq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
16587 : : [(set_attr "type" "sseimul")
16588 : : (set_attr "prefix" "evex")
16589 : 1023 : (set_attr "mode" "XI")])
16590 : 1840 :
16591 : : (define_expand "vec_widen_smult_even_v8si<mask_name>"
16592 : : [(set (match_operand:V4DI 0 "register_operand")
16593 : : (mult:V4DI
16594 : : (sign_extend:V4DI
16595 : : (vec_select:V4SI
16596 : : (match_operand:V8SI 1 "nonimmediate_operand")
16597 : : (parallel [(const_int 0) (const_int 2)
16598 : : (const_int 4) (const_int 6)])))
16599 : : (sign_extend:V4DI
16600 : : (vec_select:V4SI
16601 : : (match_operand:V8SI 2 "nonimmediate_operand")
16602 : : (parallel [(const_int 0) (const_int 2)
16603 : 12 : (const_int 4) (const_int 6)])))))]
16604 : 12 : "TARGET_AVX2 && <mask_avx512vl_condition>"
16605 : 121 : "ix86_fixup_binary_operands_no_copy (MULT, V8SImode, operands);")
16606 : :
16607 : : (define_insn "*vec_widen_smult_even_v8si<mask_name>"
16608 : 109 : [(set (match_operand:V4DI 0 "register_operand" "=v")
16609 : 109 : (mult:V4DI
16610 : 177 : (sign_extend:V4DI
16611 : 145 : (vec_select:V4SI
16612 : 145 : (match_operand:V8SI 1 "nonimmediate_operand" "%v")
16613 : 109 : (parallel [(const_int 0) (const_int 2)
16614 : 56 : (const_int 4) (const_int 6)])))
16615 : 141 : (sign_extend:V4DI
16616 : 56 : (vec_select:V4SI
16617 : 117 : (match_operand:V8SI 2 "nonimmediate_operand" "vm")
16618 : 32 : (parallel [(const_int 0) (const_int 2)
16619 : 56 : (const_int 4) (const_int 6)])))))]
16620 : 1055 : "TARGET_AVX2 && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
16621 : : "vpmuldq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
16622 : : [(set_attr "type" "sseimul")
16623 : 61 : (set_attr "prefix_extra" "1")
16624 : 3385 : (set_attr "prefix" "vex")
16625 : 6513 : (set_attr "mode" "OI")])
16626 : 61 :
16627 : 61 : (define_expand "sse4_1_mulv2siv2di3<mask_name>"
16628 : 61 : [(set (match_operand:V2DI 0 "register_operand")
16629 : 61 : (mult:V2DI
16630 : 61 : (sign_extend:V2DI
16631 : 61 : (vec_select:V2SI
16632 : : (match_operand:V4SI 1 "vector_operand")
16633 : : (parallel [(const_int 0) (const_int 2)])))
16634 : : (sign_extend:V2DI
16635 : 85 : (vec_select:V2SI
16636 : 85 : (match_operand:V4SI 2 "vector_operand")
16637 : 85 : (parallel [(const_int 0) (const_int 2)])))))]
16638 : : "TARGET_SSE4_1 && <mask_avx512vl_condition>"
16639 : 341 : "ix86_fixup_binary_operands_no_copy (MULT, V4SImode, operands);")
16640 : :
16641 : : (define_insn "*sse4_1_mulv2siv2di3<mask_name>"
16642 : 365 : [(set (match_operand:V2DI 0 "register_operand" "=Yr,*x,v")
16643 : 365 : (mult:V2DI
16644 : 365 : (sign_extend:V2DI
16645 : 341 : (vec_select:V2SI
16646 : 341 : (match_operand:V4SI 1 "vector_operand" "%0,0,v")
16647 : 341 : (parallel [(const_int 0) (const_int 2)])))
16648 : 24 : (sign_extend:V2DI
16649 : 370 : (vec_select:V2SI
16650 : 24 : (match_operand:V4SI 2 "vector_operand" "Yrja,*xja,vm")
16651 : 24 : (parallel [(const_int 0) (const_int 2)])))))]
16652 : 3128 : "TARGET_SSE4_1 && <mask_avx512vl_condition>
16653 : 3348 : && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
16654 : 0 : "@
16655 : 29 : pmuldq\t{%2, %0|%0, %2}
16656 : 29 : pmuldq\t{%2, %0|%0, %2}
16657 : 29 : vpmuldq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
16658 : 29 : [(set_attr "isa" "noavx,noavx,avx")
16659 : 29 : (set_attr "addr" "gpr16,gpr16,*")
16660 : 29 : (set_attr "type" "sseimul")
16661 : 29 : (set_attr "prefix_extra" "1")
16662 : 29 : (set_attr "prefix" "orig,orig,vex")
16663 : 29 : (set_attr "mode" "TI")])
16664 : :
16665 : 317 : (define_insn "avx512bw_pmaddwd512<mode><mask_name>"
16666 : 317 : [(set (match_operand:<sseunpackmode> 0 "register_operand" "=v")
16667 : 8656 : (unspec:<sseunpackmode>
16668 : : [(match_operand:VI2_AVX2_AVX512BW 1 "register_operand" "v")
16669 : : (match_operand:VI2_AVX2_AVX512BW 2 "nonimmediate_operand" "vm")]
16670 : : UNSPEC_PMADDWD512))]
16671 : 8466 : "TARGET_AVX512BW && <mask_mode512bit_condition>"
16672 : 8395 : "vpmaddwd\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}";
16673 : 8363 : [(set_attr "type" "sseiadd")
16674 : 8363 : (set_attr "prefix" "evex")
16675 : 8339 : (set_attr "mode" "XI")])
16676 : 8371 :
16677 : 8371 : (define_expand "avx2_pmaddwd"
16678 : 8371 : [(set (match_operand:V8SI 0 "register_operand")
16679 : 105227 : (plus:V8SI
16680 : 109676 : (mult:V8SI
16681 : 109676 : (sign_extend:V8SI
16682 : 109676 : (vec_select:V8HI
16683 : 106987 : (match_operand:V16HI 1 "nonimmediate_operand")
16684 : 107290 : (parallel [(const_int 0) (const_int 2)
16685 : 105498 : (const_int 4) (const_int 6)
16686 : 105391 : (const_int 8) (const_int 10)
16687 : 1867 : (const_int 12) (const_int 14)])))
16688 : 1734 : (sign_extend:V8SI
16689 : 172 : (vec_select:V8HI
16690 : 329 : (match_operand:V16HI 2 "nonimmediate_operand")
16691 : 256 : (parallel [(const_int 0) (const_int 2)
16692 : 122 : (const_int 4) (const_int 6)
16693 : : (const_int 8) (const_int 10)
16694 : : (const_int 12) (const_int 14)]))))
16695 : 256 : (mult:V8SI
16696 : : (sign_extend:V8SI
16697 : : (vec_select:V8HI (match_dup 1)
16698 : : (parallel [(const_int 1) (const_int 3)
16699 : : (const_int 5) (const_int 7)
16700 : : (const_int 9) (const_int 11)
16701 : : (const_int 13) (const_int 15)])))
16702 : : (sign_extend:V8SI
16703 : : (vec_select:V8HI (match_dup 2)
16704 : : (parallel [(const_int 1) (const_int 3)
16705 : : (const_int 5) (const_int 7)
16706 : : (const_int 9) (const_int 11)
16707 : : (const_int 13) (const_int 15)]))))))]
16708 : : "TARGET_AVX2"
16709 : 16 : "ix86_fixup_binary_operands_no_copy (MULT, V16HImode, operands);")
16710 : :
16711 : : (define_insn "*avx2_pmaddwd"
16712 : 16 : [(set (match_operand:V8SI 0 "register_operand" "=Yw")
16713 : 16 : (plus:V8SI
16714 : 16 : (mult:V8SI
16715 : 16 : (sign_extend:V8SI
16716 : 16 : (vec_select:V8HI
16717 : 16 : (match_operand:V16HI 1 "nonimmediate_operand" "%Yw")
16718 : : (parallel [(const_int 0) (const_int 2)
16719 : 16 : (const_int 4) (const_int 6)
16720 : : (const_int 8) (const_int 10)
16721 : : (const_int 12) (const_int 14)])))
16722 : : (sign_extend:V8SI
16723 : : (vec_select:V8HI
16724 : : (match_operand:V16HI 2 "nonimmediate_operand" "Ywm")
16725 : : (parallel [(const_int 0) (const_int 2)
16726 : : (const_int 4) (const_int 6)
16727 : : (const_int 8) (const_int 10)
16728 : : (const_int 12) (const_int 14)]))))
16729 : : (mult:V8SI
16730 : : (sign_extend:V8SI
16731 : : (vec_select:V8HI (match_dup 1)
16732 : : (parallel [(const_int 1) (const_int 3)
16733 : : (const_int 5) (const_int 7)
16734 : : (const_int 9) (const_int 11)
16735 : : (const_int 13) (const_int 15)])))
16736 : : (sign_extend:V8SI
16737 : : (vec_select:V8HI (match_dup 2)
16738 : : (parallel [(const_int 1) (const_int 3)
16739 : : (const_int 5) (const_int 7)
16740 : : (const_int 9) (const_int 11)
16741 : : (const_int 13) (const_int 15)]))))))]
16742 : 121 : "TARGET_AVX2 && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
16743 : : "vpmaddwd\t{%2, %1, %0|%0, %1, %2}"
16744 : : [(set_attr "type" "sseiadd")
16745 : : (set_attr "prefix" "vex")
16746 : 4258 : (set_attr "mode" "OI")])
16747 : 4258 :
16748 : 4258 : (define_expand "sse2_pmaddwd"
16749 : : [(set (match_operand:V4SI 0 "register_operand")
16750 : 4258 : (plus:V4SI
16751 : 4258 : (mult:V4SI
16752 : : (sign_extend:V4SI
16753 : 4258 : (vec_select:V4HI
16754 : 4258 : (match_operand:V8HI 1 "vector_operand")
16755 : : (parallel [(const_int 0) (const_int 2)
16756 : 4258 : (const_int 4) (const_int 6)])))
16757 : 4258 : (sign_extend:V4SI
16758 : : (vec_select:V4HI
16759 : 4258 : (match_operand:V8HI 2 "vector_operand")
16760 : 4258 : (parallel [(const_int 0) (const_int 2)
16761 : 4258 : (const_int 4) (const_int 6)]))))
16762 : 4258 : (mult:V4SI
16763 : : (sign_extend:V4SI
16764 : 4258 : (vec_select:V4HI (match_dup 1)
16765 : 4258 : (parallel [(const_int 1) (const_int 3)
16766 : : (const_int 5) (const_int 7)])))
16767 : 4258 : (sign_extend:V4SI
16768 : 4258 : (vec_select:V4HI (match_dup 2)
16769 : : (parallel [(const_int 1) (const_int 3)
16770 : 4258 : (const_int 5) (const_int 7)]))))))]
16771 : 4258 : "TARGET_SSE2"
16772 : 262 : "ix86_fixup_binary_operands_no_copy (MULT, V8HImode, operands);")
16773 : 4258 :
16774 : 4258 : (define_insn "*sse2_pmaddwd"
16775 : 4536 : [(set (match_operand:V4SI 0 "register_operand" "=x,Yw")
16776 : 278 : (plus:V4SI
16777 : 278 : (mult:V4SI
16778 : 4450 : (sign_extend:V4SI
16779 : 8708 : (vec_select:V4HI
16780 : 332 : (match_operand:V8HI 1 "vector_operand" "%0,Yw")
16781 : 4188 : (parallel [(const_int 0) (const_int 2)
16782 : 505 : (const_int 4) (const_int 6)])))
16783 : 4125 : (sign_extend:V4SI
16784 : 4125 : (vec_select:V4HI
16785 : 4125 : (match_operand:V8HI 2 "vector_operand" "xBm,Ywm")
16786 : 4368 : (parallel [(const_int 0) (const_int 2)
16787 : 4368 : (const_int 4) (const_int 6)]))))
16788 : 4368 : (mult:V4SI
16789 : 4368 : (sign_extend:V4SI
16790 : 4368 : (vec_select:V4HI (match_dup 1)
16791 : 243 : (parallel [(const_int 1) (const_int 3)
16792 : 4368 : (const_int 5) (const_int 7)])))
16793 : 4125 : (sign_extend:V4SI
16794 : : (vec_select:V4HI (match_dup 2)
16795 : : (parallel [(const_int 1) (const_int 3)
16796 : : (const_int 5) (const_int 7)]))))))]
16797 : 4176 : "TARGET_SSE2 && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
16798 : 7324 : "@
16799 : 1606 : pmaddwd\t{%2, %0|%0, %2}
16800 : 2519 : vpmaddwd\t{%2, %1, %0|%0, %1, %2}"
16801 : 2582 : [(set_attr "isa" "noavx,avx")
16802 : 2582 : (set_attr "type" "sseiadd")
16803 : 2582 : (set_attr "atom_unit" "simul")
16804 : 63 : (set_attr "prefix_data16" "1,*")
16805 : 63 : (set_attr "prefix" "orig,vex")
16806 : 63 : (set_attr "mode" "TI")])
16807 : 63 :
16808 : 2582 : (define_expand "cond_mul<mode>"
16809 : 2582 : [(set (match_operand:VI8_AVX512VL 0 "register_operand")
16810 : 126 : (vec_merge:VI8_AVX512VL
16811 : 0 : (mult:VI8_AVX512VL
16812 : 63 : (match_operand:VI8_AVX512VL 2 "vector_operand")
16813 : 63 : (match_operand:VI8_AVX512VL 3 "vector_operand"))
16814 : 63 : (match_operand:VI8_AVX512VL 4 "nonimm_or_0_operand")
16815 : 63 : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
16816 : : "TARGET_AVX512DQ"
16817 : 4 : {
16818 : 4 : emit_insn (gen_avx512dq_mul<mode>3_mask (operands[0],
16819 : : operands[2],
16820 : : operands[3],
16821 : : operands[4],
16822 : 262 : operands[1]));
16823 : 266 : DONE;
16824 : 262 : })
16825 : :
16826 : : (define_expand "avx512dq_mul<mode>3<mask_name>"
16827 : : [(set (match_operand:VI8_AVX512VL 0 "register_operand")
16828 : : (mult:VI8_AVX512VL
16829 : 516 : (match_operand:VI8_AVX512VL 1 "bcst_vector_operand")
16830 : : (match_operand:VI8_AVX512VL 2 "bcst_vector_operand")))]
16831 : : "TARGET_AVX512DQ && <mask_mode512bit_condition>"
16832 : 190 : "ix86_fixup_binary_operands_no_copy (MULT, <MODE>mode, operands);")
16833 : 516 :
16834 : 516 : (define_insn "*avx512dq_mul<mode>3<mask_name>"
16835 : 732 : [(set (match_operand:VI8_AVX512VL 0 "register_operand" "=v")
16836 : 732 : (mult:VI8_AVX512VL
16837 : 732 : (match_operand:VI8_AVX512VL 1 "bcst_vector_operand" "%v")
16838 : 732 : (match_operand:VI8_AVX512VL 2 "bcst_vector_operand" "vmBr")))]
16839 : 1453 : "TARGET_AVX512DQ && <mask_mode512bit_condition>
16840 : 1708 : && ix86_binary_operator_ok (MULT, <MODE>mode, operands)"
16841 : 330 : {
16842 : 404 : if (TARGET_DEST_FALSE_DEP_FOR_GLC
16843 : 122 : && <mask3_dest_false_dep_for_glc_cond>
16844 : 122 : && !reg_mentioned_p (operands[0], operands[1])
16845 : 32 : && !reg_mentioned_p (operands[0], operands[2]))
16846 : 222 : output_asm_insn ("vxorps\t%x0, %x0, %x0", operands);
16847 : 314 : return "vpmullq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}";
16848 : 100 : }
16849 : : [(set_attr "type" "sseimul")
16850 : : (set_attr "prefix" "evex")
16851 : : (set_attr "mode" "<sseinsnmode>")])
16852 : 191 :
16853 : 377 : (define_expand "cond_mul<mode>"
16854 : 116 : [(set (match_operand:VI4_AVX512VL 0 "register_operand")
16855 : 116 : (vec_merge:VI4_AVX512VL
16856 : : (mult:VI4_AVX512VL
16857 : 234 : (match_operand:VI4_AVX512VL 2 "vector_operand")
16858 : 237 : (match_operand:VI4_AVX512VL 3 "vector_operand"))
16859 : 290 : (match_operand:VI4_AVX512VL 4 "nonimm_or_0_operand")
16860 : 4823 : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
16861 : 290 : "TARGET_AVX512F"
16862 : 290 : {
16863 : 290 : emit_insn (gen_mul<mode>3_mask (operands[0],
16864 : 4565 : operands[2],
16865 : 4565 : operands[3],
16866 : 4613 : operands[4],
16867 : 4610 : operands[1]));
16868 : 4560 : DONE;
16869 : 4557 : })
16870 : 4557 :
16871 : 48 : (define_expand "mul<mode>3<mask_name>"
16872 : 48 : [(set (match_operand:VI4_AVX512F 0 "register_operand")
16873 : 48 : (mult:VI4_AVX512F
16874 : 48 : (match_operand:VI4_AVX512F 1 "general_vector_operand")
16875 : : (match_operand:VI4_AVX512F 2 "general_vector_operand")))]
16876 : : "TARGET_SSE2 && <mask_mode512bit_condition>"
16877 : 5334 : {
16878 : 5334 : if (TARGET_SSE4_1)
16879 : : {
16880 : 1822 : if (!vector_operand (operands[1], <MODE>mode))
16881 : 6 : operands[1] = force_reg (<MODE>mode, operands[1]);
16882 : 1822 : if (!vector_operand (operands[2], <MODE>mode))
16883 : 356 : operands[2] = force_reg (<MODE>mode, operands[2]);
16884 : 1822 : ix86_fixup_binary_operands_no_copy (MULT, <MODE>mode, operands);
16885 : : }
16886 : : else
16887 : : {
16888 : 3512 : ix86_expand_sse2_mulv4si3 (operands[0], operands[1], operands[2]);
16889 : 3512 : DONE;
16890 : : }
16891 : : })
16892 : :
16893 : : (define_insn "*<sse4_1_avx2>_mul<mode>3<mask_name>"
16894 : 1822 : [(set (match_operand:VI4_AVX512F 0 "register_operand" "=Yr,*x,v")
16895 : 1822 : (mult:VI4_AVX512F
16896 : 1822 : (match_operand:VI4_AVX512F 1 "bcst_vector_operand" "%0,0,v")
16897 : 2112 : (match_operand:VI4_AVX512F 2 "bcst_vector_operand" "Yrja,*xja,vmBr")))]
16898 : 36502 : "TARGET_SSE4_1 && ix86_binary_operator_ok (MULT, <MODE>mode, operands)
16899 : 15461 : && <mask_mode512bit_condition>"
16900 : 3805 : "@
16901 : 2112 : pmulld\t{%2, %0|%0, %2}
16902 : 365 : pmulld\t{%2, %0|%0, %2}
16903 : 632 : vpmulld\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
16904 : 557 : [(set_attr "isa" "noavx,noavx,avx")
16905 : 2112 : (set_attr "addr" "gpr16,gpr16,*")
16906 : 2132 : (set_attr "type" "sseimul")
16907 : 2209 : (set_attr "prefix_extra" "1")
16908 : : (set_attr "prefix" "<bcst_mask_prefix4>")
16909 : : (set_attr "btver2_decode" "vector,vector,vector")
16910 : : (set_attr "mode" "<sseinsnmode>")])
16911 : :
16912 : 114 : (define_expand "mul<mode>3"
16913 : 75 : [(set (match_operand:VI8_AVX2_AVX512F 0 "register_operand")
16914 : 75 : (mult:VI8_AVX2_AVX512F
16915 : : (match_operand:VI8_AVX2_AVX512F 1 "register_operand")
16916 : 39 : (match_operand:VI8_AVX2_AVX512F 2 "register_operand")))]
16917 : 39 : "TARGET_SSE2"
16918 : 570 : {
16919 : 807 : ix86_expand_sse2_mulvxdi3 (operands[0], operands[1], operands[2]);
16920 : 570 : DONE;
16921 : 39 : })
16922 : 39 :
16923 : 237 : (define_expand "vec_widen_<s>mult_hi_<mode>"
16924 : 237 : [(match_operand:<sseunpackmode> 0 "register_operand")
16925 : 237 : (any_extend:<sseunpackmode>
16926 : 237 : (match_operand:VI124_AVX2 1 "register_operand"))
16927 : 237 : (match_operand:VI124_AVX2 2 "register_operand")]
16928 : 237 : "TARGET_SSE2"
16929 : 436 : {
16930 : 364 : ix86_expand_mul_widen_hilo (operands[0], operands[1], operands[2],
16931 : : <u_bool>, true);
16932 : 436 : DONE;
16933 : : })
16934 : :
16935 : : (define_expand "vec_widen_<s>mult_lo_<mode>"
16936 : : [(match_operand:<sseunpackmode> 0 "register_operand")
16937 : : (any_extend:<sseunpackmode>
16938 : : (match_operand:VI124_AVX2 1 "register_operand"))
16939 : : (match_operand:VI124_AVX2 2 "register_operand")]
16940 : : "TARGET_SSE2"
16941 : 429 : {
16942 : 515 : ix86_expand_mul_widen_hilo (operands[0], operands[1], operands[2],
16943 : : <u_bool>, false);
16944 : 429 : DONE;
16945 : : })
16946 : 86 :
16947 : 86 : ;; Most widen_<s>mult_even_<mode> can be handled directly from other
16948 : 86 : ;; named patterns, but signed V4SI needs special help for plain SSE2.
16949 : 86 : (define_expand "vec_widen_smult_even_v4si"
16950 : 86 : [(match_operand:V2DI 0 "register_operand")
16951 : 86 : (match_operand:V4SI 1 "vector_operand")
16952 : 86 : (match_operand:V4SI 2 "vector_operand")]
16953 : : "TARGET_SSE2"
16954 : 779 : {
16955 : 408 : ix86_expand_mul_widen_evenodd (operands[0], operands[1], operands[2],
16956 : : false, false);
16957 : 408 : DONE;
16958 : 371 : })
16959 : 371 :
16960 : 371 : (define_expand "vec_widen_<s>mult_odd_<mode>"
16961 : 371 : [(match_operand:<sseunpackmode> 0 "register_operand")
16962 : 371 : (any_extend:<sseunpackmode>
16963 : 371 : (match_operand:VI4_AVX512F 1 "general_vector_operand"))
16964 : 371 : (match_operand:VI4_AVX512F 2 "general_vector_operand")]
16965 : : "TARGET_SSE2"
16966 : 2041 : {
16967 : 614 : ix86_expand_mul_widen_evenodd (operands[0], operands[1], operands[2],
16968 : 8 : <u_bool>, true);
16969 : 614 : DONE;
16970 : 1152 : })
16971 : 1160 :
16972 : 1297 : (define_mode_attr SDOT_PMADD_SUF
16973 : 1427 : [(V32HI "512v32hi") (V16HI "") (V8HI "")])
16974 : 1427 :
16975 : 1427 : (define_mode_attr SDOT_VPDP_SUF
16976 : 1160 : [(V32HI "v16si") (V16HI "v8si") (V8HI "v4si")])
16977 : 275 :
16978 : 276 : (define_expand "sdot_prod<sseunpackmodelower><mode>"
16979 : : [(match_operand:<sseunpackmode> 0 "register_operand")
16980 : : (match_operand:VI2_AVX512VNNIBW 1 "register_operand")
16981 : : (match_operand:VI2_AVX512VNNIBW 2 "register_operand")
16982 : : (match_operand:<sseunpackmode> 3 "register_operand")]
16983 : 1 : "TARGET_SSE2"
16984 : 276 : {
16985 : 1 : /* Try with vnni instructions. */
16986 : 276 : if ((<MODE_SIZE> == 64 && TARGET_AVX512VNNI && TARGET_EVEX512)
16987 : 1 : || (<MODE_SIZE> < 64
16988 : 268 : && ((TARGET_AVX512VNNI && TARGET_AVX512VL) || TARGET_AVXVNNI)))
16989 : 1 : {
16990 : 22 : operands[1] = lowpart_subreg (<sseunpackmode>mode,
16991 : 18 : force_reg (<MODE>mode, operands[1]),
16992 : : <MODE>mode);
16993 : 21 : operands[2] = lowpart_subreg (<sseunpackmode>mode,
16994 : : force_reg (<MODE>mode, operands[2]),
16995 : 18 : <MODE>mode);
16996 : 39 : emit_insn (gen_vpdpwssd_<SDOT_VPDP_SUF> (operands[0], operands[3],
16997 : 18 : operands[1], operands[2]));
16998 : 18 : }
16999 : 18 : /* Otherwise use pmaddwd + paddd. */
17000 : 18 : else
17001 : 18 : {
17002 : 272 : rtx t = gen_reg_rtx (<sseunpackmode>mode);
17003 : 254 : emit_insn (gen_<sse2_avx2>_pmaddwd<SDOT_PMADD_SUF> (t, operands[1], operands[2]));
17004 : 254 : emit_insn (gen_rtx_SET (operands[0],
17005 : : gen_rtx_PLUS (<sseunpackmode>mode,
17006 : : operands[3], t)));
17007 : : }
17008 : 275 : DONE;
17009 : : })
17010 : :
17011 : : ;; Normally we use widen_mul_even/odd, but combine can't quite get it all
17012 : : ;; back together when madd is available.
17013 : : (define_expand "sdot_prodv2div4si"
17014 : : [(match_operand:V2DI 0 "register_operand")
17015 : : (match_operand:V4SI 1 "register_operand")
17016 : : (match_operand:V4SI 2 "register_operand")
17017 : : (match_operand:V2DI 3 "register_operand")]
17018 : : "TARGET_XOP"
17019 : 1 : {
17020 : 1 : rtx t = gen_reg_rtx (V2DImode);
17021 : 1 : emit_insn (gen_xop_pmacsdqh (t, operands[1], operands[2], operands[3]));
17022 : 1 : emit_insn (gen_xop_pmacsdql (operands[0], operands[1], operands[2], t));
17023 : 1 : DONE;
17024 : : })
17025 : :
17026 : : (define_expand "uavg<mode>3_ceil"
17027 : : [(set (match_operand:VI12_AVX2_AVX512BW 0 "register_operand")
17028 : : (truncate:VI12_AVX2_AVX512BW
17029 : : (lshiftrt:<ssedoublemode>
17030 : : (plus:<ssedoublemode>
17031 : : (plus:<ssedoublemode>
17032 : : (zero_extend:<ssedoublemode>
17033 : 1043 : (match_operand:VI12_AVX2_AVX512BW 1 "vector_operand"))
17034 : : (zero_extend:<ssedoublemode>
17035 : 1043 : (match_operand:VI12_AVX2_AVX512BW 2 "vector_operand")))
17036 : 1043 : (match_dup 3))
17037 : 1043 : (const_int 1))))]
17038 : 1043 : "TARGET_SSE2"
17039 : 1061 : {
17040 : 1061 : operands[3] = CONST1_RTX(<ssedoublemode>mode);
17041 : 18 : ix86_fixup_binary_operands_no_copy (PLUS, <MODE>mode, operands);
17042 : 1043 : })
17043 : 0 :
17044 : 0 : (define_expand "usadv16qi"
17045 : 18 : [(match_operand:V4SI 0 "register_operand")
17046 : 18 : (match_operand:V16QI 1 "register_operand")
17047 : 121 : (match_operand:V16QI 2 "vector_operand")
17048 : 18 : (match_operand:V4SI 3 "vector_operand")]
17049 : 18 : "TARGET_SSE2"
17050 : 121 : {
17051 : 224 : rtx t1 = gen_reg_rtx (V2DImode);
17052 : 121 : rtx t2 = gen_reg_rtx (V4SImode);
17053 : 206 : emit_insn (gen_sse2_psadbw (t1, operands[1], operands[2]));
17054 : 121 : convert_move (t2, t1, 0);
17055 : 103 : emit_insn (gen_addv4si3 (operands[0], t2, operands[3]));
17056 : 103 : DONE;
17057 : 103 : })
17058 : 103 :
17059 : 103 : (define_expand "usadv32qi"
17060 : : [(match_operand:V8SI 0 "register_operand")
17061 : : (match_operand:V32QI 1 "register_operand")
17062 : : (match_operand:V32QI 2 "nonimmediate_operand")
17063 : : (match_operand:V8SI 3 "nonimmediate_operand")]
17064 : : "TARGET_AVX2"
17065 : 18 : {
17066 : 18 : rtx t1 = gen_reg_rtx (V4DImode);
17067 : 18 : rtx t2 = gen_reg_rtx (V8SImode);
17068 : 0 : emit_insn (gen_avx2_psadbw (t1, operands[1], operands[2]));
17069 : 0 : convert_move (t2, t1, 0);
17070 : 0 : emit_insn (gen_addv8si3 (operands[0], t2, operands[3]));
17071 : 0 : DONE;
17072 : 0 : })
17073 : 1471 :
17074 : : (define_expand "usadv64qi"
17075 : 1471 : [(match_operand:V16SI 0 "register_operand")
17076 : 1471 : (match_operand:V64QI 1 "register_operand")
17077 : 1471 : (match_operand:V64QI 2 "nonimmediate_operand")
17078 : 1471 : (match_operand:V16SI 3 "nonimmediate_operand")]
17079 : 1471 : "TARGET_AVX512BW && TARGET_EVEX512"
17080 : 1471 : {
17081 : 0 : rtx t1 = gen_reg_rtx (V8DImode);
17082 : 1471 : rtx t2 = gen_reg_rtx (V16SImode);
17083 : 0 : emit_insn (gen_avx512f_psadbw (t1, operands[1], operands[2]));
17084 : 0 : convert_move (t2, t1, 0);
17085 : 0 : emit_insn (gen_addv16si3 (operands[0], t2, operands[3]));
17086 : 0 : DONE;
17087 : 0 : })
17088 : 0 :
17089 : 0 : (define_insn "<mask_codefor>ashr<mode>3<mask_name>"
17090 : 0 : [(set (match_operand:VI248_AVX512BW_1 0 "register_operand" "=v,v")
17091 : 0 : (ashiftrt:VI248_AVX512BW_1
17092 : 0 : (match_operand:VI248_AVX512BW_1 1 "nonimmediate_operand" "v,vm")
17093 : : (match_operand:DI 2 "nonmemory_operand" "v,N")))]
17094 : 6741 : "TARGET_AVX512VL"
17095 : : "vpsra<ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
17096 : 34455 : [(set_attr "type" "sseishft")
17097 : 594 : (set (attr "length_immediate")
17098 : 26117 : (if_then_else (match_operand 2 "const_int_operand")
17099 : 24813 : (const_string "1")
17100 : 0 : (const_string "0")))
17101 : 0 : (set_attr "mode" "<sseinsnmode>")])
17102 : 0 :
17103 : 0 : (define_insn "ashr<mode>3"
17104 : 0 : [(set (match_operand:VI24_AVX2 0 "register_operand" "=x,<v_Yw>")
17105 : 0 : (ashiftrt:VI24_AVX2
17106 : 0 : (match_operand:VI24_AVX2 1 "register_operand" "0,<v_Yw>")
17107 : 0 : (match_operand:DI 2 "nonmemory_operand" "xN,YwN")))]
17108 : 27568 : "TARGET_SSE2"
17109 : : "@
17110 : 626 : psra<ssemodesuffix>\t{%2, %0|%0, %2}
17111 : 626 : vpsra<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
17112 : : [(set_attr "isa" "noavx,avx")
17113 : 0 : (set_attr "type" "sseishft")
17114 : 0 : (set (attr "length_immediate")
17115 : 0 : (if_then_else (match_operand 2 "const_int_operand")
17116 : 0 : (const_string "1")
17117 : 0 : (const_string "0")))
17118 : 0 : (set_attr "prefix_data16" "1,*")
17119 : 0 : (set_attr "prefix" "orig,vex")
17120 : 0 : (set_attr "mode" "<sseinsnmode>")])
17121 : 0 :
17122 : 0 : (define_insn_and_split "*ashr<mode>3_1"
17123 : : [(set (match_operand:VI24_AVX2 0 "register_operand")
17124 : : (lt:VI24_AVX2
17125 : : (match_operand:VI24_AVX2 1 "register_operand")
17126 : : (match_operand:VI24_AVX2 2 "const0_operand")))]
17127 : 27917 : "TARGET_SSE2 && ix86_pre_reload_split ()"
17128 : 8298 : "#"
17129 : : "&& 1"
17130 : 871 : [(set (match_dup 0) (ashiftrt:VI24_AVX2 (match_dup 1) (match_dup 3)))]
17131 : 5292 : "operands[3] = gen_int_mode (<ssescalarsize> - 1, DImode);")
17132 : 264 :
17133 : 3384 : (define_insn "<mask_codefor>ashr<mode>3<mask_name>"
17134 : 6179 : [(set (match_operand:VI248_AVX512BW_AVX512VL 0 "register_operand" "=v,v")
17135 : 588235 : (ashiftrt:VI248_AVX512BW_AVX512VL
17136 : 594132 : (match_operand:VI248_AVX512BW_AVX512VL 1 "nonimmediate_operand" "v,vm")
17137 : 180690 : (match_operand:DI 2 "nonmemory_operand" "v,N")))]
17138 : 182774 : "TARGET_AVX512F"
17139 : 5448 : "vpsra<ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
17140 : 2515 : [(set_attr "type" "sseishft")
17141 : 5449 : (set (attr "length_immediate")
17142 : 2514 : (if_then_else (match_operand 2 "const_int_operand")
17143 : : (const_string "1")
17144 : : (const_string "0")))
17145 : : (set_attr "mode" "<sseinsnmode>")])
17146 : 2514 :
17147 : 2514 : (define_insn_and_split "*avx512_ashr<mode>3_1"
17148 : 2514 : [(set (match_operand:VI248_AVX512VLBW 0 "register_operand")
17149 : : (vec_merge:VI248_AVX512VLBW
17150 : : (match_operand:VI248_AVX512VLBW 1 "vector_all_ones_operand")
17151 : : (match_operand:VI248_AVX512VLBW 2 "const0_operand")
17152 : : (unspec:<avx512fmaskmode>
17153 : 7 : [(match_operand:VI248_AVX512VLBW 3 "nonimmediate_operand")
17154 : 0 : (match_operand:VI248_AVX512VLBW 4 "const0_operand")
17155 : : (const_int 1)]
17156 : 0 : UNSPEC_PCMP)))]
17157 : 7 : "TARGET_AVX512F && ix86_pre_reload_split ()"
17158 : 0 : "#"
17159 : 0 : "&& 1"
17160 : 0 : [(set (match_dup 0)
17161 : 0 : (ashiftrt:VI248_AVX512VLBW (match_dup 3) (match_dup 5)))]
17162 : 0 : "operands[5] = gen_int_mode (<ssescalarsize> - 1, DImode);")
17163 : 0 :
17164 : 0 : (define_expand "ashr<mode>3"
17165 : 8 : [(set (match_operand:VI248_AVX512BW 0 "register_operand")
17166 : 0 : (ashiftrt:VI248_AVX512BW
17167 : 0 : (match_operand:VI248_AVX512BW 1 "nonimmediate_operand")
17168 : 0 : (match_operand:DI 2 "nonmemory_operand")))]
17169 : 8 : "TARGET_AVX512F")
17170 : 0 :
17171 : 0 : (define_expand "ashrv4di3"
17172 : 0 : [(set (match_operand:V4DI 0 "register_operand")
17173 : 0 : (ashiftrt:V4DI
17174 : 0 : (match_operand:V4DI 1 "nonimmediate_operand")
17175 : 0 : (match_operand:DI 2 "nonmemory_operand")))]
17176 : 0 : "TARGET_AVX2"
17177 : 0 : {
17178 : 19 : if (!TARGET_AVX512VL)
17179 : : {
17180 : 13 : if (CONST_INT_P (operands[2]) && UINTVAL (operands[2]) >= 63)
17181 : 0 : {
17182 : 5 : rtx zero = force_reg (V4DImode, CONST0_RTX (V4DImode));
17183 : 5 : emit_insn (gen_avx2_gtv4di3 (operands[0], zero, operands[1]));
17184 : 5 : DONE;
17185 : 0 : }
17186 : 8 : if (operands[2] == const0_rtx)
17187 : 0 : {
17188 : 12 : emit_move_insn (operands[0], operands[1]);
17189 : 0 : DONE;
17190 : 0 : }
17191 : 8 : operands[1] = force_reg (V4DImode, operands[1]);
17192 : 20 : if (CONST_INT_P (operands[2]))
17193 : 19 : {
17194 : 7 : vec_perm_builder sel (8, 8, 1);
17195 : 7 : sel.quick_grow (8);
17196 : 26 : rtx arg0, arg1;
17197 : 7 : rtx op1 = lowpart_subreg (V8SImode, operands[1], V4DImode);
17198 : 26 : rtx target = gen_reg_rtx (V8SImode);
17199 : 7 : if (INTVAL (operands[2]) > 32)
17200 : 0 : {
17201 : 1 : arg0 = gen_reg_rtx (V8SImode);
17202 : 1 : arg1 = gen_reg_rtx (V8SImode);
17203 : 1 : emit_insn (gen_ashrv8si3 (arg1, op1, GEN_INT (31)));
17204 : 1 : emit_insn (gen_ashrv8si3 (arg0, op1,
17205 : 1 : GEN_INT (INTVAL (operands[2]) - 32)));
17206 : 1 : sel[0] = 1;
17207 : 1 : sel[1] = 9;
17208 : 1 : sel[2] = 3;
17209 : 1 : sel[3] = 11;
17210 : 1 : sel[4] = 5;
17211 : 1 : sel[5] = 13;
17212 : 1 : sel[6] = 7;
17213 : 1 : sel[7] = 15;
17214 : : }
17215 : 6 : else if (INTVAL (operands[2]) == 32)
17216 : 0 : {
17217 : 1 : arg0 = op1;
17218 : 1 : arg1 = gen_reg_rtx (V8SImode);
17219 : 1 : emit_insn (gen_ashrv8si3 (arg1, op1, GEN_INT (31)));
17220 : 1 : sel[0] = 1;
17221 : 1 : sel[1] = 9;
17222 : 1 : sel[2] = 3;
17223 : 1 : sel[3] = 11;
17224 : 1 : sel[4] = 5;
17225 : 1 : sel[5] = 13;
17226 : 1 : sel[6] = 7;
17227 : 1 : sel[7] = 15;
17228 : : }
17229 : : else
17230 : : {
17231 : 5 : arg0 = gen_reg_rtx (V4DImode);
17232 : 5 : arg1 = gen_reg_rtx (V8SImode);
17233 : 5 : emit_insn (gen_lshrv4di3 (arg0, operands[1], operands[2]));
17234 : 5 : emit_insn (gen_ashrv8si3 (arg1, op1, operands[2]));
17235 : 5 : arg0 = lowpart_subreg (V8SImode, arg0, V4DImode);
17236 : 5 : sel[0] = 0;
17237 : 5 : sel[1] = 9;
17238 : 5 : sel[2] = 2;
17239 : 5 : sel[3] = 11;
17240 : 5 : sel[4] = 4;
17241 : 5 : sel[5] = 13;
17242 : 5 : sel[6] = 6;
17243 : 5 : sel[7] = 15;
17244 : : }
17245 : 7 : vec_perm_indices indices (sel, 2, 8);
17246 : 7 : bool ok = targetm.vectorize.vec_perm_const (V8SImode, V8SImode,
17247 : : target, arg0, arg1,
17248 : : indices);
17249 : 7 : gcc_assert (ok);
17250 : 7 : emit_move_insn (operands[0],
17251 : : lowpart_subreg (V4DImode, target, V8SImode));
17252 : 7 : DONE;
17253 : 7 : }
17254 : :
17255 : 1 : rtx zero = force_reg (V4DImode, CONST0_RTX (V4DImode));
17256 : 1 : rtx zero_or_all_ones = gen_reg_rtx (V4DImode);
17257 : 1 : emit_insn (gen_avx2_gtv4di3 (zero_or_all_ones, zero, operands[1]));
17258 : 1 : rtx lshr_res = gen_reg_rtx (V4DImode);
17259 : 1 : emit_insn (gen_lshrv4di3 (lshr_res, operands[1], operands[2]));
17260 : 1 : rtx ashl_res = gen_reg_rtx (V4DImode);
17261 : 1 : rtx amount;
17262 : 1 : if (TARGET_64BIT)
17263 : : {
17264 : 1 : amount = gen_reg_rtx (DImode);
17265 : 1 : emit_insn (gen_subdi3 (amount, force_reg (DImode, GEN_INT (64)),
17266 : : operands[2]));
17267 : : }
17268 : : else
17269 : : {
17270 : 0 : rtx temp = gen_reg_rtx (SImode);
17271 : 0 : emit_insn (gen_subsi3 (temp, force_reg (SImode, GEN_INT (64)),
17272 : : lowpart_subreg (SImode, operands[2],
17273 : : DImode)));
17274 : 0 : amount = gen_reg_rtx (V4SImode);
17275 : 0 : emit_insn (gen_vec_setv4si_0 (amount, CONST0_RTX (V4SImode),
17276 : : temp));
17277 : : }
17278 : 1 : amount = lowpart_subreg (DImode, amount, GET_MODE (amount));
17279 : 1 : emit_insn (gen_ashlv4di3 (ashl_res, zero_or_all_ones, amount));
17280 : 1 : emit_insn (gen_iorv4di3 (operands[0], lshr_res, ashl_res));
17281 : 1 : DONE;
17282 : : }
17283 : : })
17284 : :
17285 : : (define_insn "<mask_codefor><insn><mode>3<mask_name>"
17286 : 6 : [(set (match_operand:VI248_AVX512BW_2 0 "register_operand" "=v,v")
17287 : 6 : (any_lshift:VI248_AVX512BW_2
17288 : 6 : (match_operand:VI248_AVX512BW_2 1 "nonimmediate_operand" "v,vm")
17289 : 6 : (match_operand:DI 2 "nonmemory_operand" "v,N")))]
17290 : 62447 : "TARGET_AVX512VL"
17291 : 6 : "vp<vshift><ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
17292 : 326312 : [(set_attr "type" "sseishft")
17293 : 1726 : (set (attr "length_immediate")
17294 : 285560 : (if_then_else (match_operand 2 "const_int_operand")
17295 : 282064 : (const_string "1")
17296 : : (const_string "0")))
17297 : 6 : (set_attr "mode" "<sseinsnmode>")])
17298 : 6 :
17299 : 6 : (define_insn "<insn><mode>3"
17300 : : [(set (match_operand:VI248_AVX2 0 "register_operand" "=x,<v_Yw>")
17301 : : (any_lshift:VI248_AVX2
17302 : : (match_operand:VI248_AVX2 1 "register_operand" "0,<v_Yw>")
17303 : : (match_operand:DI 2 "nonmemory_operand" "xN,YwN")))]
17304 : 323334 : "TARGET_SSE2"
17305 : : "@
17306 : 1976 : p<vshift><ssemodesuffix>\t{%2, %0|%0, %2}
17307 : 1976 : vp<vshift><ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
17308 : 4 : [(set_attr "isa" "noavx,avx")
17309 : 4 : (set_attr "type" "sseishft")
17310 : 4 : (set (attr "length_immediate")
17311 : 4 : (if_then_else (match_operand 2 "const_int_operand")
17312 : 4 : (const_string "1")
17313 : 4 : (const_string "0")))
17314 : 4 : (set_attr "prefix_data16" "1,*")
17315 : : (set_attr "prefix" "orig,vex")
17316 : : (set_attr "mode" "<sseinsnmode>")])
17317 : :
17318 : : (define_insn_and_split "*avx2_lshr<mode>3_1"
17319 : : [(set (match_operand:VI8_AVX2 0 "register_operand")
17320 : : (and:VI8_AVX2
17321 : : (gt:VI8_AVX2
17322 : : (match_operand:VI8_AVX2 1 "register_operand")
17323 : : (match_operand:VI8_AVX2 2 "register_operand"))
17324 : : (match_operand:VI8_AVX2 3 "const1_operand")))]
17325 : 0 : "TARGET_SSE4_2 && ix86_pre_reload_split ()"
17326 : 0 : "#"
17327 : : "&& 1"
17328 : 0 : [(set (match_dup 5) (gt:VI8_AVX2 (match_dup 1) (match_dup 2)))
17329 : 0 : (set (match_dup 0) (lshiftrt:VI8_AVX2 (match_dup 5) (match_dup 4)))]
17330 : 0 : {
17331 : 0 : operands[4] = gen_int_mode (<ssescalarsize> - 1, DImode);
17332 : 0 : operands[5] = gen_reg_rtx (<MODE>mode);
17333 : 6290 : })
17334 : 6290 :
17335 : 7513 : (define_insn_and_split "*avx2_lshr<mode>3_2"
17336 : 7513 : [(set (match_operand:VI8_AVX2 0 "register_operand")
17337 : 7513 : (and:VI8_AVX2
17338 : 7513 : (lt:VI8_AVX2
17339 : 7513 : (match_operand:VI8_AVX2 1 "register_operand")
17340 : 7513 : (match_operand:VI8_AVX2 2 "const0_operand"))
17341 : 1223 : (match_operand:VI8_AVX2 3 "const1_operand")))]
17342 : 1223 : "TARGET_SSE2 && ix86_pre_reload_split ()"
17343 : 333 : "#"
17344 : 3 : "&& 1"
17345 : 8 : [(set (match_dup 0) (lshiftrt:VI8_AVX2 (match_dup 1) (const_int 63)))])
17346 : 0 :
17347 : 0 : (define_split
17348 : 0 : [(set (match_operand:VI248_AVX2 0 "register_operand")
17349 : : (and:VI248_AVX2
17350 : : (lt:VI248_AVX2
17351 : : (match_operand:VI248_AVX2 1 "register_operand")
17352 : 0 : (match_operand:VI248_AVX2 2 "const0_operand"))
17353 : : (match_operand:VI248_AVX2 3 "const1_operand")))]
17354 : 0 : "TARGET_SSE2 && ix86_pre_reload_split ()"
17355 : 337 : [(set (match_dup 0) (lshiftrt:VI248_AVX2 (match_dup 1) (match_dup 4)))]
17356 : 10760618 : "operands[4] = gen_int_mode (<ssescalarsize> - 1, DImode);")
17357 : 0 :
17358 : 12 : (define_split
17359 : 12 : [(set (match_operand:VI248_AVX512VLBW 0 "register_operand")
17360 : 10760618 : (vec_merge:VI248_AVX512VLBW
17361 : 10760630 : (match_operand:VI248_AVX512VLBW 1 "const1_operand")
17362 : 10760808 : (match_operand:VI248_AVX512VLBW 2 "const0_operand")
17363 : 10760808 : (unspec:<avx512fmaskmode>
17364 : 10760808 : [(match_operand:VI248_AVX512VLBW 3 "nonimmediate_operand")
17365 : 10760618 : (match_operand:VI248_AVX512VLBW 4 "const0_operand")
17366 : 10760632 : (const_int 1)]
17367 : 10760632 : UNSPEC_PCMP)))]
17368 : 14 : "TARGET_AVX512F && ix86_pre_reload_split ()"
17369 : 10760632 : [(set (match_dup 0)
17370 : 10760632 : (lshiftrt:VI248_AVX512VLBW (match_dup 3) (match_dup 5)))]
17371 : 10760618 : "operands[5] = gen_int_mode (<ssescalarsize> - 1, DImode);")
17372 : 10760620 :
17373 : 2 : (define_insn "<insn><mode>3<mask_name>"
17374 : 4999296 : [(set (match_operand:VI248_AVX512BW 0 "register_operand" "=v,v")
17375 : 4999296 : (any_lshift:VI248_AVX512BW
17376 : 4999296 : (match_operand:VI248_AVX512BW 1 "nonimmediate_operand" "v,m")
17377 : 4999298 : (match_operand:DI 2 "nonmemory_operand" "vN,N")))]
17378 : 5016832 : "TARGET_AVX512F"
17379 : 0 : "vp<vshift><ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
17380 : 375 : [(set_attr "type" "sseishft")
17381 : 726 : (set (attr "length_immediate")
17382 : 0 : (if_then_else (match_operand 2 "const_int_operand")
17383 : 0 : (const_string "1")
17384 : 0 : (const_string "0")))
17385 : 0 : (set_attr "mode" "<sseinsnmode>")])
17386 : 0 :
17387 : 0 : ;; PR target/101796: Transfrom movl+vpbranchcastw+vpsravw to vpsraw
17388 : 0 : ;; when COUNT is immediate.
17389 : 0 : (define_split
17390 : 0 : [(set (match_operand:VI248_AVX512BW 0 "register_operand")
17391 : 0 : (any_shift:VI248_AVX512BW
17392 : 0 : (match_operand:VI248_AVX512BW 1 "nonimmediate_operand")
17393 : : (match_operand:VI248_AVX512BW 2 "const_vector_duplicate_operand")))]
17394 : 1 : "TARGET_AVX512F && GET_MODE_UNIT_BITSIZE (<MODE>mode)
17395 : 3 : > INTVAL (XVECEXP (operands[2], 0, 0))"
17396 : : [(set (match_dup 0)
17397 : : (any_shift:VI248_AVX512BW
17398 : 3 : (match_dup 1)
17399 : : (match_dup 3)))]
17400 : 6 : "operands[3] = XVECEXP (operands[2], 0, 0);")
17401 : 3 :
17402 : 3 : (define_expand "vec_shl_<mode>"
17403 : 6 : [(set (match_operand:V_128 0 "register_operand")
17404 : 6 : (ashift:V1TI
17405 : 3 : (match_operand:V_128 1 "nonimmediate_operand")
17406 : 0 : (match_operand:SI 2 "const_0_to_255_mul_8_operand")))]
17407 : 3 : "TARGET_SSE2"
17408 : 789 : {
17409 : 1571 : rtx op0 = gen_reg_rtx (V1TImode);
17410 : 786 : rtx op1 = force_reg (<MODE>mode, operands[1]);
17411 : 3 :
17412 : 786 : emit_insn (gen_sse2_ashlv1ti3
17413 : 786 : (op0, gen_lowpart (V1TImode, op1), operands[2]));
17414 : 786 : emit_move_insn (operands[0], gen_lowpart (<MODE>mode, op0));
17415 : 789 : DONE;
17416 : 3 : })
17417 : 3 :
17418 : : (define_expand "vec_shr_<mode>"
17419 : : [(set (match_operand:V_128 0 "register_operand")
17420 : : (lshiftrt:V1TI
17421 : : (match_operand:V_128 1 "nonimmediate_operand")
17422 : 1017 : (match_operand:SI 2 "const_0_to_255_mul_8_operand")))]
17423 : : "TARGET_SSE2"
17424 : 366 : {
17425 : 732 : rtx op0 = gen_reg_rtx (V1TImode);
17426 : 368 : rtx op1 = force_reg (<MODE>mode, operands[1]);
17427 : 1017 :
17428 : 368 : emit_insn (gen_sse2_lshrv1ti3
17429 : 368 : (op0, gen_lowpart (V1TImode, op1), operands[2]));
17430 : 368 : emit_move_insn (operands[0], gen_lowpart (<MODE>mode, op0));
17431 : 368 : DONE;
17432 : 1017 : })
17433 : :
17434 : : (define_expand "ashlv1ti3"
17435 : : [(set (match_operand:V1TI 0 "register_operand")
17436 : : (ashift:V1TI
17437 : 160 : (match_operand:V1TI 1 "register_operand")
17438 : 18 : (match_operand:QI 2 "general_operand")))]
17439 : : "TARGET_SSE2 && TARGET_64BIT"
17440 : 47 : {
17441 : 207 : if (!CONST_INT_P (operands[2]))
17442 : 160 : {
17443 : 152 : ix86_expand_v1ti_shift (ASHIFT, operands);
17444 : 134 : DONE;
17445 : 160 : }
17446 : 160 : })
17447 : 160 :
17448 : : (define_insn_and_split "*ashlv1ti3_internal"
17449 : 26 : [(set (match_operand:V1TI 0 "register_operand")
17450 : 26 : (ashift:V1TI
17451 : 26 : (match_operand:V1TI 1 "register_operand")
17452 : 26 : (match_operand:SI 2 "const_0_to_255_not_mul_8_operand")))]
17453 : 356 : "TARGET_SSE2 && TARGET_64BIT
17454 : 339 : && ix86_pre_reload_split ()"
17455 : : "#"
17456 : 11359 : "&& 1"
17457 : 295 : [(const_int 0)]
17458 : 11382 : {
17459 : 11503 : ix86_expand_v1ti_shift (ASHIFT, operands);
17460 : 200 : DONE;
17461 : 182 : })
17462 : 182 :
17463 : 156 : (define_expand "lshrv1ti3"
17464 : 312997 : [(set (match_operand:V1TI 0 "register_operand")
17465 : 312997 : (lshiftrt:V1TI
17466 : 0 : (match_operand:V1TI 1 "register_operand")
17467 : 1 : (match_operand:QI 2 "general_operand")))]
17468 : 5 : "TARGET_SSE2 && TARGET_64BIT"
17469 : 29 : {
17470 : 32 : if (!CONST_INT_P (operands[2]))
17471 : 3 : {
17472 : 6 : ix86_expand_v1ti_shift (LSHIFTRT, operands);
17473 : 6 : DONE;
17474 : 3 : }
17475 : 0 : })
17476 : 3 :
17477 : 3 : (define_insn_and_split "*lshrv1ti3_internal"
17478 : 29 : [(set (match_operand:V1TI 0 "register_operand")
17479 : 29 : (lshiftrt:V1TI
17480 : 66 : (match_operand:V1TI 1 "register_operand")
17481 : 45 : (match_operand:SI 2 "const_0_to_255_not_mul_8_operand")))]
17482 : 191 : "TARGET_SSE2 && TARGET_64BIT
17483 : 207 : && ix86_pre_reload_split ()"
17484 : 53 : "#"
17485 : 383672 : "&& 1"
17486 : 53 : [(const_int 0)]
17487 : 383685 : {
17488 : 383667 : ix86_expand_v1ti_shift (LSHIFTRT, operands);
17489 : 84 : DONE;
17490 : 63 : })
17491 : 26 :
17492 : 0 : (define_expand "ashrv1ti3"
17493 : 58788 : [(set (match_operand:V1TI 0 "register_operand")
17494 : 58816 : (ashiftrt:V1TI
17495 : 58788 : (match_operand:V1TI 1 "register_operand")
17496 : 58788 : (match_operand:QI 2 "general_operand")))]
17497 : 58788 : "TARGET_SSE2 && TARGET_64BIT"
17498 : 58925 : {
17499 : 156 : if (!CONST_INT_P (operands[2]))
17500 : 101 : {
17501 : 104 : ix86_expand_v1ti_ashiftrt (operands);
17502 : 31 : DONE;
17503 : 48 : }
17504 : 48 : })
17505 : 19 :
17506 : 20 :
17507 : 125 : (define_insn_and_split "*ashrv1ti3_internal"
17508 : 125 : [(set (match_operand:V1TI 0 "register_operand")
17509 : 125 : (ashiftrt:V1TI
17510 : 106 : (match_operand:V1TI 1 "register_operand")
17511 : 106 : (match_operand:SI 2 "const_0_to_255_operand")))]
17512 : 1057 : "TARGET_SSE2 && TARGET_64BIT
17513 : 951 : && ix86_pre_reload_split ()"
17514 : 108 : "#"
17515 : 0 : "&& 1"
17516 : 106 : [(const_int 0)]
17517 : 106 : {
17518 : 212 : ix86_expand_v1ti_ashiftrt (operands);
17519 : 212 : DONE;
17520 : 106 : })
17521 : 0 :
17522 : 58681 : (define_split
17523 : 1692647 : [(set (match_operand:VI248_AVX2 0 "register_operand")
17524 : 491 : (eq:VI248_AVX2
17525 : 519 : (eq:VI248_AVX2
17526 : 59055 : (lshiftrt:VI248_AVX2
17527 : 1637964 : (match_operand:VI248_AVX2 1 "register_operand")
17528 : 1637981 : (match_operand:SI 2 "const_int_operand"))
17529 : 1637992 : (match_operand:VI248_AVX2 3 "const0_operand"))
17530 : 1637992 : (match_operand:VI248_AVX2 4 "const0_operand")))]
17531 : 1638011 : "INTVAL (operands[2]) == GET_MODE_PRECISION (<ssescalarmode>mode) - 1"
17532 : 1638009 : [(set (match_dup 0) (ashiftrt:VI248_AVX2 (match_dup 1) (match_dup 2)))])
17533 : 1638012 :
17534 : 1637969 : (define_expand "rotlv1ti3"
17535 : 67 : [(set (match_operand:V1TI 0 "register_operand")
17536 : 672374 : (rotate:V1TI
17537 : 672368 : (match_operand:V1TI 1 "register_operand")
17538 : 672374 : (match_operand:QI 2 "general_operand")))]
17539 : 672351 : "TARGET_SSE2 && TARGET_64BIT"
17540 : 672369 : {
17541 : 672369 : if (!CONST_INT_P (operands[2]))
17542 : 672335 : {
17543 : 721714 : ix86_expand_v1ti_rotate (ROTATE, operands);
17544 : 49379 : DONE;
17545 : 49668 : }
17546 : 49668 : })
17547 : 49375 :
17548 : 49882 : (define_insn_and_split "*rotlv1ti3_internal"
17549 : 14 : [(set (match_operand:V1TI 0 "register_operand")
17550 : 15 : (rotate:V1TI
17551 : 15 : (match_operand:V1TI 1 "register_operand")
17552 : 14 : (match_operand:SI 2 "const_0_to_255_operand")))]
17553 : 131 : "TARGET_SSE2 && TARGET_64BIT
17554 : 144 : && ix86_pre_reload_split ()"
17555 : 0 : "#"
17556 : 14 : "&& 1"
17557 : 2656 : [(const_int 0)]
17558 : 107 : {
17559 : 92 : ix86_expand_v1ti_rotate (ROTATE, operands);
17560 : 1621 : DONE;
17561 : 1606 : })
17562 : 1622 :
17563 : : (define_expand "rotrv1ti3"
17564 : : [(set (match_operand:V1TI 0 "register_operand")
17565 : : (rotatert:V1TI
17566 : : (match_operand:V1TI 1 "register_operand")
17567 : 46 : (match_operand:QI 2 "general_operand")))]
17568 : : "TARGET_SSE2 && TARGET_64BIT"
17569 : 16 : {
17570 : 16 : if (!CONST_INT_P (operands[2]))
17571 : 46 : {
17572 : 81 : ix86_expand_v1ti_rotate (ROTATERT, operands);
17573 : 50 : DONE;
17574 : 46 : }
17575 : 46 : })
17576 : 77 :
17577 : 77 : (define_insn_and_split "*rotrv1ti3_internal"
17578 : 43 : [(set (match_operand:V1TI 0 "register_operand")
17579 : 43 : (rotatert:V1TI
17580 : 43 : (match_operand:V1TI 1 "register_operand")
17581 : 43 : (match_operand:SI 2 "const_0_to_255_operand")))]
17582 : 167 : "TARGET_SSE2 && TARGET_64BIT
17583 : 136 : && ix86_pre_reload_split ()"
17584 : 0 : "#"
17585 : 12 : "&& 1"
17586 : 1576 : [(const_int 0)]
17587 : 75 : {
17588 : 59 : ix86_expand_v1ti_rotate (ROTATERT, operands);
17589 : 301472 : DONE;
17590 : 301456 : })
17591 : 12 :
17592 : 1477008 : (define_insn "avx512bw_<insn><mode>3"
17593 : 1477008 : [(set (match_operand:VIMAX_AVX512VL 0 "register_operand" "=v")
17594 : 1477008 : (any_lshift:VIMAX_AVX512VL
17595 : : (match_operand:VIMAX_AVX512VL 1 "nonimmediate_operand" "vm")
17596 : 1216 : (match_operand:SI 2 "const_0_to_255_mul_8_operand")))]
17597 : 345698 : "TARGET_AVX512BW"
17598 : 654 : {
17599 : 8 : operands[2] = GEN_INT (INTVAL (operands[2]) / 8);
17600 : 710 : return "vp<vshift>dq\t{%2, %1, %0|%0, %1, %2}";
17601 : 119 : }
17602 : 56 : [(set_attr "type" "sseishft")
17603 : 56 : (set_attr "length_immediate" "1")
17604 : 56 : (set_attr "prefix" "maybe_evex")
17605 : 770 : (set_attr "mode" "<sseinsnmode>")])
17606 : 119 :
17607 : 63 : (define_insn "<sse2_avx2>_<insn><mode>3"
17608 : 63 : [(set (match_operand:VIMAX_AVX2 0 "register_operand" "=x,Yw")
17609 : 63 : (any_lshift:VIMAX_AVX2
17610 : 63 : (match_operand:VIMAX_AVX2 1 "register_operand" "0,Yw")
17611 : 63 : (match_operand:SI 2 "const_0_to_255_mul_8_operand")))]
17612 : 336299 : "TARGET_SSE2"
17613 : 33510 : {
17614 : 5 : operands[2] = GEN_INT (INTVAL (operands[2]) / 8);
17615 : :
17616 : 33620 : switch (which_alternative)
17617 : 110 : {
17618 : : case 0:
17619 : : return "p<vshift>dq\t{%2, %0|%0, %2}";
17620 : 9847 : case 1:
17621 : 9847 : return "vp<vshift>dq\t{%2, %1, %0|%0, %1, %2}";
17622 : 0 : default:
17623 : 0 : gcc_unreachable ();
17624 : : }
17625 : : }
17626 : : [(set_attr "isa" "noavx,avx")
17627 : : (set_attr "type" "sseishft")
17628 : : (set_attr "length_immediate" "1")
17629 : 33505 : (set_attr "atom_unit" "sishuf")
17630 : : (set_attr "prefix_data16" "1,*")
17631 : : (set_attr "prefix" "orig,vex")
17632 : : (set_attr "mode" "<sseinsnmode>")])
17633 : :
17634 : : (define_insn "<avx512>_<rotate>v<mode><mask_name>"
17635 : : [(set (match_operand:VI48_AVX512VL 0 "register_operand" "=v")
17636 : : (any_rotate:VI48_AVX512VL
17637 : : (match_operand:VI48_AVX512VL 1 "register_operand" "v")
17638 : : (match_operand:VI48_AVX512VL 2 "nonimmediate_operand" "vm")))]
17639 : 1000 : "TARGET_AVX512F"
17640 : : "vp<rotate>v<ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
17641 : : [(set_attr "prefix" "evex")
17642 : : (set_attr "mode" "<sseinsnmode>")])
17643 : :
17644 : : (define_insn "<avx512>_<rotate><mode><mask_name>"
17645 : : [(set (match_operand:VI48_AVX512VL 0 "register_operand" "=v")
17646 : : (any_rotate:VI48_AVX512VL
17647 : : (match_operand:VI48_AVX512VL 1 "nonimmediate_operand" "vm")
17648 : : (match_operand:SI 2 "const_0_to_255_operand")))]
17649 : 1722 : "TARGET_AVX512F"
17650 : : "vp<rotate><ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
17651 : : [(set_attr "prefix" "evex")
17652 : : (set_attr "mode" "<sseinsnmode>")])
17653 : :
17654 : : (define_expand "<code><mode>3"
17655 : : [(set (match_operand:VI124_256_AVX512F_AVX512BW 0 "register_operand")
17656 : : (maxmin:VI124_256_AVX512F_AVX512BW
17657 : : (match_operand:VI124_256_AVX512F_AVX512BW 1 "nonimmediate_operand")
17658 : : (match_operand:VI124_256_AVX512F_AVX512BW 2 "nonimmediate_operand")))]
17659 : : "TARGET_AVX2"
17660 : 365 : "ix86_fixup_binary_operands_no_copy (<CODE>, <MODE>mode, operands);")
17661 : :
17662 : : (define_insn "*avx2_<code><mode>3"
17663 : 493 : [(set (match_operand:VI124_256 0 "register_operand" "=<v_Yw>")
17664 : 493 : (maxmin:VI124_256
17665 : 493 : (match_operand:VI124_256 1 "nonimmediate_operand" "%<v_Yw>")
17666 : 493 : (match_operand:VI124_256 2 "nonimmediate_operand" "<v_Yw>m")))]
17667 : 4064 : "TARGET_AVX2 && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
17668 : 493 : "vp<maxmin_int><ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
17669 : 233 : [(set_attr "type" "sseiadd")
17670 : 691 : (set_attr "prefix_extra" "1")
17671 : : (set_attr "prefix" "vex")
17672 : : (set_attr "mode" "OI")])
17673 : :
17674 : 493 : (define_expand "cond_<code><mode>"
17675 : 493 : [(set (match_operand:VI1248_AVX512VLBW 0 "register_operand")
17676 : 493 : (vec_merge:VI1248_AVX512VLBW
17677 : : (maxmin:VI1248_AVX512VLBW
17678 : : (match_operand:VI1248_AVX512VLBW 2 "nonimmediate_operand")
17679 : : (match_operand:VI1248_AVX512VLBW 3 "nonimmediate_operand"))
17680 : : (match_operand:VI1248_AVX512VLBW 4 "nonimm_or_0_operand")
17681 : 140 : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
17682 : : "TARGET_AVX512F"
17683 : 60 : {
17684 : 60 : emit_insn (gen_<code><mode>3_mask (operands[0],
17685 : 128 : operands[2],
17686 : 128 : operands[3],
17687 : 140 : operands[4],
17688 : 12 : operands[1]));
17689 : 60 : DONE;
17690 : 140 : })
17691 : 128 :
17692 : 12 : (define_expand "<code><mode>3_mask"
17693 : 12 : [(set (match_operand:VI48_AVX512VL 0 "register_operand")
17694 : 12 : (vec_merge:VI48_AVX512VL
17695 : 12 : (maxmin:VI48_AVX512VL
17696 : : (match_operand:VI48_AVX512VL 1 "nonimmediate_operand")
17697 : : (match_operand:VI48_AVX512VL 2 "nonimmediate_operand"))
17698 : : (match_operand:VI48_AVX512VL 3 "nonimm_or_0_operand")
17699 : : (match_operand:<avx512fmaskmode> 4 "register_operand")))]
17700 : : "TARGET_AVX512F"
17701 : 1128 : "ix86_fixup_binary_operands_no_copy (<CODE>, <MODE>mode, operands);")
17702 : :
17703 : : (define_insn "*avx512f_<code><mode>3<mask_name>"
17704 : 1128 : [(set (match_operand:VI48_AVX512VL 0 "register_operand" "=v")
17705 : 1128 : (maxmin:VI48_AVX512VL
17706 : 1128 : (match_operand:VI48_AVX512VL 1 "nonimmediate_operand" "%v")
17707 : 1128 : (match_operand:VI48_AVX512VL 2 "nonimmediate_operand" "vm")))]
17708 : 13732 : "TARGET_AVX512F && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
17709 : 1128 : "vp<maxmin_int><ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
17710 : 1128 : [(set_attr "type" "sseiadd")
17711 : 1128 : (set_attr "prefix" "maybe_evex")
17712 : 1128 : (set_attr "mode" "<sseinsnmode>")])
17713 : 1128 :
17714 : : (define_insn "<mask_codefor><code><mode>3<mask_name>"
17715 : 1128 : [(set (match_operand:VI12_AVX512VL 0 "register_operand" "=v")
17716 : : (maxmin:VI12_AVX512VL
17717 : : (match_operand:VI12_AVX512VL 1 "register_operand" "v")
17718 : 348 : (match_operand:VI12_AVX512VL 2 "nonimmediate_operand" "vm")))]
17719 : 19580 : "TARGET_AVX512BW"
17720 : : "vp<maxmin_int><ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
17721 : : [(set_attr "type" "sseiadd")
17722 : 1128 : (set_attr "prefix" "evex")
17723 : 1128 : (set_attr "mode" "<sseinsnmode>")])
17724 : 1476 :
17725 : 348 : (define_expand "<code><mode>3"
17726 : 348 : [(set (match_operand:VI8_AVX2_AVX512F 0 "register_operand")
17727 : 348 : (maxmin:VI8_AVX2_AVX512F
17728 : 348 : (match_operand:VI8_AVX2_AVX512F 1 "register_operand")
17729 : 1256 : (match_operand:VI8_AVX2_AVX512F 2 "register_operand")))]
17730 : 348 : "TARGET_SSE4_2"
17731 : 459 : {
17732 : 348 : if (TARGET_AVX512F
17733 : 65 : && (<MODE>mode == V8DImode || TARGET_AVX512VL))
17734 : 80 : ;
17735 : 908 : else
17736 : 828 : {
17737 : 967 : enum rtx_code code;
17738 : 967 : rtx xops[6];
17739 : 80 : bool ok;
17740 : 828 :
17741 : 828 :
17742 : 887 : xops[0] = operands[0];
17743 : 828 :
17744 : 59 : if (<CODE> == SMAX || <CODE> == UMAX)
17745 : : {
17746 : 25 : xops[1] = operands[1];
17747 : 25 : xops[2] = operands[2];
17748 : : }
17749 : : else
17750 : : {
17751 : 34 : xops[1] = operands[2];
17752 : 34 : xops[2] = operands[1];
17753 : : }
17754 : :
17755 : 59 : code = (<CODE> == UMAX || <CODE> == UMIN) ? GTU : GT;
17756 : :
17757 : 59 : xops[3] = gen_rtx_fmt_ee (code, VOIDmode, operands[1], operands[2]);
17758 : 59 : xops[4] = operands[1];
17759 : 59 : xops[5] = operands[2];
17760 : :
17761 : 59 : ok = ix86_expand_int_vcond (xops);
17762 : 59 : gcc_assert (ok);
17763 : 59 : DONE;
17764 : : }
17765 : : })
17766 : :
17767 : : (define_expand "<code><mode>3"
17768 : 52 : [(set (match_operand:VI124_128 0 "register_operand")
17769 : 52 : (smaxmin:VI124_128
17770 : 52 : (match_operand:VI124_128 1 "vector_operand")
17771 : 52 : (match_operand:VI124_128 2 "vector_operand")))]
17772 : 52 : "TARGET_SSE2"
17773 : 4524 : {
17774 : 4472 : if (TARGET_SSE4_1 || <MODE>mode == V8HImode)
17775 : 902 : ix86_fixup_binary_operands_no_copy (<CODE>, <MODE>mode, operands);
17776 : : else
17777 : : {
17778 : 2925 : rtx xops[6];
17779 : 52 : bool ok;
17780 : 52 :
17781 : 52 : xops[0] = operands[0];
17782 : 2925 : operands[1] = force_reg (<MODE>mode, operands[1]);
17783 : 2925 : operands[2] = force_reg (<MODE>mode, operands[2]);
17784 : :
17785 : 2925 : if (<CODE> == SMAX)
17786 : 6243 : {
17787 : 2332 : xops[1] = operands[1];
17788 : 2328 : xops[2] = operands[2];
17789 : : }
17790 : 6243 : else
17791 : 6243 : {
17792 : 6840 : xops[1] = operands[2];
17793 : 6840 : xops[2] = operands[1];
17794 : 6243 : }
17795 : 6243 :
17796 : 8516 : xops[3] = gen_rtx_GT (VOIDmode, operands[1], operands[2]);
17797 : 2925 : xops[4] = operands[1];
17798 : 2925 : xops[5] = operands[2];
17799 : :
17800 : 2925 : ok = ix86_expand_int_vcond (xops);
17801 : 2925 : gcc_assert (ok);
17802 : 2925 : DONE;
17803 : : }
17804 : : })
17805 : :
17806 : : (define_insn "*sse4_1_<code><mode>3<mask_name>"
17807 : 1547 : [(set (match_operand:VI14_128 0 "register_operand" "=Yr,*x,<v_Yw>")
17808 : 1547 : (smaxmin:VI14_128
17809 : 1547 : (match_operand:VI14_128 1 "vector_operand" "%0,0,<v_Yw>")
17810 : 1547 : (match_operand:VI14_128 2 "vector_operand" "Yrja,*xja,<v_Yw>m")))]
17811 : 3537 : "TARGET_SSE4_1
17812 : 1547 : && <mask_mode512bit_condition>
17813 : 1758 : && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
17814 : 5182 : "@
17815 : : p<maxmin_int><ssemodesuffix>\t{%2, %0|%0, %2}
17816 : : p<maxmin_int><ssemodesuffix>\t{%2, %0|%0, %2}
17817 : 2187 : vp<maxmin_int><ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
17818 : 4480 : [(set_attr "isa" "noavx,noavx,avx")
17819 : 1547 : (set_attr "type" "sseiadd")
17820 : 1547 : (set_attr "prefix_extra" "1")
17821 : : (set_attr "addr" "gpr16,gpr16,*")
17822 : : (set_attr "prefix" "orig,orig,vex")
17823 : : (set_attr "mode" "TI")])
17824 : :
17825 : 300 : (define_insn "*<code>v8hi3"
17826 : 26 : [(set (match_operand:V8HI 0 "register_operand" "=x,Yw")
17827 : : (smaxmin:V8HI
17828 : 26 : (match_operand:V8HI 1 "vector_operand" "%0,Yw")
17829 : 326 : (match_operand:V8HI 2 "vector_operand" "xja,Ywm")))]
17830 : 2759 : "TARGET_SSE2 && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
17831 : 2926 : "@
17832 : 300 : p<maxmin_int>w\t{%2, %0|%0, %2}
17833 : 300 : vp<maxmin_int>w\t{%2, %1, %0|%0, %1, %2}"
17834 : 468 : [(set_attr "isa" "noavx,avx")
17835 : 468 : (set_attr "type" "sseiadd")
17836 : : (set_attr "addr" "gpr16,*")
17837 : : (set_attr "prefix" "orig,vex")
17838 : : (set_attr "mode" "TI")])
17839 : :
17840 : : (define_expand "<code><mode>3"
17841 : : [(set (match_operand:VI124_128 0 "register_operand")
17842 : : (umaxmin:VI124_128
17843 : : (match_operand:VI124_128 1 "vector_operand")
17844 : : (match_operand:VI124_128 2 "vector_operand")))]
17845 : : "TARGET_SSE2"
17846 : 2040 : {
17847 : 2040 : if (TARGET_SSE4_1 || <MODE>mode == V16QImode)
17848 : 1811 : ix86_fixup_binary_operands_no_copy (<CODE>, <MODE>mode, operands);
17849 : 229 : else if (<CODE> == UMAX && <MODE>mode == V8HImode)
17850 : : {
17851 : 55 : rtx op0 = operands[0], op2 = operands[2], op3 = op0;
17852 : 55 : operands[1] = force_reg (<MODE>mode, operands[1]);
17853 : 55 : if (rtx_equal_p (op3, op2))
17854 : 0 : op3 = gen_reg_rtx (V8HImode);
17855 : 55 : emit_insn (gen_ussubv8hi3 (op3, operands[1], op2));
17856 : 55 : emit_insn (gen_addv8hi3 (op0, op3, op2));
17857 : 229 : DONE;
17858 : : }
17859 : : else
17860 : : {
17861 : 174 : rtx xops[6];
17862 : 174 : bool ok;
17863 : :
17864 : 174 : operands[1] = force_reg (<MODE>mode, operands[1]);
17865 : 174 : operands[2] = force_reg (<MODE>mode, operands[2]);
17866 : :
17867 : 174 : xops[0] = operands[0];
17868 : :
17869 : 174 : if (<CODE> == UMAX)
17870 : : {
17871 : 64 : xops[1] = operands[1];
17872 : 64 : xops[2] = operands[2];
17873 : : }
17874 : : else
17875 : : {
17876 : 110 : xops[1] = operands[2];
17877 : 110 : xops[2] = operands[1];
17878 : : }
17879 : :
17880 : 174 : xops[3] = gen_rtx_GTU (VOIDmode, operands[1], operands[2]);
17881 : 174 : xops[4] = operands[1];
17882 : 174 : xops[5] = operands[2];
17883 : :
17884 : 174 : ok = ix86_expand_int_vcond (xops);
17885 : 174 : gcc_assert (ok);
17886 : 174 : DONE;
17887 : : }
17888 : : })
17889 : :
17890 : : (define_insn "*sse4_1_<code><mode>3<mask_name>"
17891 : 1811 : [(set (match_operand:VI24_128 0 "register_operand" "=Yr,*x,<v_Yw>")
17892 : 1811 : (umaxmin:VI24_128
17893 : 1811 : (match_operand:VI24_128 1 "vector_operand" "%0,0,<v_Yw>")
17894 : 1811 : (match_operand:VI24_128 2 "vector_operand" "Yrja,*xja,<v_Yw>m")))]
17895 : 3593 : "TARGET_SSE4_1
17896 : 1811 : && <mask_mode512bit_condition>
17897 : 1778 : && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
17898 : 4531 : "@
17899 : : p<maxmin_int><ssemodesuffix>\t{%2, %0|%0, %2}
17900 : : p<maxmin_int><ssemodesuffix>\t{%2, %0|%0, %2}
17901 : 1766 : vp<maxmin_int><ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
17902 : 4467 : [(set_attr "isa" "noavx,noavx,avx")
17903 : 1811 : (set_attr "type" "sseiadd")
17904 : 1811 : (set_attr "addr" "gpr16,gpr16,*")
17905 : 8110 : (set_attr "prefix_extra" "1,1,*")
17906 : 8110 : (set_attr "prefix" "orig,orig,vex")
17907 : 31893 : (set_attr "mode" "TI")])
17908 : 2894 :
17909 : 2894 : (define_insn "*<code>v16qi3"
17910 : 12 : [(set (match_operand:V16QI 0 "register_operand" "=x,Yw")
17911 : 32080 : (umaxmin:V16QI
17912 : 32092 : (match_operand:V16QI 1 "vector_operand" "%0,Yw")
17913 : 31905 : (match_operand:V16QI 2 "vector_operand" "xja,Ywm")))]
17914 : 3000 : "TARGET_SSE2 && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
17915 : 3743 : "@
17916 : 25644 : p<maxmin_int>b\t{%2, %0|%0, %2}
17917 : 25428 : vp<maxmin_int>b\t{%2, %1, %0|%0, %1, %2}"
17918 : 25554 : [(set_attr "isa" "noavx,avx")
17919 : 25554 : (set_attr "addr" "gpr16,*")
17920 : : (set_attr "type" "sseiadd")
17921 : 4835 : (set_attr "prefix" "orig,vex")
17922 : 4835 : (set_attr "mode" "TI")])
17923 : 4812 :
17924 : 4812 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
17925 : 8923 : ;;
17926 : : ;; Parallel integral comparisons
17927 : : ;;
17928 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
17929 : :
17930 : : (define_insn "*avx2_eq<mode>3"
17931 : : [(set (match_operand:VI_256 0 "register_operand" "=x")
17932 : : (eq:VI_256
17933 : : (match_operand:VI_256 1 "nonimmediate_operand" "%x")
17934 : : (match_operand:VI_256 2 "nonimmediate_operand" "xjm")))]
17935 : 2307 : "TARGET_AVX2 && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
17936 : : "vpcmpeq<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
17937 : : [(set_attr "type" "ssecmp")
17938 : : (set (attr "prefix_extra")
17939 : 57895 : (if_then_else (eq (const_string "<MODE>mode") (const_string "V4DImode"))
17940 : 57895 : (const_string "1")
17941 : : (const_string "*")))
17942 : 57895 : (set_attr "addr" "gpr16")
17943 : : (set_attr "prefix" "vex")
17944 : : (set_attr "mode" "OI")])
17945 : :
17946 : : (define_insn_and_split "*avx2_pcmp<mode>3_1"
17947 : : [(set (match_operand:VI_128_256 0 "register_operand")
17948 : : (vec_merge:VI_128_256
17949 : : (match_operand:VI_128_256 1 "vector_all_ones_operand")
17950 : : (match_operand:VI_128_256 2 "const0_operand")
17951 : : (unspec:<avx512fmaskmode>
17952 : : [(match_operand:VI_128_256 3 "nonimm_or_0_operand")
17953 : : (match_operand:VI_128_256 4 "nonimm_or_0_operand")
17954 : : (match_operand:SI 5 "const_0_to_7_operand")]
17955 : : UNSPEC_PCMP)))]
17956 : 727 : "TARGET_AVX512VL && ix86_pre_reload_split ()
17957 : : /* EQ is commutative. */
17958 : 632 : && ((INTVAL (operands[5]) == 0
17959 : 247 : && !(MEM_P (operands[3]) && MEM_P (operands[4])))
17960 : : /* NLE aka GT, 3 must be register. */
17961 : 385 : || (INTVAL (operands[5]) == 6
17962 : 218 : && !MEM_P (operands[3]))
17963 : : /* LT, 4 must be register and we swap operands. */
17964 : 168 : || (INTVAL (operands[5]) == 1
17965 : 80 : && !MEM_P (operands[4])))"
17966 : : "#"
17967 : 227 : "&& 1"
17968 : 220 : [(const_int 0)]
17969 : 298 : {
17970 : 68 : if (INTVAL (operands[5]) == 1)
17971 : 28 : std::swap (operands[3], operands[4]);
17972 : :
17973 : 50 : if (operands[3] == CONST0_RTX (<MODE>mode))
17974 : 0 : operands[3] = force_reg (<MODE>mode, operands[3]);
17975 : 50 : if (operands[4] == CONST0_RTX (<MODE>mode))
17976 : 6 : operands[4] = force_reg (<MODE>mode, operands[4]);
17977 : :
17978 : 50 : enum rtx_code code = INTVAL (operands[5]) ? GT : EQ;
17979 : 50 : emit_move_insn (operands[0], gen_rtx_fmt_ee (code, <MODE>mode,
17980 : : operands[3], operands[4]));
17981 : 50 : DONE;
17982 : : })
17983 : :
17984 : : (define_insn_and_split "*avx2_pcmp<mode>3_2"
17985 : : [(set (match_operand:VI_128_256 0 "register_operand")
17986 : : (vec_merge:VI_128_256
17987 : : (match_operand:VI_128_256 1 "vector_all_ones_operand")
17988 : : (match_operand:VI_128_256 2 "const0_operand")
17989 : : (not:<avx512fmaskmode>
17990 : : (unspec:<avx512fmaskmode>
17991 : : [(match_operand:VI_128_256 3 "nonimmediate_operand")
17992 : : (match_operand:VI_128_256 4 "nonimmediate_operand")
17993 : : (match_operand:SI 5 "const_0_to_7_operand")]
17994 : 13 : UNSPEC_PCMP))))]
17995 : 0 : "TARGET_AVX512VL && ix86_pre_reload_split ()
17996 : 13 : /* NE is commutative. */
17997 : 12 : && ((INTVAL (operands[5]) == 4
17998 : 0 : && !(MEM_P (operands[3]) && MEM_P (operands[4])))
17999 : 12 : /* LE, 3 must be register. */
18000 : 1 : || (INTVAL (operands[5]) == 2
18001 : 1 : && !MEM_P (operands[3]))
18002 : 1 : /* NLT aka GE, 4 must be register and we swap operands. */
18003 : 0 : || (INTVAL (operands[5]) == 5
18004 : 1 : && !MEM_P (operands[4])))"
18005 : : "#"
18006 : : "&& 1"
18007 : 0 : [(const_int 0)]
18008 : 11257 : {
18009 : 11257 : if (INTVAL (operands[5]) == 5)
18010 : 1384 : std::swap (operands[3], operands[4]);
18011 : 1767 : enum rtx_code code = INTVAL (operands[5]) != 4 ? GT : EQ;
18012 : 383 : emit_move_insn (operands[0], gen_rtx_fmt_ee (code, <MODE>mode,
18013 : 593 : operands[3], operands[4]));
18014 : 976 : DONE;
18015 : 203 : })
18016 : 796 :
18017 : 308 : (define_insn_and_split "*avx2_pcmp<mode>3_3"
18018 : 873 : [(set (match_operand:VI1_AVX2 0 "register_operand")
18019 : 168 : (vec_merge:VI1_AVX2
18020 : 371 : (match_operand:VI1_AVX2 1 "vector_operand")
18021 : : (match_operand:VI1_AVX2 2 "vector_operand")
18022 : : (unspec:<avx512fmaskmode>
18023 : : [(match_operand:VI1_AVX2 3 "register_operand")
18024 : : (match_operand:VI1_AVX2 4 "const0_operand")
18025 : : (match_operand:SI 5 "const_0_to_7_operand")]
18026 : : UNSPEC_PCMP)))]
18027 : 73 : "TARGET_AVX512VL && ix86_pre_reload_split ()
18028 : : /* LT or GE 0 */
18029 : 88 : && ((INTVAL (operands[5]) == 1 && !MEM_P (operands[2]))
18030 : 72 : || (INTVAL (operands[5]) == 5 && !MEM_P (operands[1])))"
18031 : 21 : "#"
18032 : 21 : "&& 1"
18033 : 39 : [(set (match_dup 0)
18034 : 21 : (unspec:VI1_AVX2
18035 : 21 : [(match_dup 2)
18036 : 9 : (match_dup 1)
18037 : 5097 : (lt:VI1_AVX2
18038 : : (match_dup 3)
18039 : 1057 : (match_dup 4))]
18040 : : UNSPEC_BLENDV))]
18041 : 102 : {
18042 : 42 : if (INTVAL (operands[5]) == 5)
18043 : 16 : std::swap (operands[1], operands[2]);
18044 : 24 : })
18045 : :
18046 : : (define_insn_and_split "*avx2_pcmp<mode>3_4"
18047 : 18 : [(set (match_operand:VI1_AVX2 0 "register_operand")
18048 : 18 : (vec_merge:VI1_AVX2
18049 : 18 : (match_operand:VI1_AVX2 1 "vector_operand")
18050 : 18 : (match_operand:VI1_AVX2 2 "vector_operand")
18051 : 18 : (unspec:<avx512fmaskmode>
18052 : 18 : [(subreg:VI1_AVX2 (not (match_operand 3 "register_operand")) 0)
18053 : 18 : (match_operand:VI1_AVX2 4 "const0_operand")
18054 : 18 : (match_operand:SI 5 "const_0_to_7_operand")]
18055 : 18 : UNSPEC_PCMP)))]
18056 : 31 : "TARGET_AVX512VL && ix86_pre_reload_split ()
18057 : 31 : && GET_MODE_CLASS (GET_MODE (operands[3])) == MODE_VECTOR_INT
18058 : 26 : && GET_MODE_SIZE (GET_MODE (operands[3])) == <MODE_SIZE>
18059 : : /* LT or GE 0 */
18060 : 13 : && ((INTVAL (operands[5]) == 1 && !MEM_P (operands[1]))
18061 : 0 : || (INTVAL (operands[5]) == 5 && !MEM_P (operands[2])))"
18062 : 0 : "#"
18063 : : "&& 1"
18064 : 0 : [(set (match_dup 0)
18065 : 4 : (unspec:VI1_AVX2
18066 : 18 : [(match_dup 1)
18067 : 19 : (match_dup 2)
18068 : 20 : (lt:VI1_AVX2
18069 : 0 : (match_dup 3)
18070 : 0 : (match_dup 4))]
18071 : 0 : UNSPEC_BLENDV))]
18072 : 4 : {
18073 : 4 : if (INTVAL (operands[5]) == 5)
18074 : 0 : std::swap (operands[1], operands[2]);
18075 : 4 : operands[3] = gen_lowpart (<MODE>mode, operands[3]);
18076 : 0 : })
18077 : 0 :
18078 : 0 : (define_insn_and_split "*avx2_pcmp<mode>3_5"
18079 : 4 : [(set (match_operand:VI1_AVX2 0 "register_operand")
18080 : 4 : (vec_merge:VI1_AVX2
18081 : 4 : (match_operand:VI1_AVX2 1 "vector_operand")
18082 : 4 : (match_operand:VI1_AVX2 2 "vector_operand")
18083 : 4 : (unspec:<avx512fmaskmode>
18084 : 4 : [(not:VI1_AVX2 (match_operand:VI1_AVX2 3 "register_operand"))
18085 : 4 : (match_operand:VI1_AVX2 4 "const0_operand")
18086 : 4 : (match_operand:SI 5 "const_0_to_7_operand")]
18087 : 4 : UNSPEC_PCMP)))]
18088 : 4 : "TARGET_AVX512VL && ix86_pre_reload_split ()
18089 : 4 : /* LT or GE 0 */
18090 : 0 : && ((INTVAL (operands[5]) == 1 && !MEM_P (operands[1]))
18091 : 0 : || (INTVAL (operands[5]) == 5 && !MEM_P (operands[2])))"
18092 : 0 : "#"
18093 : : "&& 1"
18094 : 0 : [(set (match_dup 0)
18095 : 0 : (unspec:VI1_AVX2
18096 : : [(match_dup 1)
18097 : 0 : (match_dup 2)
18098 : 4 : (lt:VI1_AVX2
18099 : 4 : (match_dup 3)
18100 : 4 : (match_dup 4))]
18101 : : UNSPEC_BLENDV))]
18102 : 0 : {
18103 : 14995 : if (INTVAL (operands[5]) == 5)
18104 : 9831 : std::swap (operands[1], operands[2]);
18105 : 14995 : })
18106 : 14999 :
18107 : 14995 : (define_int_attr pcmp_usmin
18108 : 14999 : [(UNSPEC_PCMP "smin") (UNSPEC_UNSIGNED_PCMP "umin")])
18109 : 14999 :
18110 : 14995 : (define_insn_and_split "*avx2_pcmp<mode>3_6"
18111 : 5168 : [(set (match_operand:VI_128_256 0 "register_operand")
18112 : 9604 : (vec_merge:VI_128_256
18113 : 2498 : (match_operand:VI_128_256 1 "vector_all_ones_operand")
18114 : 2573 : (match_operand:VI_128_256 2 "const0_operand")
18115 : 2573 : (unspec:<avx512fmaskmode>
18116 : 2498 : [(match_operand:VI_128_256 3 "nonimmediate_operand")
18117 : 2498 : (match_operand:VI_128_256 4 "nonimmediate_operand")
18118 : 148 : (match_operand:SI 5 "const_0_to_7_operand")]
18119 : 0 : UNSPEC_PCMP_ITER)))]
18120 : 264 : "TARGET_AVX512VL && ix86_pre_reload_split ()
18121 : 168 : && (INTVAL (operands[5]) == 2 || INTVAL (operands[5]) == 5)"
18122 : : "#"
18123 : 7 : "&& 1"
18124 : 987 : [(const_int 0)]
18125 : 68 : {
18126 : 633 : rtx dst_min = gen_reg_rtx (<MODE>mode);
18127 : 53 :
18128 : 1008 : if (MEM_P (operands[3]) && MEM_P (operands[4]))
18129 : 24 : operands[3] = force_reg (<MODE>mode, operands[3]);
18130 : 609 : emit_insn (gen_<pcmp_usmin><mode>3 (dst_min, operands[3], operands[4]));
18131 : 32 : rtx eq_op = INTVAL (operands[5]) == 2 ? operands[3] : operands[4];
18132 : 32 : emit_move_insn (operands[0], gen_rtx_EQ (<MODE>mode, eq_op, dst_min));
18133 : 32 : DONE;
18134 : : })
18135 : 4 :
18136 : : (define_insn_and_split "*avx2_pcmp<mode>3_7"
18137 : 4 : [(set (match_operand:VI_128_256 0 "register_operand")
18138 : 4 : (vec_merge:VI_128_256
18139 : 0 : (match_operand:VI_128_256 1 "const0_operand")
18140 : 4 : (match_operand:VI_128_256 2 "vector_all_ones_operand")
18141 : : (unspec:<avx512fmaskmode>
18142 : : [(match_operand:VI_128_256 3 "nonimmediate_operand")
18143 : : (match_operand:VI_128_256 4 "nonimmediate_operand")
18144 : : (match_operand:SI 5 "const_0_to_7_operand")]
18145 : : UNSPEC_PCMP)))]
18146 : 96 : "TARGET_AVX512VL && ix86_pre_reload_split ()
18147 : : /* NE is commutative. */
18148 : 96 : && (INTVAL (operands[5]) == 4
18149 : 48 : /* LE, 3 must be register. */
18150 : 16 : || INTVAL (operands[5]) == 2
18151 : 48 : /* NLT aka GE, 4 must be register and we swap operands. */
18152 : 8 : || INTVAL (operands[5]) == 5)"
18153 : 928 : "#"
18154 : : "&& 1"
18155 : 553 : [(const_int 0)]
18156 : 1471 : {
18157 : 1447 : if (INTVAL (operands[5]) == 5)
18158 : 2065 : std::swap (operands[3], operands[4]);
18159 : 634 :
18160 : 1295 : if (MEM_P (operands[3]))
18161 : 580 : operands[3] = force_reg (<MODE>mode, operands[3]);
18162 : 1301 : enum rtx_code code = INTVAL (operands[5]) != 4 ? GT : EQ;
18163 : 86 : emit_move_insn (operands[0], gen_rtx_fmt_ee (code, <MODE>mode,
18164 : 127 : operands[3], operands[4]));
18165 : 24 : DONE;
18166 : 727632 : })
18167 : 727632 :
18168 : 727632 : (define_insn_and_split "*avx2_pcmp<mode>3_8"
18169 : 727632 : [(set (match_operand:VI_128_256 0 "register_operand")
18170 : 727632 : (vec_merge:VI_128_256
18171 : 727632 : (match_operand:VI_128_256 1 "const0_operand")
18172 : 490 : (match_operand:VI_128_256 2 "vector_all_ones_operand")
18173 : 235434 : (unspec:<avx512fmaskmode>
18174 : 235434 : [(match_operand:VI_128_256 3 "nonimmediate_operand")
18175 : 235434 : (match_operand:VI_128_256 4 "nonimmediate_operand")
18176 : 490 : (match_operand:SI 5 "const_0_to_7_operand")]
18177 : 191398 : UNSPEC_UNSIGNED_PCMP)))]
18178 : 190857 : "TARGET_AVX512VL && ix86_pre_reload_split ()
18179 : 191344 : /* NE is commutative. */
18180 : 191347 : && INTVAL (operands[5]) == 4"
18181 : 190854 :
18182 : 544 : "#"
18183 : 544 : "&& 1"
18184 : 125 : [(const_int 0)]
18185 : 615 : {
18186 : 612 : if (MEM_P (operands[3]))
18187 : 209 : operands[3] = force_reg (<MODE>mode, operands[3]);
18188 : 70 : emit_move_insn (operands[0], gen_rtx_fmt_ee (EQ, <MODE>mode,
18189 : 560 : operands[3], operands[4]));
18190 : 32 : DONE;
18191 : 490 : })
18192 : 490 :
18193 : : (define_expand "<avx512>_eq<mode>3<mask_scalar_merge_name>"
18194 : 490 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand")
18195 : 490 : (unspec:<avx512fmaskmode>
18196 : : [(match_operand:VI12_AVX512VL 1 "nonimmediate_operand")
18197 : 490 : (match_operand:VI12_AVX512VL 2 "nonimmediate_operand")
18198 : 490 : (const_int 0)]
18199 : : UNSPEC_PCMP))]
18200 : 490 : "TARGET_AVX512BW"
18201 : 701 : "ix86_fixup_binary_operands_no_copy (EQ, <MODE>mode, operands);")
18202 : 157 :
18203 : 490 : (define_expand "<avx512>_eq<mode>3<mask_scalar_merge_name>"
18204 : 743 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand")
18205 : 253 : (unspec:<avx512fmaskmode>
18206 : 743 : [(match_operand:VI48_AVX512VL 1 "nonimmediate_operand")
18207 : 900 : (match_operand:VI48_AVX512VL 2 "nonimmediate_operand")
18208 : 253 : (const_int 0)]
18209 : 900 : UNSPEC_PCMP))]
18210 : 900 : "TARGET_AVX512F"
18211 : 509 : "ix86_fixup_binary_operands_no_copy (EQ, <MODE>mode, operands);")
18212 : 647 :
18213 : 743 : (define_insn "*sse4_1_eqv2di3"
18214 : 331 : [(set (match_operand:V2DI 0 "register_operand" "=Yr,*x,x")
18215 : 763 : (eq:V2DI
18216 : 763 : (match_operand:V2DI 1 "vector_operand" "%0,0,x")
18217 : 273 : (match_operand:V2DI 2 "vector_operand" "Yrja,*xja,xjm")))]
18218 : 6856 : "TARGET_SSE4_1 && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
18219 : 589 : "@
18220 : 273 : pcmpeqq\t{%2, %0|%0, %2}
18221 : 687 : pcmpeqq\t{%2, %0|%0, %2}
18222 : 25282 : vpcmpeqq\t{%2, %1, %0|%0, %1, %2}"
18223 : 25065 : [(set_attr "isa" "noavx,noavx,avx")
18224 : 743 : (set_attr "type" "ssecmp")
18225 : 25165 : (set_attr "addr" "gpr16")
18226 : : (set_attr "prefix_extra" "1")
18227 : 490 : (set_attr "prefix" "orig,orig,vex")
18228 : 490 : (set_attr "mode" "TI")])
18229 : 103 :
18230 : 626 : (define_insn "*sse2_eq<mode>3"
18231 : 626 : [(set (match_operand:VI124_128 0 "register_operand" "=x,x")
18232 : 273 : (eq:VI124_128
18233 : 763 : (match_operand:VI124_128 1 "vector_operand" "%0,x")
18234 : 922 : (match_operand:VI124_128 2 "vector_operand" "xBm,xjm")))]
18235 : 12247 : "TARGET_SSE2
18236 : 14425 : && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
18237 : 729 : "@
18238 : 103 : pcmpeq<ssemodesuffix>\t{%2, %0|%0, %2}
18239 : 576 : vpcmpeq<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
18240 : 117423 : [(set_attr "isa" "noavx,avx")
18241 : 116858 : (set_attr "addr" "*,gpr16")
18242 : 566 : (set_attr "type" "ssecmp")
18243 : 117207 : (set_attr "prefix" "orig,vex")
18244 : 242070 : (set_attr "mode" "TI")])
18245 : 242573 :
18246 : 566 : (define_insn "sse4_2_gtv2di3"
18247 : 2713 : [(set (match_operand:V2DI 0 "register_operand" "=Yr,*x,x")
18248 : 3127 : (gt:V2DI
18249 : 490 : (match_operand:V2DI 1 "register_operand" "0,0,x")
18250 : 2637 : (match_operand:V2DI 2 "vector_operand" "Yrja,*xja,xjm")))]
18251 : 2426 : "TARGET_SSE4_2"
18252 : 490 : "@
18253 : 74 : pcmpgtq\t{%2, %0|%0, %2}
18254 : 515 : pcmpgtq\t{%2, %0|%0, %2}
18255 : 845 : vpcmpgtq\t{%2, %1, %0|%0, %1, %2}"
18256 : 355 : [(set_attr "isa" "noavx,noavx,avx")
18257 : 490 : (set_attr "type" "ssecmp")
18258 : 919 : (set_attr "addr" "gpr16")
18259 : 25 : (set_attr "prefix_extra" "1")
18260 : 490 : (set_attr "prefix" "orig,orig,vex")
18261 : 490 : (set_attr "mode" "TI")])
18262 : 0 :
18263 : 490 : (define_insn "avx2_gt<mode>3"
18264 : 490 : [(set (match_operand:VI_256 0 "register_operand" "=x")
18265 : 0 : (gt:VI_256
18266 : 490 : (match_operand:VI_256 1 "register_operand" "x")
18267 : 490 : (match_operand:VI_256 2 "nonimmediate_operand" "xjm")))]
18268 : 237 : "TARGET_AVX2"
18269 : 515 : "vpcmpgt<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
18270 : 490 : [(set_attr "type" "ssecmp")
18271 : 27 : (set (attr "prefix_extra")
18272 : 26961 : (if_then_else (eq (const_string "<MODE>mode") (const_string "V4DImode"))
18273 : 26937 : (const_string "1")
18274 : 25 : (const_string "*")))
18275 : 26937 : (set_attr "addr" "gpr16")
18276 : 517 : (set_attr "prefix" "vex")
18277 : 516 : (set_attr "mode" "OI")])
18278 : 2 :
18279 : 2 : (define_expand "<avx512>_gt<mode>3<mask_scalar_merge_name>"
18280 : 24 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand")
18281 : 470 : (unspec:<avx512fmaskmode>
18282 : 470 : [(match_operand:VI48_AVX512VL 1 "register_operand")
18283 : 470 : (match_operand:VI48_AVX512VL 2 "nonimmediate_operand")
18284 : 25 : (const_int 6)] UNSPEC_PCMP))]
18285 : 450 : "TARGET_AVX512F")
18286 : 450 :
18287 : 451 : (define_expand "<avx512>_gt<mode>3<mask_scalar_merge_name>"
18288 : : [(set (match_operand:<avx512fmaskmode> 0 "register_operand")
18289 : 436 : (unspec:<avx512fmaskmode>
18290 : 410 : [(match_operand:VI12_AVX512VL 1 "register_operand")
18291 : 0 : (match_operand:VI12_AVX512VL 2 "nonimmediate_operand")
18292 : 206 : (const_int 6)] UNSPEC_PCMP))]
18293 : 206 : "TARGET_AVX512BW")
18294 : 207 :
18295 : 2 : (define_insn "*sse2_gt<mode>3"
18296 : 207 : [(set (match_operand:VI124_128 0 "register_operand" "=x,x")
18297 : 207 : (gt:VI124_128
18298 : 2 : (match_operand:VI124_128 1 "register_operand" "0,x")
18299 : 207 : (match_operand:VI124_128 2 "vector_operand" "xBm,xjm")))]
18300 : 14382 : "TARGET_SSE2"
18301 : 1 : "@
18302 : 205 : pcmpgt<ssemodesuffix>\t{%2, %0|%0, %2}
18303 : 205 : vpcmpgt<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
18304 : 113443 : [(set_attr "isa" "noavx,avx")
18305 : 113648 : (set_attr "addr" "*,gpr16")
18306 : 205 : (set_attr "type" "ssecmp")
18307 : 113443 : (set_attr "prefix" "orig,vex")
18308 : 205 : (set_attr "mode" "TI")])
18309 : 205 :
18310 : 0 : (define_mode_iterator VEC_PERM_AVX2
18311 : 205 : [V16QI V8HI V4SI V2DI V4SF V2DF
18312 : 205 : (V8HF "TARGET_AVX512FP16")
18313 : 0 : (V32QI "TARGET_AVX2") (V16HI "TARGET_AVX2")
18314 : 963137 : (V8SI "TARGET_AVX2") (V4DI "TARGET_AVX2")
18315 : 205 : (V8SF "TARGET_AVX2") (V4DF "TARGET_AVX2")
18316 : : (V16HF "TARGET_AVX512FP16")
18317 : 205 : (V16SF "TARGET_AVX512F && TARGET_EVEX512")
18318 : 963137 : (V8DF "TARGET_AVX512F && TARGET_EVEX512")
18319 : 962932 : (V16SI "TARGET_AVX512F && TARGET_EVEX512")
18320 : 963137 : (V8DI "TARGET_AVX512F && TARGET_EVEX512")
18321 : 963137 : (V32HI "TARGET_AVX512BW && TARGET_EVEX512")
18322 : 962932 : (V64QI "TARGET_AVX512VBMI && TARGET_EVEX512")
18323 : 963137 : (V32HF "TARGET_AVX512FP16 && TARGET_EVEX512")])
18324 : 963137 :
18325 : : (define_expand "vec_perm<mode>"
18326 : 963137 : [(match_operand:VEC_PERM_AVX2 0 "register_operand")
18327 : 963137 : (match_operand:VEC_PERM_AVX2 1 "register_operand")
18328 : : (match_operand:VEC_PERM_AVX2 2 "register_operand")
18329 : 963137 : (match_operand:<sseintvecmode> 3 "register_operand")]
18330 : 963137 : "TARGET_SSSE3 || TARGET_AVX || TARGET_XOP"
18331 : 10 : {
18332 : 209 : ix86_expand_vec_perm (operands);
18333 : 884365 : DONE;
18334 : 884150 : })
18335 : 884355 :
18336 : 205 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
18337 : 471041 : ;;
18338 : 205 : ;; Parallel bitwise logical operations
18339 : 471246 : ;;
18340 : 471041 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
18341 : 205 :
18342 : 471246 : (define_expand "one_cmpl<mode>2"
18343 : 471041 : [(set (match_operand:VI 0 "register_operand")
18344 : 471246 : (xor:VI (match_operand:VI 1 "bcst_vector_operand")
18345 : 205 : (match_dup 2)))]
18346 : : "TARGET_SSE"
18347 : 260751 : {
18348 : 215848 : operands[2] = CONSTM1_RTX (<MODE>mode);
18349 : :
18350 : 47227 : if (!TARGET_AVX512F || (!TARGET_AVX512VL && !TARGET_EVEX512))
18351 : 45997 : operands[2] = force_reg (<MODE>mode, operands[2]);
18352 : 41093 : })
18353 : 40940 :
18354 : 40898 : (define_insn_and_split "<mask_codefor>one_cmpl<mode>2<mask_name>"
18355 : 2574 : [(set (match_operand:VI 0 "register_operand" "=v,v,v")
18356 : 2779 : (xor:VI (match_operand:VI 1 "bcst_vector_operand" " 0, m,Br")
18357 : 5088 : (match_operand:VI 2 "vector_all_ones_operand" "BC,BC,BC")))]
18358 : 4285 : "TARGET_AVX512F
18359 : 5374 : && (<MODE_SIZE> == 64 || TARGET_AVX512VL || TARGET_EVEX512)
18360 : 5082 : && (!<mask_applied>
18361 : 2303 : || <ssescalarmode>mode == SImode
18362 : 5102 : || <ssescalarmode>mode == DImode)"
18363 : 227 : {
18364 : 2313 : if (TARGET_AVX512VL)
18365 : 2514 : return "vpternlog<ternlogsuffix>\t{$0x55, %1, %0, %0<mask_operand3>|%0<mask_operand3>, %0, %1, 0x55}";
18366 : 6612 : else
18367 : 4118 : return "vpternlog<ternlogsuffix>\t{$0x55, %g1, %g0, %g0<mask_operand3>|%g0<mask_operand3>, %g0, %g1, 0x55}";
18368 : 2785 : }
18369 : 3047 : "&& reload_completed && !REG_P (operands[1]) && !<mask_applied>
18370 : 41 : && optimize_insn_for_speed_p ()"
18371 : 208 : [(set (match_dup 0) (match_dup 3))
18372 : 217 : (parallel
18373 : 271 : [(set (match_dup 0)
18374 : 41591 : (xor:VI (match_dup 1) (match_dup 2)))
18375 : 41589 : (unspec [(match_dup 0)] UNSPEC_INSN_FALSE_DEP)])]
18376 : 22638 : {
18377 : 41057 : if (MEM_P (operands[1]))
18378 : 16729 : {
18379 : 16563 : operands[3] = operands[1];
18380 : 17863 : operands[1] = operands[0];
18381 : 17863 : }
18382 : 17927 : else
18383 : 1611 : {
18384 : 1609 : if (GET_MODE_SIZE (<ssescalarmode>mode) < 4)
18385 : 205 : {
18386 : 232 : if (<MODE_SIZE> == 64 ? TARGET_AVX512BW
18387 : 232 : : (TARGET_AVX512BW && TARGET_AVX512VL)
18388 : 228 : || !EXT_REX_SSE_REG_P (operands[0]))
18389 : 228 : {
18390 : 253 : operands[3] = operands[1];
18391 : 205 : operands[1] = operands[0];
18392 : 205 : }
18393 : 205 : else
18394 : 205 : operands[3] = CONST0_RTX (<MODE>mode);
18395 : 205 : }
18396 : 205 : else
18397 : 205 : {
18398 : 205 : if (<MODE_SIZE> == 64 || TARGET_AVX512VL
18399 : 205 : || !EXT_REX_SSE_REG_P (operands[0]))
18400 : 205 : {
18401 : 205 : operands[3] = operands[1];
18402 : 205 : operands[1] = operands[0];
18403 : 205 : }
18404 : 205 : else
18405 : 205 : operands[3] = CONST0_RTX (<MODE>mode);
18406 : 205 : }
18407 : 205 : }
18408 : 205 : }
18409 : 205 : [(set_attr "type" "sselog")
18410 : 205 : (set_attr "prefix" "evex")
18411 : 208 : (set (attr "mode")
18412 : 208 : (if_then_else (match_test "TARGET_AVX512VL")
18413 : 208 : (const_string "<sseinsnmode>")
18414 : 208 : (const_string "XI")))
18415 : 208 : (set (attr "enabled")
18416 : 208 : (if_then_else (eq_attr "alternative" "1")
18417 : 208 : (symbol_ref "<MODE_SIZE> == 64 || TARGET_AVX512VL")
18418 : 3 : (const_int 1)))])
18419 : 3 :
18420 : : (define_insn "*one_cmpl<mode>2_pternlog_false_dep"
18421 : 3 : [(set (match_operand:VI 0 "register_operand" "=v,v,v")
18422 : : (xor:VI (match_operand:VI 1 "bcst_vector_operand" " 0, m,Br")
18423 : : (match_operand:VI 2 "vector_all_ones_operand" "BC,BC,BC")))
18424 : : (unspec [(match_operand:VI 3 "register_operand" "0,0,0")]
18425 : : UNSPEC_INSN_FALSE_DEP)]
18426 : 3 : "TARGET_AVX512F && (<MODE_SIZE> == 64 || TARGET_AVX512VL || TARGET_EVEX512)"
18427 : 3 : {
18428 : 0 : if (TARGET_AVX512VL)
18429 : : return "vpternlog<ternlogsuffix>\t{$0x55, %1, %0, %0<mask_operand3>|%0<mask_operand3>, %0, %1, 0x55}";
18430 : 1 : else
18431 : 6 : return "vpternlog<ternlogsuffix>\t{$0x55, %g1, %g0, %g0<mask_operand3>|%g0<mask_operand3>, %g0, %g1, 0x55}";
18432 : 3 : }
18433 : 5 : [(set_attr "type" "sselog")
18434 : : (set_attr "prefix" "evex")
18435 : : (set (attr "mode")
18436 : 38 : (if_then_else (match_test "TARGET_AVX512VL")
18437 : : (const_string "<sseinsnmode>")
18438 : 67 : (const_string "XI")))
18439 : 3 : (set (attr "enabled")
18440 : 79865 : (if_then_else (eq_attr "alternative" "1")
18441 : 3 : (symbol_ref "<MODE_SIZE> == 64 || TARGET_AVX512VL")
18442 : 79881 : (const_int 1)))])
18443 : 79868 :
18444 : 79921 : (define_split
18445 : 79868 : [(set (match_operand:VI48_AVX512F 0 "register_operand")
18446 : 79866 : (vec_duplicate:VI48_AVX512F
18447 : 79867 : (not:<ssescalarmode>
18448 : 79866 : (match_operand:<ssescalarmode> 1 "nonimmediate_operand"))))]
18449 : 79865 : "<MODE_SIZE> == 64 || TARGET_AVX512VL
18450 : 0 : || (TARGET_AVX512F && TARGET_EVEX512 && !TARGET_PREFER_AVX256)"
18451 : 5372 : [(set (match_dup 0)
18452 : 5373 : (xor:VI48_AVX512F
18453 : : (vec_duplicate:VI48_AVX512F (match_dup 1))
18454 : 2 : (match_dup 2)))]
18455 : 4 : "operands[2] = CONSTM1_RTX (<MODE>mode);")
18456 : 1 :
18457 : 2 : (define_expand "<sse2_avx2>_andnot<mode>3"
18458 : 4 : [(set (match_operand:VI_AVX2 0 "register_operand")
18459 : 282811 : (and:VI_AVX2
18460 : 282810 : (not:VI_AVX2 (match_operand:VI_AVX2 1 "register_operand"))
18461 : 282811 : (match_operand:VI_AVX2 2 "vector_operand")))]
18462 : 3 : "TARGET_SSE2")
18463 : 156 :
18464 : 156 : (define_expand "andn<mode>3"
18465 : 153 : [(set (match_operand:VI 0 "register_operand")
18466 : 154 : (and:VI
18467 : 153 : (not:VI (match_operand:VI 2 "register_operand"))
18468 : 0 : (match_operand:VI 1 "register_operand")))]
18469 : 2 : "TARGET_SSE2")
18470 : 2 :
18471 : 2 : (define_expand "<sse2_avx2>_andnot<mode>3_mask"
18472 : : [(set (match_operand:VI48_AVX512VL 0 "register_operand")
18473 : : (vec_merge:VI48_AVX512VL
18474 : : (and:VI48_AVX512VL
18475 : : (not:VI48_AVX512VL
18476 : 38 : (match_operand:VI48_AVX512VL 1 "register_operand"))
18477 : 23 : (match_operand:VI48_AVX512VL 2 "nonimmediate_operand"))
18478 : : (match_operand:VI48_AVX512VL 3 "nonimm_or_0_operand")
18479 : : (match_operand:<avx512fmaskmode> 4 "register_operand")))]
18480 : 0 : "TARGET_AVX512F")
18481 : 23 :
18482 : 38 : (define_insn "*andnot<mode>3"
18483 : : [(set (match_operand:VI 0 "register_operand" "=x,x,v,v,v")
18484 : : (and:VI
18485 : : (not:VI (match_operand:VI 1 "bcst_vector_operand" "0,x,v,m,Br"))
18486 : : (match_operand:VI 2 "bcst_vector_operand" "xBm,xjm,vmBr,0,0")))]
18487 : 40224 : "TARGET_SSE
18488 : 41210 : && (register_operand (operands[1], <MODE>mode)
18489 : 2843 : || register_operand (operands[2], <MODE>mode))"
18490 : 11837 : {
18491 : 6881 : char buf[64];
18492 : 6879 : const char *ops;
18493 : 8111 : const char *tmp;
18494 : 7938 : const char *ssesuffix;
18495 : 3 :
18496 : 8948 : switch (get_attr_mode (insn))
18497 : 3 : {
18498 : 63 : case MODE_XI:
18499 : 61 : gcc_assert (TARGET_AVX512F);
18500 : 3 : /* FALLTHRU */
18501 : 273 : case MODE_OI:
18502 : 311 : gcc_assert (TARGET_AVX2);
18503 : 0 : /* FALLTHRU */
18504 : 6829 : case MODE_TI:
18505 : 6828 : gcc_assert (TARGET_SSE2);
18506 : 6806 : tmp = "pandn";
18507 : 6768 : switch (<MODE>mode)
18508 : : {
18509 : 1 : case E_V64QImode:
18510 : : case E_V32HImode:
18511 : 1 : /* There is no vpandnb or vpandnw instruction, nor vpandn for
18512 : 1 : 512-bit vectors. Use vpandnq instead. */
18513 : 1 : ssesuffix = "q";
18514 : 1 : break;
18515 : 73 : case E_V16SImode:
18516 : 4 : case E_V8DImode:
18517 : 0 : ssesuffix = "<ssemodesuffix>";
18518 : 4 : break;
18519 : 6229 : case E_V8SImode:
18520 : 6229 : case E_V4DImode:
18521 : 6301 : case E_V4SImode:
18522 : 6229 : case E_V2DImode:
18523 : 45 : ssesuffix = (TARGET_AVX512VL && which_alternative == 2
18524 : 6226 : ? "<ssemodesuffix>" : "");
18525 : 3 : break;
18526 : 542 : default:
18527 : 542 : ssesuffix = TARGET_AVX512VL && which_alternative == 2 ? "q" : "";
18528 : : }
18529 : : break;
18530 : :
18531 : 0 : case MODE_V16SF:
18532 : 0 : gcc_assert (TARGET_AVX512F);
18533 : : /* FALLTHRU */
18534 : 3 : case MODE_V8SF:
18535 : 0 : gcc_assert (TARGET_AVX);
18536 : 3 : /* FALLTHRU */
18537 : 54 : case MODE_V4SF:
18538 : 54 : gcc_assert (TARGET_SSE);
18539 : 3 : tmp = "andn";
18540 : 3 : ssesuffix = "ps";
18541 : 3 : break;
18542 : 0 :
18543 : 3 : default:
18544 : 0 : gcc_unreachable ();
18545 : : }
18546 : :
18547 : 6879 : switch (which_alternative)
18548 : : {
18549 : : case 0:
18550 : : ops = "%s%s\t{%%2, %%0|%%0, %%2}";
18551 : : break;
18552 : 323 : case 1:
18553 : 323 : case 2:
18554 : 323 : ops = "v%s%s\t{%%2, %%1, %%0|%%0, %%1, %%2}";
18555 : 323 : break;
18556 : 0 : case 3:
18557 : 0 : case 4:
18558 : 0 : tmp = "pternlog";
18559 : 0 : ssesuffix = "<ternlogsuffix>";
18560 : 0 : if (which_alternative != 4 || TARGET_AVX512VL)
18561 : : ops = "v%s%s\t{$0x44, %%1, %%2, %%0|%%0, %%2, %%1, $0x44}";
18562 : : else
18563 : 6879 : ops = "v%s%s\t{$0x44, %%g1, %%g2, %%g0|%%g0, %%g2, %%g1, $0x44}";
18564 : : break;
18565 : 0 : default:
18566 : 0 : gcc_unreachable ();
18567 : : }
18568 : :
18569 : 6879 : snprintf (buf, sizeof (buf), ops, tmp, ssesuffix);
18570 : 6879 : output_asm_insn (buf, operands);
18571 : 6879 : return "";
18572 : : }
18573 : : [(set_attr "isa" "noavx,avx_noavx512f,avx512f,*,*")
18574 : : (set_attr "addr" "*,gpr16,*,*,*")
18575 : : (set_attr "type" "sselog")
18576 : 7228 : (set (attr "prefix_data16")
18577 : : (if_then_else
18578 : : (and (eq_attr "alternative" "0")
18579 : : (eq_attr "mode" "TI"))
18580 : : (const_string "1")
18581 : : (const_string "*")))
18582 : : (set_attr "prefix" "orig,vex,evex,evex,evex")
18583 : : (set (attr "mode")
18584 : : (cond [(and (eq_attr "alternative" "3,4")
18585 : 0 : (match_test "<MODE_SIZE> < 64 && !TARGET_AVX512VL"))
18586 : : (const_string "XI")
18587 : : (match_test "TARGET_AVX2")
18588 : : (const_string "<sseinsnmode>")
18589 : 36616 : (match_test "TARGET_AVX")
18590 : : (if_then_else
18591 : : (match_test "<MODE_SIZE> > 16")
18592 : : (const_string "V8SF")
18593 : : (const_string "<sseinsnmode>"))
18594 : : (ior (not (match_test "TARGET_SSE2"))
18595 : : (match_test "optimize_function_for_size_p (cfun)"))
18596 : : (const_string "V4SF")
18597 : : ]
18598 : : (const_string "<sseinsnmode>")))
18599 : : (set (attr "enabled")
18600 : : (cond [(eq_attr "alternative" "3")
18601 : : (symbol_ref "<MODE_SIZE> == 64 || TARGET_AVX512VL")
18602 : : (eq_attr "alternative" "4")
18603 : 5048 : (symbol_ref "<MODE_SIZE> == 64 || TARGET_AVX512VL
18604 : 4968 : || (TARGET_AVX512F && TARGET_EVEX512
18605 : 5054 : && !TARGET_PREFER_AVX256)")
18606 : : ]
18607 : : (const_string "*")))])
18608 : :
18609 : : ;; PR target/100711: Split notl; vpbroadcastd; vpand as vpbroadcastd; vpandn
18610 : : (define_split
18611 : 5136 : [(set (match_operand:VI48_128 0 "register_operand")
18612 : : (and:VI48_128
18613 : : (vec_duplicate:VI48_128
18614 : : (not:<ssescalarmode>
18615 : : (match_operand:<ssescalarmode> 1 "register_operand")))
18616 : : (match_operand:VI48_128 2 "vector_operand")))]
18617 : 2 : "TARGET_SSE"
18618 : 4 : [(set (match_dup 3)
18619 : 0 : (vec_duplicate:VI48_128 (match_dup 1)))
18620 : 0 : (set (match_dup 0)
18621 : : (and:VI48_128 (not:VI48_128 (match_dup 3))
18622 : : (match_dup 2)))]
18623 : 4 : "operands[3] = gen_reg_rtx (<MODE>mode);")
18624 : :
18625 : : ;; PR target/100711: Split notl; vpbroadcastd; vpand as vpbroadcastd; vpandn
18626 : 4 : (define_split
18627 : 4 : [(set (match_operand:VI_AVX2 0 "register_operand")
18628 : 4 : (and:VI_AVX2
18629 : 4 : (vec_duplicate:VI_AVX2
18630 : 4 : (not:<ssescalarmode>
18631 : 4 : (match_operand:<ssescalarmode> 1 "nonimmediate_operand")))
18632 : 4 : (match_operand:VI_AVX2 2 "vector_operand")))]
18633 : 8 : "TARGET_AVX2"
18634 : 4 : [(set (match_dup 3)
18635 : 6 : (vec_duplicate:VI_AVX2 (match_dup 1)))
18636 : : (set (match_dup 0)
18637 : 12 : (and:VI_AVX2 (not:VI_AVX2 (match_dup 3))
18638 : 8 : (match_dup 2)))]
18639 : 10 : "operands[3] = gen_reg_rtx (<MODE>mode);")
18640 : :
18641 : 6 : (define_split
18642 : 15 : [(set (match_operand:VI 0 "register_operand")
18643 : 15 : (ior:VI
18644 : 14 : (vec_duplicate:VI
18645 : 10 : (not:<ssescalarmode>
18646 : 10 : (match_operand:<ssescalarmode> 1 "nonimmediate_operand")))
18647 : 301454 : (match_operand:VI 2 "vector_operand")))]
18648 : 10 : "<MODE_SIZE> == 64 || TARGET_AVX512VL
18649 : 301454 : || (TARGET_AVX512F && TARGET_EVEX512 && !TARGET_PREFER_AVX256)"
18650 : 301454 : [(set (match_dup 3)
18651 : 301444 : (vec_duplicate:VI (match_dup 1)))
18652 : 301445 : (set (match_dup 0)
18653 : 301455 : (ior:VI (not:VI (match_dup 3)) (match_dup 2)))]
18654 : 301449 : "operands[3] = gen_reg_rtx (<MODE>mode);")
18655 : 1 :
18656 : 3 : (define_split
18657 : 7 : [(set (match_operand:VI 0 "register_operand")
18658 : 12 : (xor:VI
18659 : 13 : (vec_duplicate:VI
18660 : 14 : (not:<ssescalarmode>
18661 : 5 : (match_operand:<ssescalarmode> 1 "nonimmediate_operand")))
18662 : 5 : (match_operand:VI 2 "vector_operand")))]
18663 : 36591951 : "<MODE_SIZE> == 64 || TARGET_AVX512VL
18664 : 4 : || (TARGET_AVX512F && TARGET_EVEX512 && !TARGET_PREFER_AVX256)"
18665 : 5 : [(set (match_dup 3)
18666 : 5 : (vec_duplicate:VI (match_dup 1)))
18667 : 36591947 : (set (match_dup 0)
18668 : 36591952 : (not:VI (xor:VI (match_dup 3) (match_dup 2))))]
18669 : 36591952 : "operands[3] = gen_reg_rtx (<MODE>mode);")
18670 : 36591952 :
18671 : 36591952 : (define_insn "*andnot<mode>3_mask"
18672 : 36591956 : [(set (match_operand:VI48_AVX512VL 0 "register_operand" "=v")
18673 : 36591956 : (vec_merge:VI48_AVX512VL
18674 : 36591951 : (and:VI48_AVX512VL
18675 : 5 : (not:VI48_AVX512VL
18676 : 2016685 : (match_operand:VI48_AVX512VL 1 "register_operand" "v"))
18677 : 2016685 : (match_operand:VI48_AVX512VL 2 "nonimmediate_operand" "vm"))
18678 : 4 : (match_operand:VI48_AVX512VL 3 "nonimm_or_0_operand" "0C")
18679 : 4 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
18680 : 36592423 : "TARGET_AVX512F"
18681 : 36591951 : "vpandn<ssemodesuffix>\t{%2, %1, %0%{%4%}%N3|%0%{%4%}%N3, %1, %2}";
18682 : 25288636 : [(set_attr "type" "sselog")
18683 : 40216936 : (set_attr "prefix" "evex")
18684 : 36093734 : (set_attr "mode" "<sseinsnmode>")])
18685 : 498225 :
18686 : 498225 : (define_expand "<code><mode>3"
18687 : 194260 : [(set (match_operand:VI 0 "register_operand")
18688 : 8 : (any_logic:VI
18689 : 189110 : (match_operand:VI 1 "nonimmediate_or_const_vector_operand")
18690 : 189110 : (match_operand:VI 2 "nonimmediate_or_const_vector_operand")))]
18691 : : "TARGET_SSE"
18692 : 249304 : {
18693 : 249304 : ix86_expand_vector_logical_operator (<CODE>, <MODE>mode, operands);
18694 : 249304 : DONE;
18695 : 2819 : })
18696 : 7162 :
18697 : 7162 : (define_expand "cond_<code><mode>"
18698 : 0 : [(set (match_operand:VI48_AVX512VL 0 "register_operand")
18699 : 9041 : (vec_merge:VI48_AVX512VL
18700 : 9041 : (any_logic:VI48_AVX512VL
18701 : 9041 : (match_operand:VI48_AVX512VL 2 "vector_operand")
18702 : 9041 : (match_operand:VI48_AVX512VL 3 "vector_operand"))
18703 : 8879 : (match_operand:VI48_AVX512VL 4 "nonimm_or_0_operand")
18704 : 8879 : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
18705 : 2819 : "TARGET_AVX512F"
18706 : 3739 : {
18707 : 3739 : emit_insn (gen_<code><mode>3_mask (operands[0],
18708 : 2791 : operands[2],
18709 : : operands[3],
18710 : 3706 : operands[4],
18711 : : operands[1]));
18712 : 73 : DONE;
18713 : : })
18714 : :
18715 : : (define_expand "<code><mode>3_mask"
18716 : 59221 : [(set (match_operand:VI48_AVX512VL 0 "register_operand")
18717 : : (vec_merge:VI48_AVX512VL
18718 : : (any_logic:VI48_AVX512VL
18719 : : (match_operand:VI48_AVX512VL 1 "bcst_vector_operand")
18720 : 59181 : (match_operand:VI48_AVX512VL 2 "bcst_vector_operand"))
18721 : 59181 : (match_operand:VI48_AVX512VL 3 "nonimm_or_0_operand")
18722 : 59221 : (match_operand:<avx512fmaskmode> 4 "register_operand")))]
18723 : 40 : "TARGET_AVX512F"
18724 : 59814 : "ix86_fixup_binary_operands_no_copy (<CODE>, <MODE>mode, operands);")
18725 : 59221 :
18726 : 59181 : (define_insn "*<code><mode>3<mask_name>"
18727 : 633 : [(set (match_operand:VI48_AVX_AVX512F 0 "register_operand" "=x,x,v")
18728 : 633 : (any_logic:VI48_AVX_AVX512F
18729 : 633 : (match_operand:VI48_AVX_AVX512F 1 "bcst_vector_operand" "%0,x,v")
18730 : 40 : (match_operand:VI48_AVX_AVX512F 2 "bcst_vector_operand" "xBm,xjm,vmBr")))]
18731 : 366293 : "TARGET_SSE && <mask_mode512bit_condition>
18732 : 371652 : && ix86_binary_operator_ok (<CODE>, <MODE>mode, operands)"
18733 : 98041 : {
18734 : 40129 : char buf[64];
18735 : 40129 : const char *ops;
18736 : 43121 : const char *tmp;
18737 : 42528 : const char *ssesuffix;
18738 : 593 :
18739 : 42290 : switch (get_attr_mode (insn))
18740 : 1434 : {
18741 : 1326 : case MODE_XI:
18742 : 1793 : gcc_assert (TARGET_AVX512F);
18743 : 34 : /* FALLTHRU */
18744 : 2315 : case MODE_OI:
18745 : 2874 : gcc_assert (TARGET_AVX2);
18746 : 4670 : /* FALLTHRU */
18747 : 40299 : case MODE_TI:
18748 : 39672 : gcc_assert (TARGET_SSE2);
18749 : 38924 : tmp = "p<logic>";
18750 : 41956 : switch (<MODE>mode)
18751 : 4417 : {
18752 : 11849 : case E_V16SImode:
18753 : 3372 : case E_V8DImode:
18754 : 3429 : ssesuffix = "<ssemodesuffix>";
18755 : 3429 : break;
18756 : 47771 : case E_V8SImode:
18757 : 47771 : case E_V4DImode:
18758 : 48113 : case E_V4SImode:
18759 : 42026 : case E_V2DImode:
18760 : 48003 : ssesuffix = ((TARGET_AVX512VL
18761 : 7958 : && (<mask_applied> || which_alternative == 2))
18762 : 46350 : || (MEM_P (operands[2]) && which_alternative == 2
18763 : 2594 : && x86_extended_rex2reg_mentioned_p (operands[2])))
18764 : 40112 : ? "<ssemodesuffix>" : "";
18765 : 2573 : break;
18766 : 286 : default:
18767 : 81 : gcc_unreachable ();
18768 : 81 : }
18769 : : break;
18770 : :
18771 : 1142 : case MODE_V8SF:
18772 : 1061 : gcc_assert (TARGET_AVX);
18773 : : /* FALLTHRU */
18774 : 1249 : case MODE_V4SF:
18775 : 1249 : gcc_assert (TARGET_SSE);
18776 : : tmp = "<logic>";
18777 : : ssesuffix = "ps";
18778 : : break;
18779 : :
18780 : 0 : default:
18781 : 0 : gcc_unreachable ();
18782 : : }
18783 : :
18784 : 39536 : switch (which_alternative)
18785 : : {
18786 : : case 0:
18787 : : if (<mask_applied>)
18788 : : ops = "v%s%s\t{%%2, %%0, %%0<mask_operand3_1>|%%0<mask_operand3_1>, %%0, %%2}";
18789 : : else
18790 : : ops = "%s%s\t{%%2, %%0|%%0, %%2}";
18791 : : break;
18792 : 10852 : case 1:
18793 : 10852 : case 2:
18794 : 10852 : ops = "v%s%s\t{%%2, %%1, %%0<mask_operand3_1>|%%0<mask_operand3_1>, %%1, %%2}";
18795 : 10852 : break;
18796 : 0 : default:
18797 : 0 : gcc_unreachable ();
18798 : : }
18799 : :
18800 : 39536 : snprintf (buf, sizeof (buf), ops, tmp, ssesuffix);
18801 : 39536 : output_asm_insn (buf, operands);
18802 : 39536 : return "";
18803 : : }
18804 : : [(set_attr "isa" "noavx,avx_noavx512f,avx512f")
18805 : : (set_attr "addr" "*,gpr16,*")
18806 : : (set_attr "type" "sselog")
18807 : 39161 : (set (attr "prefix_data16")
18808 : : (if_then_else
18809 : : (and (eq_attr "alternative" "0")
18810 : : (eq_attr "mode" "TI"))
18811 : : (const_string "1")
18812 : : (const_string "*")))
18813 : : (set_attr "prefix" "<mask_prefix3>,evex")
18814 : : (set (attr "mode")
18815 : : (cond [(match_test "TARGET_AVX2")
18816 : : (const_string "<sseinsnmode>")
18817 : : (match_test "TARGET_AVX")
18818 : : (if_then_else
18819 : : (match_test "<MODE_SIZE> > 16")
18820 : : (const_string "V8SF")
18821 : : (const_string "<sseinsnmode>"))
18822 : : (ior (not (match_test "TARGET_SSE2"))
18823 : : (match_test "optimize_function_for_size_p (cfun)"))
18824 : : (const_string "V4SF")
18825 : : ]
18826 : : (const_string "<sseinsnmode>")))])
18827 : :
18828 : : (define_insn "*<code><mode>3"
18829 : : [(set (match_operand:VI12_AVX_AVX512F 0 "register_operand" "=x,x,v")
18830 : : (any_logic:VI12_AVX_AVX512F
18831 : : (match_operand:VI12_AVX_AVX512F 1 "vector_operand" "%0,x,v")
18832 : : (match_operand:VI12_AVX_AVX512F 2 "vector_operand" "xBm,xjm,vm")))]
18833 : 308307 : "TARGET_SSE && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
18834 : 28545 : {
18835 : 28545 : char buf[64];
18836 : 28545 : const char *ops;
18837 : 29322 : const char *tmp;
18838 : 29322 : const char *ssesuffix;
18839 : :
18840 : 29551 : switch (get_attr_mode (insn))
18841 : : {
18842 : 70 : case MODE_XI:
18843 : 70 : gcc_assert (TARGET_AVX512F);
18844 : : /* FALLTHRU */
18845 : 1367 : case MODE_OI:
18846 : 1367 : gcc_assert (TARGET_AVX2);
18847 : : /* FALLTHRU */
18848 : 28203 : case MODE_TI:
18849 : 28203 : gcc_assert (TARGET_SSE2);
18850 : 28133 : tmp = "p<logic>";
18851 : 28133 : switch (<MODE>mode)
18852 : : {
18853 : : case E_V64QImode:
18854 : : case E_V32HImode:
18855 : : ssesuffix = "q";
18856 : : break;
18857 : 28133 : case E_V32QImode:
18858 : 28133 : case E_V16HImode:
18859 : 28133 : case E_V16QImode:
18860 : 28133 : case E_V8HImode:
18861 : 783 : ssesuffix = (((TARGET_AVX512VL && which_alternative == 2)
18862 : 27350 : || (MEM_P (operands[2]) && which_alternative == 2
18863 : 1156 : && x86_extended_rex2reg_mentioned_p (operands[2]))))
18864 : 28133 : ? "q" : "";
18865 : : break;
18866 : : default:
18867 : : gcc_unreachable ();
18868 : : }
18869 : : break;
18870 : :
18871 : 302 : case MODE_V8SF:
18872 : 302 : gcc_assert (TARGET_AVX);
18873 : : /* FALLTHRU */
18874 : 342 : case MODE_V4SF:
18875 : 342 : gcc_assert (TARGET_SSE);
18876 : : tmp = "<logic>";
18877 : : ssesuffix = "ps";
18878 : : break;
18879 : :
18880 : 0 : default:
18881 : 0 : gcc_unreachable ();
18882 : : }
18883 : :
18884 : 28545 : switch (which_alternative)
18885 : : {
18886 : : case 0:
18887 : : ops = "%s%s\t{%%2, %%0|%%0, %%2}";
18888 : : break;
18889 : 4588 : case 1:
18890 : 4588 : case 2:
18891 : 4588 : ops = "v%s%s\t{%%2, %%1, %%0|%%0, %%1, %%2}";
18892 : 4588 : break;
18893 : 0 : default:
18894 : 0 : gcc_unreachable ();
18895 : : }
18896 : :
18897 : 28545 : snprintf (buf, sizeof (buf), ops, tmp, ssesuffix);
18898 : 28545 : output_asm_insn (buf, operands);
18899 : 28545 : return "";
18900 : : }
18901 : : [(set_attr "isa" "noavx,avx_noavx512f,avx512f")
18902 : : (set_attr "addr" "*,gpr16,*")
18903 : : (set_attr "type" "sselog")
18904 : 28536 : (set (attr "prefix_data16")
18905 : : (if_then_else
18906 : : (and (eq_attr "alternative" "0")
18907 : : (eq_attr "mode" "TI"))
18908 : : (const_string "1")
18909 : : (const_string "*")))
18910 : : (set_attr "prefix" "orig,vex,evex")
18911 : : (set (attr "mode")
18912 : : (cond [(match_test "TARGET_AVX2")
18913 : : (const_string "<sseinsnmode>")
18914 : : (match_test "TARGET_AVX")
18915 : : (if_then_else
18916 : 0 : (match_test "<MODE_SIZE> > 16")
18917 : : (const_string "V8SF")
18918 : 0 : (const_string "<sseinsnmode>"))
18919 : : (ior (not (match_test "TARGET_SSE2"))
18920 : : (match_test "optimize_function_for_size_p (cfun)"))
18921 : : (const_string "V4SF")
18922 : 0 : ]
18923 : : (const_string "<sseinsnmode>")))])
18924 : :
18925 : 547121 : (define_insn "<code>v1ti3"
18926 : 0 : [(set (match_operand:V1TI 0 "register_operand" "=x,x,v")
18927 : 0 : (any_logic:V1TI
18928 : 0 : (match_operand:V1TI 1 "register_operand" "%0,x,v")
18929 : 0 : (match_operand:V1TI 2 "vector_operand" "xBm,xjm,vm")))]
18930 : 238 : "TARGET_SSE2"
18931 : 0 : "@
18932 : 0 : p<logic>\t{%2, %0|%0, %2}
18933 : 0 : vp<logic>\t{%2, %1, %0|%0, %1, %2}
18934 : 0 : vp<logic>d\t{%2, %1, %0|%0, %1, %2}"
18935 : 0 : [(set_attr "isa" "noavx,avx_noavx512vl,avx512vl")
18936 : 0 : (set_attr "addr" "*,gpr16,*")
18937 : 0 : (set_attr "prefix" "orig,vex,evex")
18938 : 737088 : (set_attr "prefix_data16" "1,*,*")
18939 : 737088 : (set_attr "type" "sselog")
18940 : 751741 : (set_attr "mode" "TI")])
18941 : 1342 :
18942 : 662787 : (define_expand "one_cmplv1ti2"
18943 : 661445 : [(set (match_operand:V1TI 0 "register_operand")
18944 : 683350 : (xor:V1TI (match_operand:V1TI 1 "register_operand")
18945 : 682008 : (match_dup 2)))]
18946 : 682008 : "TARGET_SSE2"
18947 : 20568 : {
18948 : 20568 : operands[2] = force_reg (V1TImode, CONSTM1_RTX (V1TImode));
18949 : 20563 : })
18950 : 20563 :
18951 : : (define_insn "*iornot<mode>3"
18952 : 18894 : [(set (match_operand:VI 0 "register_operand" "=v,v,v,v")
18953 : 18894 : (ior:VI
18954 : 18894 : (not:VI
18955 : 18894 : (match_operand:VI 1 "bcst_vector_operand" "0,m, 0,vBr"))
18956 : 18894 : (match_operand:VI 2 "bcst_vector_operand" "m,0,vBr, 0")))]
18957 : 49 : "(<MODE_SIZE> == 64 || TARGET_AVX512VL
18958 : 56 : || (TARGET_AVX512F && TARGET_EVEX512 && !TARGET_PREFER_AVX256))
18959 : 5 : && (register_operand (operands[1], <MODE>mode)
18960 : 0 : || register_operand (operands[2], <MODE>mode))"
18961 : 50 : {
18962 : 0 : if (!register_operand (operands[1], <MODE>mode))
18963 : 5 : {
18964 : 25 : if (TARGET_AVX512VL)
18965 : 25 : return "vpternlog<ternlogsuffix>\t{$0xdd, %1, %2, %0|%0, %2, %1, 0xdd}";
18966 : 0 : return "vpternlog<ternlogsuffix>\t{$0xdd, %g1, %g2, %g0|%g0, %g2, %g1, 0xdd}";
18967 : 20 : }
18968 : 0 : if (TARGET_AVX512VL)
18969 : 0 : return "vpternlog<ternlogsuffix>\t{$0xbb, %2, %1, %0|%0, %1, %2, 0xbb}";
18970 : 107 : return "vpternlog<ternlogsuffix>\t{$0xbb, %g2, %g1, %g0|%g0, %g1, %g2, 0xbb}";
18971 : 0 : }
18972 : 0 : [(set_attr "type" "sselog")
18973 : : (set_attr "length_immediate" "1")
18974 : 107 : (set_attr "prefix" "evex")
18975 : 0 : (set (attr "mode")
18976 : 0 : (if_then_else (match_test "TARGET_AVX512VL")
18977 : : (const_string "<sseinsnmode>")
18978 : : (const_string "XI")))
18979 : : (set (attr "enabled")
18980 : : (if_then_else (eq_attr "alternative" "0,1")
18981 : : (symbol_ref "<MODE_SIZE> == 64 || TARGET_AVX512VL")
18982 : : (const_string "*")))])
18983 : :
18984 : : (define_insn "*xnor<mode>3"
18985 : 0 : [(set (match_operand:VI 0 "register_operand" "=v,v")
18986 : 0 : (not:VI
18987 : 0 : (xor:VI
18988 : : (match_operand:VI 1 "bcst_vector_operand" "%0, 0")
18989 : : (match_operand:VI 2 "bcst_vector_operand" " m,vBr"))))]
18990 : 1 : "(<MODE_SIZE> == 64 || TARGET_AVX512VL
18991 : 1 : || (TARGET_AVX512F && TARGET_EVEX512 && !TARGET_PREFER_AVX256))
18992 : 16 : && (register_operand (operands[1], <MODE>mode)
18993 : 0 : || register_operand (operands[2], <MODE>mode))"
18994 : 0 : {
18995 : 0 : if (TARGET_AVX512VL)
18996 : 16 : return "vpternlog<ternlogsuffix>\t{$0x99, %2, %1, %0|%0, %1, %2, 0x99}";
18997 : 18 : else
18998 : 18 : return "vpternlog<ternlogsuffix>\t{$0x99, %g2, %g1, %g0|%g0, %g1, %g2, 0x99}";
18999 : 16 : }
19000 : 18 : [(set_attr "type" "sselog")
19001 : 16 : (set_attr "length_immediate" "1")
19002 : 16 : (set_attr "prefix" "evex")
19003 : 0 : (set (attr "mode")
19004 : : (if_then_else (match_test "TARGET_AVX512VL")
19005 : : (const_string "<sseinsnmode>")
19006 : 4304688 : (const_string "XI")))
19007 : 4304688 : (set (attr "enabled")
19008 : 0 : (if_then_else (eq_attr "alternative" "0")
19009 : 20 : (symbol_ref "<MODE_SIZE> == 64 || TARGET_AVX512VL")
19010 : 20 : (const_string "*")))])
19011 : :
19012 : : (define_code_iterator andor [and ior])
19013 : 0 : (define_code_attr nlogic [(and "nor") (ior "nand")])
19014 : : (define_code_attr ternlog_nlogic [(and "0x11") (ior "0x77")])
19015 : 0 :
19016 : : (define_insn "*<nlogic><mode>3"
19017 : : [(set (match_operand:VI 0 "register_operand" "=v,v")
19018 : : (andor:VI
19019 : : (not:VI (match_operand:VI 1 "bcst_vector_operand" "%0, 0"))
19020 : : (not:VI (match_operand:VI 2 "bcst_vector_operand" "m,vBr"))))]
19021 : 25 : "(<MODE_SIZE> == 64 || TARGET_AVX512VL
19022 : 26 : || (TARGET_AVX512F && TARGET_EVEX512 && !TARGET_PREFER_AVX256))
19023 : 0 : && (register_operand (operands[1], <MODE>mode)
19024 : 0 : || register_operand (operands[2], <MODE>mode))"
19025 : 25 : {
19026 : 0 : if (TARGET_AVX512VL)
19027 : : return "vpternlog<ternlogsuffix>\t{$<ternlog_nlogic>, %2, %1, %0|%0, %1, %2, <ternlog_nlogic>}";
19028 : 1 : else
19029 : 1 : return "vpternlog<ternlogsuffix>\t{$<ternlog_nlogic>, %g2, %g1, %g0|%g0, %g1, %g2, <ternlog_nlogic>}";
19030 : 0 : }
19031 : 0 : [(set_attr "type" "sselog")
19032 : 1150466 : (set_attr "length_immediate" "1")
19033 : 1150466 : (set_attr "prefix" "evex")
19034 : 1150466 : (set (attr "mode")
19035 : 1150466 : (if_then_else (match_test "TARGET_AVX512VL")
19036 : 1150466 : (const_string "<sseinsnmode>")
19037 : : (const_string "XI")))
19038 : 52575 : (set (attr "enabled")
19039 : 48223 : (if_then_else (eq_attr "alternative" "0")
19040 : 53271 : (symbol_ref "<MODE_SIZE> == 64 || TARGET_AVX512VL")
19041 : : (const_string "*")))])
19042 : 38608 :
19043 : 38608 : (define_mode_iterator AVX512ZEXTMASK
19044 : 43796 : [(DI "TARGET_AVX512BW && TARGET_EVEX512") (SI "TARGET_AVX512BW") HI])
19045 : 38608 :
19046 : 38608 : (define_insn "<avx512>_testm<mode>3<mask_scalar_merge_name>"
19047 : 8621 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
19048 : 8621 : (unspec:<avx512fmaskmode>
19049 : 8621 : [(match_operand:VI1248_AVX512VLBW 1 "register_operand" "v")
19050 : 4526 : (match_operand:VI1248_AVX512VLBW 2 "nonimmediate_operand" "vm")]
19051 : 174 : UNSPEC_TESTM))]
19052 : 818 : "TARGET_AVX512F"
19053 : 3929 : "vptestm<ssemodesuffix>\t{%2, %1, %0<mask_scalar_merge_operand3>|%0<mask_scalar_merge_operand3>, %1, %2}"
19054 : 3861 : [(set_attr "prefix" "evex")
19055 : 320 : (set_attr "mode" "<sseinsnmode>")])
19056 : 2280 :
19057 : 277 : (define_insn "<avx512>_testnm<mode>3<mask_scalar_merge_name>"
19058 : 277 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
19059 : 0 : (unspec:<avx512fmaskmode>
19060 : 0 : [(match_operand:VI1248_AVX512VLBW 1 "register_operand" "v")
19061 : 277 : (match_operand:VI1248_AVX512VLBW 2 "nonimmediate_operand" "vm")]
19062 : 0 : UNSPEC_TESTNM))]
19063 : 1041 : "TARGET_AVX512F"
19064 : 277 : "vptestnm<ssemodesuffix>\t{%2, %1, %0<mask_scalar_merge_operand3>|%0<mask_scalar_merge_operand3>, %1, %2}"
19065 : 277 : [(set_attr "prefix" "evex")
19066 : 277 : (set_attr "mode" "<sseinsnmode>")])
19067 : :
19068 : 130 : (define_insn "*<avx512>_testm<VI1248_AVX512VLBW:mode>3_zext"
19069 : : [(set (match_operand:AVX512ZEXTMASK 0 "register_operand" "=k")
19070 : : (zero_extend:AVX512ZEXTMASK
19071 : : (unspec:<VI1248_AVX512VLBW:avx512fmaskmode>
19072 : : [(match_operand:VI1248_AVX512VLBW 1 "register_operand" "v")
19073 : : (match_operand:VI1248_AVX512VLBW 2 "nonimmediate_operand" "vm")]
19074 : : UNSPEC_TESTM)))]
19075 : 0 : "TARGET_AVX512BW
19076 : : && (<AVX512ZEXTMASK:MODE_SIZE>
19077 : 0 : > GET_MODE_SIZE (<VI1248_AVX512VLBW:avx512fmaskmode>mode))"
19078 : : "vptestm<VI1248_AVX512VLBW:ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
19079 : : [(set_attr "prefix" "evex")
19080 : : (set_attr "mode" "<VI1248_AVX512VLBW:sseinsnmode>")])
19081 : :
19082 : : (define_insn "*<avx512>_testm<VI1248_AVX512VLBW:mode>3_zext_mask"
19083 : : [(set (match_operand:AVX512ZEXTMASK 0 "register_operand" "=k")
19084 : : (zero_extend:AVX512ZEXTMASK
19085 : : (and:<VI1248_AVX512VLBW:avx512fmaskmode>
19086 : : (unspec:<VI1248_AVX512VLBW:avx512fmaskmode>
19087 : : [(match_operand:VI1248_AVX512VLBW 1 "register_operand" "v")
19088 : : (match_operand:VI1248_AVX512VLBW 2 "nonimmediate_operand" "vm")]
19089 : : UNSPEC_TESTM)
19090 : : (match_operand:<VI1248_AVX512VLBW:avx512fmaskmode> 3 "register_operand" "Yk"))))]
19091 : 0 : "TARGET_AVX512BW
19092 : : && (<AVX512ZEXTMASK:MODE_SIZE>
19093 : 0 : > GET_MODE_SIZE (<VI1248_AVX512VLBW:avx512fmaskmode>mode))"
19094 : : "vptestm<VI1248_AVX512VLBW:ssemodesuffix>\t{%2, %1, %0%{%3%}|%0%{%3%}, %1, %2}"
19095 : : [(set_attr "prefix" "evex")
19096 : : (set_attr "mode" "<VI1248_AVX512VLBW:sseinsnmode>")])
19097 : :
19098 : : (define_insn "*<avx512>_testnm<VI1248_AVX512VLBW:mode>3_zext"
19099 : : [(set (match_operand:AVX512ZEXTMASK 0 "register_operand" "=k")
19100 : : (zero_extend:AVX512ZEXTMASK
19101 : : (unspec:<VI1248_AVX512VLBW:avx512fmaskmode>
19102 : : [(match_operand:VI1248_AVX512VLBW 1 "register_operand" "v")
19103 : : (match_operand:VI1248_AVX512VLBW 2 "nonimmediate_operand" "vm")]
19104 : : UNSPEC_TESTNM)))]
19105 : 2 : "TARGET_AVX512BW
19106 : : && (<AVX512ZEXTMASK:MODE_SIZE>
19107 : 2 : > GET_MODE_SIZE (<VI1248_AVX512VLBW:avx512fmaskmode>mode))"
19108 : : "vptestnm<VI1248_AVX512VLBW:ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
19109 : : [(set_attr "prefix" "evex")
19110 : : (set_attr "mode" "<VI1248_AVX512VLBW:sseinsnmode>")])
19111 : :
19112 : : (define_insn "*<avx512>_testnm<VI1248_AVX512VLBW:mode>3_zext_mask"
19113 : : [(set (match_operand:AVX512ZEXTMASK 0 "register_operand" "=k")
19114 : : (zero_extend:AVX512ZEXTMASK
19115 : : (and:<VI1248_AVX512VLBW:avx512fmaskmode>
19116 : : (unspec:<VI1248_AVX512VLBW:avx512fmaskmode>
19117 : : [(match_operand:VI1248_AVX512VLBW 1 "register_operand" "v")
19118 : : (match_operand:VI1248_AVX512VLBW 2 "nonimmediate_operand" "vm")]
19119 : : UNSPEC_TESTNM)
19120 : : (match_operand:<VI1248_AVX512VLBW:avx512fmaskmode> 3 "register_operand" "Yk"))))]
19121 : 0 : "TARGET_AVX512BW
19122 : : && (<AVX512ZEXTMASK:MODE_SIZE>
19123 : 0 : > GET_MODE_SIZE (<VI1248_AVX512VLBW:avx512fmaskmode>mode))"
19124 : : "vptestnm<VI1248_AVX512VLBW:ssemodesuffix>\t{%2, %1, %0%{%3%}|%0%{%3%}, %1, %2}"
19125 : : [(set_attr "prefix" "evex")
19126 : : (set_attr "mode" "<VI1248_AVX512VLBW:sseinsnmode>")])
19127 : :
19128 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
19129 : : ;;
19130 : : ;; Parallel integral element swizzling
19131 : : ;;
19132 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
19133 : :
19134 : : (define_expand "vec_pack_trunc_<mode>"
19135 : : [(match_operand:<ssepackmode> 0 "register_operand")
19136 : : (match_operand:VI248_AVX2_8_AVX512F_24_AVX512BW 1 "register_operand")
19137 : : (match_operand:VI248_AVX2_8_AVX512F_24_AVX512BW 2 "register_operand")]
19138 : : "TARGET_SSE2"
19139 : 7141 : {
19140 : 7141 : rtx op1 = gen_lowpart (<ssepackmode>mode, operands[1]);
19141 : 7141 : rtx op2 = gen_lowpart (<ssepackmode>mode, operands[2]);
19142 : 7141 : ix86_expand_vec_extract_even_odd (operands[0], op1, op2, 0);
19143 : 7141 : DONE;
19144 : : })
19145 : :
19146 : : (define_expand "vec_pack_trunc_qi"
19147 : : [(parallel
19148 : : [(set (match_operand:HI 0 "register_operand")
19149 : : (ior:HI
19150 : : (ashift:HI (zero_extend:HI (match_operand:QI 2 "register_operand"))
19151 : : (const_int 8))
19152 : : (zero_extend:HI (match_operand:QI 1 "register_operand"))))
19153 : : (unspec [(const_int 0)] UNSPEC_MASKOP)])]
19154 : : "TARGET_AVX512F")
19155 : :
19156 : : (define_expand "vec_pack_trunc_<mode>"
19157 : : [(parallel
19158 : : [(set (match_operand:<DOUBLEMASKMODE> 0 "register_operand")
19159 : : (ior:<DOUBLEMASKMODE>
19160 : : (ashift:<DOUBLEMASKMODE>
19161 : : (zero_extend:<DOUBLEMASKMODE>
19162 : : (match_operand:SWI24 2 "register_operand"))
19163 : : (match_dup 3))
19164 : 564 : (zero_extend:<DOUBLEMASKMODE>
19165 : : (match_operand:SWI24 1 "register_operand"))))
19166 : : (unspec [(const_int 0)] UNSPEC_MASKOP)])]
19167 : : "TARGET_AVX512BW"
19168 : 224 : {
19169 : 752 : operands[3] = GEN_INT (GET_MODE_BITSIZE (<MODE>mode));
19170 : 564 : })
19171 : 564 :
19172 : 564 : (define_expand "vec_pack_sbool_trunc_qi"
19173 : 658 : [(match_operand:QI 0 "register_operand")
19174 : 658 : (match_operand:QI 1 "register_operand")
19175 : 528 : (match_operand:QI 2 "register_operand")
19176 : 528 : (match_operand:QI 3 "const_int_operand")]
19177 : 94 : "TARGET_AVX512F"
19178 : 528 : {
19179 : 528 : HOST_WIDE_INT nunits = INTVAL (operands[3]);
19180 : 528 : rtx mask, tem1, tem2;
19181 : 434 : if (nunits != 8 && nunits != 4)
19182 : 94 : FAIL;
19183 : 434 : mask = gen_reg_rtx (QImode);
19184 : 3129 : emit_move_insn (mask, GEN_INT ((1 << (nunits / 2)) - 1));
19185 : 434 : tem1 = gen_reg_rtx (QImode);
19186 : 434 : emit_insn (gen_kandqi (tem1, operands[1], mask));
19187 : 434 : if (TARGET_AVX512DQ)
19188 : : {
19189 : 122 : tem2 = gen_reg_rtx (QImode);
19190 : 122 : emit_insn (gen_kashiftqi (tem2, operands[2],
19191 : : GEN_INT (nunits / 2)));
19192 : : }
19193 : : else
19194 : : {
19195 : 312 : tem2 = gen_reg_rtx (HImode);
19196 : 406 : emit_insn (gen_kashifthi (tem2, lowpart_subreg (HImode, operands[2],
19197 : 94 : QImode),
19198 : 94 : GEN_INT (nunits / 2)));
19199 : 312 : tem2 = lowpart_subreg (QImode, tem2, HImode);
19200 : : }
19201 : 434 : emit_insn (gen_kiorqi (operands[0], tem1, tem2));
19202 : 434 : DONE;
19203 : 2 : })
19204 : 5 :
19205 : : (define_insn "sse2_packsswb<mask_name>"
19206 : 5 : [(set (match_operand:V16QI 0 "register_operand" "=x,Yw")
19207 : 7 : (vec_concat:V16QI
19208 : 7 : (ss_truncate:V8QI
19209 : 7 : (match_operand:V8HI 1 "register_operand" "0,Yw"))
19210 : 7 : (ss_truncate:V8QI
19211 : 7 : (match_operand:V8HI 2 "vector_operand" "xBm,Ywm"))))]
19212 : 151 : "TARGET_SSE2 && <mask_avx512vl_condition> && <mask_avx512bw_condition>"
19213 : 7 : "@
19214 : 5 : packsswb\t{%2, %0|%0, %2}
19215 : 5 : vpacksswb\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19216 : 358 : [(set_attr "isa" "noavx,avx")
19217 : 358 : (set_attr "type" "sselog")
19218 : 5 : (set_attr "prefix_data16" "1,*")
19219 : 5 : (set_attr "prefix" "orig,<mask_prefix>")
19220 : 5 : (set_attr "mode" "TI")])
19221 : 164 :
19222 : 199 : (define_insn "avx2_packsswb<mask_name>"
19223 : : [(set (match_operand:V32QI 0 "register_operand" "=Yw")
19224 : : (vec_select:V32QI
19225 : 5 : (vec_concat:V32QI
19226 : 24 : (ss_truncate:V16QI
19227 : : (match_operand:V16HI 1 "register_operand" "Yw"))
19228 : : (ss_truncate:V16QI
19229 : : (match_operand:V16HI 2 "vector_operand" "Ywm")))
19230 : 5 : (parallel [(const_int 0) (const_int 1)
19231 : 5 : (const_int 2) (const_int 3)
19232 : 5 : (const_int 4) (const_int 5)
19233 : 24 : (const_int 6) (const_int 7)
19234 : 24 : (const_int 16) (const_int 17)
19235 : 24 : (const_int 18) (const_int 19)
19236 : 24 : (const_int 20) (const_int 21)
19237 : 95 : (const_int 22) (const_int 23)
19238 : 24 : (const_int 8) (const_int 9)
19239 : 24 : (const_int 10) (const_int 11)
19240 : 24 : (const_int 12) (const_int 13)
19241 : 24 : (const_int 14) (const_int 15)
19242 : 24 : (const_int 24) (const_int 25)
19243 : : (const_int 26) (const_int 27)
19244 : 71 : (const_int 28) (const_int 29)
19245 : 71 : (const_int 30) (const_int 31)])))]
19246 : 184 : "TARGET_AVX2 && <mask_avx512vl_condition> && <mask_avx512bw_condition>"
19247 : 90 : "vpacksswb\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19248 : 71 : [(set_attr "type" "sselog")
19249 : 71 : (set_attr "prefix" "<mask_prefix>")
19250 : 369 : (set_attr "mode" "OI")])
19251 : 369 :
19252 : 369 : (define_insn "avx512bw_packsswb<mask_name>"
19253 : 142 : [(set (match_operand:V64QI 0 "register_operand" "=v")
19254 : 298 : (vec_select:V64QI
19255 : 298 : (vec_concat:V64QI
19256 : 71 : (ss_truncate:V32QI
19257 : 298 : (match_operand:V32HI 1 "register_operand" "v"))
19258 : 298 : (ss_truncate:V32QI
19259 : 71 : (match_operand:V32HI 2 "vector_operand" "vm")))
19260 : 298 : (parallel [(const_int 0) (const_int 1)
19261 : 298 : (const_int 2) (const_int 3)
19262 : 71 : (const_int 4) (const_int 5)
19263 : 298 : (const_int 6) (const_int 7)
19264 : 298 : (const_int 32) (const_int 33)
19265 : 71 : (const_int 34) (const_int 35)
19266 : 298 : (const_int 36) (const_int 37)
19267 : 227 : (const_int 38) (const_int 39)
19268 : : (const_int 8) (const_int 9)
19269 : 227 : (const_int 10) (const_int 11)
19270 : 298 : (const_int 12) (const_int 13)
19271 : 227 : (const_int 14) (const_int 15)
19272 : 227 : (const_int 40) (const_int 41)
19273 : 227 : (const_int 42) (const_int 43)
19274 : 227 : (const_int 44) (const_int 45)
19275 : 227 : (const_int 46) (const_int 47)
19276 : 227 : (const_int 16) (const_int 17)
19277 : 227 : (const_int 18) (const_int 19)
19278 : 227 : (const_int 20) (const_int 21)
19279 : 227 : (const_int 22) (const_int 23)
19280 : : (const_int 48) (const_int 49)
19281 : : (const_int 50) (const_int 51)
19282 : : (const_int 52) (const_int 53)
19283 : 439 : (const_int 54) (const_int 55)
19284 : : (const_int 24) (const_int 25)
19285 : : (const_int 26) (const_int 27)
19286 : : (const_int 28) (const_int 29)
19287 : : (const_int 30) (const_int 31)
19288 : : (const_int 56) (const_int 57)
19289 : : (const_int 58) (const_int 59)
19290 : : (const_int 60) (const_int 61)
19291 : : (const_int 62) (const_int 63)])))]
19292 : :
19293 : 343 : "TARGET_AVX512BW && TARGET_EVEX512"
19294 : 41 : "vpacksswb\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19295 : : [(set_attr "type" "sselog")
19296 : : (set_attr "prefix" "<mask_prefix>")
19297 : 352 : (set_attr "mode" "XI")])
19298 : 352 :
19299 : : (define_insn "sse2_packssdw<mask_name>"
19300 : : [(set (match_operand:V8HI 0 "register_operand" "=x,Yw")
19301 : : (vec_concat:V8HI
19302 : 352 : (ss_truncate:V4HI
19303 : : (match_operand:V4SI 1 "register_operand" "0,Yw"))
19304 : : (ss_truncate:V4HI
19305 : : (match_operand:V4SI 2 "vector_operand" "xBm,Ywm"))))]
19306 : 159 : "TARGET_SSE2 && <mask_avx512vl_condition> && <mask_avx512bw_condition>"
19307 : : "@
19308 : 352 : packssdw\t{%2, %0|%0, %2}
19309 : : vpackssdw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19310 : : [(set_attr "isa" "noavx,avx")
19311 : : (set_attr "type" "sselog")
19312 : 117 : (set_attr "prefix_data16" "1,*")
19313 : 434 : (set_attr "prefix" "orig,<mask_prefix>")
19314 : 233 : (set_attr "mode" "TI")])
19315 : 233 :
19316 : 233 : (define_insn "avx2_packssdw<mask_name>"
19317 : 233 : [(set (match_operand:V16HI 0 "register_operand" "=Yw")
19318 : 1572 : (vec_select:V16HI
19319 : 1572 : (vec_concat:V16HI
19320 : 1339 : (ss_truncate:V8HI
19321 : 1524 : (match_operand:V8SI 1 "register_operand" "Yw"))
19322 : 1524 : (ss_truncate:V8HI
19323 : 1339 : (match_operand:V8SI 2 "vector_operand" "Ywm")))
19324 : 185 : (parallel [(const_int 0) (const_int 1)
19325 : 251 : (const_int 2) (const_int 3)
19326 : 251 : (const_int 8) (const_int 9)
19327 : 185 : (const_int 10) (const_int 11)
19328 : 185 : (const_int 4) (const_int 5)
19329 : 185 : (const_int 6) (const_int 7)
19330 : 185 : (const_int 12) (const_int 13)
19331 : : (const_int 14) (const_int 15)])))]
19332 : 123 : "TARGET_AVX2 && <mask_avx512vl_condition> && <mask_avx512bw_condition>"
19333 : 50 : "vpackssdw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19334 : 10 : [(set_attr "type" "sselog")
19335 : : (set_attr "prefix" "<mask_prefix>")
19336 : 10 : (set_attr "mode" "OI")])
19337 : 10 :
19338 : : (define_insn "avx512bw_packssdw<mask_name>"
19339 : 10 : [(set (match_operand:V32HI 0 "register_operand" "=v")
19340 : 17319 : (vec_select:V32HI
19341 : 17319 : (vec_concat:V32HI
19342 : : (ss_truncate:V16HI
19343 : 2 : (match_operand:V16SI 1 "register_operand" "v"))
19344 : 11920 : (ss_truncate:V16HI
19345 : 11916 : (match_operand:V16SI 2 "vector_operand" "vm")))
19346 : 11916 : (parallel [(const_int 0) (const_int 1)
19347 : 11936 : (const_int 2) (const_int 3)
19348 : 11916 : (const_int 16) (const_int 17)
19349 : 10 : (const_int 18) (const_int 19)
19350 : 1152 : (const_int 4) (const_int 5)
19351 : 1156 : (const_int 6) (const_int 7)
19352 : 1156 : (const_int 20) (const_int 21)
19353 : : (const_int 22) (const_int 23)
19354 : : (const_int 8) (const_int 9)
19355 : 4 : (const_int 10) (const_int 11)
19356 : 6646 : (const_int 24) (const_int 25)
19357 : 6646 : (const_int 26) (const_int 27)
19358 : 6646 : (const_int 12) (const_int 13)
19359 : : (const_int 14) (const_int 15)
19360 : : (const_int 28) (const_int 29)
19361 : : (const_int 30) (const_int 31)])))]
19362 : 279 : "TARGET_AVX512BW && TARGET_EVEX512"
19363 : 3141 : "vpackssdw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19364 : 3122 : [(set_attr "type" "sselog")
19365 : : (set_attr "prefix" "<mask_prefix>")
19366 : : (set_attr "mode" "XI")])
19367 : :
19368 : 996 : ;; This instruction does unsigned saturation of signed source
19369 : 996 : ;; and is different from generic us_truncate RTX.
19370 : 1067 : (define_insn "<sse2_avx2>_packuswb<mask_name>"
19371 : 317 : [(set (match_operand:VI1_AVX512 0 "register_operand" "=x,<v_Yw>")
19372 : 246 : (unspec:VI1_AVX512
19373 : : [(match_operand:<sseunpackmode> 1 "register_operand" "0,<v_Yw>")
19374 : : (match_operand:<sseunpackmode> 2 "vector_operand" "xBm,<v_Yw>m")]
19375 : : UNSPEC_US_TRUNCATE))]
19376 : 38217 : "TARGET_SSE2 && <mask_mode512bit_condition> && <mask_avx512bw_condition>"
19377 : 5313 : "@
19378 : : packuswb\t{%2, %0|%0, %2}
19379 : 4821 : vpackuswb\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19380 : 5141 : [(set_attr "isa" "noavx,avx")
19381 : 320 : (set_attr "type" "sselog")
19382 : 4892 : (set_attr "prefix_data16" "1,*")
19383 : 246 : (set_attr "prefix" "orig,<mask_prefix>")
19384 : 368 : (set_attr "mode" "<sseinsnmode>")])
19385 : 5078 :
19386 : 5067 : (define_insn "avx512bw_interleave_highv64qi<mask_name>"
19387 : 246 : [(set (match_operand:V64QI 0 "register_operand" "=v")
19388 : 4963 : (vec_select:V64QI
19389 : 246 : (vec_concat:V128QI
19390 : 246 : (match_operand:V64QI 1 "register_operand" "v")
19391 : 277 : (match_operand:V64QI 2 "nonimmediate_operand" "vm"))
19392 : 246 : (parallel [(const_int 8) (const_int 72)
19393 : 246 : (const_int 9) (const_int 73)
19394 : 277 : (const_int 10) (const_int 74)
19395 : 317 : (const_int 11) (const_int 75)
19396 : 317 : (const_int 12) (const_int 76)
19397 : 71 : (const_int 13) (const_int 77)
19398 : 246 : (const_int 14) (const_int 78)
19399 : 246 : (const_int 15) (const_int 79)
19400 : : (const_int 24) (const_int 88)
19401 : 246 : (const_int 25) (const_int 89)
19402 : 246 : (const_int 26) (const_int 90)
19403 : 71 : (const_int 27) (const_int 91)
19404 : 317 : (const_int 28) (const_int 92)
19405 : 246 : (const_int 29) (const_int 93)
19406 : 317 : (const_int 30) (const_int 94)
19407 : 71 : (const_int 31) (const_int 95)
19408 : : (const_int 40) (const_int 104)
19409 : 71 : (const_int 41) (const_int 105)
19410 : 71 : (const_int 42) (const_int 106)
19411 : 0 : (const_int 43) (const_int 107)
19412 : 317 : (const_int 44) (const_int 108)
19413 : 317 : (const_int 45) (const_int 109)
19414 : : (const_int 46) (const_int 110)
19415 : 317 : (const_int 47) (const_int 111)
19416 : 317 : (const_int 56) (const_int 120)
19417 : : (const_int 57) (const_int 121)
19418 : 317 : (const_int 58) (const_int 122)
19419 : 317 : (const_int 59) (const_int 123)
19420 : : (const_int 60) (const_int 124)
19421 : 317 : (const_int 61) (const_int 125)
19422 : 317 : (const_int 62) (const_int 126)
19423 : : (const_int 63) (const_int 127)])))]
19424 : 949 : "TARGET_AVX512BW && TARGET_EVEX512"
19425 : 317 : "vpunpckhbw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19426 : : [(set_attr "type" "sselog")
19427 : 317 : (set_attr "prefix" "evex")
19428 : 1187 : (set_attr "mode" "XI")])
19429 : 870 :
19430 : 1187 : (define_insn "avx2_interleave_highv32qi<mask_name>"
19431 : 317 : [(set (match_operand:V32QI 0 "register_operand" "=Yw")
19432 : 733 : (vec_select:V32QI
19433 : 1050 : (vec_concat:V64QI
19434 : 317 : (match_operand:V32QI 1 "register_operand" "Yw")
19435 : 714 : (match_operand:V32QI 2 "nonimmediate_operand" "Ywm"))
19436 : 1031 : (parallel [(const_int 8) (const_int 40)
19437 : 317 : (const_int 9) (const_int 41)
19438 : 714 : (const_int 10) (const_int 42)
19439 : 1031 : (const_int 11) (const_int 43)
19440 : 317 : (const_int 12) (const_int 44)
19441 : 714 : (const_int 13) (const_int 45)
19442 : 1031 : (const_int 14) (const_int 46)
19443 : 317 : (const_int 15) (const_int 47)
19444 : 714 : (const_int 24) (const_int 56)
19445 : 1031 : (const_int 25) (const_int 57)
19446 : 317 : (const_int 26) (const_int 58)
19447 : 714 : (const_int 27) (const_int 59)
19448 : 1031 : (const_int 28) (const_int 60)
19449 : 317 : (const_int 29) (const_int 61)
19450 : 714 : (const_int 30) (const_int 62)
19451 : 1031 : (const_int 31) (const_int 63)])))]
19452 : 5441 : "TARGET_AVX2 && <mask_avx512vl_condition> && <mask_avx512bw_condition>"
19453 : 1156 : "vpunpckhbw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19454 : 1031 : [(set_attr "type" "sselog")
19455 : 317 : (set_attr "prefix" "<mask_prefix>")
19456 : 9764 : (set_attr "mode" "OI")])
19457 : 10081 :
19458 : 9367 : (define_insn "vec_interleave_highv16qi<mask_name>"
19459 : 714 : [(set (match_operand:V16QI 0 "register_operand" "=x,Yw")
19460 : 7245 : (vec_select:V16QI
19461 : 6531 : (vec_concat:V32QI
19462 : 714 : (match_operand:V16QI 1 "register_operand" "0,Yw")
19463 : 7176 : (match_operand:V16QI 2 "vector_operand" "xBm,Ywm"))
19464 : 6462 : (parallel [(const_int 8) (const_int 24)
19465 : 714 : (const_int 9) (const_int 25)
19466 : 7170 : (const_int 10) (const_int 26)
19467 : 6456 : (const_int 11) (const_int 27)
19468 : 714 : (const_int 12) (const_int 28)
19469 : 7170 : (const_int 13) (const_int 29)
19470 : 6456 : (const_int 14) (const_int 30)
19471 : 714 : (const_int 15) (const_int 31)])))]
19472 : 37161 : "TARGET_SSE2 && <mask_avx512vl_condition> && <mask_avx512bw_condition>"
19473 : 8149 : "@
19474 : 714 : punpckhbw\t{%2, %0|%0, %2}
19475 : 7170 : vpunpckhbw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19476 : 8768 : [(set_attr "isa" "noavx,avx")
19477 : 3011 : (set_attr "type" "sselog")
19478 : 8884 : (set_attr "prefix_data16" "1,*")
19479 : 6673 : (set_attr "prefix" "orig,<mask_prefix>")
19480 : 648 : (set_attr "mode" "TI")])
19481 : 7544 :
19482 : 6619 : (define_insn "avx512bw_interleave_lowv64qi<mask_name>"
19483 : 1227 : [(set (match_operand:V64QI 0 "register_operand" "=v")
19484 : 7689 : (vec_select:V64QI
19485 : 6841 : (vec_concat:V128QI
19486 : 921 : (match_operand:V64QI 1 "register_operand" "v")
19487 : 7545 : (match_operand:V64QI 2 "nonimmediate_operand" "vm"))
19488 : 6619 : (parallel [(const_int 0) (const_int 64)
19489 : 921 : (const_int 1) (const_int 65)
19490 : 7101 : (const_int 2) (const_int 66)
19491 : 6841 : (const_int 3) (const_int 67)
19492 : 921 : (const_int 4) (const_int 68)
19493 : 7101 : (const_int 5) (const_int 69)
19494 : 6402 : (const_int 6) (const_int 70)
19495 : 921 : (const_int 7) (const_int 71)
19496 : 7101 : (const_int 16) (const_int 80)
19497 : 6402 : (const_int 17) (const_int 81)
19498 : 770 : (const_int 18) (const_int 82)
19499 : 7030 : (const_int 19) (const_int 83)
19500 : 6331 : (const_int 20) (const_int 84)
19501 : 699 : (const_int 21) (const_int 85)
19502 : 7168 : (const_int 22) (const_int 86)
19503 : 6331 : (const_int 23) (const_int 87)
19504 : 699 : (const_int 32) (const_int 96)
19505 : 6742 : (const_int 33) (const_int 97)
19506 : 6043 : (const_int 34) (const_int 98)
19507 : 6742 : (const_int 35) (const_int 99)
19508 : 699 : (const_int 36) (const_int 100)
19509 : 5797 : (const_int 37) (const_int 101)
19510 : 6496 : (const_int 38) (const_int 102)
19511 : 699 : (const_int 39) (const_int 103)
19512 : 6252 : (const_int 48) (const_int 112)
19513 : 6496 : (const_int 49) (const_int 113)
19514 : 699 : (const_int 50) (const_int 114)
19515 : 5797 : (const_int 51) (const_int 115)
19516 : 6496 : (const_int 52) (const_int 116)
19517 : 699 : (const_int 53) (const_int 117)
19518 : 5797 : (const_int 54) (const_int 118)
19519 : 6496 : (const_int 55) (const_int 119)])))]
19520 : 904 : "TARGET_AVX512BW && TARGET_EVEX512"
19521 : 6496 : "vpunpcklbw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19522 : 6496 : [(set_attr "type" "sselog")
19523 : 699 : (set_attr "prefix" "evex")
19524 : 6496 : (set_attr "mode" "XI")])
19525 : 6496 :
19526 : 699 : (define_insn "avx2_interleave_lowv32qi<mask_name>"
19527 : 6496 : [(set (match_operand:V32QI 0 "register_operand" "=Yw")
19528 : 6496 : (vec_select:V32QI
19529 : 699 : (vec_concat:V64QI
19530 : 6496 : (match_operand:V32QI 1 "register_operand" "Yw")
19531 : 6496 : (match_operand:V32QI 2 "nonimmediate_operand" "Ywm"))
19532 : 699 : (parallel [(const_int 0) (const_int 32)
19533 : 6496 : (const_int 1) (const_int 33)
19534 : 6496 : (const_int 2) (const_int 34)
19535 : 699 : (const_int 3) (const_int 35)
19536 : 6496 : (const_int 4) (const_int 36)
19537 : 6496 : (const_int 5) (const_int 37)
19538 : 699 : (const_int 6) (const_int 38)
19539 : 709809 : (const_int 7) (const_int 39)
19540 : 6496 : (const_int 16) (const_int 48)
19541 : 699 : (const_int 17) (const_int 49)
19542 : 149582 : (const_int 18) (const_int 50)
19543 : 128169 : (const_int 19) (const_int 51)
19544 : 699 : (const_int 20) (const_int 52)
19545 : 6496 : (const_int 21) (const_int 53)
19546 : 6496 : (const_int 22) (const_int 54)
19547 : 699 : (const_int 23) (const_int 55)])))]
19548 : 396635 : "TARGET_AVX2 && <mask_avx512vl_condition> && <mask_avx512bw_condition>"
19549 : 397423 : "vpunpcklbw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19550 : 6496 : [(set_attr "type" "sselog")
19551 : 699 : (set_attr "prefix" "maybe_vex")
19552 : 1018 : (set_attr "mode" "OI")])
19553 : 11837 :
19554 : 77046 : (define_insn "vec_interleave_lowv16qi<mask_name>"
19555 : 76789 : [(set (match_operand:V16QI 0 "register_operand" "=x,Yw")
19556 : 288 : (vec_select:V16QI
19557 : 288 : (vec_concat:V32QI
19558 : : (match_operand:V16QI 1 "register_operand" "0,Yw")
19559 : 24943 : (match_operand:V16QI 2 "vector_operand" "xBm,Ywm"))
19560 : 24943 : (parallel [(const_int 0) (const_int 16)
19561 : 24655 : (const_int 1) (const_int 17)
19562 : 288 : (const_int 2) (const_int 18)
19563 : 288 : (const_int 3) (const_int 19)
19564 : : (const_int 4) (const_int 20)
19565 : 2124 : (const_int 5) (const_int 21)
19566 : 2124 : (const_int 6) (const_int 22)
19567 : 1836 : (const_int 7) (const_int 23)])))]
19568 : 43569 : "TARGET_SSE2 && <mask_avx512vl_condition> && <mask_avx512bw_condition>"
19569 : 3670 : "@
19570 : : punpcklbw\t{%2, %0|%0, %2}
19571 : 288 : vpunpcklbw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19572 : 727 : [(set_attr "isa" "noavx,avx")
19573 : 439 : (set_attr "type" "sselog")
19574 : 245356 : (set_attr "prefix_data16" "1,*")
19575 : 288 : (set_attr "prefix" "orig,vex")
19576 : 245068 : (set_attr "mode" "TI")])
19577 : 245356 :
19578 : 244917 : (define_insn "avx512bw_interleave_high<mode><mask_name>"
19579 : 439 : [(set (match_operand:V32_512 0 "register_operand" "=v")
19580 : 727 : (vec_select:V32_512
19581 : 228534 : (vec_concat:<ssedoublevecmode>
19582 : 439 : (match_operand:V32_512 1 "register_operand" "v")
19583 : 727 : (match_operand:V32_512 2 "nonimmediate_operand" "vm"))
19584 : 81602 : (parallel [(const_int 4) (const_int 36)
19585 : 222 : (const_int 5) (const_int 37)
19586 : 81824 : (const_int 6) (const_int 38)
19587 : 288 : (const_int 7) (const_int 39)
19588 : 439 : (const_int 12) (const_int 44)
19589 : 727 : (const_int 13) (const_int 45)
19590 : 288 : (const_int 14) (const_int 46)
19591 : 222 : (const_int 15) (const_int 47)
19592 : 727 : (const_int 20) (const_int 52)
19593 : 288 : (const_int 21) (const_int 53)
19594 : 222 : (const_int 22) (const_int 54)
19595 : 288 : (const_int 23) (const_int 55)
19596 : 510 : (const_int 28) (const_int 60)
19597 : 222 : (const_int 29) (const_int 61)
19598 : 288 : (const_int 30) (const_int 62)
19599 : : (const_int 31) (const_int 63)])))]
19600 : 491 : "TARGET_AVX512BW"
19601 : 288 : "vpunpckhwd\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19602 : : [(set_attr "type" "sselog")
19603 : : (set_attr "prefix" "evex")
19604 : 352 : (set_attr "mode" "XI")])
19605 : :
19606 : : (define_insn "avx2_interleave_high<mode><mask_name>"
19607 : : [(set (match_operand:V16_256 0 "register_operand" "=Yw")
19608 : : (vec_select:V16_256
19609 : : (vec_concat:<ssedoublevecmode>
19610 : : (match_operand:V16_256 1 "register_operand" "Yw")
19611 : : (match_operand:V16_256 2 "nonimmediate_operand" "Ywm"))
19612 : : (parallel [(const_int 4) (const_int 20)
19613 : : (const_int 5) (const_int 21)
19614 : : (const_int 6) (const_int 22)
19615 : : (const_int 7) (const_int 23)
19616 : : (const_int 12) (const_int 28)
19617 : : (const_int 13) (const_int 29)
19618 : : (const_int 14) (const_int 30)
19619 : : (const_int 15) (const_int 31)])))]
19620 : 218 : "TARGET_AVX2 && <mask_avx512vl_condition> && <mask_avx512bw_condition>"
19621 : : "vpunpckhwd\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19622 : : [(set_attr "type" "sselog")
19623 : : (set_attr "prefix" "maybe_evex")
19624 : 0 : (set_attr "mode" "OI")])
19625 : 0 :
19626 : : (define_insn "@vec_interleave_high<mode><mask_name>"
19627 : : [(set (match_operand:V8_128 0 "register_operand" "=x,Yw")
19628 : 0 : (vec_select:V8_128
19629 : : (vec_concat:<ssedoublevecmode>
19630 : : (match_operand:V8_128 1 "register_operand" "0,Yw")
19631 : : (match_operand:V8_128 2 "vector_operand" "xBm,Ywm"))
19632 : : (parallel [(const_int 4) (const_int 12)
19633 : : (const_int 5) (const_int 13)
19634 : 77160 : (const_int 6) (const_int 14)
19635 : : (const_int 7) (const_int 15)])))]
19636 : 80889 : "TARGET_SSE2 && <mask_avx512vl_condition> && <mask_avx512bw_condition>"
19637 : : "@
19638 : 77160 : punpckhwd\t{%2, %0|%0, %2}
19639 : 77160 : vpunpckhwd\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19640 : 77160 : [(set_attr "isa" "noavx,avx")
19641 : 77160 : (set_attr "type" "sselog")
19642 : 77160 : (set_attr "prefix_data16" "1,*")
19643 : 77160 : (set_attr "prefix" "orig,maybe_vex")
19644 : 77160 : (set_attr "mode" "TI")])
19645 : 402 :
19646 : 77160 : (define_insn "<mask_codefor>avx512bw_interleave_low<mode><mask_name>"
19647 : 77160 : [(set (match_operand:V32_512 0 "register_operand" "=v")
19648 : 402 : (vec_select:V32_512
19649 : 77160 : (vec_concat:<ssedoublevecmode>
19650 : 493707 : (match_operand:V32_512 1 "register_operand" "v")
19651 : 402 : (match_operand:V32_512 2 "nonimmediate_operand" "vm"))
19652 : 402 : (parallel [(const_int 0) (const_int 32)
19653 : 37963 : (const_int 1) (const_int 33)
19654 : 454108 : (const_int 2) (const_int 34)
19655 : 454510 : (const_int 3) (const_int 35)
19656 : 416949 : (const_int 8) (const_int 40)
19657 : 440023 : (const_int 9) (const_int 41)
19658 : 426448 : (const_int 10) (const_int 42)
19659 : 416949 : (const_int 11) (const_int 43)
19660 : 419996 : (const_int 16) (const_int 48)
19661 : 420398 : (const_int 17) (const_int 49)
19662 : 416949 : (const_int 18) (const_int 50)
19663 : 419045 : (const_int 19) (const_int 51)
19664 : 419447 : (const_int 24) (const_int 56)
19665 : 419439 : (const_int 25) (const_int 57)
19666 : 33182 : (const_int 26) (const_int 58)
19667 : 87320 : (const_int 27) (const_int 59)])))]
19668 : 55956 : "TARGET_AVX512BW"
19669 : 87777 : "vpunpcklwd\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19670 : 85681 : [(set_attr "type" "sselog")
19671 : 402 : (set_attr "prefix" "evex")
19672 : 72980 : (set_attr "mode" "XI")])
19673 : 19332 :
19674 : 19332 : (define_insn "avx2_interleave_low<mode><mask_name>"
19675 : : [(set (match_operand:V16_256 0 "register_operand" "=Yw")
19676 : 17366 : (vec_select:V16_256
19677 : 17366 : (vec_concat:<ssedoublevecmode>
19678 : 16964 : (match_operand:V16_256 1 "register_operand" "Yw")
19679 : 17366 : (match_operand:V16_256 2 "nonimmediate_operand" "Ywm"))
19680 : 402 : (parallel [(const_int 0) (const_int 16)
19681 : 1005 : (const_int 1) (const_int 17)
19682 : 1407 : (const_int 2) (const_int 18)
19683 : 1407 : (const_int 3) (const_int 19)
19684 : : (const_int 8) (const_int 24)
19685 : 1351 : (const_int 9) (const_int 25)
19686 : 1351 : (const_int 10) (const_int 26)
19687 : 949 : (const_int 11) (const_int 27)])))]
19688 : 1569 : "TARGET_AVX2 && <mask_avx512vl_condition> && <mask_avx512bw_condition>"
19689 : 1351 : "vpunpcklwd\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19690 : 949 : [(set_attr "type" "sselog")
19691 : 1351 : (set_attr "prefix" "maybe_evex")
19692 : 1351 : (set_attr "mode" "OI")])
19693 : 949 :
19694 : 402 : (define_insn "@vec_interleave_low<mode><mask_name>"
19695 : 870 : [(set (match_operand:V8_128 0 "register_operand" "=x,Yw")
19696 : 468 : (vec_select:V8_128
19697 : 402 : (vec_concat:<ssedoublevecmode>
19698 : 402 : (match_operand:V8_128 1 "register_operand" "0,Yw")
19699 : : (match_operand:V8_128 2 "vector_operand" "xBm,Ywm"))
19700 : 870 : (parallel [(const_int 0) (const_int 8)
19701 : 1338 : (const_int 1) (const_int 9)
19702 : : (const_int 2) (const_int 10)
19703 : 402 : (const_int 3) (const_int 11)])))]
19704 : 147958 : "TARGET_SSE2 && <mask_avx512vl_condition> && <mask_avx512bw_condition>"
19705 : 2153 : "@
19706 : 402 : punpcklwd\t{%2, %0|%0, %2}
19707 : 1124 : vpunpcklwd\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19708 : 30242 : [(set_attr "isa" "noavx,avx")
19709 : 29670 : (set_attr "type" "sselog")
19710 : 1124 : (set_attr "prefix_data16" "1,*")
19711 : 974 : (set_attr "prefix" "orig,maybe_evex")
19712 : 29670 : (set_attr "mode" "TI")])
19713 : 1124 :
19714 : 974 : (define_insn "avx2_interleave_highv8si<mask_name>"
19715 : 402 : [(set (match_operand:V8SI 0 "register_operand" "=v")
19716 : 3349 : (vec_select:V8SI
19717 : 2383 : (vec_concat:V16SI
19718 : 2477 : (match_operand:V8SI 1 "register_operand" "v")
19719 : 1376 : (match_operand:V8SI 2 "nonimmediate_operand" "vm"))
19720 : 2263 : (parallel [(const_int 2) (const_int 10)
19721 : 2290 : (const_int 3) (const_int 11)
19722 : 1376 : (const_int 6) (const_int 14)
19723 : 1987 : (const_int 7) (const_int 15)])))]
19724 : 2541 : "TARGET_AVX2 && <mask_avx512vl_condition>"
19725 : 1608 : "vpunpckhdq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19726 : 1987 : [(set_attr "type" "sselog")
19727 : 2416 : (set_attr "prefix" "maybe_evex")
19728 : 1124 : (set_attr "mode" "OI")])
19729 : 2736 :
19730 : 3138 : (define_insn "<mask_codefor>avx512f_interleave_highv16si<mask_name>"
19731 : 402 : [(set (match_operand:V16SI 0 "register_operand" "=v")
19732 : 2014 : (vec_select:V16SI
19733 : 24588 : (vec_concat:V32SI
19734 : 24279 : (match_operand:V16SI 1 "register_operand" "v")
19735 : 1610 : (match_operand:V16SI 2 "nonimmediate_operand" "vm"))
19736 : 617 : (parallel [(const_int 2) (const_int 18)
19737 : 10265 : (const_int 3) (const_int 19)
19738 : 2069 : (const_int 6) (const_int 22)
19739 : 1022 : (const_int 7) (const_int 23)
19740 : 9643 : (const_int 10) (const_int 26)
19741 : 620 : (const_int 11) (const_int 27)
19742 : 9182 : (const_int 14) (const_int 30)
19743 : 8776 : (const_int 15) (const_int 31)])))]
19744 : 1771 : "TARGET_AVX512F && TARGET_EVEX512"
19745 : 757 : "vpunpckhdq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19746 : 1282 : [(set_attr "type" "sselog")
19747 : 880 : (set_attr "prefix" "evex")
19748 : 600 : (set_attr "mode" "XI")])
19749 : 1490 :
19750 : 1688 :
19751 : 1262 : (define_insn "vec_interleave_highv4si<mask_name>"
19752 : 72694 : [(set (match_operand:V4SI 0 "register_operand" "=x,v")
19753 : 73347 : (vec_select:V4SI
19754 : 74541 : (vec_concat:V8SI
19755 : 462 : (match_operand:V4SI 1 "register_operand" "0,v")
19756 : 50206 : (match_operand:V4SI 2 "vector_operand" "xBm,vm"))
19757 : 50708 : (parallel [(const_int 2) (const_int 6)
19758 : 50068 : (const_int 3) (const_int 7)])))]
19759 : 40891 : "TARGET_SSE2 && <mask_avx512vl_condition>"
19760 : 48350 : "@
19761 : 48882 : punpckhdq\t{%2, %0|%0, %2}
19762 : 1520 : vpunpckhdq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19763 : 48054 : [(set_attr "isa" "noavx,avx")
19764 : 149666 : (set_attr "type" "sselog")
19765 : 144447 : (set_attr "prefix_data16" "1,*")
19766 : 143797 : (set_attr "prefix" "orig,maybe_vex")
19767 : 49517 : (set_attr "mode" "TI")])
19768 : 1979 :
19769 : 2840 : (define_insn "avx2_interleave_lowv8si<mask_name>"
19770 : 524 : [(set (match_operand:V8SI 0 "register_operand" "=v")
19771 : 1721 : (vec_select:V8SI
19772 : 1491 : (vec_concat:V16SI
19773 : 1401 : (match_operand:V8SI 1 "register_operand" "v")
19774 : 1433 : (match_operand:V8SI 2 "nonimmediate_operand" "vm"))
19775 : 413 : (parallel [(const_int 0) (const_int 8)
19776 : 1013 : (const_int 1) (const_int 9)
19777 : 1038 : (const_int 4) (const_int 12)
19778 : 801 : (const_int 5) (const_int 13)])))]
19779 : 642 : "TARGET_AVX2 && <mask_avx512vl_condition>"
19780 : 1038 : "vpunpckldq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19781 : 413 : [(set_attr "type" "sselog")
19782 : 1038 : (set_attr "prefix" "maybe_evex")
19783 : 1038 : (set_attr "mode" "OI")])
19784 : :
19785 : 823 : (define_insn "<mask_codefor>avx512f_interleave_lowv16si<mask_name>"
19786 : 823 : [(set (match_operand:V16SI 0 "register_operand" "=v")
19787 : 174281 : (vec_select:V16SI
19788 : 174906 : (vec_concat:V32SI
19789 : 175104 : (match_operand:V16SI 1 "register_operand" "v")
19790 : 496 : (match_operand:V16SI 2 "nonimmediate_operand" "vm"))
19791 : 174906 : (parallel [(const_int 0) (const_int 16)
19792 : 174906 : (const_int 1) (const_int 17)
19793 : 496 : (const_int 4) (const_int 20)
19794 : 174410 : (const_int 5) (const_int 21)
19795 : 174906 : (const_int 8) (const_int 24)
19796 : : (const_int 9) (const_int 25)
19797 : 174667 : (const_int 12) (const_int 28)
19798 : 386 : (const_int 13) (const_int 29)])))]
19799 : 144810 : "TARGET_AVX512F && TARGET_EVEX512"
19800 : 144653 : "vpunpckldq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19801 : 386 : [(set_attr "type" "sselog")
19802 : : (set_attr "prefix" "evex")
19803 : 144653 : (set_attr "mode" "XI")])
19804 : :
19805 : 64 : (define_insn "vec_interleave_lowv4si<mask_name>"
19806 : 64 : [(set (match_operand:V4SI 0 "register_operand" "=x,v")
19807 : 47308 : (vec_select:V4SI
19808 : 47308 : (vec_concat:V8SI
19809 : 47372 : (match_operand:V4SI 1 "register_operand" "0,v")
19810 : : (match_operand:V4SI 2 "vector_operand" "xBm,vm"))
19811 : 47308 : (parallel [(const_int 0) (const_int 4)
19812 : 47308 : (const_int 1) (const_int 5)])))]
19813 : 95832 : "TARGET_SSE2 && <mask_avx512vl_condition>"
19814 : 47308 : "@
19815 : 47308 : punpckldq\t{%2, %0|%0, %2}
19816 : : vpunpckldq\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
19817 : 47308 : [(set_attr "isa" "noavx,avx")
19818 : 47308 : (set_attr "type" "sselog")
19819 : : (set_attr "prefix_data16" "1,*")
19820 : 46869 : (set_attr "prefix" "orig,vex")
19821 : 47552 : (set_attr "mode" "TI")])
19822 : 47552 :
19823 : 377615 : (define_expand "vec_interleave_high<mode>"
19824 : 47552 : [(match_operand:VI_256 0 "register_operand")
19825 : 46869 : (match_operand:VI_256 1 "register_operand")
19826 : 456 : (match_operand:VI_256 2 "nonimmediate_operand")]
19827 : 424940 : "TARGET_AVX2"
19828 : 424511 : {
19829 : 241 : rtx t1 = gen_reg_rtx (<MODE>mode);
19830 : 46896 : rtx t2 = gen_reg_rtx (<MODE>mode);
19831 : 47312 : rtx t3 = gen_reg_rtx (V4DImode);
19832 : 657 : emit_insn (gen_avx2_interleave_low<mode> (t1, operands[1], operands[2]));
19833 : 47312 : emit_insn (gen_avx2_interleave_high<mode> (t2, operands[1], operands[2]));
19834 : 424324 : emit_insn (gen_avx2_permv2ti (t3, gen_lowpart (V4DImode, t1),
19835 : 443 : gen_lowpart (V4DImode, t2),
19836 : 47491 : GEN_INT (1 + (3 << 4))));
19837 : 424713 : emit_move_insn (operands[0], gen_lowpart (<MODE>mode, t3));
19838 : 443 : DONE;
19839 : 424686 : })
19840 : 424270 :
19841 : 46655 : (define_expand "vec_interleave_low<mode>"
19842 : : [(match_operand:VI_256 0 "register_operand")
19843 : 149812 : (match_operand:VI_256 1 "register_operand")
19844 : 239748 : (match_operand:VI_256 2 "nonimmediate_operand")]
19845 : 149812 : "TARGET_AVX2"
19846 : 149839 : {
19847 : 149839 : rtx t1 = gen_reg_rtx (<MODE>mode);
19848 : 149839 : rtx t2 = gen_reg_rtx (<MODE>mode);
19849 : 149839 : rtx t3 = gen_reg_rtx (V4DImode);
19850 : 149839 : emit_insn (gen_avx2_interleave_low<mode> (t1, operands[1], operands[2]));
19851 : 149839 : emit_insn (gen_avx2_interleave_high<mode> (t2, operands[1], operands[2]));
19852 : 149866 : emit_insn (gen_avx2_permv2ti (t3, gen_lowpart (V4DImode, t1),
19853 : 149839 : gen_lowpart (V4DImode, t2),
19854 : 149812 : GEN_INT (0 + (2 << 4))));
19855 : 149839 : emit_move_insn (operands[0], gen_lowpart (<MODE>mode, t3));
19856 : 149839 : DONE;
19857 : 149812 : })
19858 : 149812 :
19859 : 149913 : ;; Modes handled by pinsr patterns.
19860 : 149819 : (define_mode_iterator PINSR_MODE
19861 : : [(V16QI "TARGET_SSE4_1") V8HI V8HF V8BF
19862 : 49240 : (V4SI "TARGET_SSE4_1")
19863 : 49240 : (V2DI "TARGET_SSE4_1 && TARGET_64BIT")])
19864 : 7 :
19865 : 27806 : (define_mode_attr sse2p4_1
19866 : 27907 : [(V16QI "sse4_1") (V8HI "sse2") (V8HF "sse2")
19867 : 50618 : (V8BF "sse2") (V4SI "sse4_1") (V2DI "sse4_1")])
19868 : 34746 :
19869 : 56516 : (define_mode_attr pinsr_evex_isa
19870 : 15814 : [(V16QI "avx512bw") (V8HI "avx512bw") (V8HF "avx512bw")
19871 : 14443 : (V8BF "avx512bw") (V4SI "avx512dq") (V2DI "avx512dq")])
19872 : 12862 :
19873 : 12860 : ;; sse4_1_pinsrd must come before sse2_loadld since it is preferred.
19874 : 12620 : (define_insn "<sse2p4_1>_pinsr<ssemodesuffix>"
19875 : 61673 : [(set (match_operand:PINSR_MODE 0 "register_operand" "=x,x,x,x,v,v,&x")
19876 : 7 : (vec_merge:PINSR_MODE
19877 : 310 : (vec_duplicate:PINSR_MODE
19878 : 7 : (match_operand:<ssescalarmode> 2 "nonimmediate_operand" "jr,jm,r,m,r,m,x"))
19879 : : (match_operand:PINSR_MODE 1 "register_operand" "0,0,x,x,v,v,x")
19880 : : (match_operand:SI 3 "const_int_operand")))]
19881 : 42954 : "TARGET_SSE2
19882 : 89896 : && ((unsigned) exact_log2 (INTVAL (operands[3]))
19883 : 44948 : < GET_MODE_NUNITS (<MODE>mode))"
19884 : 6742 : {
19885 : 6742 : HOST_WIDE_INT items = INTVAL (operands[3]);
19886 : 310 :
19887 : 18971 : operands[3] = GEN_INT (exact_log2 (items));
19888 : 9837 :
19889 : 6742 : switch (which_alternative)
19890 : 303 : {
19891 : 10682 : case 0:
19892 : 1155 : if (GET_MODE_SIZE (<ssescalarmode>mode) < GET_MODE_SIZE (SImode))
19893 : 1207 : return "pinsr<sseintmodesuffix>\t{%3, %k2, %0|%0, %k2, %3}";
19894 : : /* FALLTHRU */
19895 : : case 1:
19896 : : return "pinsr<sseintmodesuffix>\t{%3, %2, %0|%0, %2, %3}";
19897 : 2069 : case 2:
19898 : 2069 : case 4:
19899 : 2069 : if (GET_MODE_SIZE (<ssescalarmode>mode) < GET_MODE_SIZE (SImode))
19900 : 2121 : return "vpinsr<sseintmodesuffix>\t{%3, %k2, %1, %0|%0, %1, %k2, %3}";
19901 : 52 : /* FALLTHRU */
19902 : 52 : case 3:
19903 : 52 : case 5:
19904 : 52 : return "vpinsr<sseintmodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}";
19905 : 52 : case 6:
19906 : 52 : /* This pattern needs to be shadowed with vec_set{v8hi,v8hf}_0. */
19907 : 52 : gcc_assert (items > 1);
19908 : 52 : return "#";
19909 : 52 : default:
19910 : 0 : gcc_unreachable ();
19911 : : }
19912 : : }
19913 : : [(set_attr "isa" "noavx,noavx,avx,avx,<pinsr_evex_isa>,<pinsr_evex_isa>,avx2")
19914 : : (set_attr "type" "sselog")
19915 : : (set (attr "addr")
19916 : 3748 : (if_then_else (eq_attr "alternative" "0,1")
19917 : : (const_string "gpr16")
19918 : : (const_string "*")))
19919 : : (set (attr "prefix_rex")
19920 : : (if_then_else
19921 : : (and (not (match_test "TARGET_AVX"))
19922 : 12292 : (match_test "GET_MODE_NUNITS (<MODE>mode) == 2"))
19923 : : (const_string "1")
19924 : : (const_string "*")))
19925 : : (set (attr "prefix_extra")
19926 : : (if_then_else
19927 : : (ior (eq_attr "prefix" "evex")
19928 : 84659 : (match_test "GET_MODE_NUNITS (<MODE>mode) == 8"))
19929 : : (const_string "*")
19930 : 20455 : (const_string "1")))
19931 : : (set_attr "length_immediate" "1")
19932 : : (set_attr "prefix" "orig,orig,vex,vex,evex,evex,vex")
19933 : : (set_attr "mode" "TI")
19934 : : (set (attr "enabled")
19935 : : (cond [(and (not (match_test "GET_MODE_NUNITS (<MODE>mode) == 8"))
19936 : : (eq_attr "alternative" "6"))
19937 : 12292 : (symbol_ref "false")
19938 : 266 : ]
19939 : 12292 : (const_string "*")))])
19940 : :
19941 : : ;; For TARGET_AVX2, implement insert from XMM reg with PBROADCASTW + PBLENDW.
19942 : : (define_split
19943 : : [(set (match_operand:V8_128 0 "sse_reg_operand")
19944 : : (vec_merge:V8_128
19945 : : (vec_duplicate:V8_128
19946 : : (match_operand:<ssescalarmode> 2 "sse_reg_operand"))
19947 : : (match_operand:V8_128 1 "sse_reg_operand")
19948 : : (match_operand:SI 3 "const_int_operand")))]
19949 : 40 : "TARGET_AVX2 && reload_completed
19950 : 40 : && INTVAL (operands[3]) > 1
19951 : 24 : && ((unsigned) exact_log2 (INTVAL (operands[3]))
19952 : 5 : < GET_MODE_NUNITS (<MODE>mode))"
19953 : : [(set (match_dup 0)
19954 : 12 : (vec_duplicate:V8_128 (match_dup 2)))
19955 : : (set (match_dup 0)
19956 : 199 : (vec_merge:V8_128 (match_dup 0) (match_dup 1) (match_dup 3)))])
19957 : 199 :
19958 : : (define_expand "<extract_type>_vinsert<shuffletype><extract_suf>_mask"
19959 : : [(match_operand:AVX512_VEC 0 "register_operand")
19960 : 206 : (match_operand:AVX512_VEC 1 "register_operand")
19961 : : (match_operand:<ssequartermode> 2 "nonimmediate_operand")
19962 : : (match_operand:SI 3 "const_0_to_3_operand")
19963 : : (match_operand:AVX512_VEC 4 "register_operand")
19964 : : (match_operand:<avx512fmaskmode> 5 "register_operand")]
19965 : : "TARGET_AVX512F"
19966 : 188 : {
19967 : 188 : int mask, selector;
19968 : 188 : mask = INTVAL (operands[3]);
19969 : 188 : selector = (GET_MODE_UNIT_SIZE (<MODE>mode) == 4
19970 : 188 : ? 0xFFFF ^ (0x000F << mask * 4)
19971 : 52 : : 0xFF ^ (0x03 << mask * 2));
19972 : 188 : emit_insn (gen_<extract_type>_vinsert<shuffletype><extract_suf>_1_mask
19973 : : (operands[0], operands[1], operands[2], GEN_INT (selector),
19974 : 4549807 : operands[4], operands[5]));
19975 : 188 : DONE;
19976 : : })
19977 : :
19978 : 4549807 : (define_insn "*<extract_type>_vinsert<shuffletype><extract_suf>_0"
19979 : 4549807 : [(set (match_operand:AVX512_VEC 0 "register_operand" "=v,x,Yv")
19980 : 4549807 : (vec_merge:AVX512_VEC
19981 : 4550458 : (vec_duplicate:AVX512_VEC
19982 : 4550458 : (match_operand:<ssequartermode> 1 "nonimmediate_operand" "vm,xm,vm"))
19983 : 4550458 : (match_operand:AVX512_VEC 2 "reg_or_0_operand" "v,C,C")
19984 : 651 : (match_operand:SI 3 "const_int_operand")))]
19985 : 4550838 : "TARGET_AVX512F
19986 : 4550838 : && (INTVAL (operands[3])
19987 : 4550838 : == (GET_MODE_UNIT_SIZE (<MODE>mode) == 4 ? 0xF : 0x3))"
19988 : 670 : {
19989 : 658 : if (which_alternative == 0)
19990 : 654 : return "vinsert<shuffletype><extract_suf>\t{$0, %1, %2, %0|%0, %2, %1, 0}";
19991 : 665 : bool egpr_used = (TARGET_APX_EGPR
19992 : 668 : && x86_extended_rex2reg_mentioned_p (operands[1]));
19993 : 663 : const char *align_templ = egpr_used ? "vmovaps\t{%1, %x0|%x0, %1}"
19994 : 654 : : "vmovdqa\t{%1, %x0|%x0, %1}";
19995 : 665 : const char *unalign_templ = egpr_used ? "vmovups\t{%1, %x0|%x0, %1}"
19996 : 654 : : "vmovdqu\t{%1, %x0|%x0, %1}";
19997 : 668 : switch (<MODE>mode)
19998 : 654 : {
19999 : 661 : case E_V8DFmode:
20000 : 655 : if (misaligned_operand (operands[1], <ssequartermode>mode))
20001 : 654 : return "vmovupd\t{%1, %x0|%x0, %1}";
20002 : 654 : else
20003 : 654 : return "vmovapd\t{%1, %x0|%x0, %1}";
20004 : 659 : case E_V16SFmode:
20005 : 897 : if (misaligned_operand (operands[1], <ssequartermode>mode))
20006 : 654 : return "vmovups\t{%1, %x0|%x0, %1}";
20007 : 654 : else
20008 : 7 : return "vmovaps\t{%1, %x0|%x0, %1}";
20009 : 3 : case E_V8DImode:
20010 : 6 : if (misaligned_operand (operands[1], <ssequartermode>mode))
20011 : 0 : return which_alternative == 2 ? "vmovdqu64\t{%1, %x0|%x0, %1}"
20012 : 238 : : unalign_templ;
20013 : 238 : else
20014 : 238 : return which_alternative == 2 ? "vmovdqa64\t{%1, %x0|%x0, %1}"
20015 : 238 : : align_templ;
20016 : 1112 : case E_V16SImode:
20017 : 1112 : if (misaligned_operand (operands[1], <ssequartermode>mode))
20018 : 1108 : return which_alternative == 2 ? "vmovdqu32\t{%1, %x0|%x0, %1}"
20019 : 1108 : : unalign_templ;
20020 : 1107 : else
20021 : 242 : return which_alternative == 2 ? "vmovdqa32\t{%1, %x0|%x0, %1}"
20022 : 4 : : align_templ;
20023 : : default:
20024 : : gcc_unreachable ();
20025 : : }
20026 : : }
20027 : : [(set_attr "type" "sselog,ssemov,ssemov")
20028 : : (set_attr "length_immediate" "1,0,0")
20029 : 156367 : (set_attr "prefix" "evex,vex,evex")
20030 : 156389 : (set_attr "mode" "<sseinsnmode>,<ssequarterinsnmode>,<ssequarterinsnmode>")])
20031 : 156367 :
20032 : 156367 : (define_insn "<mask_codefor><extract_type>_vinsert<shuffletype><extract_suf>_1<mask_name>"
20033 : : [(set (match_operand:AVX512_VEC 0 "register_operand" "=v")
20034 : : (vec_merge:AVX512_VEC
20035 : : (match_operand:AVX512_VEC 1 "register_operand" "v")
20036 : : (vec_duplicate:AVX512_VEC
20037 : : (match_operand:<ssequartermode> 2 "nonimmediate_operand" "vm"))
20038 : : (match_operand:SI 3 "const_int_operand")))]
20039 : 1579 : "TARGET_AVX512F"
20040 : 164 : {
20041 : 173 : int mask;
20042 : 173 : int selector = INTVAL (operands[3]);
20043 : 9 :
20044 : 7 : if (selector == (GET_MODE_UNIT_SIZE (<MODE>mode) == 4 ? 0xFFF0 : 0xFC))
20045 : : mask = 0;
20046 : 99 : else if (selector == (GET_MODE_UNIT_SIZE (<MODE>mode) == 4 ? 0xFF0F : 0xF3))
20047 : : mask = 1;
20048 : 3 : else if (selector == (GET_MODE_UNIT_SIZE (<MODE>mode) == 4 ? 0xF0FF : 0xCF))
20049 : : mask = 2;
20050 : 3 : else if (selector == (GET_MODE_UNIT_SIZE (<MODE>mode) == 4 ? 0x0FFF : 0x3F))
20051 : : mask = 3;
20052 : 71 : else
20053 : 71 : gcc_unreachable ();
20054 : 71 :
20055 : 164 : operands[3] = GEN_INT (mask);
20056 : :
20057 : 164 : return "vinsert<shuffletype><extract_suf>\t{%3, %2, %1, %0<mask_operand4>|%0<mask_operand4>, %1, %2, %3}";
20058 : : }
20059 : : [(set_attr "type" "sselog")
20060 : : (set_attr "length_immediate" "1")
20061 : : (set_attr "prefix" "evex")
20062 : 167 : (set_attr "mode" "<sseinsnmode>")])
20063 : :
20064 : : (define_expand "<extract_type_2>_vinsert<shuffletype><extract_suf_2>_mask"
20065 : : [(match_operand:AVX512_VEC_2 0 "register_operand")
20066 : : (match_operand:AVX512_VEC_2 1 "register_operand")
20067 : : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand")
20068 : : (match_operand:SI 3 "const_0_to_1_operand")
20069 : : (match_operand:AVX512_VEC_2 4 "register_operand")
20070 : : (match_operand:<avx512fmaskmode> 5 "register_operand")]
20071 : : "TARGET_AVX512F"
20072 : 311 : {
20073 : 311 : int mask = INTVAL (operands[3]);
20074 : 311 : if (mask == 0)
20075 : 35 : emit_insn (gen_vec_set_lo_<mode>_mask (operands[0], operands[1],
20076 : : operands[2], operands[4],
20077 : : operands[5]));
20078 : : else
20079 : 276 : emit_insn (gen_vec_set_hi_<mode>_mask (operands[0], operands[1],
20080 : : operands[2], operands[4],
20081 : : operands[5]));
20082 : 311 : DONE;
20083 : : })
20084 : :
20085 : : (define_insn "vec_set_lo_<mode><mask_name>"
20086 : : [(set (match_operand:V16FI 0 "register_operand" "=v")
20087 : : (vec_concat:V16FI
20088 : : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand" "vm")
20089 : : (vec_select:<ssehalfvecmode>
20090 : : (match_operand:V16FI 1 "register_operand" "v")
20091 : : (parallel [(const_int 8) (const_int 9)
20092 : : (const_int 10) (const_int 11)
20093 : : (const_int 12) (const_int 13)
20094 : : (const_int 14) (const_int 15)]))))]
20095 : 16 : "TARGET_AVX512DQ"
20096 : : "vinsert<shuffletype>32x8\t{$0x0, %2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2, 0x0}"
20097 : : [(set_attr "type" "sselog")
20098 : : (set_attr "length_immediate" "1")
20099 : : (set_attr "prefix" "evex")
20100 : : (set_attr "mode" "<sseinsnmode>")])
20101 : :
20102 : : (define_insn "vec_set_hi_<mode><mask_name>"
20103 : : [(set (match_operand:V16FI 0 "register_operand" "=v")
20104 : : (vec_concat:V16FI
20105 : : (vec_select:<ssehalfvecmode>
20106 : : (match_operand:V16FI 1 "register_operand" "v")
20107 : : (parallel [(const_int 0) (const_int 1)
20108 : : (const_int 2) (const_int 3)
20109 : : (const_int 4) (const_int 5)
20110 : : (const_int 6) (const_int 7)]))
20111 : : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand" "vm")))]
20112 : 841 : "TARGET_AVX512DQ"
20113 : : "vinsert<shuffletype>32x8\t{$0x1, %2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2, 0x1}"
20114 : : [(set_attr "type" "sselog")
20115 : : (set_attr "length_immediate" "1")
20116 : : (set_attr "prefix" "evex")
20117 : : (set_attr "mode" "<sseinsnmode>")])
20118 : 49 :
20119 : 108 : (define_insn "vec_set_lo_<mode><mask_name>"
20120 : 108 : [(set (match_operand:V8FI 0 "register_operand" "=v")
20121 : 108 : (vec_concat:V8FI
20122 : 108 : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand" "vm")
20123 : 108 : (vec_select:<ssehalfvecmode>
20124 : 108 : (match_operand:V8FI 1 "register_operand" "v")
20125 : 108 : (parallel [(const_int 4) (const_int 5)
20126 : 108 : (const_int 6) (const_int 7)]))))]
20127 : 171 : "TARGET_AVX512F"
20128 : 59 : "vinsert<shuffletype>64x4\t{$0x0, %2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2, 0x0}"
20129 : : [(set_attr "type" "sselog")
20130 : : (set_attr "length_immediate" "1")
20131 : : (set_attr "prefix" "evex")
20132 : : (set_attr "mode" "XI")])
20133 : :
20134 : : (define_insn "vec_set_hi_<mode><mask_name>"
20135 : : [(set (match_operand:V8FI 0 "register_operand" "=v")
20136 : : (vec_concat:V8FI
20137 : : (vec_select:<ssehalfvecmode>
20138 : : (match_operand:V8FI 1 "register_operand" "v")
20139 : : (parallel [(const_int 0) (const_int 1)
20140 : : (const_int 2) (const_int 3)]))
20141 : : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand" "vm")))]
20142 : 653 : "TARGET_AVX512F"
20143 : : "vinsert<shuffletype>64x4\t{$0x1, %2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2, 0x1}"
20144 : : [(set_attr "type" "sselog")
20145 : : (set_attr "length_immediate" "1")
20146 : : (set_attr "prefix" "evex")
20147 : : (set_attr "mode" "XI")])
20148 : :
20149 : : (define_expand "avx512dq_shuf_<shuffletype>64x2_mask"
20150 : : [(match_operand:VI8F_256 0 "register_operand")
20151 : : (match_operand:VI8F_256 1 "register_operand")
20152 : : (match_operand:VI8F_256 2 "nonimmediate_operand")
20153 : : (match_operand:SI 3 "const_0_to_3_operand")
20154 : : (match_operand:VI8F_256 4 "register_operand")
20155 : : (match_operand:QI 5 "register_operand")]
20156 : : "TARGET_AVX512DQ"
20157 : 52 : {
20158 : 52 : int mask = INTVAL (operands[3]);
20159 : 52 : emit_insn (gen_avx512dq_shuf_<shuffletype>64x2_1_mask
20160 : : (operands[0], operands[1], operands[2],
20161 : : GEN_INT (((mask >> 0) & 1) * 2 + 0),
20162 : 52 : GEN_INT (((mask >> 0) & 1) * 2 + 1),
20163 : 52 : GEN_INT (((mask >> 1) & 1) * 2 + 4),
20164 : 52 : GEN_INT (((mask >> 1) & 1) * 2 + 5),
20165 : : operands[4], operands[5]));
20166 : 52 : DONE;
20167 : : })
20168 : :
20169 : : (define_insn "<mask_codefor>avx512dq_shuf_<shuffletype>64x2_1<mask_name>"
20170 : : [(set (match_operand:VI8F_256 0 "register_operand" "=x,v")
20171 : : (vec_select:VI8F_256
20172 : : (vec_concat:<ssedoublevecmode>
20173 : : (match_operand:VI8F_256 1 "register_operand" "x,v")
20174 : : (match_operand:VI8F_256 2 "nonimmediate_operand" "xjm,vm"))
20175 : : (parallel [(match_operand 3 "const_0_to_3_operand")
20176 : : (match_operand 4 "const_0_to_3_operand")
20177 : : (match_operand 5 "const_4_to_7_operand")
20178 : : (match_operand 6 "const_4_to_7_operand")])))]
20179 : 9258 : "TARGET_AVX512VL
20180 : 632 : && (INTVAL (operands[3]) & 1) == 0
20181 : 631 : && INTVAL (operands[3]) == INTVAL (operands[4]) - 1
20182 : 627 : && (INTVAL (operands[5]) & 1) == 0
20183 : 544 : && INTVAL (operands[5]) == INTVAL (operands[6]) - 1"
20184 : 14557 : {
20185 : 53 : int mask;
20186 : 53 : mask = INTVAL (operands[3]) / 2;
20187 : 2623 : mask |= (INTVAL (operands[5]) - 4) / 2 << 1;
20188 : 2580 : operands[3] = GEN_INT (mask);
20189 : 21 : if (INTVAL (operands[3]) == 2 && !<mask_applied> && which_alternative == 0)
20190 : 3 : return "vblendps\t{$240, %2, %1, %0|%0, %1, %2, 240}";
20191 : 1312 : return "vshuf<shuffletype>64x2\t{%3, %2, %1, %0<mask_operand7>|%0<mask_operand7>, %1, %2, %3}";
20192 : 3713 : }
20193 : 378700 : [(set_attr "type" "sselog")
20194 : : (set_attr "length_immediate" "1")
20195 : 1085 : (set_attr "prefix" "evex")
20196 : 1494 : (set_attr "mode" "XI")])
20197 : 377615 :
20198 : 378700 : (define_expand "avx512f_shuf_<shuffletype>64x2_mask"
20199 : 378700 : [(match_operand:V8FI 0 "register_operand")
20200 : 377958 : (match_operand:V8FI 1 "register_operand")
20201 : 377958 : (match_operand:V8FI 2 "nonimmediate_operand")
20202 : 378275 : (match_operand:SI 3 "const_0_to_255_operand")
20203 : 378275 : (match_operand:V8FI 4 "register_operand")
20204 : 660 : (match_operand:QI 5 "register_operand")]
20205 : 377974 : "TARGET_AVX512F"
20206 : 378152 : {
20207 : 301 : int mask = INTVAL (operands[3]);
20208 : 218081 : emit_insn (gen_avx512f_shuf_<shuffletype>64x2_1_mask
20209 : 217725 : (operands[0], operands[1], operands[2],
20210 : 217531 : GEN_INT (((mask >> 0) & 3) * 2),
20211 : 372 : GEN_INT (((mask >> 0) & 3) * 2 + 1),
20212 : 14641 : GEN_INT (((mask >> 2) & 3) * 2),
20213 : 14819 : GEN_INT (((mask >> 2) & 3) * 2 + 1),
20214 : 14625 : GEN_INT (((mask >> 4) & 3) * 2 + 8),
20215 : 369 : GEN_INT (((mask >> 4) & 3) * 2 + 9),
20216 : 6582 : GEN_INT (((mask >> 6) & 3) * 2 + 8),
20217 : 6582 : GEN_INT (((mask >> 6) & 3) * 2 + 9),
20218 : 191 : operands[4], operands[5]));
20219 : 6368 : DONE;
20220 : 6190 : })
20221 : :
20222 : 4957 : (define_insn "avx512f_shuf_<shuffletype>64x2_1<mask_name>"
20223 : 4957 : [(set (match_operand:V8FI 0 "register_operand" "=v")
20224 : : (vec_select:V8FI
20225 : 4956 : (vec_concat:<ssedoublevecmode>
20226 : 4956 : (match_operand:V8FI 1 "register_operand" "v")
20227 : : (match_operand:V8FI 2 "nonimmediate_operand" "vm"))
20228 : 4956 : (parallel [(match_operand 3 "const_0_to_7_operand")
20229 : 4956 : (match_operand 4 "const_0_to_7_operand")
20230 : : (match_operand 5 "const_0_to_7_operand")
20231 : 4956 : (match_operand 6 "const_0_to_7_operand")
20232 : 4956 : (match_operand 7 "const_8_to_15_operand")
20233 : 4956 : (match_operand 8 "const_8_to_15_operand")
20234 : 4956 : (match_operand 9 "const_8_to_15_operand")
20235 : : (match_operand 10 "const_8_to_15_operand")])))]
20236 : 847 : "TARGET_AVX512F
20237 : 1511 : && (INTVAL (operands[3]) & 1) == 0
20238 : 1300 : && INTVAL (operands[3]) == INTVAL (operands[4]) - 1
20239 : 1212 : && (INTVAL (operands[5]) & 1) == 0
20240 : 1428 : && INTVAL (operands[5]) == INTVAL (operands[6]) - 1
20241 : 1211 : && (INTVAL (operands[7]) & 1) == 0
20242 : 1211 : && INTVAL (operands[7]) == INTVAL (operands[8]) - 1
20243 : 1211 : && (INTVAL (operands[9]) & 1) == 0
20244 : 1211 : && INTVAL (operands[9]) == INTVAL (operands[10]) - 1"
20245 : 161 : {
20246 : 161 : int mask;
20247 : 161 : mask = INTVAL (operands[3]) / 2;
20248 : 161 : mask |= INTVAL (operands[5]) / 2 << 2;
20249 : 607 : mask |= (INTVAL (operands[7]) - 8) / 2 << 4;
20250 : 161 : mask |= (INTVAL (operands[9]) - 8) / 2 << 6;
20251 : 7 : operands[3] = GEN_INT (mask);
20252 : :
20253 : 591 : return "vshuf<shuffletype>64x2\t{%3, %2, %1, %0<mask_operand11>|%0<mask_operand11>, %1, %2, %3}";
20254 : 430 : }
20255 : 446 : [(set_attr "type" "sselog")
20256 : 446 : (set_attr "length_immediate" "1")
20257 : 446 : (set_attr "prefix" "evex")
20258 : 600 : (set_attr "mode" "<sseinsnmode>")])
20259 : 446 :
20260 : 16 : (define_insn "*avx512f_shuf_<shuffletype>64x2_1<mask_name>_1"
20261 : 16 : [(set (match_operand:V8FI 0 "register_operand" "=v")
20262 : 16 : (vec_select:V8FI
20263 : 16 : (match_operand:V8FI 1 "register_operand" "v")
20264 : : (parallel [(match_operand 2 "const_0_to_7_operand")
20265 : : (match_operand 3 "const_0_to_7_operand")
20266 : : (match_operand 4 "const_0_to_7_operand")
20267 : : (match_operand 5 "const_0_to_7_operand")
20268 : : (match_operand 6 "const_0_to_7_operand")
20269 : : (match_operand 7 "const_0_to_7_operand")
20270 : : (match_operand 8 "const_0_to_7_operand")
20271 : : (match_operand 9 "const_0_to_7_operand")])))]
20272 : 1210 : "TARGET_AVX512F
20273 : 2114 : && (INTVAL (operands[2]) & 1) == 0
20274 : 700 : && INTVAL (operands[2]) == INTVAL (operands[3]) - 1
20275 : 602 : && (INTVAL (operands[4]) & 1) == 0
20276 : 602 : && INTVAL (operands[4]) == INTVAL (operands[5]) - 1
20277 : 574 : && (INTVAL (operands[6]) & 1) == 0
20278 : 574 : && INTVAL (operands[6]) == INTVAL (operands[7]) - 1
20279 : 566 : && (INTVAL (operands[8]) & 1) == 0
20280 : 566 : && INTVAL (operands[8]) == INTVAL (operands[9]) - 1"
20281 : 97 : {
20282 : 97 : int mask;
20283 : 97 : mask = INTVAL (operands[2]) / 2;
20284 : 97 : mask |= INTVAL (operands[4]) / 2 << 2;
20285 : 97 : mask |= INTVAL (operands[6]) / 2 << 4;
20286 : 97 : mask |= INTVAL (operands[8]) / 2 << 6;
20287 : 0 : operands[2] = GEN_INT (mask);
20288 : :
20289 : 97 : return "vshuf<shuffletype>64x2\t{%2, %1, %1, %0<mask_operand10>|%0<mask_operand10>, %1, %1, %2}";
20290 : : }
20291 : : [(set_attr "type" "sselog")
20292 : : (set_attr "length_immediate" "1")
20293 : : (set_attr "prefix" "evex")
20294 : 114 : (set_attr "mode" "<sseinsnmode>")])
20295 : :
20296 : : (define_expand "avx512vl_shuf_<shuffletype>32x4_mask"
20297 : : [(match_operand:VI4F_256 0 "register_operand")
20298 : : (match_operand:VI4F_256 1 "register_operand")
20299 : : (match_operand:VI4F_256 2 "nonimmediate_operand")
20300 : : (match_operand:SI 3 "const_0_to_3_operand")
20301 : : (match_operand:VI4F_256 4 "register_operand")
20302 : : (match_operand:QI 5 "register_operand")]
20303 : : "TARGET_AVX512VL"
20304 : 53 : {
20305 : 53 : int mask = INTVAL (operands[3]);
20306 : 53 : emit_insn (gen_avx512vl_shuf_<shuffletype>32x4_1_mask
20307 : : (operands[0], operands[1], operands[2],
20308 : : GEN_INT (((mask >> 0) & 1) * 4 + 0),
20309 : 53 : GEN_INT (((mask >> 0) & 1) * 4 + 1),
20310 : 53 : GEN_INT (((mask >> 0) & 1) * 4 + 2),
20311 : 53 : GEN_INT (((mask >> 0) & 1) * 4 + 3),
20312 : 53 : GEN_INT (((mask >> 1) & 1) * 4 + 8),
20313 : 53 : GEN_INT (((mask >> 1) & 1) * 4 + 9),
20314 : 53 : GEN_INT (((mask >> 1) & 1) * 4 + 10),
20315 : 53 : GEN_INT (((mask >> 1) & 1) * 4 + 11),
20316 : : operands[4], operands[5]));
20317 : 53 : DONE;
20318 : : })
20319 : :
20320 : : (define_insn "avx512vl_shuf_<shuffletype>32x4_1<mask_name>"
20321 : : [(set (match_operand:VI4F_256 0 "register_operand" "=x,v")
20322 : : (vec_select:VI4F_256
20323 : : (vec_concat:<ssedoublevecmode>
20324 : : (match_operand:VI4F_256 1 "register_operand" "x,v")
20325 : : (match_operand:VI4F_256 2 "nonimmediate_operand" "xjm,vm"))
20326 : : (parallel [(match_operand 3 "const_0_to_7_operand")
20327 : : (match_operand 4 "const_0_to_7_operand")
20328 : : (match_operand 5 "const_0_to_7_operand")
20329 : : (match_operand 6 "const_0_to_7_operand")
20330 : : (match_operand 7 "const_8_to_15_operand")
20331 : : (match_operand 8 "const_8_to_15_operand")
20332 : : (match_operand 9 "const_8_to_15_operand")
20333 : : (match_operand 10 "const_8_to_15_operand")])))]
20334 : 7652 : "TARGET_AVX512VL
20335 : 729 : && (INTVAL (operands[3]) & 3) == 0
20336 : 727 : && INTVAL (operands[3]) == INTVAL (operands[4]) - 1
20337 : 718 : && INTVAL (operands[3]) == INTVAL (operands[5]) - 2
20338 : 718 : && INTVAL (operands[3]) == INTVAL (operands[6]) - 3
20339 : 718 : && (INTVAL (operands[7]) & 3) == 0
20340 : 718 : && INTVAL (operands[7]) == INTVAL (operands[8]) - 1
20341 : 718 : && INTVAL (operands[7]) == INTVAL (operands[9]) - 2
20342 : 718 : && INTVAL (operands[7]) == INTVAL (operands[10]) - 3"
20343 : 38030 : {
20344 : 66 : int mask;
20345 : 66 : mask = INTVAL (operands[3]) / 4;
20346 : 1284 : mask |= (INTVAL (operands[7]) - 8) / 4 << 1;
20347 : 1263 : operands[3] = GEN_INT (mask);
20348 : :
20349 : 34 : if (INTVAL (operands[3]) == 2 && !<mask_applied> && which_alternative == 0)
20350 : 5425 : return "vblendps\t{$240, %2, %1, %0|%0, %1, %2, 240}";
20351 : 1046 :
20352 : 5983 : return "vshuf<shuffletype>32x4\t{%3, %2, %1, %0<mask_operand11>|%0<mask_operand11>, %1, %2, %3}";
20353 : 315 : }
20354 : 305 : [(set_attr "type" "sselog")
20355 : 5726 : (set_attr "length_immediate" "1")
20356 : 305 : (set_attr "prefix" "evex")
20357 : 5797 : (set_attr "mode" "<sseinsnmode>")])
20358 : 5714 :
20359 : 1327 : (define_expand "avx512f_shuf_<shuffletype>32x4_mask"
20360 : 187916 : [(match_operand:V16FI 0 "register_operand")
20361 : 191150 : (match_operand:V16FI 1 "register_operand")
20362 : 191134 : (match_operand:V16FI 2 "nonimmediate_operand")
20363 : 3234 : (match_operand:SI 3 "const_0_to_255_operand")
20364 : 191134 : (match_operand:V16FI 4 "register_operand")
20365 : 191134 : (match_operand:HI 5 "register_operand")]
20366 : 3234 : "TARGET_AVX512F"
20367 : 191200 : {
20368 : 191200 : int mask = INTVAL (operands[3]);
20369 : 191266 : emit_insn (gen_avx512f_shuf_<shuffletype>32x4_1_mask
20370 : 191134 : (operands[0], operands[1], operands[2],
20371 : 3234 : GEN_INT (((mask >> 0) & 3) * 4),
20372 : 103605 : GEN_INT (((mask >> 0) & 3) * 4 + 1),
20373 : 103605 : GEN_INT (((mask >> 0) & 3) * 4 + 2),
20374 : 66 : GEN_INT (((mask >> 0) & 3) * 4 + 3),
20375 : 73380 : GEN_INT (((mask >> 2) & 3) * 4),
20376 : 66 : GEN_INT (((mask >> 2) & 3) * 4 + 1),
20377 : 61149 : GEN_INT (((mask >> 2) & 3) * 4 + 2),
20378 : 61149 : GEN_INT (((mask >> 2) & 3) * 4 + 3),
20379 : 66 : GEN_INT (((mask >> 4) & 3) * 4 + 16),
20380 : 66 : GEN_INT (((mask >> 4) & 3) * 4 + 17),
20381 : 61149 : GEN_INT (((mask >> 4) & 3) * 4 + 18),
20382 : 66 : GEN_INT (((mask >> 4) & 3) * 4 + 19),
20383 : 66 : GEN_INT (((mask >> 6) & 3) * 4 + 16),
20384 : 66 : GEN_INT (((mask >> 6) & 3) * 4 + 17),
20385 : 66 : GEN_INT (((mask >> 6) & 3) * 4 + 18),
20386 : 66 : GEN_INT (((mask >> 6) & 3) * 4 + 19),
20387 : : operands[4], operands[5]));
20388 : 66 : DONE;
20389 : : })
20390 : :
20391 : : (define_insn "avx512f_shuf_<shuffletype>32x4_1<mask_name>"
20392 : : [(set (match_operand:V16FI 0 "register_operand" "=v")
20393 : : (vec_select:V16FI
20394 : : (vec_concat:<ssedoublevecmode>
20395 : : (match_operand:V16FI 1 "register_operand" "v")
20396 : : (match_operand:V16FI 2 "nonimmediate_operand" "vm"))
20397 : : (parallel [(match_operand 3 "const_0_to_15_operand")
20398 : : (match_operand 4 "const_0_to_15_operand")
20399 : : (match_operand 5 "const_0_to_15_operand")
20400 : : (match_operand 6 "const_0_to_15_operand")
20401 : : (match_operand 7 "const_0_to_15_operand")
20402 : : (match_operand 8 "const_0_to_15_operand")
20403 : : (match_operand 9 "const_0_to_15_operand")
20404 : : (match_operand 10 "const_0_to_15_operand")
20405 : : (match_operand 11 "const_16_to_31_operand")
20406 : : (match_operand 12 "const_16_to_31_operand")
20407 : : (match_operand 13 "const_16_to_31_operand")
20408 : : (match_operand 14 "const_16_to_31_operand")
20409 : : (match_operand 15 "const_16_to_31_operand")
20410 : : (match_operand 16 "const_16_to_31_operand")
20411 : : (match_operand 17 "const_16_to_31_operand")
20412 : : (match_operand 18 "const_16_to_31_operand")])))]
20413 : 827 : "TARGET_AVX512F
20414 : 1275 : && (INTVAL (operands[3]) & 3) == 0
20415 : 1186 : && INTVAL (operands[3]) == INTVAL (operands[4]) - 1
20416 : 1090 : && INTVAL (operands[3]) == INTVAL (operands[5]) - 2
20417 : 1090 : && INTVAL (operands[3]) == INTVAL (operands[6]) - 3
20418 : 1118 : && (INTVAL (operands[7]) & 3) == 0
20419 : 1089 : && INTVAL (operands[7]) == INTVAL (operands[8]) - 1
20420 : 1089 : && INTVAL (operands[7]) == INTVAL (operands[9]) - 2
20421 : 1089 : && INTVAL (operands[7]) == INTVAL (operands[10]) - 3
20422 : 1101 : && (INTVAL (operands[11]) & 3) == 0
20423 : 1101 : && INTVAL (operands[11]) == INTVAL (operands[12]) - 1
20424 : 1117 : && INTVAL (operands[11]) == INTVAL (operands[13]) - 2
20425 : 1117 : && INTVAL (operands[11]) == INTVAL (operands[14]) - 3
20426 : 1117 : && (INTVAL (operands[15]) & 3) == 0
20427 : 1117 : && INTVAL (operands[15]) == INTVAL (operands[16]) - 1
20428 : 1117 : && INTVAL (operands[15]) == INTVAL (operands[17]) - 2
20429 : 1105 : && INTVAL (operands[15]) == INTVAL (operands[18]) - 3"
20430 : 129 : {
20431 : 129 : int mask;
20432 : 129 : mask = INTVAL (operands[3]) / 4;
20433 : 113 : mask |= INTVAL (operands[7]) / 4 << 2;
20434 : 113 : mask |= (INTVAL (operands[11]) - 16) / 4 << 4;
20435 : 113 : mask |= (INTVAL (operands[15]) - 16) / 4 << 6;
20436 : 22 : operands[3] = GEN_INT (mask);
20437 : :
20438 : 113 : return "vshuf<shuffletype>32x4\t{%3, %2, %1, %0<mask_operand19>|%0<mask_operand19>, %1, %2, %3}";
20439 : : }
20440 : : [(set_attr "type" "sselog")
20441 : : (set_attr "length_immediate" "1")
20442 : : (set_attr "prefix" "evex")
20443 : 97 : (set_attr "mode" "<sseinsnmode>")])
20444 : :
20445 : : (define_insn "*avx512f_shuf_<shuffletype>32x4_1<mask_name>_1"
20446 : : [(set (match_operand:V16FI 0 "register_operand" "=v")
20447 : : (vec_select:V16FI
20448 : : (match_operand:V16FI 1 "register_operand" "v")
20449 : : (parallel [(match_operand 2 "const_0_to_15_operand")
20450 : : (match_operand 3 "const_0_to_15_operand")
20451 : : (match_operand 4 "const_0_to_15_operand")
20452 : : (match_operand 5 "const_0_to_15_operand")
20453 : : (match_operand 6 "const_0_to_15_operand")
20454 : : (match_operand 7 "const_0_to_15_operand")
20455 : : (match_operand 8 "const_0_to_15_operand")
20456 : : (match_operand 9 "const_0_to_15_operand")
20457 : : (match_operand 10 "const_0_to_15_operand")
20458 : : (match_operand 11 "const_0_to_15_operand")
20459 : : (match_operand 12 "const_0_to_15_operand")
20460 : : (match_operand 13 "const_0_to_15_operand")
20461 : : (match_operand 14 "const_0_to_15_operand")
20462 : : (match_operand 15 "const_0_to_15_operand")
20463 : : (match_operand 16 "const_0_to_15_operand")
20464 : : (match_operand 17 "const_0_to_15_operand")])))]
20465 : 500 : "TARGET_AVX512F
20466 : 1141 : && (INTVAL (operands[2]) & 3) == 0
20467 : 498 : && INTVAL (operands[2]) == INTVAL (operands[3]) - 1
20468 : 388 : && INTVAL (operands[2]) == INTVAL (operands[4]) - 2
20469 : 388 : && INTVAL (operands[2]) == INTVAL (operands[5]) - 3
20470 : 388 : && (INTVAL (operands[6]) & 3) == 0
20471 : 388 : && INTVAL (operands[6]) == INTVAL (operands[7]) - 1
20472 : 388 : && INTVAL (operands[6]) == INTVAL (operands[8]) - 2
20473 : 388 : && INTVAL (operands[6]) == INTVAL (operands[9]) - 3
20474 : 388 : && (INTVAL (operands[10]) & 3) == 0
20475 : 388 : && INTVAL (operands[10]) == INTVAL (operands[11]) - 1
20476 : 388 : && INTVAL (operands[10]) == INTVAL (operands[12]) - 2
20477 : 388 : && INTVAL (operands[10]) == INTVAL (operands[13]) - 3
20478 : 388 : && (INTVAL (operands[14]) & 3) == 0
20479 : 388 : && INTVAL (operands[14]) == INTVAL (operands[15]) - 1
20480 : 388 : && INTVAL (operands[14]) == INTVAL (operands[16]) - 2
20481 : 388 : && INTVAL (operands[14]) == INTVAL (operands[17]) - 3"
20482 : 46 : {
20483 : 46 : int mask;
20484 : 46 : mask = INTVAL (operands[2]) / 4;
20485 : 46 : mask |= INTVAL (operands[6]) / 4 << 2;
20486 : 46 : mask |= INTVAL (operands[10]) / 4 << 4;
20487 : 46 : mask |= INTVAL (operands[14]) / 4 << 6;
20488 : 6 : operands[2] = GEN_INT (mask);
20489 : :
20490 : 46 : return "vshuf<shuffletype>32x4\t{%2, %1, %1, %0<mask_operand18>|%0<mask_operand18>, %1, %1, %2}";
20491 : : }
20492 : : [(set_attr "type" "sselog")
20493 : : (set_attr "length_immediate" "1")
20494 : : (set_attr "prefix" "evex")
20495 : 54 : (set_attr "mode" "<sseinsnmode>")])
20496 : :
20497 : : (define_expand "avx512f_pshufdv3_mask"
20498 : : [(match_operand:V16SI 0 "register_operand")
20499 : : (match_operand:V16SI 1 "nonimmediate_operand")
20500 : : (match_operand:SI 2 "const_0_to_255_operand")
20501 : : (match_operand:V16SI 3 "register_operand")
20502 : : (match_operand:HI 4 "register_operand")]
20503 : : "TARGET_AVX512F && TARGET_EVEX512"
20504 : 33 : {
20505 : 33 : int mask = INTVAL (operands[2]);
20506 : 33 : emit_insn (gen_avx512f_pshufd_1_mask (operands[0], operands[1],
20507 : : GEN_INT ((mask >> 0) & 3),
20508 : : GEN_INT ((mask >> 2) & 3),
20509 : : GEN_INT ((mask >> 4) & 3),
20510 : : GEN_INT ((mask >> 6) & 3),
20511 : 33 : GEN_INT (((mask >> 0) & 3) + 4),
20512 : 33 : GEN_INT (((mask >> 2) & 3) + 4),
20513 : 33 : GEN_INT (((mask >> 4) & 3) + 4),
20514 : 33 : GEN_INT (((mask >> 6) & 3) + 4),
20515 : 33 : GEN_INT (((mask >> 0) & 3) + 8),
20516 : 33 : GEN_INT (((mask >> 2) & 3) + 8),
20517 : 33 : GEN_INT (((mask >> 4) & 3) + 8),
20518 : 33 : GEN_INT (((mask >> 6) & 3) + 8),
20519 : 33 : GEN_INT (((mask >> 0) & 3) + 12),
20520 : 33 : GEN_INT (((mask >> 2) & 3) + 12),
20521 : 33 : GEN_INT (((mask >> 4) & 3) + 12),
20522 : 33 : GEN_INT (((mask >> 6) & 3) + 12),
20523 : : operands[3], operands[4]));
20524 : 33 : DONE;
20525 : : })
20526 : :
20527 : : (define_insn "avx512f_pshufd_1<mask_name>"
20528 : : [(set (match_operand:V16SI 0 "register_operand" "=v")
20529 : : (vec_select:V16SI
20530 : : (match_operand:V16SI 1 "nonimmediate_operand" "vm")
20531 : : (parallel [(match_operand 2 "const_0_to_3_operand")
20532 : : (match_operand 3 "const_0_to_3_operand")
20533 : : (match_operand 4 "const_0_to_3_operand")
20534 : : (match_operand 5 "const_0_to_3_operand")
20535 : : (match_operand 6 "const_4_to_7_operand")
20536 : : (match_operand 7 "const_4_to_7_operand")
20537 : : (match_operand 8 "const_4_to_7_operand")
20538 : : (match_operand 9 "const_4_to_7_operand")
20539 : : (match_operand 10 "const_8_to_11_operand")
20540 : : (match_operand 11 "const_8_to_11_operand")
20541 : : (match_operand 12 "const_8_to_11_operand")
20542 : : (match_operand 13 "const_8_to_11_operand")
20543 : : (match_operand 14 "const_12_to_15_operand")
20544 : : (match_operand 15 "const_12_to_15_operand")
20545 : : (match_operand 16 "const_12_to_15_operand")
20546 : : (match_operand 17 "const_12_to_15_operand")])))]
20547 : 327 : "TARGET_AVX512F && TARGET_EVEX512
20548 : 327 : && INTVAL (operands[2]) + 4 == INTVAL (operands[6])
20549 : 327 : && INTVAL (operands[3]) + 4 == INTVAL (operands[7])
20550 : 327 : && INTVAL (operands[4]) + 4 == INTVAL (operands[8])
20551 : 327 : && INTVAL (operands[5]) + 4 == INTVAL (operands[9])
20552 : 327 : && INTVAL (operands[2]) + 8 == INTVAL (operands[10])
20553 : 327 : && INTVAL (operands[3]) + 8 == INTVAL (operands[11])
20554 : 327 : && INTVAL (operands[4]) + 8 == INTVAL (operands[12])
20555 : 327 : && INTVAL (operands[5]) + 8 == INTVAL (operands[13])
20556 : 327 : && INTVAL (operands[2]) + 12 == INTVAL (operands[14])
20557 : 327 : && INTVAL (operands[3]) + 12 == INTVAL (operands[15])
20558 : 327 : && INTVAL (operands[4]) + 12 == INTVAL (operands[16])
20559 : 327 : && INTVAL (operands[5]) + 12 == INTVAL (operands[17])"
20560 : 104 : {
20561 : 39 : int mask = 0;
20562 : 39 : mask |= INTVAL (operands[2]) << 0;
20563 : 39 : mask |= INTVAL (operands[3]) << 2;
20564 : 39 : mask |= INTVAL (operands[4]) << 4;
20565 : 39 : mask |= INTVAL (operands[5]) << 6;
20566 : 14 : operands[2] = GEN_INT (mask);
20567 : :
20568 : 39 : return "vpshufd\t{%2, %1, %0<mask_operand18>|%0<mask_operand18>, %1, %2}";
20569 : 16915 : }
20570 : : [(set_attr "type" "sselog1")
20571 : : (set_attr "prefix" "evex")
20572 : : (set_attr "length_immediate" "1")
20573 : 17345 : (set_attr "mode" "XI")])
20574 : 16915 :
20575 : 16915 : (define_expand "avx512vl_pshufdv3_mask"
20576 : 16915 : [(match_operand:V8SI 0 "register_operand")
20577 : 16915 : (match_operand:V8SI 1 "nonimmediate_operand")
20578 : 16915 : (match_operand:SI 2 "const_0_to_255_operand")
20579 : 16915 : (match_operand:V8SI 3 "register_operand")
20580 : : (match_operand:QI 4 "register_operand")]
20581 : 13855 : "TARGET_AVX512VL"
20582 : 13871 : {
20583 : 13871 : int mask = INTVAL (operands[2]);
20584 : 13871 : emit_insn (gen_avx2_pshufd_1_mask (operands[0], operands[1],
20585 : 13855 : GEN_INT ((mask >> 0) & 3),
20586 : 6293 : GEN_INT ((mask >> 2) & 3),
20587 : 6293 : GEN_INT ((mask >> 4) & 3),
20588 : 6293 : GEN_INT ((mask >> 6) & 3),
20589 : 6309 : GEN_INT (((mask >> 0) & 3) + 4),
20590 : 16 : GEN_INT (((mask >> 2) & 3) + 4),
20591 : 5507 : GEN_INT (((mask >> 4) & 3) + 4),
20592 : 5507 : GEN_INT (((mask >> 6) & 3) + 4),
20593 : 5491 : operands[3], operands[4]));
20594 : 5507 : DONE;
20595 : 5491 : })
20596 : 5491 :
20597 : : (define_expand "avx2_pshufdv3"
20598 : 230 : [(match_operand:V8SI 0 "register_operand")
20599 : 230 : (match_operand:V8SI 1 "nonimmediate_operand")
20600 : : (match_operand:SI 2 "const_0_to_255_operand")]
20601 : : "TARGET_AVX2"
20602 : 573 : {
20603 : 343 : int mask = INTVAL (operands[2]);
20604 : 343 : emit_insn (gen_avx2_pshufd_1 (operands[0], operands[1],
20605 : : GEN_INT ((mask >> 0) & 3),
20606 : : GEN_INT ((mask >> 2) & 3),
20607 : : GEN_INT ((mask >> 4) & 3),
20608 : : GEN_INT ((mask >> 6) & 3),
20609 : 343 : GEN_INT (((mask >> 0) & 3) + 4),
20610 : 343 : GEN_INT (((mask >> 2) & 3) + 4),
20611 : 343 : GEN_INT (((mask >> 4) & 3) + 4),
20612 : 343 : GEN_INT (((mask >> 6) & 3) + 4)));
20613 : 343 : DONE;
20614 : : })
20615 : :
20616 : : (define_insn "avx2_pshufd_1<mask_name>"
20617 : : [(set (match_operand:V8SI 0 "register_operand" "=v")
20618 : : (vec_select:V8SI
20619 : : (match_operand:V8SI 1 "nonimmediate_operand" "vm")
20620 : : (parallel [(match_operand 2 "const_0_to_3_operand")
20621 : 40 : (match_operand 3 "const_0_to_3_operand")
20622 : : (match_operand 4 "const_0_to_3_operand")
20623 : : (match_operand 5 "const_0_to_3_operand")
20624 : : (match_operand 6 "const_4_to_7_operand")
20625 : 40 : (match_operand 7 "const_4_to_7_operand")
20626 : 40 : (match_operand 8 "const_4_to_7_operand")
20627 : 40 : (match_operand 9 "const_4_to_7_operand")])))]
20628 : 3967 : "TARGET_AVX2
20629 : 40 : && <mask_avx512vl_condition>
20630 : 4135 : && INTVAL (operands[2]) + 4 == INTVAL (operands[6])
20631 : 4134 : && INTVAL (operands[3]) + 4 == INTVAL (operands[7])
20632 : 4093 : && INTVAL (operands[4]) + 4 == INTVAL (operands[8])
20633 : 4091 : && INTVAL (operands[5]) + 4 == INTVAL (operands[9])"
20634 : 2251 : {
20635 : 421 : int mask = 0;
20636 : 421 : mask |= INTVAL (operands[2]) << 0;
20637 : 421 : mask |= INTVAL (operands[3]) << 2;
20638 : 436 : mask |= INTVAL (operands[4]) << 4;
20639 : 436 : mask |= INTVAL (operands[5]) << 6;
20640 : 420 : operands[2] = GEN_INT (mask);
20641 : 15 :
20642 : 436 : return "vpshufd\t{%2, %1, %0<mask_operand10>|%0<mask_operand10>, %1, %2}";
20643 : 157538 : }
20644 : 15 : [(set_attr "type" "sselog1")
20645 : : (set_attr "prefix" "maybe_evex")
20646 : : (set_attr "length_immediate" "1")
20647 : 184430 : (set_attr "mode" "OI")])
20648 : 157523 :
20649 : 157523 : (define_expand "avx512vl_pshufd_mask"
20650 : 157523 : [(match_operand:V4SI 0 "register_operand")
20651 : 157523 : (match_operand:V4SI 1 "nonimmediate_operand")
20652 : 157523 : (match_operand:SI 2 "const_0_to_255_operand")
20653 : 12234 : (match_operand:V4SI 3 "register_operand")
20654 : 65780 : (match_operand:QI 4 "register_operand")]
20655 : 65780 : "TARGET_AVX512VL"
20656 : 12250 : {
20657 : 49567 : int mask = INTVAL (operands[2]);
20658 : 49567 : emit_insn (gen_sse2_pshufd_1_mask (operands[0], operands[1],
20659 : 12234 : GEN_INT ((mask >> 0) & 3),
20660 : 63481 : GEN_INT ((mask >> 2) & 3),
20661 : 63481 : GEN_INT ((mask >> 4) & 3),
20662 : 12250 : GEN_INT ((mask >> 6) & 3),
20663 : 15429 : operands[3], operands[4]));
20664 : 15445 : DONE;
20665 : 15429 : })
20666 : 15429 :
20667 : 15429 : (define_expand "sse2_pshufd"
20668 : 15429 : [(match_operand:V4SI 0 "register_operand")
20669 : 15429 : (match_operand:V4SI 1 "vector_operand")
20670 : 15429 : (match_operand:SI 2 "const_int_operand")]
20671 : 15429 : "TARGET_SSE2"
20672 : 15859 : {
20673 : 12664 : int mask = INTVAL (operands[2]);
20674 : 15859 : emit_insn (gen_sse2_pshufd_1 (operands[0], operands[1],
20675 : 12234 : GEN_INT ((mask >> 0) & 3),
20676 : 14228 : GEN_INT ((mask >> 2) & 3),
20677 : 14228 : GEN_INT ((mask >> 4) & 3),
20678 : 14228 : GEN_INT ((mask >> 6) & 3)));
20679 : 12664 : DONE;
20680 : 13017 : })
20681 : 13017 :
20682 : 783 : (define_insn "sse2_pshufd_1<mask_name>"
20683 : 1016 : [(set (match_operand:V4SI 0 "register_operand" "=v")
20684 : 1016 : (vec_select:V4SI
20685 : 1007 : (match_operand:V4SI 1 "vector_operand" "vBm")
20686 : 1007 : (parallel [(match_operand 2 "const_0_to_3_operand")
20687 : 218 : (match_operand 3 "const_0_to_3_operand")
20688 : 632 : (match_operand 4 "const_0_to_3_operand")
20689 : 127 : (match_operand 5 "const_0_to_3_operand")])))]
20690 : 189299 : "TARGET_SSE2 && <mask_avx512vl_condition>"
20691 : 119452 : {
20692 : 27032 : int mask = 0;
20693 : 26905 : mask |= INTVAL (operands[2]) << 0;
20694 : 46296 : mask |= INTVAL (operands[3]) << 2;
20695 : 46296 : mask |= INTVAL (operands[4]) << 4;
20696 : 44432 : mask |= INTVAL (operands[5]) << 6;
20697 : 44663 : operands[2] = GEN_INT (mask);
20698 : 6186 :
20699 : 46533 : return "%vpshufd\t{%2, %1, %0<mask_operand6>|%0<mask_operand6>, %1, %2}";
20700 : 16 : }
20701 : 16 : [(set_attr "type" "sselog1")
20702 : 16 : (set_attr "prefix_data16" "1")
20703 : 16 : (set_attr "prefix" "<mask_prefix2>")
20704 : 43 : (set_attr "length_immediate" "1")
20705 : 16 : (set_attr "mode" "TI")])
20706 : 0 :
20707 : 0 : (define_insn "<mask_codefor>avx512bw_pshuflwv32hi<mask_name>"
20708 : 0 : [(set (match_operand:V32HI 0 "register_operand" "=v")
20709 : 0 : (unspec:V32HI
20710 : 0 : [(match_operand:V32HI 1 "nonimmediate_operand" "vm")
20711 : 0 : (match_operand:SI 2 "const_0_to_255_operand")]
20712 : : UNSPEC_PSHUFLW))]
20713 : 289 : "TARGET_AVX512BW && TARGET_EVEX512"
20714 : : "vpshuflw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
20715 : : [(set_attr "type" "sselog")
20716 : : (set_attr "prefix" "evex")
20717 : 288 : (set_attr "mode" "XI")])
20718 : 288 :
20719 : 288 : (define_expand "avx512vl_pshuflwv3_mask"
20720 : : [(match_operand:V16HI 0 "register_operand")
20721 : : (match_operand:V16HI 1 "nonimmediate_operand")
20722 : : (match_operand:SI 2 "const_0_to_255_operand")
20723 : : (match_operand:V16HI 3 "register_operand")
20724 : : (match_operand:HI 4 "register_operand")]
20725 : : "TARGET_AVX512VL && TARGET_AVX512BW"
20726 : 16 : {
20727 : 16 : int mask = INTVAL (operands[2]);
20728 : 16 : emit_insn (gen_avx2_pshuflw_1_mask (operands[0], operands[1],
20729 : : GEN_INT ((mask >> 0) & 3),
20730 : : GEN_INT ((mask >> 2) & 3),
20731 : : GEN_INT ((mask >> 4) & 3),
20732 : : GEN_INT ((mask >> 6) & 3),
20733 : 16 : GEN_INT (((mask >> 0) & 3) + 8),
20734 : 16 : GEN_INT (((mask >> 2) & 3) + 8),
20735 : 16 : GEN_INT (((mask >> 4) & 3) + 8),
20736 : 16 : GEN_INT (((mask >> 6) & 3) + 8),
20737 : : operands[3], operands[4]));
20738 : 16 : DONE;
20739 : : })
20740 : :
20741 : : (define_expand "avx2_pshuflwv3"
20742 : : [(match_operand:V16HI 0 "register_operand")
20743 : : (match_operand:V16HI 1 "nonimmediate_operand")
20744 : : (match_operand:SI 2 "const_0_to_255_operand")]
20745 : : "TARGET_AVX2"
20746 : 12 : {
20747 : 12 : int mask = INTVAL (operands[2]);
20748 : 12 : emit_insn (gen_avx2_pshuflw_1 (operands[0], operands[1],
20749 : : GEN_INT ((mask >> 0) & 3),
20750 : : GEN_INT ((mask >> 2) & 3),
20751 : : GEN_INT ((mask >> 4) & 3),
20752 : : GEN_INT ((mask >> 6) & 3),
20753 : 12 : GEN_INT (((mask >> 0) & 3) + 8),
20754 : 12 : GEN_INT (((mask >> 2) & 3) + 8),
20755 : 12 : GEN_INT (((mask >> 4) & 3) + 8),
20756 : 12 : GEN_INT (((mask >> 6) & 3) + 8)));
20757 : 12 : DONE;
20758 : : })
20759 : :
20760 : : (define_insn "avx2_pshuflw_1<mask_name>"
20761 : : [(set (match_operand:V16HI 0 "register_operand" "=Yw")
20762 : : (vec_select:V16HI
20763 : : (match_operand:V16HI 1 "nonimmediate_operand" "Ywm")
20764 : : (parallel [(match_operand 2 "const_0_to_3_operand")
20765 : : (match_operand 3 "const_0_to_3_operand")
20766 : 668 : (match_operand 4 "const_0_to_3_operand")
20767 : : (match_operand 5 "const_0_to_3_operand")
20768 : 668 : (const_int 4)
20769 : 668 : (const_int 5)
20770 : 668 : (const_int 6)
20771 : 668 : (const_int 7)
20772 : 0 : (match_operand 6 "const_8_to_11_operand")
20773 : 668 : (match_operand 7 "const_8_to_11_operand")
20774 : : (match_operand 8 "const_8_to_11_operand")
20775 : : (match_operand 9 "const_8_to_11_operand")
20776 : : (const_int 12)
20777 : : (const_int 13)
20778 : : (const_int 14)
20779 : 69 : (const_int 15)])))]
20780 : 99 : "TARGET_AVX2
20781 : 69 : && <mask_avx512bw_condition> && <mask_avx512vl_condition>
20782 : 355 : && INTVAL (operands[2]) + 8 == INTVAL (operands[6])
20783 : 355 : && INTVAL (operands[3]) + 8 == INTVAL (operands[7])
20784 : 355 : && INTVAL (operands[4]) + 8 == INTVAL (operands[8])
20785 : 256 : && INTVAL (operands[5]) + 8 == INTVAL (operands[9])"
20786 : 98 : {
20787 : 98 : int mask = 0;
20788 : 29 : mask |= INTVAL (operands[2]) << 0;
20789 : 98 : mask |= INTVAL (operands[3]) << 2;
20790 : 29 : mask |= INTVAL (operands[4]) << 4;
20791 : 261967 : mask |= INTVAL (operands[5]) << 6;
20792 : 13 : operands[2] = GEN_INT (mask);
20793 : :
20794 : 29 : return "vpshuflw\t{%2, %1, %0<mask_operand10>|%0<mask_operand10>, %1, %2}";
20795 : 261938 : }
20796 : 261938 : [(set_attr "type" "sselog")
20797 : 261938 : (set_attr "prefix" "maybe_evex")
20798 : 261938 : (set_attr "length_immediate" "1")
20799 : 263414 : (set_attr "mode" "OI")])
20800 : 261938 :
20801 : 261938 : (define_expand "avx512vl_pshuflw_mask"
20802 : 261938 : [(match_operand:V8HI 0 "register_operand")
20803 : : (match_operand:V8HI 1 "nonimmediate_operand")
20804 : 244629 : (match_operand:SI 2 "const_0_to_255_operand")
20805 : 3666 : (match_operand:V8HI 3 "register_operand")
20806 : 14112 : (match_operand:QI 4 "register_operand")]
20807 : 14112 : "TARGET_AVX512VL && TARGET_AVX512BW"
20808 : 10462 : {
20809 : 2430 : int mask = INTVAL (operands[2]);
20810 : 10230 : emit_insn (gen_sse2_pshuflw_1_mask (operands[0], operands[1],
20811 : 2414 : GEN_INT ((mask >> 0) & 3),
20812 : 9340 : GEN_INT ((mask >> 2) & 3),
20813 : 9340 : GEN_INT ((mask >> 4) & 3),
20814 : 2430 : GEN_INT ((mask >> 6) & 3),
20815 : 2414 : operands[3], operands[4]));
20816 : 2430 : DONE;
20817 : 2414 : })
20818 : :
20819 : 1415 : (define_expand "sse2_pshuflw"
20820 : 1415 : [(match_operand:V8HI 0 "register_operand")
20821 : 1415 : (match_operand:V8HI 1 "vector_operand")
20822 : 1415 : (match_operand:SI 2 "const_int_operand")]
20823 : : "TARGET_SSE2"
20824 : 1395 : {
20825 : 1395 : int mask = INTVAL (operands[2]);
20826 : 1395 : emit_insn (gen_sse2_pshuflw_1 (operands[0], operands[1],
20827 : : GEN_INT ((mask >> 0) & 3),
20828 : 211 : GEN_INT ((mask >> 2) & 3),
20829 : 211 : GEN_INT ((mask >> 4) & 3),
20830 : 15 : GEN_INT ((mask >> 6) & 3)));
20831 : 211 : DONE;
20832 : : })
20833 : :
20834 : : (define_insn "sse2_pshuflw_1<mask_name>"
20835 : : [(set (match_operand:V8HI 0 "register_operand" "=Yw")
20836 : : (vec_select:V8HI
20837 : : (match_operand:V8HI 1 "vector_operand" "YwBm")
20838 : : (parallel [(match_operand 2 "const_0_to_3_operand")
20839 : : (match_operand 3 "const_0_to_3_operand")
20840 : : (match_operand 4 "const_0_to_3_operand")
20841 : : (match_operand 5 "const_0_to_3_operand")
20842 : : (const_int 4)
20843 : : (const_int 5)
20844 : 49426 : (const_int 6)
20845 : : (const_int 7)])))]
20846 : 58400 : "TARGET_SSE2 && <mask_avx512bw_condition> && <mask_avx512vl_condition>"
20847 : 53278 : {
20848 : 50900 : int mask = 0;
20849 : 50900 : mask |= INTVAL (operands[2]) << 0;
20850 : 1474 : mask |= INTVAL (operands[3]) << 2;
20851 : 50900 : mask |= INTVAL (operands[4]) << 4;
20852 : 27125 : mask |= INTVAL (operands[5]) << 6;
20853 : 1478 : operands[2] = GEN_INT (mask);
20854 : :
20855 : 1492 : return "%vpshuflw\t{%2, %1, %0<mask_operand6>|%0<mask_operand6>, %1, %2}";
20856 : 25669 : }
20857 : 25669 : [(set_attr "type" "sselog")
20858 : 25669 : (set_attr "prefix_data16" "0")
20859 : 25669 : (set_attr "prefix_rep" "1")
20860 : 25695 : (set_attr "prefix" "maybe_vex")
20861 : 25669 : (set_attr "length_immediate" "1")
20862 : 25669 : (set_attr "mode" "TI")])
20863 : 25651 :
20864 : 1014 : (define_expand "avx2_pshufhwv3"
20865 : 25651 : [(match_operand:V16HI 0 "register_operand")
20866 : 25651 : (match_operand:V16HI 1 "nonimmediate_operand")
20867 : 996 : (match_operand:SI 2 "const_0_to_255_operand")]
20868 : 12924 : "TARGET_AVX2"
20869 : 12936 : {
20870 : 1008 : int mask = INTVAL (operands[2]);
20871 : 8389 : emit_insn (gen_avx2_pshufhw_1 (operands[0], operands[1],
20872 : 1008 : GEN_INT (((mask >> 0) & 3) + 4),
20873 : 1251 : GEN_INT (((mask >> 2) & 3) + 4),
20874 : 1494 : GEN_INT (((mask >> 4) & 3) + 4),
20875 : 1008 : GEN_INT (((mask >> 6) & 3) + 4),
20876 : 1008 : GEN_INT (((mask >> 0) & 3) + 12),
20877 : 1008 : GEN_INT (((mask >> 2) & 3) + 12),
20878 : 1008 : GEN_INT (((mask >> 4) & 3) + 12),
20879 : 1008 : GEN_INT (((mask >> 6) & 3) + 12)));
20880 : 1008 : DONE;
20881 : 996 : })
20882 : 996 :
20883 : 996 : (define_insn "<mask_codefor>avx512bw_pshufhwv32hi<mask_name>"
20884 : 996 : [(set (match_operand:V32HI 0 "register_operand" "=v")
20885 : 996 : (unspec:V32HI
20886 : 996 : [(match_operand:V32HI 1 "nonimmediate_operand" "vm")
20887 : 996 : (match_operand:SI 2 "const_0_to_255_operand")]
20888 : 996 : UNSPEC_PSHUFHW))]
20889 : 1231 : "TARGET_AVX512BW && TARGET_EVEX512"
20890 : 996 : "vpshufhw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
20891 : 996 : [(set_attr "type" "sselog")
20892 : 996 : (set_attr "prefix" "evex")
20893 : 47092 : (set_attr "mode" "XI")])
20894 : 47092 :
20895 : 47092 : (define_expand "avx512vl_pshufhwv3_mask"
20896 : 47092 : [(match_operand:V16HI 0 "register_operand")
20897 : 46096 : (match_operand:V16HI 1 "nonimmediate_operand")
20898 : 46986 : (match_operand:SI 2 "const_0_to_255_operand")
20899 : 46096 : (match_operand:V16HI 3 "register_operand")
20900 : 46351 : (match_operand:HI 4 "register_operand")]
20901 : 1048 : "TARGET_AVX512VL && TARGET_AVX512BW"
20902 : 1117 : {
20903 : 324 : int mask = INTVAL (operands[2]);
20904 : 519 : emit_insn (gen_avx2_pshufhw_1_mask (operands[0], operands[1],
20905 : 492 : GEN_INT (((mask >> 0) & 3) + 4),
20906 : 361 : GEN_INT (((mask >> 2) & 3) + 4),
20907 : 479 : GEN_INT (((mask >> 4) & 3) + 4),
20908 : 16 : GEN_INT (((mask >> 6) & 3) + 4),
20909 : 278 : GEN_INT (((mask >> 0) & 3) + 12),
20910 : 16 : GEN_INT (((mask >> 2) & 3) + 12),
20911 : 16 : GEN_INT (((mask >> 4) & 3) + 12),
20912 : 16 : GEN_INT (((mask >> 6) & 3) + 12),
20913 : : operands[3], operands[4]));
20914 : 16 : DONE;
20915 : : })
20916 : :
20917 : : (define_insn "avx2_pshufhw_1<mask_name>"
20918 : : [(set (match_operand:V16HI 0 "register_operand" "=Yw")
20919 : : (vec_select:V16HI
20920 : : (match_operand:V16HI 1 "nonimmediate_operand" "Ywm")
20921 : : (parallel [(const_int 0)
20922 : : (const_int 1)
20923 : : (const_int 2)
20924 : : (const_int 3)
20925 : : (match_operand 2 "const_4_to_7_operand")
20926 : : (match_operand 3 "const_4_to_7_operand")
20927 : : (match_operand 4 "const_4_to_7_operand")
20928 : : (match_operand 5 "const_4_to_7_operand")
20929 : : (const_int 8)
20930 : : (const_int 9)
20931 : : (const_int 10)
20932 : : (const_int 11)
20933 : : (match_operand 6 "const_12_to_15_operand")
20934 : : (match_operand 7 "const_12_to_15_operand")
20935 : : (match_operand 8 "const_12_to_15_operand")
20936 : : (match_operand 9 "const_12_to_15_operand")])))]
20937 : 88 : "TARGET_AVX2
20938 : : && <mask_avx512bw_condition> && <mask_avx512vl_condition>
20939 : 275 : && INTVAL (operands[2]) + 8 == INTVAL (operands[6])
20940 : 275 : && INTVAL (operands[3]) + 8 == INTVAL (operands[7])
20941 : 275 : && INTVAL (operands[4]) + 8 == INTVAL (operands[8])
20942 : 759 : && INTVAL (operands[5]) + 8 == INTVAL (operands[9])"
20943 : 28 : {
20944 : 512 : int mask = 0;
20945 : 512 : mask |= (INTVAL (operands[2]) - 4) << 0;
20946 : 512 : mask |= (INTVAL (operands[3]) - 4) << 2;
20947 : 512 : mask |= (INTVAL (operands[4]) - 4) << 4;
20948 : 25129 : mask |= (INTVAL (operands[5]) - 4) << 6;
20949 : 496 : operands[2] = GEN_INT (mask);
20950 : :
20951 : 28 : return "vpshufhw\t{%2, %1, %0<mask_operand10>|%0<mask_operand10>, %1, %2}";
20952 : 25101 : }
20953 : 25101 : [(set_attr "type" "sselog")
20954 : 25101 : (set_attr "prefix" "maybe_evex")
20955 : 25101 : (set_attr "length_immediate" "1")
20956 : 25301 : (set_attr "mode" "OI")])
20957 : 25101 :
20958 : 25101 : (define_expand "avx512vl_pshufhw_mask"
20959 : 4538 : [(match_operand:V8HI 0 "register_operand")
20960 : 23427 : (match_operand:V8HI 1 "nonimmediate_operand")
20961 : 18889 : (match_operand:SI 2 "const_0_to_255_operand")
20962 : 19278 : (match_operand:V8HI 3 "register_operand")
20963 : 19278 : (match_operand:QI 4 "register_operand")]
20964 : 19278 : "TARGET_AVX512VL && TARGET_AVX512BW"
20965 : 16 : {
20966 : 405 : int mask = INTVAL (operands[2]);
20967 : 405 : emit_insn (gen_sse2_pshufhw_1_mask (operands[0], operands[1],
20968 : 405 : GEN_INT (((mask >> 0) & 3) + 4),
20969 : 405 : GEN_INT (((mask >> 2) & 3) + 4),
20970 : 405 : GEN_INT (((mask >> 4) & 3) + 4),
20971 : 405 : GEN_INT (((mask >> 6) & 3) + 4),
20972 : 389 : operands[3], operands[4]));
20973 : 405 : DONE;
20974 : 389 : })
20975 : :
20976 : 195 : (define_expand "sse2_pshufhw"
20977 : 195 : [(match_operand:V8HI 0 "register_operand")
20978 : : (match_operand:V8HI 1 "vector_operand")
20979 : : (match_operand:SI 2 "const_int_operand")]
20980 : : "TARGET_SSE2"
20981 : 40 : {
20982 : 235 : int mask = INTVAL (operands[2]);
20983 : 40 : emit_insn (gen_sse2_pshufhw_1 (operands[0], operands[1],
20984 : 40 : GEN_INT (((mask >> 0) & 3) + 4),
20985 : 40 : GEN_INT (((mask >> 2) & 3) + 4),
20986 : 40 : GEN_INT (((mask >> 4) & 3) + 4),
20987 : 40 : GEN_INT (((mask >> 6) & 3) + 4)));
20988 : 40 : DONE;
20989 : : })
20990 : :
20991 : : (define_insn "sse2_pshufhw_1<mask_name>"
20992 : : [(set (match_operand:V8HI 0 "register_operand" "=Yw")
20993 : : (vec_select:V8HI
20994 : : (match_operand:V8HI 1 "vector_operand" "YwBm")
20995 : : (parallel [(const_int 0)
20996 : : (const_int 1)
20997 : : (const_int 2)
20998 : : (const_int 3)
20999 : : (match_operand 2 "const_4_to_7_operand")
21000 : : (match_operand 3 "const_4_to_7_operand")
21001 : 16 : (match_operand 4 "const_4_to_7_operand")
21002 : : (match_operand 5 "const_4_to_7_operand")])))]
21003 : 1549 : "TARGET_SSE2 && <mask_avx512bw_condition> && <mask_avx512vl_condition>"
21004 : 1179 : {
21005 : 214 : int mask = 0;
21006 : 214 : mask |= (INTVAL (operands[2]) - 4) << 0;
21007 : 198 : mask |= (INTVAL (operands[3]) - 4) << 2;
21008 : 214 : mask |= (INTVAL (operands[4]) - 4) << 4;
21009 : 13428 : mask |= (INTVAL (operands[5]) - 4) << 6;
21010 : 184 : operands[2] = GEN_INT (mask);
21011 : :
21012 : 198 : return "%vpshufhw\t{%2, %1, %0<mask_operand6>|%0<mask_operand6>, %1, %2}";
21013 : 13230 : }
21014 : 13230 : [(set_attr "type" "sselog")
21015 : 13230 : (set_attr "prefix_rep" "1")
21016 : 13230 : (set_attr "prefix_data16" "0")
21017 : 13244 : (set_attr "prefix" "maybe_vex")
21018 : 13230 : (set_attr "length_immediate" "1")
21019 : 13230 : (set_attr "mode" "TI")])
21020 : 12234 :
21021 : 996 : (define_expand "sse2_loadd"
21022 : 12234 : [(set (match_operand:V4SI 0 "register_operand")
21023 : 12234 : (vec_merge:V4SI
21024 : 13230 : (vec_duplicate:V4SI
21025 : 996 : (match_operand:SI 1 "nonimmediate_operand"))
21026 : 11734 : (match_dup 2)
21027 : 781 : (const_int 1)))]
21028 : 2962 : "TARGET_SSE"
21029 : 2962 : "operands[2] = CONST0_RTX (V4SImode);")
21030 : 321 :
21031 : 2611 : (define_insn "sse2_loadld"
21032 : 2611 : [(set (match_operand:V4SI 0 "register_operand" "=v,v,x,x,v")
21033 : 226 : (vec_merge:V4SI
21034 : 2604 : (vec_duplicate:V4SI
21035 : 2830 : (match_operand:SI 2 "nonimmediate_operand" "m ,r ,m,x,v"))
21036 : 2602 : (match_operand:V4SI 1 "reg_or_0_operand" "C ,C ,C,0,v")
21037 : 2824 : (const_int 1)))]
21038 : 328 : "TARGET_SSE"
21039 : 1434 : "@
21040 : 3146 : %vmovd\t{%2, %0|%0, %2}
21041 : 2517 : %vmovd\t{%2, %0|%0, %2}
21042 : 6325 : movss\t{%2, %0|%0, %2}
21043 : 6325 : movss\t{%2, %0|%0, %2}
21044 : 6325 : vmovss\t{%2, %1, %0|%0, %1, %2}"
21045 : 6012 : [(set_attr "isa" "sse2,sse2,noavx,noavx,avx")
21046 : 6325 : (set_attr "type" "ssemov")
21047 : 6325 : (set_attr "prefix" "maybe_vex,maybe_vex,orig,orig,maybe_evex")
21048 : 6325 : (set_attr "mode" "TI,TI,V4SF,SF,SF")
21049 : 6012 : (set (attr "preferred_for_speed")
21050 : 6325 : (cond [(eq_attr "alternative" "1")
21051 : 313 : (symbol_ref "TARGET_INTER_UNIT_MOVES_TO_VEC")
21052 : 517 : ]
21053 : 48097 : (symbol_ref "true")))])
21054 : 313 :
21055 : 48206 : ;; QI and HI modes handled by pextr patterns.
21056 : 48206 : (define_mode_iterator PEXTR_MODE12
21057 : 48091 : [(V16QI "TARGET_SSE4_1") V8HI])
21058 : 48303 :
21059 : 3366 : (define_insn_and_split "*vec_extract<mode>_0_mem"
21060 : 51231 : [(set (match_operand:<ssescalarmode> 0 "memory_operand")
21061 : 0 : (vec_select:<ssescalarmode>
21062 : 9380 : (match_operand:PEXTR_MODE12 1 "register_operand")
21063 : 2739 : (parallel [(const_int 0)])))]
21064 : 2739 : "TARGET_SSE2
21065 : 8121 : && !TARGET_SSE4_1
21066 : 8446 : && (TARGET_INTER_UNIT_MOVES_FROM_VEC
21067 : 8194 : || optimize_function_for_speed_p (cfun))
21068 : 255 : && ix86_pre_reload_split ()"
21069 : 26927 : "#"
21070 : 7723 : "&& 1"
21071 : 34903 : [(set (match_dup 2) (match_dup 3))
21072 : : (set (match_dup 0) (match_dup 4))]
21073 : 7596 : {
21074 : 9756 : operands[2] = gen_reg_rtx (SImode);
21075 : 2229 : operands[3] = gen_lowpart (SImode, force_reg (<MODE>mode, operands[1]));
21076 : 5461 : operands[4] = gen_lowpart (<ssescalarmode>mode, operands[2]);
21077 : 233381 : })
21078 : 230964 :
21079 : 1331 : (define_mode_attr vi128_jr_r
21080 : 11068 : [(V16QI "jr") (V8HI "r")])
21081 : 9737 :
21082 : 10557 : (define_insn "*vec_extract<mode>"
21083 : 9494 : [(set (match_operand:<ssescalarmode> 0 "register_sse4nonimm_operand" "=<vi128_jr_r>,r,jm,m")
21084 : 12822 : (vec_select:<ssescalarmode>
21085 : 69 : (match_operand:PEXTR_MODE12 1 "register_operand" "YW,YW,YW,YW")
21086 : 69 : (parallel
21087 : 69 : [(match_operand:SI 2 "const_0_to_<ssescalarnummask>_operand")])))]
21088 : 22190 : "TARGET_SSE2"
21089 : 69 : "@
21090 : 69 : pextr<ssemodesuffix>\t{%2, %1, %k0|%k0, %1, %2}
21091 : : vpextr<ssemodesuffix>\t{%2, %1, %k0|%k0, %1, %2}
21092 : 69 : pextr<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}
21093 : : vpextr<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
21094 : 69 : [(set_attr "isa" "sse2_noavx,avx,sse4_noavx,avx")
21095 : 69 : (set_attr "addr" "*,*,gpr16,*")
21096 : 2532 : (set_attr "type" "sselog1")
21097 : 96 : (set (attr "prefix_extra")
21098 : 37 : (if_then_else
21099 : 2463 : (eq (const_string "<MODE>mode") (const_string "V8HImode"))
21100 : : (const_string "*")
21101 : : (const_string "1")))
21102 : 36454 : (set_attr "length_immediate" "1")
21103 : : (set_attr "prefix" "maybe_vex")
21104 : 36454 : (set_attr "mode" "TI")])
21105 : 36454 :
21106 : 36454 : (define_insn "*vec_extract<PEXTR_MODE12:mode>_zext"
21107 : 36454 : [(set (match_operand:SWI48 0 "register_operand" "=<vi128_jr_r>,r")
21108 : 0 : (zero_extend:SWI48
21109 : 36454 : (vec_select:<PEXTR_MODE12:ssescalarmode>
21110 : : (match_operand:PEXTR_MODE12 1 "register_operand" "YW,YW")
21111 : : (parallel
21112 : : [(match_operand:SI 2
21113 : : "const_0_to_<PEXTR_MODE12:ssescalarnummask>_operand")]))))]
21114 : 65267 : "TARGET_SSE2"
21115 : : "%vpextr<PEXTR_MODE12:ssemodesuffix>\t{%2, %1, %k0|%k0, %1, %2}"
21116 : : [(set_attr "isa" "noavx,avx")
21117 : : (set_attr "type" "sselog1")
21118 : 4798 : (set (attr "prefix_extra")
21119 : 4798 : (if_then_else
21120 : : (eq (const_string "<PEXTR_MODE12:MODE>mode") (const_string "V8HImode"))
21121 : : (const_string "*")
21122 : : (const_string "1")))
21123 : : (set_attr "length_immediate" "1")
21124 : : (set_attr "prefix" "maybe_vex")
21125 : : (set_attr "mode" "TI")])
21126 : :
21127 : : (define_insn "*vec_extractv16qi_zext"
21128 : : [(set (match_operand:HI 0 "register_operand" "=jr,r")
21129 : : (zero_extend:HI
21130 : : (vec_select:QI
21131 : : (match_operand:V16QI 1 "register_operand" "YW,YW")
21132 : : (parallel
21133 : : [(match_operand:SI 2 "const_0_to_15_operand")]))))]
21134 : 3 : "TARGET_SSE4_1"
21135 : : "%vpextrb\t{%2, %1, %k0|%k0, %1, %2}"
21136 : : [(set_attr "isa" "noavx,avx")
21137 : : (set_attr "type" "sselog1")
21138 : : (set_attr "prefix_extra" "1")
21139 : : (set_attr "length_immediate" "1")
21140 : : (set_attr "prefix" "maybe_vex")
21141 : : (set_attr "mode" "TI")])
21142 : :
21143 : : (define_insn "*vec_extract<mode>_mem"
21144 : : [(set (match_operand:<ssescalarmode> 0 "register_operand" "=r")
21145 : : (vec_select:<ssescalarmode>
21146 : 1741 : (match_operand:VI12_128 1 "memory_operand" "o")
21147 : 1741 : (parallel
21148 : : [(match_operand 2 "const_0_to_<ssescalarnummask>_operand")])))]
21149 : 37 : "TARGET_SSE"
21150 : 5578 : "#")
21151 : :
21152 : : (define_insn "*vec_extract<ssevecmodelower>_0"
21153 : 22621 : [(set (match_operand:SWI48 0 "nonimmediate_operand" "=r,r,v ,m")
21154 : 22621 : (vec_select:SWI48
21155 : 1058 : (match_operand:<ssevecmode> 1 "nonimmediate_operand" "m ,v,vm,v")
21156 : 21563 : (parallel [(const_int 0)])))]
21157 : 598065 : "TARGET_SSE && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
21158 : 17785 : "#"
21159 : 39348 : [(set_attr "isa" "*,sse2,*,*")
21160 : 14 : (set (attr "preferred_for_speed")
21161 : 14 : (cond [(eq_attr "alternative" "1")
21162 : 28 : (symbol_ref "TARGET_INTER_UNIT_MOVES_FROM_VEC")
21163 : 1709834 : ]
21164 : 1709834 : (symbol_ref "true")))])
21165 : 1709834 :
21166 : 1709834 : (define_insn "*vec_extractv2di_0_sse"
21167 : 207801 : [(set (match_operand:DI 0 "nonimmediate_operand" "=r,x ,m")
21168 : 207801 : (vec_select:DI
21169 : 134097 : (match_operand:V2DI 1 "nonimmediate_operand" " x,xm,x")
21170 : 134097 : (parallel [(const_int 0)])))]
21171 : 31633 : "TARGET_SSE && !TARGET_64BIT
21172 : 37871 : && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
21173 : 165604 : "#"
21174 : 180708 : [(set_attr "isa" "sse4,*,*")
21175 : : (set (attr "preferred_for_speed")
21176 : 6150 : (cond [(eq_attr "alternative" "0")
21177 : : (symbol_ref "TARGET_INTER_UNIT_MOVES_FROM_VEC")
21178 : 8667 : ]
21179 : 4285 : (symbol_ref "true")))])
21180 : :
21181 : 3903 : (define_split
21182 : 4382 : [(set (match_operand:DI 0 "general_reg_operand")
21183 : 7272 : (vec_select:DI
21184 : 7272 : (match_operand:V2DI 1 "register_operand")
21185 : 7272 : (parallel [(const_int 0)])))]
21186 : 41629 : "TARGET_SSE4_1 && !TARGET_64BIT
21187 : 18 : && reload_completed"
21188 : 129 : [(set (match_dup 2) (match_dup 4))
21189 : 99773 : (set (match_dup 3)
21190 : 99662 : (vec_select:SI
21191 : : (match_dup 5)
21192 : : (parallel [(const_int 1)])))]
21193 : 129 : {
21194 : 18 : operands[4] = gen_lowpart (SImode, operands[1]);
21195 : 18 : operands[5] = gen_lowpart (V4SImode, operands[1]);
21196 : 18 : split_double_mode (DImode, &operands[0], 1, &operands[2], &operands[3]);
21197 : : })
21198 : :
21199 : : (define_split
21200 : 18 : [(set (match_operand:SWI48x 0 "nonimmediate_operand")
21201 : 18 : (vec_select:SWI48x
21202 : 18 : (match_operand:<ssevecmode> 1 "register_operand")
21203 : 18 : (parallel [(const_int 0)])))]
21204 : 214200 : "TARGET_SSE && reload_completed"
21205 : 97337 : [(set (match_dup 0) (match_dup 1))]
21206 : 97337 : "operands[1] = gen_lowpart (<MODE>mode, operands[1]);")
21207 : 18 :
21208 : 210663 : (define_insn "*vec_extractv4si_0_zext_sse4"
21209 : 307982 : [(set (match_operand:DI 0 "register_operand" "=r,x,v")
21210 : 97337 : (zero_extend:DI
21211 : 176339 : (vec_select:SI
21212 : 176339 : (match_operand:V4SI 1 "register_operand" "v,x,v")
21213 : 97319 : (parallel [(const_int 0)]))))]
21214 : 8051 : "TARGET_64BIT && TARGET_SSE4_1"
21215 : 102749 : "#"
21216 : 105010 : [(set_attr "isa" "*,*,avx512f")
21217 : 97342 : (set (attr "preferred_for_speed")
21218 : 23 : (cond [(eq_attr "alternative" "0")
21219 : 26314604 : (symbol_ref "TARGET_INTER_UNIT_MOVES_FROM_VEC")
21220 : 18 : ]
21221 : 326101709 : (symbol_ref "true")))])
21222 : 18 :
21223 : 42863307 : (define_insn "*vec_extractv4si_0_zext"
21224 : : [(set (match_operand:DI 0 "register_operand" "=r")
21225 : 127 : (zero_extend:DI
21226 : 127 : (vec_select:SI
21227 : 782754 : (match_operand:V4SI 1 "register_operand" "x")
21228 : 782743 : (parallel [(const_int 0)]))))]
21229 : 47113 : "TARGET_64BIT && TARGET_SSE2 && TARGET_INTER_UNIT_MOVES_FROM_VEC"
21230 : 782754 : "#")
21231 : 738092 :
21232 : 5685 : (define_split
21233 : 61 : [(set (match_operand:DI 0 "register_operand")
21234 : 11 : (zero_extend:DI
21235 : 11 : (vec_select:SI
21236 : : (match_operand:V4SI 1 "register_operand")
21237 : : (parallel [(const_int 0)]))))]
21238 : 1336 : "TARGET_SSE2 && reload_completed"
21239 : 2285 : [(set (match_dup 0) (zero_extend:DI (match_dup 1)))]
21240 : 2285 : "operands[1] = gen_lowpart (SImode, operands[1]);")
21241 : 1617 :
21242 : : (define_insn "*vec_extractv4si"
21243 : 668 : [(set (match_operand:SI 0 "nonimmediate_operand" "=jrjm,rm,rm,Yr,*x,Yw")
21244 : 668 : (vec_select:SI
21245 : 668 : (match_operand:V4SI 1 "register_operand" "x, x, v, 0, 0, Yw")
21246 : 1593 : (parallel [(match_operand:SI 2 "const_0_to_3_operand")])))]
21247 : 48703 : "TARGET_SSE4_1"
21248 : 1332 : {
21249 : 85397 : switch (which_alternative)
21250 : 75116 : {
21251 : 1141 : case 0:
21252 : 84741 : return "pextrd\t{%2, %1, %0|%0, %1, %2}";
21253 : 1271 : case 1:
21254 : 1271 : case 2:
21255 : 1271 : return "vpextrd\t{%2, %1, %0|%0, %1, %2}";
21256 : :
21257 : 0 : case 3:
21258 : 46646 : case 4:
21259 : 0 : operands[2] = GEN_INT (INTVAL (operands[2]) * 4);
21260 : 46646 : return "psrldq\t{%2, %0|%0, %2}";
21261 : 46646 :
21262 : 46660 : case 5:
21263 : 46660 : operands[2] = GEN_INT (INTVAL (operands[2]) * 4);
21264 : 14 : return "vpsrldq\t{%2, %1, %0|%0, %1, %2}";
21265 : 46646 :
21266 : 0 : default:
21267 : 0 : gcc_unreachable ();
21268 : : }
21269 : : }
21270 : : [(set_attr "isa" "noavx,avx,avx512dq,noavx,noavx,avx")
21271 : : (set_attr "type" "sselog1,sselog1,sselog1,sseishft1,sseishft1,sseishft1")
21272 : : (set (attr "addr")
21273 : : (if_then_else (eq_attr "alternative" "0")
21274 : : (const_string "gpr16")
21275 : : (const_string "*")))
21276 : : (set (attr "prefix_extra")
21277 : : (if_then_else (eq_attr "alternative" "0,1")
21278 : : (const_string "1")
21279 : : (const_string "*")))
21280 : : (set_attr "length_immediate" "1")
21281 : : (set_attr "prefix" "orig,vex,evex,orig,orig,maybe_vex")
21282 : : (set_attr "mode" "TI")])
21283 : :
21284 : : (define_insn "*vec_extractv4si_zext"
21285 : : [(set (match_operand:DI 0 "register_operand" "=jr,r,r")
21286 : : (zero_extend:DI
21287 : : (vec_select:SI
21288 : : (match_operand:V4SI 1 "register_operand" "x,x,v")
21289 : : (parallel [(match_operand:SI 2 "const_0_to_3_operand")]))))]
21290 : 2134 : "TARGET_64BIT && TARGET_SSE4_1"
21291 : : "%vpextrd\t{%2, %1, %k0|%k0, %1, %2}"
21292 : 2574 : [(set_attr "isa" "noavx,avx,avx512dq")
21293 : 2574 : (set_attr "type" "sselog1")
21294 : : (set_attr "prefix_extra" "1")
21295 : : (set_attr "length_immediate" "1")
21296 : : (set_attr "prefix" "maybe_vex")
21297 : : (set_attr "mode" "TI")])
21298 : :
21299 : : (define_insn "*vec_extractv4si_mem"
21300 : : [(set (match_operand:SI 0 "register_operand" "=x,r")
21301 : : (vec_select:SI
21302 : : (match_operand:V4SI 1 "memory_operand" "o,o")
21303 : : (parallel [(match_operand 2 "const_0_to_3_operand")])))]
21304 : 469 : "TARGET_SSE"
21305 : 83395 : "#")
21306 : :
21307 : : (define_insn_and_split "*vec_extractv4si_zext_mem"
21308 : 342067 : [(set (match_operand:DI 0 "register_operand" "=x,r")
21309 : 342067 : (zero_extend:DI
21310 : 342067 : (vec_select:SI
21311 : : (match_operand:V4SI 1 "memory_operand" "o,o")
21312 : 309949 : (parallel [(match_operand:SI 2 "const_0_to_3_operand")]))))]
21313 : 0 : "TARGET_64BIT && TARGET_SSE"
21314 : 432 : "#"
21315 : 432 : "&& reload_completed"
21316 : 1155 : [(set (match_dup 0) (zero_extend:DI (match_dup 1)))]
21317 : 1202 : {
21318 : 0 : operands[1] = adjust_address (operands[1], SImode, INTVAL (operands[2]) * 4);
21319 : : })
21320 : :
21321 : : (define_insn "*vec_extractv2di_1"
21322 : 0 : [(set (match_operand:DI 0 "nonimmediate_operand" "=jrjm,rm,rm,m,x,x,Yv,x,v,r")
21323 : 407316 : (vec_select:DI
21324 : 376 : (match_operand:V2DI 1 "nonimmediate_operand" "x, x ,v ,v,0,x, v,x,o,o")
21325 : 376 : (parallel [(const_int 1)])))]
21326 : 161811 : "TARGET_SSE && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
21327 : 407230 : "@
21328 : 407230 : pextrq\t{$1, %1, %0|%0, %1, 1}
21329 : 407230 : vpextrq\t{$1, %1, %0|%0, %1, 1}
21330 : 406940 : vpextrq\t{$1, %1, %0|%0, %1, 1}
21331 : 406940 : %vmovhps\t{%1, %0|%0, %1}
21332 : 406940 : psrldq\t{$8, %0|%0, 8}
21333 : 407230 : vpsrldq\t{$8, %1, %0|%0, %1, 8}
21334 : 406940 : vpsrldq\t{$8, %1, %0|%0, %1, 8}
21335 : : movhlps\t{%1, %0|%0, %1}
21336 : 317994 : #
21337 : 317995 : #"
21338 : 829280 : [(set (attr "isa")
21339 : 829281 : (cond [(eq_attr "alternative" "0")
21340 : 317995 : (const_string "x64_sse4_noavx")
21341 : 104598 : (eq_attr "alternative" "1")
21342 : 421339 : (const_string "x64_avx")
21343 : 316742 : (eq_attr "alternative" "2")
21344 : 421338 : (const_string "x64_avx512dq")
21345 : 316742 : (eq_attr "alternative" "4")
21346 : 405346 : (const_string "sse2_noavx")
21347 : 316741 : (eq_attr "alternative" "5")
21348 : 317017 : (const_string "avx")
21349 : 317017 : (eq_attr "alternative" "6")
21350 : 317017 : (const_string "avx512bw")
21351 : 317293 : (eq_attr "alternative" "8")
21352 : 316741 : (const_string "noavx")
21353 : 316741 : (eq_attr "alternative" "9")
21354 : 316741 : (const_string "x64")
21355 : 316741 : ]
21356 : : (const_string "*")))
21357 : 13884 : (set (attr "type")
21358 : 13884 : (cond [(eq_attr "alternative" "3,7,8")
21359 : 13884 : (const_string "ssemov")
21360 : 13884 : (eq_attr "alternative" "4,5,6")
21361 : 13884 : (const_string "sseishft1")
21362 : 13884 : (eq_attr "alternative" "9")
21363 : : (const_string "imov")
21364 : 183479 : ]
21365 : 9802 : (const_string "sselog1")))
21366 : 173677 : (set (attr "addr")
21367 : 9802 : (if_then_else (eq_attr "alternative" "0")
21368 : : (const_string "gpr16")
21369 : : (const_string "*")))
21370 : : (set (attr "length_immediate")
21371 : 0 : (if_then_else (eq_attr "alternative" "0,1,2,4,5,6")
21372 : 0 : (const_string "1")
21373 : : (const_string "*")))
21374 : : (set (attr "prefix_rex")
21375 : : (if_then_else (eq_attr "alternative" "0")
21376 : : (const_string "1")
21377 : : (const_string "*")))
21378 : : (set (attr "prefix_extra")
21379 : : (if_then_else (eq_attr "alternative" "0")
21380 : : (const_string "1")
21381 : : (const_string "*")))
21382 : : (set_attr "prefix" "orig,maybe_evex,evex,maybe_vex,orig,vex,evex,orig,*,*")
21383 : : (set_attr "mode" "TI,TI,TI,V2SF,TI,TI,TI,V4SF,DI,DI")])
21384 : :
21385 : : (define_split
21386 : : [(set (match_operand:<ssescalarmode> 0 "register_operand")
21387 : : (vec_select:<ssescalarmode>
21388 : : (match_operand:VI_128 1 "memory_operand")
21389 : : (parallel
21390 : : [(match_operand 2 "const_0_to_<ssescalarnummask>_operand")])))]
21391 : 5113 : "TARGET_SSE && reload_completed"
21392 : 87238 : [(set (match_dup 0) (match_dup 1))]
21393 : 10548 : {
21394 : 5274 : int offs = INTVAL (operands[2]) * GET_MODE_SIZE (<ssescalarmode>mode);
21395 : 85952 :
21396 : 91226 : operands[1] = adjust_address (operands[1], <ssescalarmode>mode, offs);
21397 : 75823 : })
21398 : 75230 :
21399 : 560 : (define_insn "*vec_extractv2ti"
21400 : 91262 : [(set (match_operand:TI 0 "nonimmediate_operand" "=xjm,vm")
21401 : 13060 : (vec_select:TI
21402 : 5274 : (match_operand:V2TI 1 "register_operand" "x,v")
21403 : 13060 : (parallel
21404 : 13060 : [(match_operand:SI 2 "const_0_to_1_operand")])))]
21405 : 8201 : "TARGET_AVX"
21406 : 13190 : "@
21407 : 13060 : vextract%~128\t{%2, %1, %0|%0, %1, %2}
21408 : 5274 : vextracti32x4\t{%2, %1, %0|%0, %1, %2}"
21409 : 11440 : [(set_attr "type" "sselog")
21410 : 11440 : (set_attr "prefix_extra" "1")
21411 : 11093 : (set_attr "length_immediate" "1")
21412 : 11440 : (set_attr "isa" "noavx512vl,avx512vl")
21413 : 7981 : (set_attr "addr" "gpr16,*")
21414 : 6957 : (set_attr "prefix" "vex,evex")
21415 : 6957 : (set_attr "mode" "OI")])
21416 : 7981 :
21417 : 7981 : (define_insn "*vec_extractv4ti"
21418 : 1024 : [(set (match_operand:TI 0 "nonimmediate_operand" "=vm")
21419 : 7981 : (vec_select:TI
21420 : 1024 : (match_operand:V4TI 1 "register_operand" "v")
21421 : 1033 : (parallel
21422 : 9 : [(match_operand:SI 2 "const_0_to_3_operand")])))]
21423 : 4136 : "TARGET_AVX512F && TARGET_EVEX512"
21424 : 347 : "vextracti32x4\t{%2, %1, %0|%0, %1, %2}"
21425 : 9 : [(set_attr "type" "sselog")
21426 : 9 : (set_attr "length_immediate" "1")
21427 : : (set_attr "prefix" "evex")
21428 : : (set_attr "mode" "XI")])
21429 : :
21430 : : (define_mode_iterator VEXTRACTI128_MODE
21431 : 99 : [(V4TI "TARGET_AVX512F && TARGET_EVEX512") V2TI])
21432 : 99 :
21433 : : (define_split
21434 : : [(set (match_operand:TI 0 "nonimmediate_operand")
21435 : 391386 : (vec_select:TI
21436 : 391386 : (match_operand:VEXTRACTI128_MODE 1 "register_operand")
21437 : 391386 : (parallel [(const_int 0)])))]
21438 : 391598 : "TARGET_AVX
21439 : 268 : && reload_completed
21440 : 333774 : && (TARGET_AVX512VL || !EXT_REX_SSE_REG_P (operands[1]))"
21441 : 28 : [(set (match_dup 0) (match_dup 1))]
21442 : 149 : "operands[1] = gen_lowpart (TImode, operands[1]);")
21443 : 22 :
21444 : 22 : ;; Turn SImode or DImode extraction from arbitrary SSE/AVX/AVX512F
21445 : 149 : ;; vector modes into vec_extract*.
21446 : 149 : (define_split
21447 : 127 : [(set (match_operand:SWI48x 0 "nonimmediate_operand")
21448 : 127 : (subreg:SWI48x (match_operand 1 "register_operand") 0))]
21449 : 347561 : "can_create_pseudo_p ()
21450 : 347434 : && REG_P (operands[1])
21451 : 347561 : && VECTOR_MODE_P (GET_MODE (operands[1]))
21452 : 161923 : && ((TARGET_SSE && GET_MODE_SIZE (GET_MODE (operands[1])) == 16)
21453 : 2766 : || (TARGET_AVX && GET_MODE_SIZE (GET_MODE (operands[1])) == 32)
21454 : 2587 : || (TARGET_AVX512F && TARGET_EVEX512
21455 : 53493 : && GET_MODE_SIZE (GET_MODE (operands[1])) == 64))
21456 : 53411 : && (<MODE>mode == SImode || TARGET_64BIT || MEM_P (operands[0]))"
21457 : 276378 : [(set (match_dup 0) (vec_select:SWI48x (match_dup 1)
21458 : 81319 : (parallel [(const_int 0)])))]
21459 : 79711 : {
21460 : 267731 : rtx tmp;
21461 : 191013 :
21462 : 345432 : switch (GET_MODE_SIZE (GET_MODE (operands[1])))
21463 : 187364 : {
21464 : 407358 : case 64:
21465 : 1634 : if (<MODE>mode == SImode)
21466 : 1608 : {
21467 : 0 : tmp = gen_reg_rtx (V8SImode);
21468 : 0 : emit_insn (gen_vec_extract_lo_v16si (tmp,
21469 : 0 : gen_lowpart (V16SImode,
21470 : : operands[1])));
21471 : : }
21472 : : else
21473 : : {
21474 : 23 : tmp = gen_reg_rtx (V4DImode);
21475 : 23 : emit_insn (gen_vec_extract_lo_v8di (tmp,
21476 : 23 : gen_lowpart (V8DImode,
21477 : : operands[1])));
21478 : : }
21479 : 23 : operands[1] = tmp;
21480 : : /* FALLTHRU */
21481 : 24 : case 32:
21482 : 24 : tmp = gen_reg_rtx (<ssevecmode>mode);
21483 : 24 : if (<MODE>mode == SImode)
21484 : 0 : emit_insn (gen_vec_extract_lo_v8si (tmp, gen_lowpart (V8SImode,
21485 : : operands[1])));
21486 : : else
21487 : 24 : emit_insn (gen_vec_extract_lo_v4di (tmp, gen_lowpart (V4DImode,
21488 : : operands[1])));
21489 : 24 : operands[1] = tmp;
21490 : 24 : break;
21491 : 78302 : case 16:
21492 : 78302 : operands[1] = gen_lowpart (<ssevecmode>mode, operands[1]);
21493 : 78302 : break;
21494 : : }
21495 : : })
21496 : :
21497 : : (define_insn "*vec_concatv2si_sse4_1"
21498 : 78326 : [(set (match_operand:V2SI 0 "register_operand"
21499 : 78326 : "=Yr,*x, x, v,Yr,*x, v, v, *y,*y")
21500 : 78326 : (vec_concat:V2SI
21501 : 78326 : (match_operand:SI 1 "nonimmediate_operand"
21502 : 78326 : " 0, 0, x,Yv, 0, 0,Yv,rm, 0,rm")
21503 : : (match_operand:SI 2 "nonimm_or_0_operand"
21504 : : "jrjm,jrjm,rm,rm,Yr,*x,Yv, C,*ym, C")))]
21505 : 11744 : "TARGET_SSE4_1 && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
21506 : : "@
21507 : : pinsrd\t{$1, %2, %0|%0, %2, 1}
21508 : 789856 : pinsrd\t{$1, %2, %0|%0, %2, 1}
21509 : 789856 : vpinsrd\t{$1, %2, %1, %0|%0, %1, %2, 1}
21510 : 78326 : vpinsrd\t{$1, %2, %1, %0|%0, %1, %2, 1}
21511 : : punpckldq\t{%2, %0|%0, %2}
21512 : : punpckldq\t{%2, %0|%0, %2}
21513 : : vpunpckldq\t{%2, %1, %0|%0, %1, %2}
21514 : : %vmovd\t{%1, %0|%0, %1}
21515 : 1874 : punpckldq\t{%2, %0|%0, %2}
21516 : : movd\t{%1, %0|%0, %1}"
21517 : : [(set_attr "isa" "noavx,noavx,avx,avx512dq,noavx,noavx,avx,*,*,*")
21518 : 1874 : (set (attr "mmx_isa")
21519 : 1874 : (if_then_else (eq_attr "alternative" "8,9")
21520 : 1874 : (const_string "native")
21521 : 1874 : (const_string "*")))
21522 : 1874 : (set (attr "type")
21523 : 1874 : (cond [(eq_attr "alternative" "7")
21524 : : (const_string "ssemov")
21525 : : (eq_attr "alternative" "8")
21526 : : (const_string "mmxcvt")
21527 : : (eq_attr "alternative" "9")
21528 : : (const_string "mmxmov")
21529 : : ]
21530 : : (const_string "sselog")))
21531 : : (set (attr "addr")
21532 : : (if_then_else (eq_attr "alternative" "0,1")
21533 : : (const_string "gpr16")
21534 : : (const_string "*")))
21535 : : (set (attr "prefix_extra")
21536 : : (if_then_else (eq_attr "alternative" "0,1,2,3")
21537 : : (const_string "1")
21538 : : (const_string "*")))
21539 : : (set (attr "length_immediate")
21540 : : (if_then_else (eq_attr "alternative" "0,1,2,3")
21541 : : (const_string "1")
21542 : : (const_string "*")))
21543 : : (set_attr "prefix" "orig,orig,vex,evex,orig,orig,maybe_evex,maybe_vex,orig,orig")
21544 : : (set_attr "mode" "TI,TI,TI,TI,TI,TI,TI,TI,DI,DI")])
21545 : :
21546 : : ;; ??? In theory we can match memory for the MMX alternative, but allowing
21547 : : ;; nonimmediate_operand for operand 2 and *not* allowing memory for the SSE
21548 : : ;; alternatives pretty much forces the MMX alternative to be chosen.
21549 : : (define_insn "*vec_concatv2si"
21550 : : [(set (match_operand:V2SI 0 "register_operand" "=x,x ,x,x,*y,*y")
21551 : : (vec_concat:V2SI
21552 : : (match_operand:SI 1 "nonimmediate_operand" " 0,rm,0,m, 0,rm")
21553 : : (match_operand:SI 2 "reg_or_0_operand" " x,C ,x,C,*y,C")))]
21554 : : "TARGET_SSE && !TARGET_SSE4_1"
21555 : : "@
21556 : : punpckldq\t{%2, %0|%0, %2}
21557 : : movd\t{%1, %0|%0, %1}
21558 : : unpcklps\t{%2, %0|%0, %2}
21559 : : movss\t{%1, %0|%0, %1}
21560 : : punpckldq\t{%2, %0|%0, %2}
21561 : : movd\t{%1, %0|%0, %1}"
21562 : 1735 : [(set_attr "isa" "sse2,sse2,*,*,*,*")
21563 : 1735 : (set_attr "mmx_isa" "*,*,*,*,native,native")
21564 : 1735 : (set_attr "type" "sselog,ssemov,sselog,ssemov,mmxcvt,mmxmov")
21565 : : (set_attr "mode" "TI,TI,V4SF,SF,DI,DI")])
21566 : 1119 :
21567 : : (define_insn "*vec_concat<mode>"
21568 : 247 : [(set (match_operand:VI124_128 0 "register_operand" "=x,v,x,x,v")
21569 : 247 : (vec_concat:VI124_128
21570 : : (match_operand:<ssehalfvecmode> 1 "register_operand" " 0,v,0,0,v")
21571 : : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand" " x,v,x,m,m")))]
21572 : 1176 : "TARGET_SSE"
21573 : : "@
21574 : : punpcklqdq\t{%2, %0|%0, %2}
21575 : : vpunpcklqdq\t{%2, %1, %0|%0, %1, %2}
21576 : 1151167 : movlhps\t{%2, %0|%0, %2}
21577 : 1151167 : movhps\t{%2, %0|%0, %q2}
21578 : : vmovhps\t{%2, %1, %0|%0, %1, %q2}"
21579 : : [(set_attr "isa" "sse2_noavx,avx,noavx,noavx,avx")
21580 : 1151167 : (set_attr "type" "sselog,sselog,ssemov,ssemov2,ssemov2")
21581 : : (set_attr "prefix" "orig,maybe_evex,orig,orig,maybe_evex")
21582 : : (set_attr "mode" "TI,TI,V4SF,V2SF,V2SF")])
21583 : :
21584 : : (define_insn_and_split "*vec_concatv16qi_permt2"
21585 : : [(set (match_operand:V16QI 0 "register_operand")
21586 : : (unspec:V16QI
21587 : : [(const_vector:V16QI [(const_int 0) (const_int 1)
21588 : : (const_int 2) (const_int 3)
21589 : : (const_int 4) (const_int 5)
21590 : : (const_int 6) (const_int 7)
21591 : : (const_int 16) (const_int 17)
21592 : : (const_int 18) (const_int 19)
21593 : : (const_int 20) (const_int 21)
21594 : : (const_int 22) (const_int 23)])
21595 : : (match_operand:V16QI 1 "register_operand")
21596 : : (match_operand:V16QI 2 "nonimmediate_operand")]
21597 : : UNSPEC_VPERMT2))]
21598 : 2 : "TARGET_AVX512VL && TARGET_AVX512VBMI
21599 : 2 : && ix86_pre_reload_split ()"
21600 : 0 : "#"
21601 : : "&& 1"
21602 : 0 : [(set (match_dup 0)
21603 : 1 : (vec_concat:V16QI (match_dup 1) (match_dup 2)))]
21604 : 1 : {
21605 : 1 : operands[1] = lowpart_subreg (V8QImode,
21606 : 0 : force_reg (V16QImode, operands[1]),
21607 : : V16QImode);
21608 : 1 : if (!MEM_P (operands[2]))
21609 : 1 : operands[2] = force_reg (V16QImode, operands[2]);
21610 : 1 : operands[2] = lowpart_subreg (V8QImode, operands[2], V16QImode);
21611 : : })
21612 : :
21613 : : (define_insn_and_split "*vec_concatv8hi_permt2"
21614 : 1 : [(set (match_operand:V8HI 0 "register_operand")
21615 : 1 : (unspec:V8HI
21616 : 1 : [(const_vector:V8HI [(const_int 0) (const_int 1)
21617 : 1 : (const_int 2) (const_int 3)
21618 : 1 : (const_int 8) (const_int 9)
21619 : 1 : (const_int 10) (const_int 11)])
21620 : 1 : (match_operand:V8HI 1 "register_operand")
21621 : : (match_operand:V8HI 2 "nonimmediate_operand")]
21622 : : UNSPEC_VPERMT2))]
21623 : 0 : "TARGET_AVX512VL && TARGET_AVX512BW
21624 : 1 : && ix86_pre_reload_split ()"
21625 : 1 : "#"
21626 : 1 : "&& 1"
21627 : 0 : [(set (match_dup 0)
21628 : 0 : (vec_concat:V8HI (match_dup 1) (match_dup 2)))]
21629 : 0 : {
21630 : 0 : operands[1] = lowpart_subreg (V4HImode,
21631 : 11 : force_reg (V8HImode, operands[1]),
21632 : 23510 : V8HImode);
21633 : 23510 : if (!MEM_P (operands[2]))
21634 : 26928 : operands[2] = force_reg (V8HImode, operands[2]);
21635 : 26928 : operands[2] = lowpart_subreg (V4HImode, operands[2], V8HImode);
21636 : 26928 : })
21637 : 26928 :
21638 : 26928 : (define_insn "*vec_concat<mode>_0"
21639 : 26928 : [(set (match_operand:VI124_128 0 "register_operand" "=v,x")
21640 : 0 : (vec_concat:VI124_128
21641 : 2874 : (match_operand:<ssehalfvecmode> 1 "nonimmediate_operand" "vm,?!*y")
21642 : 2874 : (match_operand:<ssehalfvecmode> 2 "const0_operand")))]
21643 : 3 : "TARGET_SSE2"
21644 : 2874 : "@
21645 : 0 : %vmovq\t{%1, %0|%0, %1}
21646 : : movq2dq\t{%1, %0|%0, %1}"
21647 : 551014 : [(set_attr "mmx_isa" "*,native")
21648 : 551014 : (set_attr "type" "ssemov")
21649 : 0 : (set_attr "prefix" "maybe_vex,orig")
21650 : 0 : (set_attr "mode" "TI")])
21651 : 551014 :
21652 : : (define_insn "vec_concatv2di"
21653 : : [(set (match_operand:V2DI 0 "register_operand"
21654 : : "=Yr,*x,x ,v ,x,v ,x,x,v")
21655 : : (vec_concat:V2DI
21656 : 47 : (match_operand:DI 1 "register_operand"
21657 : : " 0, 0,x ,Yv,0,Yv,0,0,v")
21658 : : (match_operand:DI 2 "nonimmediate_operand"
21659 : 47 : " jrjm,jrjm,rm,rm,x,Yv,x,m,m")))]
21660 : 842402 : "TARGET_SSE"
21661 : 47 : "@
21662 : 47 : pinsrq\t{$1, %2, %0|%0, %2, 1}
21663 : 47 : pinsrq\t{$1, %2, %0|%0, %2, 1}
21664 : 7717 : vpinsrq\t{$1, %2, %1, %0|%0, %1, %2, 1}
21665 : 7670 : vpinsrq\t{$1, %2, %1, %0|%0, %1, %2, 1}
21666 : 7604 : punpcklqdq\t{%2, %0|%0, %2}
21667 : 15274 : vpunpcklqdq\t{%2, %1, %0|%0, %1, %2}
21668 : : movlhps\t{%2, %0|%0, %2}
21669 : 3255 : movhps\t{%2, %0|%0, %2}
21670 : 3255 : vmovhps\t{%2, %1, %0|%0, %1, %2}"
21671 : : [(set (attr "isa")
21672 : : (cond [(eq_attr "alternative" "0,1")
21673 : : (const_string "x64_sse4_noavx")
21674 : : (eq_attr "alternative" "2")
21675 : : (const_string "x64_avx")
21676 : : (eq_attr "alternative" "3")
21677 : : (const_string "x64_avx512dq")
21678 : : (eq_attr "alternative" "4")
21679 : : (const_string "sse2_noavx")
21680 : : (eq_attr "alternative" "5,8")
21681 : : (const_string "avx")
21682 : : ]
21683 : : (const_string "noavx")))
21684 : : (set (attr "type")
21685 : : (if_then_else
21686 : : (eq_attr "alternative" "0,1,2,3,4,5")
21687 : : (const_string "sselog")
21688 : : (const_string "ssemov2")))
21689 : : (set (attr "addr")
21690 : : (if_then_else (eq_attr "alternative" "0,1")
21691 : : (const_string "gpr16")
21692 : : (const_string "*")))
21693 : : (set (attr "prefix_rex")
21694 : : (if_then_else (eq_attr "alternative" "0,1,2,3")
21695 : : (const_string "1")
21696 : : (const_string "*")))
21697 : : (set (attr "prefix_extra")
21698 : : (if_then_else (eq_attr "alternative" "0,1,2,3")
21699 : : (const_string "1")
21700 : : (const_string "*")))
21701 : : (set (attr "length_immediate")
21702 : : (if_then_else (eq_attr "alternative" "0,1,2,3")
21703 : : (const_string "1")
21704 : : (const_string "*")))
21705 : : (set (attr "prefix")
21706 : : (cond [(eq_attr "alternative" "2")
21707 : : (const_string "vex")
21708 : : (eq_attr "alternative" "3")
21709 : : (const_string "evex")
21710 : : (eq_attr "alternative" "5,8")
21711 : : (const_string "maybe_evex")
21712 : : ]
21713 : : (const_string "orig")))
21714 : : (set_attr "mode" "TI,TI,TI,TI,TI,TI,V4SF,V2SF,V2SF")])
21715 : :
21716 : : (define_insn "*vec_concatv2di_0"
21717 : : [(set (match_operand:V2DI 0 "register_operand" "=v,v ,x")
21718 : : (vec_concat:V2DI
21719 : : (match_operand:DI 1 "nonimmediate_operand" " r,vm,?!*y")
21720 : : (match_operand:DI 2 "const0_operand")))]
21721 : 498238 : "TARGET_SSE2"
21722 : : "@
21723 : : * return HAVE_AS_IX86_INTERUNIT_MOVQ ? \"%vmovq\t{%1, %0|%0, %1}\" : \"%vmovd\t{%1, %0|%0, %1}\";
21724 : : %vmovq\t{%1, %0|%0, %1}
21725 : : movq2dq\t{%1, %0|%0, %1}"
21726 : : [(set_attr "isa" "x64,*,*")
21727 : : (set_attr "mmx_isa" "*,*,native")
21728 : : (set_attr "type" "ssemov")
21729 : : (set_attr "prefix_rex" "1,*,*")
21730 : : (set_attr "prefix" "maybe_vex,maybe_vex,orig")
21731 : : (set_attr "mode" "TI")
21732 : : (set (attr "preferred_for_speed")
21733 : 603411 : (cond [(eq_attr "alternative" "0")
21734 : 603411 : (symbol_ref "TARGET_INTER_UNIT_MOVES_TO_VEC")
21735 : : ]
21736 : 73998 : (symbol_ref "true")))])
21737 : 73998 :
21738 : : ;; vmovq clears also the higher bits.
21739 : : (define_insn "vec_set<mode>_0"
21740 : 73998 : [(set (match_operand:VI8_AVX_AVX512F 0 "register_operand" "=v,v")
21741 : : (vec_merge:VI8_AVX_AVX512F
21742 : : (vec_duplicate:VI8_AVX_AVX512F
21743 : : (match_operand:<ssescalarmode> 2 "nonimmediate_operand" "r,vm"))
21744 : : (match_operand:VI8_AVX_AVX512F 1 "const0_operand")
21745 : : (const_int 1)))]
21746 : 80 : "TARGET_AVX"
21747 : : "vmovq\t{%2, %x0|%x0, %2}"
21748 : : [(set_attr "isa" "x64,*")
21749 : : (set_attr "type" "ssemov")
21750 : : (set_attr "prefix_rex" "1,*")
21751 : : (set_attr "prefix" "maybe_evex")
21752 : : (set_attr "mode" "TI")
21753 : : (set (attr "preferred_for_speed")
21754 : : (cond [(eq_attr "alternative" "0")
21755 : : (symbol_ref "TARGET_INTER_UNIT_MOVES_TO_VEC")
21756 : : ]
21757 : : (symbol_ref "true")))])
21758 : 65652 :
21759 : 65652 : (define_expand "vec_unpacks_lo_<mode>"
21760 : : [(match_operand:<sseunpackmode> 0 "register_operand")
21761 : 65644 : (match_operand:VI124_AVX2_24_AVX512F_1_AVX512BW 1 "register_operand")]
21762 : : "TARGET_SSE2"
21763 : 3914 : "ix86_expand_sse_unpack (operands[0], operands[1], false, false); DONE;")
21764 : 293 :
21765 : : (define_expand "vec_unpacks_hi_<mode>"
21766 : : [(match_operand:<sseunpackmode> 0 "register_operand")
21767 : 293 : (match_operand:VI124_AVX2_24_AVX512F_1_AVX512BW 1 "register_operand")]
21768 : : "TARGET_SSE2"
21769 : 3799 : "ix86_expand_sse_unpack (operands[0], operands[1], false, true); DONE;")
21770 : :
21771 : : (define_expand "vec_unpacku_lo_<mode>"
21772 : : [(match_operand:<sseunpackmode> 0 "register_operand")
21773 : : (match_operand:VI124_AVX2_24_AVX512F_1_AVX512BW 1 "register_operand")]
21774 : : "TARGET_SSE2"
21775 : 2177 : "ix86_expand_sse_unpack (operands[0], operands[1], true, false); DONE;")
21776 : :
21777 : : (define_expand "vec_unpacks_sbool_lo_qi"
21778 : : [(match_operand:QI 0 "register_operand")
21779 : : (match_operand:QI 1 "register_operand")
21780 : 2849 : (match_operand:QI 2 "const_int_operand")]
21781 : : "TARGET_AVX512F"
21782 : 100 : {
21783 : 1946 : if (INTVAL (operands[2]) != 8 && INTVAL (operands[2]) != 4)
21784 : 2849 : FAIL;
21785 : 2026 : emit_move_insn (operands[0], operands[1]);
21786 : 4199 : DONE;
21787 : 2849 : })
21788 : 2849 :
21789 : 2173 : (define_expand "vec_unpacks_lo_hi"
21790 : 2273 : [(set (subreg:HI (match_operand:QI 0 "register_operand") 0)
21791 : 2273 : (match_operand:HI 1 "register_operand"))]
21792 : 3169 : "TARGET_AVX512F")
21793 : 2273 :
21794 : 2273 : (define_expand "vec_unpacks_lo_si"
21795 : 996 : [(set (match_operand:HI 0 "register_operand")
21796 : 558 : (subreg:HI (match_operand:SI 1 "register_operand") 0))]
21797 : 458 : "TARGET_AVX512F")
21798 : 458 :
21799 : 458 : (define_expand "vec_unpacks_lo_di"
21800 : 458 : [(set (match_operand:SI 0 "register_operand")
21801 : : (subreg:SI (match_operand:DI 1 "register_operand") 0))]
21802 : : "TARGET_AVX512BW")
21803 : 1727 :
21804 : : (define_expand "vec_unpacku_hi_<mode>"
21805 : : [(match_operand:<sseunpackmode> 0 "register_operand")
21806 : 1727 : (match_operand:VI124_AVX2_24_AVX512F_1_AVX512BW 1 "register_operand")]
21807 : 1933 : "TARGET_SSE2"
21808 : 2185 : "ix86_expand_sse_unpack (operands[0], operands[1], true, true); DONE;")
21809 : 1727 :
21810 : 1727 : (define_expand "vec_unpacks_sbool_hi_qi"
21811 : 1933 : [(match_operand:QI 0 "register_operand")
21812 : 206 : (match_operand:QI 1 "register_operand")
21813 : 206 : (match_operand:QI 2 "const_int_operand")]
21814 : 206 : "TARGET_AVX512F"
21815 : 206 : {
21816 : 206 : HOST_WIDE_INT nunits = INTVAL (operands[2]);
21817 : 206 : if (nunits != 8 && nunits != 4)
21818 : 0 : FAIL;
21819 : 206 : if (TARGET_AVX512DQ)
21820 : 18 : emit_insn (gen_klshiftrtqi (operands[0], operands[1],
21821 : : GEN_INT (nunits / 2)));
21822 : : else
21823 : : {
21824 : 188 : rtx tem = gen_reg_rtx (HImode);
21825 : 1103 : emit_insn (gen_klshiftrthi (tem, lowpart_subreg (HImode, operands[1],
21826 : : QImode),
21827 : : GEN_INT (nunits / 2)));
21828 : 989 : emit_move_insn (operands[0], lowpart_subreg (QImode, tem, HImode));
21829 : 484 : }
21830 : 690 : DONE;
21831 : 569 : })
21832 : 569 :
21833 : 569 : (define_expand "vec_unpacks_hi_hi"
21834 : 569 : [(parallel
21835 : 114 : [(set (subreg:HI (match_operand:QI 0 "register_operand") 0)
21836 : 114 : (lshiftrt:HI (match_operand:HI 1 "register_operand")
21837 : 85 : (const_int 8)))
21838 : 85 : (unspec [(const_int 0)] UNSPEC_MASKOP)])]
21839 : 85 : "TARGET_AVX512F")
21840 : 85 :
21841 : : (define_expand "vec_unpacks_hi_<mode>"
21842 : : [(parallel
21843 : : [(set (subreg:SWI48x
21844 : 0 : (match_operand:<HALFMASKMODE> 0 "register_operand") 0)
21845 : : (lshiftrt:SWI48x
21846 : : (match_operand:SWI48x 1 "register_operand")
21847 : : (match_dup 2)))
21848 : 0 : (unspec [(const_int 0)] UNSPEC_MASKOP)])]
21849 : 0 : "TARGET_AVX512BW"
21850 : 455 : "operands[2] = GEN_INT (GET_MODE_BITSIZE (<HALFMASKMODE>mode));")
21851 : 24 :
21852 : 0 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
21853 : 455 : ;;
21854 : 455 : ;; Miscellaneous
21855 : 455 : ;;
21856 : 455 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
21857 : 479 :
21858 : 479 : (define_expand "<sse2_avx2>_uavg<mode>3<mask_name>"
21859 : 24 : [(set (match_operand:VI12_AVX2_AVX512BW 0 "register_operand")
21860 : 479 : (truncate:VI12_AVX2_AVX512BW
21861 : 24 : (lshiftrt:<ssedoublemode>
21862 : 24 : (plus:<ssedoublemode>
21863 : 24 : (plus:<ssedoublemode>
21864 : 24 : (zero_extend:<ssedoublemode>
21865 : 24 : (match_operand:VI12_AVX2_AVX512BW 1 "vector_operand"))
21866 : 24 : (zero_extend:<ssedoublemode>
21867 : : (match_operand:VI12_AVX2_AVX512BW 2 "vector_operand")))
21868 : : (match_dup <mask_expand_op3>))
21869 : : (const_int 1))))]
21870 : : "TARGET_SSE2 && <mask_mode512bit_condition> && <mask_avx512bw_condition>"
21871 : 226 : {
21872 : 631 : operands[<mask_expand_op3>] = CONST1_RTX(<ssedoublemode>mode);
21873 : 593 : ix86_fixup_binary_operands_no_copy (PLUS, <MODE>mode, operands);
21874 : 455 : })
21875 : :
21876 : : (define_insn "*<sse2_avx2>_uavg<mode>3<mask_name>"
21877 : 226 : [(set (match_operand:VI12_AVX2_AVX512BW 0 "register_operand" "=x,<v_Yw>")
21878 : 226 : (truncate:VI12_AVX2_AVX512BW
21879 : 276 : (lshiftrt:<ssedoublemode>
21880 : 226 : (plus:<ssedoublemode>
21881 : 226 : (plus:<ssedoublemode>
21882 : 226 : (zero_extend:<ssedoublemode>
21883 : 240 : (match_operand:VI12_AVX2_AVX512BW 1 "vector_operand" "%0,<v_Yw>"))
21884 : 240 : (zero_extend:<ssedoublemode>
21885 : 219 : (match_operand:VI12_AVX2_AVX512BW 2 "vector_operand" "xBm,<v_Yw>m")))
21886 : 238 : (match_operand:<ssedoublemode> <mask_expand_op3> "const1_operand"))
21887 : 183 : (const_int 1))))]
21888 : 775 : "TARGET_SSE2 && <mask_mode512bit_condition> && <mask_avx512bw_condition>
21889 : 1835 : && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
21890 : 183 : "@
21891 : 36 : pavg<ssemodesuffix>\t{%2, %0|%0, %2}
21892 : 36 : vpavg<ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
21893 : 327 : [(set_attr "isa" "noavx,avx")
21894 : 327 : (set_attr "type" "sseiadd")
21895 : : (set_attr "prefix_data16" "1,*")
21896 : : (set_attr "prefix" "orig,<mask_prefix>")
21897 : 163 : (set_attr "mode" "<sseinsnmode>")])
21898 : 681 :
21899 : 938 : ;; The correct representation for this is absolutely enormous, and
21900 : 381 : ;; surely not generally useful.
21901 : 1262 : (define_expand "<sse2_avx2>_psadbw"
21902 : 881 : [(set (match_operand:VI8_AVX2_AVX512BW 0 "register_operand")
21903 : 381 : (unspec:VI8_AVX2_AVX512BW
21904 : 1882 : [(match_operand:<ssebytemode> 1 "vector_operand")
21905 : 1053 : (match_operand:<ssebytemode> 2 "vector_operand")]
21906 : 222 : UNSPEC_PSADBW))]
21907 : 56 : "TARGET_SSE2"
21908 : 3517 : "ix86_fixup_binary_operands_no_copy (PLUS, <ssebytemode>mode, operands);")
21909 : 1335 :
21910 : 2540 : (define_insn "*<sse2_avx2>_psadbw"
21911 : 3863 : [(set (match_operand:VI8_AVX2_AVX512BW 0 "register_operand" "=x,YW")
21912 : 3527 : (unspec:VI8_AVX2_AVX512BW
21913 : 3013 : [(match_operand:<ssebytemode> 1 "vector_operand" "%0,YW")
21914 : 1769 : (match_operand:<ssebytemode> 2 "vector_operand" "xBm,YWm")]
21915 : 2108 : UNSPEC_PSADBW))]
21916 : 22507 : "TARGET_SSE2
21917 : 21165 : && ix86_binary_operator_ok (PLUS, <ssebytemode>mode, operands)"
21918 : 20273 : "@
21919 : 524 : psadbw\t{%2, %0|%0, %2}
21920 : 500 : vpsadbw\t{%2, %1, %0|%0, %1, %2}"
21921 : 11 : [(set_attr "isa" "noavx,avx")
21922 : 489 : (set_attr "type" "sseiadd")
21923 : 489 : (set_attr "atom_unit" "simul")
21924 : 1818 : (set_attr "prefix_data16" "1,*")
21925 : 1887 : (set_attr "prefix" "orig,maybe_evex")
21926 : 1887 : (set_attr "mode" "<sseinsnmode>")])
21927 : 69 :
21928 : 107 : (define_insn "<sse>_movmsk<ssemodesuffix><avxsizesuffix>"
21929 : 107 : [(set (match_operand:SI 0 "register_operand" "=r,jr")
21930 : 69 : (unspec:SI
21931 : 69 : [(match_operand:VF_128_256 1 "register_operand" "x,x")]
21932 : 69 : UNSPEC_MOVMSK))]
21933 : 5053 : "TARGET_SSE"
21934 : 0 : "%vmovmsk<ssemodesuffix>\t{%1, %0|%0, %1}"
21935 : 0 : [(set_attr "isa" "noavx,avx")
21936 : 0 : (set_attr "type" "ssemov")
21937 : 96 : (set_attr "prefix" "maybe_evex")
21938 : 96 : (set_attr "mode" "<MODE>")])
21939 : 96 :
21940 : : (define_insn "*<sse>_movmsk<ssemodesuffix><avxsizesuffix>_<u>ext"
21941 : : [(set (match_operand:DI 0 "register_operand" "=r,jr")
21942 : : (any_extend:DI
21943 : : (unspec:SI
21944 : : [(match_operand:VF_128_256 1 "register_operand" "x,x")]
21945 : : UNSPEC_MOVMSK)))]
21946 : 26 : "TARGET_64BIT && TARGET_SSE"
21947 : : "%vmovmsk<ssemodesuffix>\t{%1, %0|%0, %1}"
21948 : : [(set_attr "isa" "noavx,avx")
21949 : : (set_attr "type" "ssemov")
21950 : 10 : (set_attr "prefix" "maybe_evex")
21951 : 10 : (set_attr "mode" "<MODE>")])
21952 : 10 :
21953 : : (define_insn_and_split "*<sse>_movmsk<ssemodesuffix><avxsizesuffix>_lt"
21954 : : [(set (match_operand:SI 0 "register_operand" "=r,jr")
21955 : : (unspec:SI
21956 : : [(lt:VF_128_256
21957 : : (match_operand:<sseintvecmode> 1 "register_operand" "x,x")
21958 : : (match_operand:<sseintvecmode> 2 "const0_operand"))]
21959 : : UNSPEC_MOVMSK))]
21960 : 6 : "TARGET_SSE"
21961 : : "#"
21962 : 6 : "&& reload_completed"
21963 : : [(set (match_dup 0)
21964 : 7 : (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK))]
21965 : 7 : "operands[1] = gen_lowpart (<MODE>mode, operands[1]);"
21966 : 11 : [(set_attr "isa" "noavx,avx")
21967 : 6 : (set_attr "type" "ssemov")
21968 : 3 : (set_attr "prefix" "maybe_vex")
21969 : 3 : (set_attr "mode" "<MODE>")])
21970 : 3 :
21971 : 3 : (define_insn_and_split "*<sse>_movmsk<ssemodesuffix><avxsizesuffix>_lt_avx512"
21972 : 3 : [(set (match_operand:SI 0 "register_operand" "=r,jr")
21973 : : (unspec:SI
21974 : : [(subreg:VF_128_256
21975 : : (vec_merge:<sseintvecmode>
21976 : : (match_operand:<sseintvecmode> 3 "vector_all_ones_operand")
21977 : 3 : (match_operand:<sseintvecmode> 4 "const0_operand")
21978 : 3 : (unspec:<avx512fmaskmode>
21979 : 3 : [(match_operand:<sseintvecmode> 1 "register_operand" "x,x")
21980 : : (match_operand:<sseintvecmode> 2 "const0_operand")
21981 : : (const_int 1)]
21982 : : UNSPEC_PCMP)) 0)]
21983 : : UNSPEC_MOVMSK))]
21984 : 0 : "TARGET_SSE"
21985 : 1 : "#"
21986 : 0 : "&& reload_completed"
21987 : 1 : [(set (match_dup 0)
21988 : 1 : (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK))]
21989 : 1 : "operands[1] = gen_lowpart (<MODE>mode, operands[1]);"
21990 : 1 : [(set_attr "isa" "noavx,avx")
21991 : 0 : (set_attr "type" "ssemov")
21992 : 1 : (set_attr "prefix" "maybe_vex")
21993 : 0 : (set_attr "mode" "<MODE>")])
21994 : 20 :
21995 : 20 : (define_insn_and_split "*<sse>_movmsk<ssemodesuffix><avxsizesuffix>_<u>ext_lt"
21996 : 0 : [(set (match_operand:DI 0 "register_operand" "=r,jr")
21997 : 6 : (any_extend:DI
21998 : 12 : (unspec:SI
21999 : : [(lt:VF_128_256
22000 : : (match_operand:<sseintvecmode> 1 "register_operand" "x,x")
22001 : 0 : (match_operand:<sseintvecmode> 2 "const0_operand"))]
22002 : 0 : UNSPEC_MOVMSK)))]
22003 : 2 : "TARGET_64BIT && TARGET_SSE"
22004 : : "#"
22005 : 2 : "&& reload_completed"
22006 : : [(set (match_dup 0)
22007 : 2 : (any_extend:DI (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK)))]
22008 : 2 : "operands[1] = gen_lowpart (<MODE>mode, operands[1]);"
22009 : 3 : [(set_attr "isa" "noavx,avx")
22010 : 2 : (set_attr "type" "ssemov")
22011 : 1 : (set_attr "prefix" "maybe_vex")
22012 : 1 : (set_attr "mode" "<MODE>")])
22013 : 1 :
22014 : 1 : (define_insn_and_split "*<sse>_movmsk<ssemodesuffix><avxsizesuffix>_<u>ext_lt_avx512"
22015 : 1 : [(set (match_operand:DI 0 "register_operand" "=r,jr")
22016 : 0 : (any_extend:DI
22017 : : (unspec:SI
22018 : : [(subreg:VF_128_256
22019 : : (vec_merge:<sseintvecmode>
22020 : : (match_operand:<sseintvecmode> 3 "vector_all_ones_operand")
22021 : 1 : (match_operand:<sseintvecmode> 4 "const0_operand")
22022 : 1 : (unspec:<avx512fmaskmode>
22023 : 1 : [(match_operand:<sseintvecmode> 1 "register_operand" "x,x")
22024 : : (match_operand:<sseintvecmode> 2 "const0_operand")
22025 : : (const_int 1)]
22026 : : UNSPEC_PCMP)) 0)]
22027 : : UNSPEC_MOVMSK)))]
22028 : 0 : "TARGET_64BIT && TARGET_SSE"
22029 : 7 : "#"
22030 : 0 : "&& reload_completed"
22031 : 7 : [(set (match_dup 0)
22032 : 7 : (any_extend:DI (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK)))]
22033 : 7 : "operands[1] = gen_lowpart (<MODE>mode, operands[1]);"
22034 : 9 : [(set_attr "isa" "noavx,avx")
22035 : 0 : (set_attr "type" "ssemov")
22036 : 7 : (set_attr "prefix" "maybe_vex")
22037 : 0 : (set_attr "mode" "<MODE>")])
22038 : 0 :
22039 : 0 : (define_insn_and_split "*<sse>_movmsk<ssemodesuffix><avxsizesuffix>_shift"
22040 : 0 : [(set (match_operand:SI 0 "register_operand" "=r,jr")
22041 : : (unspec:SI
22042 : : [(subreg:VF_128_256
22043 : : (ashiftrt:<sseintvecmode>
22044 : : (match_operand:<sseintvecmode> 1 "register_operand" "x,x")
22045 : : (match_operand:QI 2 "const_int_operand")) 0)]
22046 : 0 : UNSPEC_MOVMSK))]
22047 : 14 : "TARGET_SSE"
22048 : 0 : "#"
22049 : 6 : "&& reload_completed"
22050 : : [(set (match_dup 0)
22051 : 10 : (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK))]
22052 : 10 : "operands[1] = gen_lowpart (<MODE>mode, operands[1]);"
22053 : 14 : [(set_attr "isa" "noavx,avx")
22054 : 18 : (set_attr "type" "ssemov")
22055 : 10 : (set_attr "prefix" "maybe_vex")
22056 : 14 : (set_attr "mode" "<MODE>")])
22057 : 18 :
22058 : 18 : (define_insn_and_split "*<sse>_movmsk<ssemodesuffix><avxsizesuffix>_<u>ext_shift"
22059 : 18 : [(set (match_operand:DI 0 "register_operand" "=r,jr")
22060 : 4 : (any_extend:DI
22061 : 4 : (unspec:SI
22062 : 4 : [(subreg:VF_128_256
22063 : : (ashiftrt:<sseintvecmode>
22064 : 12 : (match_operand:<sseintvecmode> 1 "register_operand" "x,x")
22065 : 12 : (match_operand:QI 2 "const_int_operand")) 0)]
22066 : 10 : UNSPEC_MOVMSK)))]
22067 : 2 : "TARGET_64BIT && TARGET_SSE"
22068 : : "#"
22069 : 2 : "&& reload_completed"
22070 : : [(set (match_dup 0)
22071 : 2 : (any_extend:DI (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK)))]
22072 : 5 : "operands[1] = gen_lowpart (<MODE>mode, operands[1]);"
22073 : 2 : [(set_attr "isa" "noavx,avx")
22074 : 6 : (set_attr "type" "ssemov")
22075 : 6 : (set_attr "prefix" "maybe_vex")
22076 : 6 : (set_attr "mode" "<MODE>")])
22077 : 5 :
22078 : 2 : (define_insn "<sse2_avx2>_pmovmskb"
22079 : 5 : [(set (match_operand:SI 0 "register_operand" "=r,jr")
22080 : 3 : (unspec:SI
22081 : 2 : [(match_operand:VI1_AVX2 1 "register_operand" "x,x")]
22082 : 2 : UNSPEC_MOVMSK))]
22083 : 504 : "TARGET_SSE2"
22084 : 2 : "%vpmovmskb\t{%1, %0|%0, %1}"
22085 : 2 : [(set_attr "isa" "noavx,avx")
22086 : 2 : (set_attr "type" "ssemov")
22087 : 2 : (set (attr "prefix_data16")
22088 : : (if_then_else
22089 : 2 : (match_test "TARGET_AVX")
22090 : 74 : (const_string "*")
22091 : 74 : (const_string "1")))
22092 : : (set_attr "prefix" "maybe_vex")
22093 : 84 : (set_attr "mode" "SI")])
22094 : 72 :
22095 : 12 : (define_insn "*<sse2_avx2>_pmovmskb_zext"
22096 : 12 : [(set (match_operand:DI 0 "register_operand" "=r,jr")
22097 : 17 : (zero_extend:DI
22098 : 12 : (unspec:SI
22099 : 13 : [(match_operand:VI1_AVX2 1 "register_operand" "x,x")]
22100 : 17 : UNSPEC_MOVMSK)))]
22101 : 41 : "TARGET_64BIT && TARGET_SSE2"
22102 : 13 : "%vpmovmskb\t{%1, %k0|%k0, %1}"
22103 : 0 : [(set_attr "isa" "noavx,avx")
22104 : 5 : (set_attr "type" "ssemov")
22105 : : (set (attr "prefix_data16")
22106 : : (if_then_else
22107 : : (match_test "TARGET_AVX")
22108 : 2 : (const_string "*")
22109 : : (const_string "1")))
22110 : 2 : (set_attr "prefix" "maybe_vex")
22111 : : (set_attr "mode" "SI")])
22112 : 0 :
22113 : 0 : (define_insn "*sse2_pmovmskb_ext"
22114 : : [(set (match_operand:DI 0 "register_operand" "=r,jr")
22115 : : (sign_extend:DI
22116 : : (unspec:SI
22117 : : [(match_operand:V16QI 1 "register_operand" "x,x")]
22118 : : UNSPEC_MOVMSK)))]
22119 : 2 : "TARGET_64BIT && TARGET_SSE2"
22120 : : "%vpmovmskb\t{%1, %k0|%k0, %1}"
22121 : : [(set_attr "isa" "noavx,avx")
22122 : : (set_attr "type" "ssemov")
22123 : : (set (attr "prefix_data16")
22124 : : (if_then_else
22125 : : (match_test "TARGET_AVX")
22126 : 0 : (const_string "*")
22127 : : (const_string "1")))
22128 : 0 : (set_attr "prefix" "maybe_vex")
22129 : : (set_attr "mode" "SI")])
22130 : 0 :
22131 : 0 : (define_insn_and_split "*sse2_pmovskb_zexthisi"
22132 : : [(set (match_operand:SI 0 "register_operand")
22133 : : (zero_extend:SI
22134 : : (subreg:HI
22135 : : (unspec:SI
22136 : : [(match_operand:V16QI 1 "register_operand")]
22137 : : UNSPEC_MOVMSK) 0)))]
22138 : 6 : "TARGET_SSE2 && ix86_pre_reload_split ()"
22139 : 22120 : "#"
22140 : : "&& 1"
22141 : 58280 : [(set (match_dup 0)
22142 : 2 : (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK))])
22143 : :
22144 : : (define_split
22145 : : [(set (match_operand:SI 0 "register_operand")
22146 : : (zero_extend:SI
22147 : : (not:HI
22148 : 50897 : (subreg:HI
22149 : : (unspec:SI
22150 : 117389 : [(match_operand:V16QI 1 "register_operand")]
22151 : : UNSPEC_MOVMSK) 0))))]
22152 : 50898 : "TARGET_SSE2"
22153 : 168286 : [(set (match_dup 2)
22154 : 50898 : (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK))
22155 : 168286 : (set (match_dup 0)
22156 : 168286 : (xor:SI (match_dup 2) (const_int 65535)))]
22157 : 168287 : "operands[2] = gen_reg_rtx (SImode);")
22158 : :
22159 : 21235 : (define_split
22160 : 15683 : [(set (match_operand:SI 0 "register_operand")
22161 : 18248 : (unspec:SI
22162 : 2616 : [(not:VI1_AVX2 (match_operand:VI1_AVX2 1 "register_operand"))]
22163 : 16596 : UNSPEC_MOVMSK))]
22164 : 14033 : "TARGET_SSE2"
22165 : 17699 : [(set (match_dup 2)
22166 : 15044 : (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK))
22167 : 50 : (set (match_dup 0) (match_dup 3))]
22168 : 2985 : {
22169 : 10 : operands[2] = gen_reg_rtx (SImode);
22170 : 1007 : if (GET_MODE_NUNITS (<MODE>mode) == 32)
22171 : 1006 : operands[3] = gen_rtx_NOT (SImode, operands[2]);
22172 : 997 : else
22173 : 1009 : {
22174 : 2 : operands[3]
22175 : 3 : = gen_int_mode ((HOST_WIDE_INT_1 << GET_MODE_NUNITS (<MODE>mode)) - 1,
22176 : 1 : SImode);
22177 : 3 : operands[3] = gen_rtx_XOR (SImode, operands[2], operands[3]);
22178 : : }
22179 : : })
22180 : :
22181 : : (define_split
22182 : 4 : [(set (match_operand:SI 0 "register_operand")
22183 : 7 : (unspec:SI
22184 : 4 : [(subreg:VI1_AVX2 (not (match_operand 1 "register_operand")) 0)]
22185 : 7 : UNSPEC_MOVMSK))]
22186 : 11 : "TARGET_SSE2
22187 : 11 : && GET_MODE_CLASS (GET_MODE (operands[1])) == MODE_VECTOR_INT
22188 : 15 : && GET_MODE_SIZE (GET_MODE (operands[1])) == <MODE_SIZE>"
22189 : 4 : [(set (match_dup 2)
22190 : 9 : (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK))
22191 : : (set (match_dup 0) (match_dup 3))]
22192 : 4 : {
22193 : 4 : operands[2] = gen_reg_rtx (SImode);
22194 : 4 : operands[1] = gen_lowpart (<MODE>mode, operands[1]);
22195 : 8 : if (GET_MODE_NUNITS (<MODE>mode) == 32)
22196 : 2 : operands[3] = gen_rtx_NOT (SImode, operands[2]);
22197 : 4 : else
22198 : 4 : {
22199 : 6 : operands[3]
22200 : 16 : = gen_int_mode ((HOST_WIDE_INT_1 << GET_MODE_NUNITS (<MODE>mode)) - 1,
22201 : 14 : SImode);
22202 : 2 : operands[3] = gen_rtx_XOR (SImode, operands[2], operands[3]);
22203 : 0 : }
22204 : 0 : })
22205 : 0 :
22206 : : (define_insn_and_split "*<sse2_avx2>_pmovmskb_lt"
22207 : 4 : [(set (match_operand:SI 0 "register_operand" "=r,jr")
22208 : 4 : (unspec:SI
22209 : 4 : [(lt:VI1_AVX2 (match_operand:VI1_AVX2 1 "register_operand" "x,x")
22210 : 4 : (match_operand:VI1_AVX2 2 "const0_operand"))]
22211 : 4 : UNSPEC_MOVMSK))]
22212 : 15 : "TARGET_SSE2"
22213 : 4 : "#"
22214 : 4 : "&& 1"
22215 : 4 : [(set (match_dup 0)
22216 : 8 : (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK))]
22217 : : ""
22218 : 3 : [(set_attr "isa" "noavx,avx")
22219 : 3 : (set_attr "type" "ssemov")
22220 : 12 : (set (attr "prefix_data16")
22221 : 8 : (if_then_else
22222 : 16 : (match_test "TARGET_AVX")
22223 : 16 : (const_string "*")
22224 : 16 : (const_string "1")))
22225 : 4 : (set_attr "prefix" "maybe_vex")
22226 : : (set_attr "mode" "SI")])
22227 : 2 :
22228 : 2 : (define_insn_and_split "*<sse2_avx2>_pmovmskb_lt_avx512"
22229 : 10 : [(set (match_operand:SI 0 "register_operand" "=r,jr")
22230 : 8 : (unspec:SI
22231 : 8 : [(vec_merge:VI1_AVX2
22232 : 0 : (match_operand:VI1_AVX2 3 "vector_all_ones_operand")
22233 : 0 : (match_operand:VI1_AVX2 4 "const0_operand")
22234 : 0 : (unspec:<avx512fmaskmode>
22235 : 0 : [(match_operand:VI1_AVX2 1 "register_operand" "x,x")
22236 : 0 : (match_operand:VI1_AVX2 2 "const0_operand")
22237 : 0 : (const_int 1)]
22238 : 0 : UNSPEC_PCMP))]
22239 : 0 : UNSPEC_MOVMSK))]
22240 : 0 : "TARGET_SSE2"
22241 : 0 : "#"
22242 : 0 : "&& 1"
22243 : 0 : [(set (match_dup 0)
22244 : 0 : (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK))]
22245 : 0 : ""
22246 : 0 : [(set_attr "isa" "noavx,avx")
22247 : 0 : (set_attr "type" "ssemov")
22248 : 0 : (set (attr "prefix_data16")
22249 : 0 : (if_then_else
22250 : 0 : (match_test "TARGET_AVX")
22251 : 0 : (const_string "*")
22252 : 0 : (const_string "1")))
22253 : : (set_attr "prefix" "maybe_vex")
22254 : 0 : (set_attr "mode" "SI")])
22255 : 0 :
22256 : 0 : (define_insn_and_split "*<sse2_avx2>_pmovmskb_zext_lt"
22257 : 0 : [(set (match_operand:DI 0 "register_operand" "=r,jr")
22258 : 0 : (zero_extend:DI
22259 : 0 : (unspec:SI
22260 : 0 : [(lt:VI1_AVX2 (match_operand:VI1_AVX2 1 "register_operand" "x,x")
22261 : : (match_operand:VI1_AVX2 2 "const0_operand"))]
22262 : : UNSPEC_MOVMSK)))]
22263 : 1 : "TARGET_64BIT && TARGET_SSE2"
22264 : : "#"
22265 : 1 : "&& 1"
22266 : : [(set (match_dup 0)
22267 : 5 : (zero_extend:DI (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK)))]
22268 : 1 : ""
22269 : 4 : [(set_attr "isa" "noavx,avx")
22270 : 3 : (set_attr "type" "ssemov")
22271 : 5 : (set (attr "prefix_data16")
22272 : 5 : (if_then_else
22273 : 11 : (match_test "TARGET_AVX")
22274 : 11 : (const_string "*")
22275 : 4 : (const_string "1")))
22276 : 0 : (set_attr "prefix" "maybe_vex")
22277 : 0 : (set_attr "mode" "SI")])
22278 : :
22279 : : (define_insn_and_split "*<sse2_avx2>_pmovmskb_zext_lt_avx512"
22280 : 0 : [(set (match_operand:DI 0 "register_operand" "=r,jr")
22281 : 5 : (zero_extend:DI
22282 : 5 : (unspec:SI
22283 : 5 : [(vec_merge:VI1_AVX2
22284 : : (match_operand:VI1_AVX2 3 "vector_all_ones_operand")
22285 : : (match_operand:VI1_AVX2 4 "const0_operand")
22286 : : (unspec:<avx512fmaskmode>
22287 : : [(match_operand:VI1_AVX2 1 "register_operand" "x,x")
22288 : 0 : (match_operand:VI1_AVX2 2 "const0_operand")
22289 : 1 : (const_int 1)]
22290 : 0 : UNSPEC_PCMP))]
22291 : 1 : UNSPEC_MOVMSK)))]
22292 : 1 : "TARGET_64BIT && TARGET_SSE2"
22293 : 1 : "#"
22294 : 0 : "&& 1"
22295 : 1 : [(set (match_dup 0)
22296 : 1 : (zero_extend:DI (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK)))]
22297 : 1 : ""
22298 : 1 : [(set_attr "isa" "noavx,avx")
22299 : 0 : (set_attr "type" "ssemov")
22300 : 0 : (set (attr "prefix_data16")
22301 : 0 : (if_then_else
22302 : 0 : (match_test "TARGET_AVX")
22303 : 0 : (const_string "*")
22304 : 0 : (const_string "1")))
22305 : 1 : (set_attr "prefix" "maybe_vex")
22306 : 58283 : (set_attr "mode" "SI")])
22307 : 58283 :
22308 : 59216 : (define_insn_and_split "*sse2_pmovmskb_ext_lt"
22309 : 932 : [(set (match_operand:DI 0 "register_operand" "=r,jr")
22310 : 932 : (sign_extend:DI
22311 : 956 : (unspec:SI
22312 : 948 : [(lt:V16QI (match_operand:V16QI 1 "register_operand" "x,x")
22313 : 947 : (match_operand:V16QI 2 "const0_operand"))]
22314 : : UNSPEC_MOVMSK)))]
22315 : 278 : "TARGET_64BIT && TARGET_SSE2"
22316 : 294 : "#"
22317 : 337 : "&& 1"
22318 : 333 : [(set (match_dup 0)
22319 : 303 : (sign_extend:DI (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK)))]
22320 : 317 : ""
22321 : 614 : [(set_attr "isa" "noavx,avx")
22322 : 40 : (set_attr "type" "ssemov")
22323 : 55 : (set (attr "prefix_data16")
22324 : 24 : (if_then_else
22325 : 25 : (match_test "TARGET_AVX")
22326 : 25 : (const_string "*")
22327 : 0 : (const_string "1")))
22328 : 0 : (set_attr "prefix" "maybe_vex")
22329 : 0 : (set_attr "mode" "SI")])
22330 : :
22331 : : (define_insn_and_split "*sse2_pmovmskb_ext_lt_avx512"
22332 : : [(set (match_operand:DI 0 "register_operand" "=r,jr")
22333 : 15 : (sign_extend:DI
22334 : 0 : (unspec:SI
22335 : 15 : [(vec_merge:VI1_AVX2
22336 : 15 : (match_operand:VI1_AVX2 3 "vector_all_ones_operand")
22337 : 0 : (match_operand:VI1_AVX2 4 "const0_operand")
22338 : 15 : (unspec:<avx512fmaskmode>
22339 : : [(match_operand:VI1_AVX2 1 "register_operand" "x,x")
22340 : : (match_operand:VI1_AVX2 2 "const0_operand")
22341 : 15 : (const_int 1)]
22342 : : UNSPEC_PCMP))]
22343 : 15 : UNSPEC_MOVMSK)))]
22344 : 15 : "TARGET_64BIT && TARGET_SSE2"
22345 : 0 : "#"
22346 : 15 : "&& 1"
22347 : : [(set (match_dup 0)
22348 : 0 : (sign_extend:DI (unspec:SI [(match_dup 1)] UNSPEC_MOVMSK)))]
22349 : : ""
22350 : 0 : [(set_attr "isa" "noavx,avx")
22351 : 0 : (set_attr "type" "ssemov")
22352 : 0 : (set (attr "prefix_data16")
22353 : 0 : (if_then_else
22354 : 0 : (match_test "TARGET_AVX")
22355 : 0 : (const_string "*")
22356 : 0 : (const_string "1")))
22357 : : (set_attr "prefix" "maybe_vex")
22358 : : (set_attr "mode" "SI")])
22359 : :
22360 : 472246 : (define_insn_and_split "*pmovsk_kmask_v16qi_avx512"
22361 : : [(set (match_operand:SI 0 "register_operand")
22362 : 476741 : (unspec:SI
22363 : 472246 : [(vec_merge:V16QI
22364 : 472246 : (match_operand:V16QI 2 "vector_all_ones_operand")
22365 : 472246 : (match_operand:V16QI 3 "const0_operand")
22366 : 476741 : (match_operand:HI 1 "register_operand"))]
22367 : 476741 : UNSPEC_MOVMSK))]
22368 : 476741 : "TARGET_SSE2 && ix86_pre_reload_split ()"
22369 : 4495 : "#"
22370 : 457828 : "&& 1"
22371 : 453303 : [(set (match_dup 0)
22372 : 453444 : (zero_extend:SI (match_dup 1)))])
22373 : 453444 :
22374 : 0 : (define_insn_and_split "*pmovsk_mask_v32qi_avx512"
22375 : 88465 : [(set (match_operand:SI 0 "register_operand")
22376 : 88435 : (unspec:SI
22377 : 111 : [(vec_merge:V32QI
22378 : 17075 : (match_operand:V32QI 2 "vector_all_ones_operand")
22379 : 17075 : (match_operand:V32QI 3 "const0_operand")
22380 : 17075 : (match_operand:SI 1 "register_operand"))]
22381 : 10590 : UNSPEC_MOVMSK))]
22382 : 0 : "TARGET_SSE2 && ix86_pre_reload_split ()"
22383 : 10590 : "#"
22384 : : "&& 1"
22385 : 389 : [(set (match_dup 0)
22386 : 389 : (match_dup 1))])
22387 : 389 :
22388 : 7 : ;; Optimize pxor/pcmpeqb/pmovmskb/cmp 0xffff to ptest.
22389 : 389 : (define_mode_attr vi1avx2const
22390 : : [(V32QI "0xffffffff") (V16QI "0xffff")])
22391 : :
22392 : : (define_split
22393 : : [(set (reg:CCZ FLAGS_REG)
22394 : : (compare:CCZ (unspec:SI
22395 : : [(eq:VI1_AVX2
22396 : 13217 : (match_operand:VI1_AVX2 0 "vector_operand")
22397 : 857 : (match_operand:VI1_AVX2 1 "const0_operand"))]
22398 : 857 : UNSPEC_MOVMSK)
22399 : 780 : (match_operand 2 "const_int_operand")))]
22400 : 12439 : "TARGET_SSE4_1 && (INTVAL (operands[2]) == (int) (<vi1avx2const>))"
22401 : 12438 : [(set (reg:CCZ FLAGS_REG)
22402 : 12438 : (unspec:CCZ [(match_dup 0)
22403 : 12460 : (match_dup 0)]
22404 : 12360 : UNSPEC_PTEST))])
22405 : 12360 :
22406 : 12360 : (define_insn_and_split "*pmovsk_mask_cmp_<mode>_avx512"
22407 : 12360 : [(set (reg:CCZ FLAGS_REG)
22408 : 12360 : (compare:CCZ
22409 : 12360 : (unspec:SI
22410 : : [(vec_merge:VI1_AVX2
22411 : 1374 : (match_operand:VI1_AVX2 0 "vector_all_ones_operand")
22412 : 1374 : (match_operand:VI1_AVX2 3 "const0_operand")
22413 : : (match_operand:<avx512fmaskmode> 1 "register_operand"))]
22414 : : UNSPEC_MOVMSK)
22415 : 1374 : (match_operand 2 "const_int_operand")))]
22416 : 0 : "TARGET_AVX512VL && UINTVAL (operands[2]) <= <vi1avx2const>"
22417 : : "#"
22418 : : "&& 1"
22419 : : [(set (reg:CCZ FLAGS_REG)
22420 : 0 : (compare:CCZ
22421 : 0 : (match_dup 1)
22422 : 0 : (match_dup 2)))]
22423 : 0 : "operands[2] = gen_int_mode (UINTVAL (operands[2]), <avx512fmaskmode>mode);")
22424 : :
22425 : : (define_insn_and_split "*pmovsk_ptest_<mode>_avx512"
22426 : 0 : [(set (reg:CCZ FLAGS_REG)
22427 : 0 : (compare:CCZ
22428 : 0 : (unspec:SI
22429 : 0 : [(vec_merge:VI1_AVX2
22430 : 0 : (match_operand:VI1_AVX2 3 "vector_all_ones_operand")
22431 : 0 : (match_operand:VI1_AVX2 4 "const0_operand")
22432 : 0 : (unspec:<avx512fmaskmode>
22433 : : [(match_operand:VI1_AVX2 0 "vector_operand")
22434 : : (match_operand:VI1_AVX2 1 "const0_operand")
22435 : : (const_int 0)]
22436 : : UNSPEC_PCMP))]
22437 : 0 : UNSPEC_MOVMSK)
22438 : 0 : (match_operand 2 "const_int_operand")))]
22439 : 0 : "TARGET_AVX512VL && (INTVAL (operands[2]) == (int) (<vi1avx2const>))"
22440 : : "#"
22441 : : "&& 1"
22442 : : [(set (reg:CCZ FLAGS_REG)
22443 : 0 : (unspec:CCZ [(match_dup 0)
22444 : 40 : (match_dup 0)]
22445 : 0 : UNSPEC_PTEST))])
22446 : 0 :
22447 : : (define_expand "sse2_maskmovdqu"
22448 : 16 : [(set (match_operand:V16QI 0 "memory_operand")
22449 : 16 : (unspec:V16QI [(match_operand:V16QI 1 "register_operand")
22450 : 40 : (match_operand:V16QI 2 "register_operand")
22451 : 285990 : (match_dup 0)]
22452 : 285990 : UNSPEC_MASKMOV))]
22453 : 40 : "TARGET_SSE2")
22454 : 285990 :
22455 : 285990 : (define_insn "*sse2_maskmovdqu"
22456 : 285974 : [(set (mem:V16QI (match_operand:P 0 "register_operand" "D"))
22457 : 24 : (unspec:V16QI [(match_operand:V16QI 1 "register_operand" "x")
22458 : 34 : (match_operand:V16QI 2 "register_operand" "x")
22459 : 34 : (mem:V16QI (match_dup 0))]
22460 : : UNSPEC_MASKMOV))]
22461 : 412554 : "TARGET_SSE2"
22462 : 44 : {
22463 : 412376 : /* We can't use %^ here due to ASM_OUTPUT_OPCODE processing
22464 : 412386 : that requires %v to be at the beginning of the opcode name. */
22465 : 412420 : if (Pmode != word_mode)
22466 : 412386 : fputs ("\taddr32", asm_out_file);
22467 : 34 : return "%vmaskmovdqu\t{%2, %1|%1, %2}";
22468 : 799 : }
22469 : 10 : [(set_attr "type" "ssemov")
22470 : 161 : (set_attr "prefix_data16" "1")
22471 : 171 : (set (attr "length_address")
22472 : 121 : (symbol_ref ("Pmode != word_mode")))
22473 : 161 : ;; The implicit %rdi operand confuses default length_vex computation.
22474 : 1 : (set (attr "length_vex")
22475 : 17 : (symbol_ref ("3 + REX_SSE_REGNO_P (REGNO (operands[2]))")))
22476 : 3 : (set_attr "prefix" "maybe_vex")
22477 : 164 : (set_attr "znver1_decode" "vector")
22478 : 160 : (set_attr "mode" "TI")])
22479 : 3 :
22480 : 1 : (define_insn "sse_ldmxcsr"
22481 : 2 : [(unspec_volatile [(match_operand:SI 0 "memory_operand" "m,jm")]
22482 : 1 : UNSPECV_LDMXCSR)]
22483 : 79448 : "TARGET_SSE"
22484 : 2 : "%vldmxcsr\t%0"
22485 : 2 : [(set_attr "isa" "noavx,avx")
22486 : 2 : (set_attr "type" "sse")
22487 : 2 : (set_attr "addr" "*,gpr16")
22488 : 17 : (set_attr "atom_sse_attr" "mxcsr")
22489 : 19 : (set_attr "prefix" "maybe_vex")
22490 : 19 : (set_attr "memory" "load")])
22491 : 17 :
22492 : 2 : (define_insn "sse_stmxcsr"
22493 : : [(set (match_operand:SI 0 "memory_operand" "=m,jm")
22494 : 2 : (unspec_volatile:SI [(const_int 0)] UNSPECV_STMXCSR))]
22495 : 116991 : "TARGET_SSE"
22496 : 7605 : "%vstmxcsr\t%0"
22497 : 4 : [(set_attr "isa" "noavx,avx")
22498 : : (set_attr "type" "sse")
22499 : : (set_attr "addr" "gpr16")
22500 : : (set_attr "atom_sse_attr" "mxcsr")
22501 : : (set_attr "prefix" "maybe_vex")
22502 : : (set_attr "memory" "store")])
22503 : 29645 :
22504 : 29645 : (define_insn "sse2_clflush"
22505 : : [(unspec_volatile [(match_operand 0 "address_operand" "p")]
22506 : 0 : UNSPECV_CLFLUSH)]
22507 : 17 : "TARGET_SSE2"
22508 : : "clflush\t%a0"
22509 : 0 : [(set_attr "type" "sse")
22510 : 0 : (set_attr "atom_sse_attr" "fence")
22511 : 0 : (set_attr "memory" "unknown")])
22512 : 0 :
22513 : 0 : ;; As per AMD and Intel ISA manuals, the first operand is extensions
22514 : : ;; and it goes to %ecx. The second operand received is hints and it goes
22515 : 161850 : ;; to %eax.
22516 : 161850 : (define_insn "sse3_mwait"
22517 : 161850 : [(unspec_volatile [(match_operand:SI 0 "register_operand" "c")
22518 : 161850 : (match_operand:SI 1 "register_operand" "a")]
22519 : 161850 : UNSPECV_MWAIT)]
22520 : 161933 : "TARGET_MWAIT"
22521 : 18 : ;; 64bit version is "mwait %rax,%rcx". But only lower 32bits are used.
22522 : : ;; Since 32bit register operands are implicitly zero extended to 64bit,
22523 : : ;; we only need to set up 32bit registers.
22524 : : "mwait"
22525 : 6 : [(set_attr "length" "3")])
22526 : 6 :
22527 : 6 : (define_insn "@sse3_monitor_<mode>"
22528 : 12 : [(unspec_volatile [(match_operand:P 0 "register_operand" "a")
22529 : 991 : (match_operand:SI 1 "register_operand" "c")
22530 : 991 : (match_operand:SI 2 "register_operand" "d")]
22531 : 991 : UNSPECV_MONITOR)]
22532 : 104 : "TARGET_MWAIT"
22533 : 991 : ;; 64bit version is "monitor %rax,%rcx,%rdx". But only lower 32bits in
22534 : 991 : ;; RCX and RDX are used. Since 32bit register operands are implicitly
22535 : 991 : ;; zero extended to 64bit, we only need to set up 32bit registers.
22536 : : "%^monitor"
22537 : 85 : [(set (attr "length")
22538 : 215 : (symbol_ref ("(Pmode != word_mode) + 3")))])
22539 : 85 :
22540 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
22541 : : ;;
22542 : : ;; SSSE3 instructions
22543 : : ;;
22544 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
22545 : :
22546 : : (define_code_iterator ssse3_plusminus [plus ss_plus minus ss_minus])
22547 : :
22548 : : (define_insn "avx2_ph<plusminus_mnemonic>wv16hi3"
22549 : : [(set (match_operand:V16HI 0 "register_operand" "=x")
22550 : : (ssse3_plusminus:V16HI
22551 : : (vec_select:V16HI
22552 : : (vec_concat:V32HI
22553 : : (match_operand:V16HI 1 "register_operand" "x")
22554 : : (match_operand:V16HI 2 "nonimmediate_operand" "xjm"))
22555 : : (parallel
22556 : : [(const_int 0) (const_int 2) (const_int 4) (const_int 6)
22557 : : (const_int 16) (const_int 18) (const_int 20) (const_int 22)
22558 : : (const_int 8) (const_int 10) (const_int 12) (const_int 14)
22559 : : (const_int 24) (const_int 26) (const_int 28) (const_int 30)]))
22560 : : (vec_select:V16HI
22561 : : (vec_concat:V32HI (match_dup 1) (match_dup 2))
22562 : : (parallel
22563 : : [(const_int 1) (const_int 3) (const_int 5) (const_int 7)
22564 : : (const_int 17) (const_int 19) (const_int 21) (const_int 23)
22565 : : (const_int 9) (const_int 11) (const_int 13) (const_int 15)
22566 : : (const_int 25) (const_int 27) (const_int 29) (const_int 31)]))))]
22567 : 362 : "TARGET_AVX2"
22568 : : "vph<plusminus_mnemonic>w\t{%2, %1, %0|%0, %1, %2}"
22569 : : [(set_attr "type" "sseiadd")
22570 : : (set_attr "addr" "gpr16")
22571 : 479 : (set_attr "prefix_extra" "1")
22572 : 479 : (set_attr "prefix" "vex")
22573 : : (set_attr "mode" "OI")])
22574 : :
22575 : : (define_insn "ssse3_ph<plusminus_mnemonic>wv8hi3"
22576 : : [(set (match_operand:V8HI 0 "register_operand" "=x,x")
22577 : : (ssse3_plusminus:V8HI
22578 : : (vec_select:V8HI
22579 : : (vec_concat:V16HI
22580 : : (match_operand:V8HI 1 "register_operand" "0,x")
22581 : 95 : (match_operand:V8HI 2 "vector_operand" "xja,xjm"))
22582 : 95 : (parallel
22583 : 95 : [(const_int 0) (const_int 2) (const_int 4) (const_int 6)
22584 : 95 : (const_int 8) (const_int 10) (const_int 12) (const_int 14)]))
22585 : : (vec_select:V8HI
22586 : : (vec_concat:V16HI (match_dup 1) (match_dup 2))
22587 : : (parallel
22588 : : [(const_int 1) (const_int 3) (const_int 5) (const_int 7)
22589 : : (const_int 9) (const_int 11) (const_int 13) (const_int 15)]))))]
22590 : 479 : "TARGET_SSSE3"
22591 : : "@
22592 : : ph<plusminus_mnemonic>w\t{%2, %0|%0, %2}
22593 : : vph<plusminus_mnemonic>w\t{%2, %1, %0|%0, %1, %2}"
22594 : 187 : [(set_attr "isa" "noavx,avx")
22595 : 187 : (set_attr "type" "sseiadd")
22596 : : (set_attr "addr" "gpr16")
22597 : : (set_attr "atom_unit" "complex")
22598 : 687 : (set_attr "prefix_extra" "1")
22599 : 687 : (set_attr "prefix" "orig,vex")
22600 : 687 : (set_attr "mode" "TI")])
22601 : :
22602 : 5878 : (define_insn_and_split "ssse3_ph<plusminus_mnemonic>wv4hi3"
22603 : 5878 : [(set (match_operand:V4HI 0 "register_operand" "=y,x,x")
22604 : 5878 : (ssse3_plusminus:V4HI
22605 : : (vec_select:V4HI
22606 : 354 : (vec_concat:V8HI
22607 : 459 : (match_operand:V4HI 1 "register_operand" "0,0,x")
22608 : : (match_operand:V4HI 2 "register_mmxmem_operand" "ym,x,x"))
22609 : 249 : (parallel
22610 : 249 : [(const_int 0) (const_int 2) (const_int 4) (const_int 6)]))
22611 : : (vec_select:V4HI
22612 : 240 : (vec_concat:V8HI (match_dup 1) (match_dup 2))
22613 : 240 : (parallel
22614 : : [(const_int 1) (const_int 3) (const_int 5) (const_int 7)]))))]
22615 : 700 : "(TARGET_MMX || TARGET_MMX_WITH_SSE) && TARGET_SSSE3"
22616 : 240 : "@
22617 : : ph<plusminus_mnemonic>w\t{%2, %0|%0, %2}
22618 : 240 : #
22619 : 1274 : #"
22620 : 1154 : "TARGET_SSSE3 && reload_completed
22621 : 300 : && SSE_REGNO_P (REGNO (operands[0]))"
22622 : 391 : [(const_int 0)]
22623 : 211 : {
22624 : 7149 : /* Generate SSE version of the operation. */
22625 : 526374 : rtx op0 = lowpart_subreg (V8HImode, operands[0],
22626 : 710 : GET_MODE (operands[0]));
22627 : 526435 : rtx op1 = lowpart_subreg (V8HImode, operands[1],
22628 : 519088 : GET_MODE (operands[1]));
22629 : 400 : rtx op2 = lowpart_subreg (V8HImode, operands[2],
22630 : 701 : GET_MODE (operands[2]));
22631 : 421 : emit_insn (gen_ssse3_ph<plusminus_mnemonic>wv8hi3 (op0, op1, op2));
22632 : 181 : ix86_move_vector_high_sse_to_mmx (op0);
22633 : 542 : DONE;
22634 : 240 : }
22635 : 184581801 : [(set_attr "mmx_isa" "native,sse_noavx,avx")
22636 : 184582041 : (set_attr "type" "sseiadd")
22637 : 184582041 : (set_attr "atom_unit" "complex")
22638 : 0 : (set_attr "prefix_extra" "1")
22639 : 361 : (set (attr "prefix_rex") (symbol_ref "x86_extended_reg_mentioned_p (insn)"))
22640 : 361 : (set_attr "mode" "DI,TI,TI")])
22641 : 240 :
22642 : 240 : (define_insn "avx2_ph<plusminus_mnemonic>dv8si3"
22643 : 240 : [(set (match_operand:V8SI 0 "register_operand" "=x")
22644 : 361 : (plusminus:V8SI
22645 : 126 : (vec_select:V8SI
22646 : 361 : (vec_concat:V16SI
22647 : 240 : (match_operand:V8SI 1 "register_operand" "x")
22648 : : (match_operand:V8SI 2 "nonimmediate_operand" "xjm"))
22649 : 2001118 : (parallel
22650 : 5 : [(const_int 0) (const_int 2) (const_int 8) (const_int 10)
22651 : 130 : (const_int 4) (const_int 6) (const_int 12) (const_int 14)]))
22652 : 251 : (vec_select:V8SI
22653 : 2000999 : (vec_concat:V16SI (match_dup 1) (match_dup 2))
22654 : 2000878 : (parallel
22655 : 2000878 : [(const_int 1) (const_int 3) (const_int 9) (const_int 11)
22656 : 2000878 : (const_int 5) (const_int 7) (const_int 13) (const_int 15)]))))]
22657 : 2001181 : "TARGET_AVX2"
22658 : 367 : "vph<plusminus_mnemonic>d\t{%2, %1, %0|%0, %1, %2}"
22659 : 1313116 : [(set_attr "type" "sseiadd")
22660 : 1313112 : (set_attr "addr" "gpr16")
22661 : 468 : (set_attr "prefix_extra" "1")
22662 : 1165085 : (set_attr "prefix" "vex")
22663 : 1164729 : (set_attr "mode" "OI")])
22664 : 1164975 :
22665 : 246 : (define_insn "ssse3_ph<plusminus_mnemonic>dv4si3"
22666 : 808549 : [(set (match_operand:V4SI 0 "register_operand" "=x,x")
22667 : 808553 : (plusminus:V4SI
22668 : 242 : (vec_select:V4SI
22669 : 1780 : (vec_concat:V8SI
22670 : 1905 : (match_operand:V4SI 1 "register_operand" "0,x")
22671 : 1905 : (match_operand:V4SI 2 "vector_operand" "xja,xjm"))
22672 : 1663 : (parallel
22673 : 1905 : [(const_int 0) (const_int 2) (const_int 4) (const_int 6)]))
22674 : 258 : (vec_select:V4SI
22675 : 330 : (vec_concat:V8SI (match_dup 1) (match_dup 2))
22676 : 455 : (parallel
22677 : 359 : [(const_int 1) (const_int 3) (const_int 5) (const_int 7)]))))]
22678 : 435 : "TARGET_SSSE3"
22679 : 125 : "@
22680 : 147 : ph<plusminus_mnemonic>d\t{%2, %0|%0, %2}
22681 : 22 : vph<plusminus_mnemonic>d\t{%2, %1, %0|%0, %1, %2}"
22682 : 125 : [(set_attr "isa" "noavx,avx")
22683 : 125 : (set_attr "type" "sseiadd")
22684 : : (set_attr "addr" "gpr16")
22685 : 125 : (set_attr "atom_unit" "complex")
22686 : 1994062 : (set_attr "prefix_data16" "1,*")
22687 : 1993937 : (set_attr "prefix_extra" "1")
22688 : 1969790 : (set_attr "prefix" "orig,vex")
22689 : 125 : (set_attr "mode" "TI")])
22690 : 72383 :
22691 : 72508 : (define_insn_and_split "ssse3_ph<plusminus_mnemonic>dv2si3"
22692 : 125 : [(set (match_operand:V2SI 0 "register_operand" "=y,x,x")
22693 : 1307 : (plusminus:V2SI
22694 : 1182 : (vec_select:V2SI
22695 : 0 : (vec_concat:V4SI
22696 : 1307 : (match_operand:V2SI 1 "register_operand" "0,0,x")
22697 : 1307 : (match_operand:V2SI 2 "register_mmxmem_operand" "ym,x,x"))
22698 : 1182 : (parallel [(const_int 0) (const_int 2)]))
22699 : 125 : (vec_select:V2SI
22700 : 1307 : (vec_concat:V4SI (match_dup 1) (match_dup 2))
22701 : 1182 : (parallel [(const_int 1) (const_int 3)]))))]
22702 : 1537 : "(TARGET_MMX || TARGET_MMX_WITH_SSE) && TARGET_SSSE3"
22703 : 125 : "@
22704 : 1182 : ph<plusminus_mnemonic>d\t{%2, %0|%0, %2}
22705 : 1307 : #
22706 : 125 : #"
22707 : 1242 : "TARGET_SSSE3 && reload_completed
22708 : 1337 : && SSE_REGNO_P (REGNO (operands[0]))"
22709 : 125 : [(const_int 0)]
22710 : 1242 : {
22711 : 1307 : /* Generate SSE version of the operation. */
22712 : 185 : rtx op0 = lowpart_subreg (V4SImode, operands[0],
22713 : 1212 : GET_MODE (operands[0]));
22714 : 1367 : rtx op1 = lowpart_subreg (V4SImode, operands[1],
22715 : 155 : GET_MODE (operands[1]));
22716 : 1242 : rtx op2 = lowpart_subreg (V4SImode, operands[2],
22717 : 1337 : GET_MODE (operands[2]));
22718 : 1337 : emit_insn (gen_ssse3_ph<plusminus_mnemonic>dv4si3 (op0, op1, op2));
22719 : 155 : ix86_move_vector_high_sse_to_mmx (op0);
22720 : 4211374 : DONE;
22721 : 1182 : }
22722 : 1334205 : [(set_attr "mmx_isa" "native,sse_noavx,avx")
22723 : 125 : (set_attr "type" "sseiadd")
22724 : 5544242 : (set_attr "addr" "gpr16")
22725 : 5544367 : (set_attr "atom_unit" "complex")
22726 : 5544367 : (set_attr "prefix_extra" "1")
22727 : 5543060 : (set (attr "prefix_rex") (symbol_ref "x86_extended_reg_mentioned_p (insn)"))
22728 : 5544367 : (set_attr "mode" "DI,TI,TI")])
22729 : 5226976 :
22730 : 1881405 : (define_insn "avx2_pmaddubsw256"
22731 : 4728899 : [(set (match_operand:V16HI 0 "register_operand" "=Yw")
22732 : 3484656 : (ss_plus:V16HI
22733 : 4922520 : (mult:V16HI
22734 : 2771028 : (zero_extend:V16HI
22735 : 3589747 : (vec_select:V16QI
22736 : 4348305 : (match_operand:V32QI 1 "register_operand" "Yw")
22737 : 758808 : (parallel [(const_int 0) (const_int 2)
22738 : 2156746 : (const_int 4) (const_int 6)
22739 : 2229218 : (const_int 8) (const_int 10)
22740 : 77339 : (const_int 12) (const_int 14)
22741 : 2213874 : (const_int 16) (const_int 18)
22742 : 2162537 : (const_int 20) (const_int 22)
22743 : 58971 : (const_int 24) (const_int 26)
22744 : 2151742 : (const_int 28) (const_int 30)])))
22745 : 2152000 : (sign_extend:V16HI
22746 : 1440 : (vec_select:V16QI
22747 : 865498 : (match_operand:V32QI 2 "nonimmediate_operand" "Ywm")
22748 : 866805 : (parallel [(const_int 0) (const_int 2)
22749 : 862487 : (const_int 4) (const_int 6)
22750 : 1715936 : (const_int 8) (const_int 10)
22751 : 125 : (const_int 12) (const_int 14)
22752 : 1307 : (const_int 16) (const_int 18)
22753 : 1182 : (const_int 20) (const_int 22)
22754 : 1307 : (const_int 24) (const_int 26)
22755 : 125 : (const_int 28) (const_int 30)]))))
22756 : 1182 : (mult:V16HI
22757 : 1307 : (zero_extend:V16HI
22758 : 125 : (vec_select:V16QI (match_dup 1)
22759 : 1182 : (parallel [(const_int 1) (const_int 3)
22760 : 1307 : (const_int 5) (const_int 7)
22761 : 125 : (const_int 9) (const_int 11)
22762 : 1182 : (const_int 13) (const_int 15)
22763 : 1307 : (const_int 17) (const_int 19)
22764 : 125 : (const_int 21) (const_int 23)
22765 : 1182 : (const_int 25) (const_int 27)
22766 : 1307 : (const_int 29) (const_int 31)])))
22767 : 1307 : (sign_extend:V16HI
22768 : 1182 : (vec_select:V16QI (match_dup 2)
22769 : 1307 : (parallel [(const_int 1) (const_int 3)
22770 : 1307 : (const_int 5) (const_int 7)
22771 : 1307 : (const_int 9) (const_int 11)
22772 : : (const_int 13) (const_int 15)
22773 : : (const_int 17) (const_int 19)
22774 : : (const_int 21) (const_int 23)
22775 : 115 : (const_int 25) (const_int 27)
22776 : 115 : (const_int 29) (const_int 31)]))))))]
22777 : 115 : "TARGET_AVX2"
22778 : 125 : "vpmaddubsw\t{%2, %1, %0|%0, %1, %2}"
22779 : : [(set_attr "type" "sseiadd")
22780 : : (set_attr "prefix_extra" "1")
22781 : 234 : (set_attr "prefix" "vex")
22782 : 111 : (set_attr "mode" "OI")])
22783 : 111 :
22784 : : ;; The correct representation for this is absolutely enormous, and
22785 : 111 : ;; surely not generally useful.
22786 : : (define_insn "avx512bw_pmaddubsw512<mode><mask_name>"
22787 : 111 : [(set (match_operand:VI2_AVX512VL 0 "register_operand" "=v")
22788 : : (unspec:VI2_AVX512VL
22789 : : [(match_operand:<dbpsadbwmode> 1 "register_operand" "v")
22790 : : (match_operand:<dbpsadbwmode> 2 "nonimmediate_operand" "vm")]
22791 : 107 : UNSPEC_PMADDUBSW512))]
22792 : 380 : "TARGET_AVX512BW"
22793 : 107 : "vpmaddubsw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}";
22794 : 107 : [(set_attr "type" "sseiadd")
22795 : : (set_attr "prefix" "evex")
22796 : : (set_attr "mode" "XI")])
22797 : 111 :
22798 : : (define_insn "avx512bw_umulhrswv32hi3<mask_name>"
22799 : : [(set (match_operand:V32HI 0 "register_operand" "=v")
22800 : : (truncate:V32HI
22801 : : (lshiftrt:V32SI
22802 : : (plus:V32SI
22803 : : (lshiftrt:V32SI
22804 : : (mult:V32SI
22805 : : (sign_extend:V32SI
22806 : : (match_operand:V32HI 1 "nonimmediate_operand" "%v"))
22807 : : (sign_extend:V32SI
22808 : : (match_operand:V32HI 2 "nonimmediate_operand" "vm")))
22809 : : (const_int 14))
22810 : : (const_vector:V32HI [(const_int 1) (const_int 1)
22811 : : (const_int 1) (const_int 1)
22812 : : (const_int 1) (const_int 1)
22813 : : (const_int 1) (const_int 1)
22814 : : (const_int 1) (const_int 1)
22815 : : (const_int 1) (const_int 1)
22816 : : (const_int 1) (const_int 1)
22817 : : (const_int 1) (const_int 1)
22818 : : (const_int 1) (const_int 1)
22819 : : (const_int 1) (const_int 1)
22820 : : (const_int 1) (const_int 1)
22821 : : (const_int 1) (const_int 1)
22822 : : (const_int 1) (const_int 1)
22823 : : (const_int 1) (const_int 1)
22824 : : (const_int 1) (const_int 1)
22825 : : (const_int 1) (const_int 1)]))
22826 : : (const_int 1))))]
22827 : 417 : "TARGET_AVX512BW && TARGET_EVEX512"
22828 : : "vpmulhrsw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
22829 : : [(set_attr "type" "sseimul")
22830 : : (set_attr "prefix" "evex")
22831 : : (set_attr "mode" "XI")])
22832 : :
22833 : 1672738 : (define_insn "ssse3_pmaddubsw128"
22834 : : [(set (match_operand:V8HI 0 "register_operand" "=x,Yw")
22835 : : (ss_plus:V8HI
22836 : : (mult:V8HI
22837 : 1672738 : (zero_extend:V8HI
22838 : 1672738 : (vec_select:V8QI
22839 : 1672738 : (match_operand:V16QI 1 "register_operand" "0,Yw")
22840 : 1672738 : (parallel [(const_int 0) (const_int 2)
22841 : 1672738 : (const_int 4) (const_int 6)
22842 : 7125 : (const_int 8) (const_int 10)
22843 : 926952 : (const_int 12) (const_int 14)])))
22844 : 926952 : (sign_extend:V8HI
22845 : 926952 : (vec_select:V8QI
22846 : 926952 : (match_operand:V16QI 2 "vector_operand" "xja,Ywm")
22847 : 7125 : (parallel [(const_int 0) (const_int 2)
22848 : 7178 : (const_int 4) (const_int 6)
22849 : 7178 : (const_int 8) (const_int 10)
22850 : 7125 : (const_int 12) (const_int 14)]))))
22851 : 0 : (mult:V8HI
22852 : 754 : (zero_extend:V8HI
22853 : 754 : (vec_select:V8QI (match_dup 1)
22854 : 0 : (parallel [(const_int 1) (const_int 3)
22855 : 0 : (const_int 5) (const_int 7)
22856 : 0 : (const_int 9) (const_int 11)
22857 : 621 : (const_int 13) (const_int 15)])))
22858 : 611 : (sign_extend:V8HI
22859 : 1032 : (vec_select:V8QI (match_dup 2)
22860 : : (parallel [(const_int 1) (const_int 3)
22861 : : (const_int 5) (const_int 7)
22862 : : (const_int 9) (const_int 11)
22863 : : (const_int 13) (const_int 15)]))))))]
22864 : 107 : "TARGET_SSSE3"
22865 : 4 : "@
22866 : : pmaddubsw\t{%2, %0|%0, %2}
22867 : : vpmaddubsw\t{%2, %1, %0|%0, %1, %2}"
22868 : : [(set_attr "isa" "noavx,avx")
22869 : : (set_attr "addr" "gpr16,*")
22870 : : (set_attr "type" "sseiadd")
22871 : : (set_attr "atom_unit" "simul")
22872 : 240 : (set_attr "prefix_extra" "1")
22873 : 240 : (set_attr "prefix" "orig,vex")
22874 : 240 : (set_attr "mode" "TI")])
22875 : 240 :
22876 : : (define_insn "ssse3_pmaddubsw"
22877 : 172 : [(set (match_operand:V4HI 0 "register_operand" "=y,x,Yv")
22878 : 172 : (ss_plus:V4HI
22879 : : (mult:V4HI
22880 : : (zero_extend:V4HI
22881 : : (vec_select:V4QI
22882 : : (match_operand:V8QI 1 "register_operand" "0,0,Yv")
22883 : : (parallel [(const_int 0) (const_int 2)
22884 : : (const_int 4) (const_int 6)])))
22885 : : (sign_extend:V4HI
22886 : : (vec_select:V4QI
22887 : : (match_operand:V8QI 2 "register_mmxmem_operand" "ym,x,Yv")
22888 : : (parallel [(const_int 0) (const_int 2)
22889 : : (const_int 4) (const_int 6)]))))
22890 : : (mult:V4HI
22891 : : (zero_extend:V4HI
22892 : : (vec_select:V4QI (match_dup 1)
22893 : : (parallel [(const_int 1) (const_int 3)
22894 : : (const_int 5) (const_int 7)])))
22895 : : (sign_extend:V4HI
22896 : : (vec_select:V4QI (match_dup 2)
22897 : : (parallel [(const_int 1) (const_int 3)
22898 : : (const_int 5) (const_int 7)]))))))]
22899 : 117 : "(TARGET_MMX || TARGET_MMX_WITH_SSE) && TARGET_SSSE3"
22900 : : "@
22901 : : pmaddubsw\t{%2, %0|%0, %2}
22902 : : pmaddubsw\t{%2, %0|%0, %2}
22903 : : vpmaddubsw\t{%2, %1, %0|%0, %1, %2}"
22904 : : [(set_attr "isa" "*,noavx,avx")
22905 : : (set_attr "mmx_isa" "native,*,*")
22906 : : (set_attr "type" "sseiadd")
22907 : : (set_attr "atom_unit" "simul")
22908 : : (set_attr "prefix_extra" "1")
22909 : 62 : (set (attr "prefix_rex") (symbol_ref "x86_extended_reg_mentioned_p (insn)"))
22910 : : (set_attr "mode" "DI,TI,TI")])
22911 : :
22912 : : (define_mode_iterator PMULHRSW
22913 : 62 : [V8HI (V16HI "TARGET_AVX2")])
22914 : 62 :
22915 : 62 : (define_expand "<ssse3_avx2>_pmulhrsw<mode>3_mask"
22916 : 62 : [(set (match_operand:PMULHRSW 0 "register_operand")
22917 : 62 : (vec_merge:PMULHRSW
22918 : : (truncate:PMULHRSW
22919 : 62 : (lshiftrt:<ssedoublemode>
22920 : 62 : (plus:<ssedoublemode>
22921 : 62 : (lshiftrt:<ssedoublemode>
22922 : 62 : (mult:<ssedoublemode>
22923 : : (sign_extend:<ssedoublemode>
22924 : 38 : (match_operand:PMULHRSW 1 "nonimmediate_operand"))
22925 : 38 : (sign_extend:<ssedoublemode>
22926 : 38 : (match_operand:PMULHRSW 2 "nonimmediate_operand")))
22927 : : (const_int 14))
22928 : 38 : (match_dup 5))
22929 : 38 : (const_int 1)))
22930 : 36 : (match_operand:PMULHRSW 3 "register_operand")
22931 : 76 : (match_operand:<avx512fmaskmode> 4 "register_operand")))]
22932 : : "TARGET_AVX512BW && TARGET_AVX512VL"
22933 : 48 : {
22934 : 48 : operands[5] = CONST1_RTX(<MODE>mode);
22935 : 48 : ix86_fixup_binary_operands_no_copy (MULT, <MODE>mode, operands);
22936 : : })
22937 : :
22938 : : (define_expand "<ssse3_avx2>_pmulhrsw<mode>3"
22939 : 48 : [(set (match_operand:PMULHRSW 0 "register_operand")
22940 : 48 : (truncate:PMULHRSW
22941 : 48 : (lshiftrt:<ssedoublemode>
22942 : 48 : (plus:<ssedoublemode>
22943 : 48 : (lshiftrt:<ssedoublemode>
22944 : 48 : (mult:<ssedoublemode>
22945 : 48 : (sign_extend:<ssedoublemode>
22946 : 48 : (match_operand:PMULHRSW 1 "nonimmediate_operand"))
22947 : 48 : (sign_extend:<ssedoublemode>
22948 : 48 : (match_operand:PMULHRSW 2 "nonimmediate_operand")))
22949 : 48 : (const_int 14))
22950 : 48 : (match_dup 3))
22951 : : (const_int 1))))]
22952 : 48 : "TARGET_SSSE3"
22953 : 32 : {
22954 : 32 : operands[3] = CONST1_RTX(<MODE>mode);
22955 : 32 : ix86_fixup_binary_operands_no_copy (MULT, <MODE>mode, operands);
22956 : : })
22957 : :
22958 : : (define_expand "smulhrs<mode>3"
22959 : 32 : [(set (match_operand:VI2_AVX2_AVX512BW 0 "register_operand")
22960 : 32 : (truncate:VI2_AVX2_AVX512BW
22961 : 32 : (lshiftrt:<ssedoublemode>
22962 : 32 : (plus:<ssedoublemode>
22963 : 32 : (lshiftrt:<ssedoublemode>
22964 : 32 : (mult:<ssedoublemode>
22965 : 32 : (sign_extend:<ssedoublemode>
22966 : 32 : (match_operand:VI2_AVX2_AVX512BW 1 "nonimmediate_operand"))
22967 : : (sign_extend:<ssedoublemode>
22968 : 80 : (match_operand:VI2_AVX2_AVX512BW 2 "nonimmediate_operand")))
22969 : 48 : (const_int 14))
22970 : 48 : (match_dup 3))
22971 : : (const_int 1))))]
22972 : : "TARGET_SSSE3"
22973 : 4 : {
22974 : 4 : operands[3] = CONST1_RTX(<MODE>mode);
22975 : 4 : ix86_fixup_binary_operands_no_copy (MULT, <MODE>mode, operands);
22976 : 67 : })
22977 : :
22978 : 67 : (define_insn "*<ssse3_avx2>_pmulhrsw<mode>3<mask_name>"
22979 : 71 : [(set (match_operand:VI2_AVX2_AVX512BW 0 "register_operand" "=x,<v_Yw>")
22980 : 71 : (truncate:VI2_AVX2_AVX512BW
22981 : 103 : (lshiftrt:<ssedoublemode>
22982 : 103 : (plus:<ssedoublemode>
22983 : 103 : (lshiftrt:<ssedoublemode>
22984 : 23 : (mult:<ssedoublemode>
22985 : 52 : (sign_extend:<ssedoublemode>
22986 : 23 : (match_operand:VI2_AVX2_AVX512BW 1 "vector_operand" "%0,<v_Yw>"))
22987 : : (sign_extend:<ssedoublemode>
22988 : 71 : (match_operand:VI2_AVX2_AVX512BW 2 "vector_operand" "xja,<v_Yw>m")))
22989 : : (const_int 14))
22990 : : (match_operand:VI2_AVX2_AVX512BW 3 "const1_operand"))
22991 : 48 : (const_int 1))))]
22992 : 328 : "TARGET_SSSE3 && <mask_mode512bit_condition> && <mask_avx512bw_condition>
22993 : 724 : && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
22994 : 67 : "@
22995 : 67 : pmulhrsw\t{%2, %0|%0, %2}
22996 : 67 : vpmulhrsw\t{%2, %1, %0<mask_operand4>|%0<mask_operand4>, %1, %2}"
22997 : 19 : [(set_attr "isa" "noavx,avx")
22998 : 19 : (set_attr "addr" "gpr16,*")
22999 : 19 : (set_attr "type" "sseimul")
23000 : : (set_attr "prefix_extra" "1")
23001 : 4 : (set_attr "prefix" "orig,maybe_evex")
23002 : 4 : (set_attr "mode" "<sseinsnmode>")])
23003 : 4 :
23004 : : (define_expand "smulhrsv4hi3"
23005 : : [(set (match_operand:V4HI 0 "register_operand")
23006 : : (truncate:V4HI
23007 : : (lshiftrt:V4SI
23008 : 463 : (plus:V4SI
23009 : : (lshiftrt:V4SI
23010 : : (mult:V4SI
23011 : 463 : (sign_extend:V4SI
23012 : 463 : (match_operand:V4HI 1 "register_operand"))
23013 : 463 : (sign_extend:V4SI
23014 : 463 : (match_operand:V4HI 2 "register_operand")))
23015 : 49832 : (const_int 14))
23016 : 463 : (match_dup 3))
23017 : : (const_int 1))))]
23018 : : "TARGET_MMX_WITH_SSE && TARGET_SSSE3"
23019 : 49370 : "operands[3] = CONST1_RTX(V4HImode);")
23020 : 49369 :
23021 : 49369 : (define_expand "ssse3_pmulhrswv4hi3"
23022 : 49370 : [(set (match_operand:V4HI 0 "register_operand")
23023 : 49370 : (truncate:V4HI
23024 : 49370 : (lshiftrt:V4SI
23025 : 49370 : (plus:V4SI
23026 : 49370 : (lshiftrt:V4SI
23027 : 45958 : (mult:V4SI
23028 : 3413 : (sign_extend:V4SI
23029 : 3413 : (match_operand:V4HI 1 "register_mmxmem_operand"))
23030 : 254 : (sign_extend:V4SI
23031 : 255 : (match_operand:V4HI 2 "register_mmxmem_operand")))
23032 : 408 : (const_int 14))
23033 : 233 : (match_dup 3))
23034 : 20 : (const_int 1))))]
23035 : 20 : "(TARGET_MMX || TARGET_MMX_WITH_SSE) && TARGET_SSSE3"
23036 : 54 : {
23037 : 54 : operands[3] = CONST1_RTX(V4HImode);
23038 : 15 : ix86_fixup_binary_operands_no_copy (MULT, V4HImode, operands);
23039 : : })
23040 : :
23041 : : (define_insn "*ssse3_pmulhrswv4hi3"
23042 : 15 : [(set (match_operand:V4HI 0 "register_operand" "=y,x,Yv")
23043 : 15 : (truncate:V4HI
23044 : 16 : (lshiftrt:V4SI
23045 : 16 : (plus:V4SI
23046 : 16 : (lshiftrt:V4SI
23047 : 15 : (mult:V4SI
23048 : 15 : (sign_extend:V4SI
23049 : 15 : (match_operand:V4HI 1 "register_mmxmem_operand" "%0,0,Yv"))
23050 : : (sign_extend:V4SI
23051 : 71 : (match_operand:V4HI 2 "register_mmxmem_operand" "ym,x,Yv")))
23052 : : (const_int 14))
23053 : : (match_operand:V4HI 3 "const1_operand"))
23054 : 56 : (const_int 1))))]
23055 : 176 : "(TARGET_MMX || TARGET_MMX_WITH_SSE)
23056 : 176 : && TARGET_SSSE3
23057 : 176 : && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
23058 : 99 : "@
23059 : 56 : pmulhrsw\t{%2, %0|%0, %2}
23060 : : pmulhrsw\t{%2, %0|%0, %2}
23061 : 20 : vpmulhrsw\t{%2, %1, %0|%0, %1, %2}"
23062 : 20 : [(set_attr "isa" "*,noavx,avx")
23063 : : (set_attr "mmx_isa" "native,*,*")
23064 : 15 : (set_attr "type" "sseimul")
23065 : 30 : (set_attr "prefix_extra" "1")
23066 : 25 : (set (attr "prefix_rex") (symbol_ref "x86_extended_reg_mentioned_p (insn)"))
23067 : 10 : (set_attr "mode" "DI,TI,TI")])
23068 : 5 :
23069 : 20 : (define_expand "smulhrsv2hi3"
23070 : : [(set (match_operand:V2HI 0 "register_operand")
23071 : 12 : (truncate:V2HI
23072 : : (lshiftrt:V2SI
23073 : : (plus:V2SI
23074 : 12 : (lshiftrt:V2SI
23075 : 12 : (mult:V2SI
23076 : 12 : (sign_extend:V2SI
23077 : 12 : (match_operand:V2HI 1 "register_operand"))
23078 : 12 : (sign_extend:V2SI
23079 : 12 : (match_operand:V2HI 2 "register_operand")))
23080 : : (const_int 14))
23081 : : (match_dup 3))
23082 : : (const_int 1))))]
23083 : : "TARGET_SSSE3"
23084 : 1 : "operands[3] = CONST1_RTX(V2HImode);")
23085 : :
23086 : : (define_insn "*smulhrsv2hi3"
23087 : 1 : [(set (match_operand:V2HI 0 "register_operand" "=x,Yv")
23088 : 1 : (truncate:V2HI
23089 : 1 : (lshiftrt:V2SI
23090 : 1 : (plus:V2SI
23091 : 1 : (lshiftrt:V2SI
23092 : 1 : (mult:V2SI
23093 : 1 : (sign_extend:V2SI
23094 : 1 : (match_operand:V2HI 1 "register_operand" "%0,Yv"))
23095 : : (sign_extend:V2SI
23096 : 1 : (match_operand:V2HI 2 "register_operand" "x,Yv")))
23097 : : (const_int 14))
23098 : : (match_operand:V2HI 3 "const1_operand"))
23099 : : (const_int 1))))]
23100 : 5 : "TARGET_SSSE3
23101 : 5 : && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
23102 : 15 : "@
23103 : : pmulhrsw\t{%2, %0|%0, %2}
23104 : : vpmulhrsw\t{%2, %1, %0|%0, %1, %2}"
23105 : : [(set_attr "isa" "noavx,avx")
23106 : : (set_attr "type" "sseimul")
23107 : : (set_attr "prefix_extra" "1")
23108 : : (set (attr "prefix_rex") (symbol_ref "x86_extended_reg_mentioned_p (insn)"))
23109 : 1 : (set_attr "mode" "TI")])
23110 : 1 :
23111 : 1 : (define_insn "<ssse3_avx2>_pshufb<mode>3<mask_name>"
23112 : : [(set (match_operand:VI1_AVX512 0 "register_operand" "=x,<v_Yw>")
23113 : : (unspec:VI1_AVX512
23114 : : [(match_operand:VI1_AVX512 1 "register_operand" "0,<v_Yw>")
23115 : : (match_operand:VI1_AVX512 2 "vector_operand" "xja,<v_Yw>m")]
23116 : 69 : UNSPEC_PSHUFB))]
23117 : 32484 : "TARGET_SSSE3 && <mask_mode512bit_condition> && <mask_avx512bw_condition>"
23118 : 3763 : "@
23119 : 3832 : pshufb\t{%2, %0|%0, %2}
23120 : 3832 : vpshufb\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
23121 : 69 : [(set_attr "isa" "noavx,avx")
23122 : 256 : (set_attr "addr" "gpr16,*")
23123 : 256 : (set_attr "type" "sselog1")
23124 : 69 : (set_attr "prefix_extra" "1")
23125 : 4741 : (set_attr "prefix" "orig,maybe_evex")
23126 : 5476 : (set_attr "btver2_decode" "vector")
23127 : 289 : (set_attr "mode" "<sseinsnmode>")])
23128 : 1696 :
23129 : 1696 : (define_expand "ssse3_pshufbv8qi3"
23130 : 1627 : [(parallel
23131 : 1627 : [(set (match_operand:V8QI 0 "register_operand")
23132 : 1696 : (unspec:V8QI [(match_operand:V8QI 1 "register_operand")
23133 : 1627 : (match_operand:V8QI 2 "register_mmxmem_operand")
23134 : 1627 : (match_dup 3)] UNSPEC_PSHUFB))
23135 : 1627 : (clobber (match_scratch:V4SI 4))])]
23136 : 1627 : "(TARGET_MMX || TARGET_MMX_WITH_SSE) && TARGET_SSSE3"
23137 : 1646 : {
23138 : 19 : operands[3] = ix86_build_const_vector (V4SImode, true,
23139 : 303 : gen_int_mode (0xf7f7f7f7, SImode));
23140 : 284 : })
23141 : :
23142 : : (define_insn_and_split "*ssse3_pshufbv8qi3"
23143 : 19 : [(set (match_operand:V8QI 0 "register_operand" "=y,x,Yw")
23144 : 303 : (unspec:V8QI [(match_operand:V8QI 1 "register_operand" "0,0,Yw")
23145 : 19 : (match_operand:V8QI 2 "register_mmxmem_operand" "ym,x,Yw")
23146 : 19 : (match_operand:V4SI 4 "reg_or_const_vector_operand"
23147 : 19 : "i,3,3")]
23148 : 19 : UNSPEC_PSHUFB))
23149 : 19 : (clobber (match_scratch:V4SI 3 "=X,&x,&Yw"))]
23150 : 135 : "(TARGET_MMX || TARGET_MMX_WITH_SSE) && TARGET_SSSE3"
23151 : : "@
23152 : 48 : pshufb\t{%2, %0|%0, %2}
23153 : 29 : #
23154 : 310 : #"
23155 : 743 : "TARGET_SSSE3 && reload_completed
23156 : 414 : && SSE_REGNO_P (REGNO (operands[0]))"
23157 : 36337 : [(set (match_dup 3)
23158 : 430 : (and:V4SI (match_dup 3) (match_dup 2)))
23159 : 671 : (set (match_dup 0)
23160 : 284 : (unspec:V16QI [(match_dup 1) (match_dup 4)] UNSPEC_PSHUFB))]
23161 : 303 : {
23162 : 4 : /* Emulate MMX version of pshufb with SSE version by masking out the
23163 : 299 : bit 3 of the shuffle control byte. */
23164 : 87824 : operands[0] = lowpart_subreg (V16QImode, operands[0],
23165 : 87805 : GET_MODE (operands[0]));
23166 : 38 : operands[1] = lowpart_subreg (V16QImode, operands[1],
23167 : 30976 : GET_MODE (operands[1]));
23168 : 30995 : operands[2] = lowpart_subreg (V4SImode, operands[2],
23169 : 295 : GET_MODE (operands[2]));
23170 : 53 : operands[4] = lowpart_subreg (V16QImode, operands[3],
23171 : 295 : GET_MODE (operands[3]));
23172 : 276 : }
23173 : 291 : [(set_attr "mmx_isa" "native,sse_noavx,avx")
23174 : 291 : (set_attr "prefix_extra" "1")
23175 : 34 : (set (attr "prefix_rex") (symbol_ref "x86_extended_reg_mentioned_p (insn)"))
23176 : 310 : (set_attr "mode" "DI,TI,TI")])
23177 : 310 :
23178 : 34 : (define_insn "<ssse3_avx2>_psign<mode>3"
23179 : 295 : [(set (match_operand:VI124_AVX2 0 "register_operand" "=x,x")
23180 : 295 : (unspec:VI124_AVX2
23181 : 19 : [(match_operand:VI124_AVX2 1 "register_operand" "0,x")
23182 : 295 : (match_operand:VI124_AVX2 2 "vector_operand" "xja,xjm")]
23183 : 19 : UNSPEC_PSIGN))]
23184 : 478 : "TARGET_SSSE3"
23185 : 146 : "@
23186 : : psign<ssemodesuffix>\t{%2, %0|%0, %2}
23187 : : vpsign<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
23188 : 207 : [(set_attr "isa" "noavx,avx")
23189 : 226 : (set_attr "type" "sselog1")
23190 : : (set_attr "addr" "gpr16")
23191 : 207 : (set_attr "prefix_extra" "1")
23192 : : (set_attr "prefix" "orig,vex")
23193 : : (set_attr "mode" "<sseinsnmode>")])
23194 : 2225 :
23195 : 19 : (define_insn "ssse3_psign<mode>3"
23196 : 19 : [(set (match_operand:MMXMODEI 0 "register_operand" "=y,x,x")
23197 : 19 : (unspec:MMXMODEI
23198 : 2225 : [(match_operand:MMXMODEI 1 "register_operand" "0,0,x")
23199 : 2225 : (match_operand:MMXMODEI 2 "register_mmxmem_operand" "ym,x,x")]
23200 : 2225 : UNSPEC_PSIGN))]
23201 : 2342 : "(TARGET_MMX || TARGET_MMX_WITH_SSE) && TARGET_SSSE3"
23202 : 2225 : "@
23203 : 2243 : psign<mmxvecsize>\t{%2, %0|%0, %2}
23204 : 2225 : psign<mmxvecsize>\t{%2, %0|%0, %2}
23205 : 2533 : vpsign<mmxvecsize>\t{%2, %1, %0|%0, %1, %2}"
23206 : 2533 : [(set_attr "isa" "*,noavx,avx")
23207 : 2243 : (set_attr "mmx_isa" "native,*,*")
23208 : 2535 : (set_attr "type" "sselog1")
23209 : 3020 : (set_attr "prefix_extra" "1")
23210 : 795 : (set (attr "prefix_rex") (symbol_ref "x86_extended_reg_mentioned_p (insn)"))
23211 : 1619 : (set_attr "mode" "DI,TI,TI")])
23212 : 2414 :
23213 : 1619 : (define_insn "<ssse3_avx2>_palignr<mode>_mask"
23214 : 1806 : [(set (match_operand:VI1_AVX512 0 "register_operand" "=v")
23215 : 1806 : (vec_merge:VI1_AVX512
23216 : 184 : (unspec:VI1_AVX512
23217 : 490 : [(match_operand:VI1_AVX512 1 "register_operand" "v")
23218 : 303 : (match_operand:VI1_AVX512 2 "nonimmediate_operand" "vm")
23219 : 303 : (match_operand:SI 3 "const_0_to_255_mul_8_operand")]
23220 : : UNSPEC_PALIGNR)
23221 : 299 : (match_operand:VI1_AVX512 4 "nonimm_or_0_operand" "0C")
23222 : 299 : (match_operand:<avx512fmaskmode> 5 "register_operand" "Yk")))]
23223 : 472 : "TARGET_AVX512BW && (<MODE_SIZE> == 64 || TARGET_AVX512VL)"
23224 : 648 : {
23225 : 16 : operands[3] = GEN_INT (INTVAL (operands[3]) / 8);
23226 : 50 : return "vpalignr\t{%3, %2, %1, %0%{%5%}%N4|%0%{%5%}%N4, %1, %2, %3}";
23227 : : }
23228 : : [(set_attr "type" "sseishft")
23229 : : (set_attr "atom_unit" "sishuf")
23230 : : (set_attr "length_immediate" "1")
23231 : 716 : (set_attr "prefix" "evex")
23232 : 674 : (set_attr "mode" "<sseinsnmode>")])
23233 : :
23234 : : (define_insn "<ssse3_avx2>_palignr<mode>"
23235 : 164 : [(set (match_operand:VIMAX_AVX2_AVX512BW 0 "register_operand" "=x,<v_Yw>")
23236 : 164 : (unspec:VIMAX_AVX2_AVX512BW
23237 : : [(match_operand:VIMAX_AVX2_AVX512BW 1 "register_operand" "0,<v_Yw>")
23238 : : (match_operand:VIMAX_AVX2_AVX512BW 2 "vector_operand" "xja,<v_Yw>m")
23239 : : (match_operand:SI 3 "const_0_to_255_mul_8_operand")]
23240 : : UNSPEC_PALIGNR))]
23241 : 16531 : "TARGET_SSSE3"
23242 : 3320 : {
23243 : 8 : operands[3] = GEN_INT (INTVAL (operands[3]) / 8);
23244 : :
23245 : 3320 : switch (which_alternative)
23246 : : {
23247 : : case 0:
23248 : : return "palignr\t{%3, %2, %0|%0, %2, %3}";
23249 : 212 : case 1:
23250 : 212 : return "vpalignr\t{%3, %2, %1, %0|%0, %1, %2, %3}";
23251 : 0 : default:
23252 : 64 : gcc_unreachable ();
23253 : 64 : }
23254 : 64 : }
23255 : : [(set_attr "isa" "noavx,avx")
23256 : 64 : (set_attr "addr" "gpr16,*")
23257 : 64 : (set_attr "type" "sseishft")
23258 : 3376 : (set_attr "atom_unit" "sishuf")
23259 : : (set_attr "prefix_extra" "1")
23260 : 63 : (set_attr "length_immediate" "1")
23261 : 63 : (set_attr "prefix" "orig,vex")
23262 : 63 : (set_attr "mode" "<sseinsnmode>")])
23263 : :
23264 : 63 : (define_insn_and_split "ssse3_palignrdi"
23265 : 63 : [(set (match_operand:DI 0 "register_operand" "=y,x,Yw")
23266 : 63 : (unspec:DI [(match_operand:DI 1 "register_operand" "0,0,Yw")
23267 : 63 : (match_operand:DI 2 "register_mmxmem_operand" "ym,x,Yw")
23268 : : (match_operand:SI 3 "const_0_to_255_mul_8_operand")]
23269 : : UNSPEC_PALIGNR))]
23270 : 317 : "(TARGET_MMX || TARGET_MMX_WITH_SSE) && TARGET_SSSE3"
23271 : 0 : {
23272 : 0 : switch (which_alternative)
23273 : : {
23274 : 0 : case 0:
23275 : 0 : operands[3] = GEN_INT (INTVAL (operands[3]) / 8);
23276 : 0 : return "palignr\t{%3, %2, %0|%0, %2, %3}";
23277 : : case 1:
23278 : : case 2:
23279 : : return "#";
23280 : 0 : default:
23281 : 0 : gcc_unreachable ();
23282 : : }
23283 : : }
23284 : 89 : "(TARGET_SSSE3 && reload_completed
23285 : 41 : && SSE_REGNO_P (REGNO (operands[0])))
23286 : 48 : || operands[3] == const0_rtx
23287 : 44 : || INTVAL (operands[3]) == 64"
23288 : 2746 : [(set (match_dup 0)
23289 : 48 : (lshiftrt:V1TI (match_dup 0) (match_dup 3)))]
23290 : 2794 : {
23291 : 2794 : if (operands[3] == const0_rtx)
23292 : 2746 : {
23293 : 2750 : if (!rtx_equal_p (operands[0], operands[2]))
23294 : 2750 : emit_move_insn (operands[0], operands[2]);
23295 : 164630 : else
23296 : 161884 : emit_note (NOTE_INSN_DELETED);
23297 : 2750 : DONE;
23298 : 30329 : }
23299 : 30373 : else if (INTVAL (operands[3]) == 64)
23300 : 123 : {
23301 : 1199 : if (!rtx_equal_p (operands[0], operands[1]))
23302 : 1205 : emit_move_insn (operands[0], operands[1]);
23303 : 123 : else
23304 : 0 : emit_note (NOTE_INSN_DELETED);
23305 : 3 : DONE;
23306 : : }
23307 : :
23308 : : /* Emulate MMX palignrdi with SSE psrldq. */
23309 : 82 : rtx op0 = lowpart_subreg (V2DImode, operands[0],
23310 : 41 : GET_MODE (operands[0]));
23311 : 41 : if (TARGET_AVX)
23312 : 23 : emit_insn (gen_vec_concatv2di (op0, operands[2], operands[1]));
23313 : : else
23314 : : {
23315 : : /* NB: SSE can only concatenate OP0 and OP1 to OP0. */
23316 : 18 : emit_insn (gen_vec_concatv2di (op0, operands[1], operands[2]));
23317 : : /* Swap bits 0:63 with bits 64:127. */
23318 : 18 : rtx mask = gen_rtx_PARALLEL (VOIDmode,
23319 : : gen_rtvec (4, GEN_INT (2),
23320 : : GEN_INT (3),
23321 : : GEN_INT (0),
23322 : : GEN_INT (1)));
23323 : 18 : rtx op1 = lowpart_subreg (V4SImode, op0, GET_MODE (op0));
23324 : 18 : rtx op2 = gen_rtx_VEC_SELECT (V4SImode, op1, mask);
23325 : 18 : emit_insn (gen_rtx_SET (op1, op2));
23326 : : }
23327 : 41 : operands[0] = lowpart_subreg (V1TImode, op0, GET_MODE (op0));
23328 : : }
23329 : : [(set_attr "mmx_isa" "native,sse_noavx,avx")
23330 : : (set_attr "type" "sseishft")
23331 : 41 : (set_attr "addr" "gpr16,gpr16,*")
23332 : 41 : (set_attr "atom_unit" "sishuf")
23333 : 41 : (set_attr "prefix_extra" "1")
23334 : 41 : (set_attr "length_immediate" "1")
23335 : 92 : (set (attr "prefix_rex") (symbol_ref "x86_extended_reg_mentioned_p (insn)"))
23336 : 41 : (set_attr "mode" "DI,TI,TI")])
23337 : 41 :
23338 : 41 : ;; Mode iterator to handle singularity w/ absence of V2DI and V4DI
23339 : 41 : ;; modes for abs instruction on pre AVX-512 targets.
23340 : : (define_mode_iterator VI1248_AVX512VL_AVX512BW
23341 : 402 : [(V64QI "TARGET_AVX512BW && TARGET_EVEX512") (V32QI "TARGET_AVX2") V16QI
23342 : 105 : (V32HI "TARGET_AVX512BW && TARGET_EVEX512") (V16HI "TARGET_AVX2") V8HI
23343 : 101 : (V16SI "TARGET_AVX512F && TARGET_EVEX512") (V8SI "TARGET_AVX2") V4SI
23344 : 117 : (V8DI "TARGET_AVX512F && TARGET_EVEX512") (V4DI "TARGET_AVX512VL")
23345 : 57 : (V2DI "TARGET_AVX512VL")])
23346 : 1399 :
23347 : 1769 : (define_insn "*abs<mode>2"
23348 : 2023 : [(set (match_operand:VI1248_AVX512VL_AVX512BW 0 "register_operand" "=x,<v_Yw>")
23349 : 2732 : (abs:VI1248_AVX512VL_AVX512BW
23350 : 935 : (match_operand:VI1248_AVX512VL_AVX512BW 1 "vector_operand" "xja,<v_Yw>Bm")))]
23351 : 2267 : "TARGET_SSSE3"
23352 : 611 : "%vpabs<ssemodesuffix>\t{%1, %0|%0, %1}"
23353 : 10 : [(set_attr "isa" "noavx,avx")
23354 : 10 : (set_attr "addr" "gpr16,*")
23355 : 11371 : (set_attr "type" "sselog1")
23356 : 212 : (set_attr "prefix_extra" "1")
23357 : 206 : (set_attr "prefix" "maybe_vex")
23358 : 206 : (set_attr "mode" "<sseinsnmode>")])
23359 : 394 :
23360 : 11169 : (define_insn "abs<mode>2_mask"
23361 : 11159 : [(set (match_operand:VI48_AVX512VL 0 "register_operand" "=v")
23362 : 11159 : (vec_merge:VI48_AVX512VL
23363 : 11159 : (abs:VI48_AVX512VL
23364 : 11159 : (match_operand:VI48_AVX512VL 1 "nonimmediate_operand" "vm"))
23365 : 11159 : (match_operand:VI48_AVX512VL 2 "nonimm_or_0_operand" "0C")
23366 : 11159 : (match_operand:<avx512fmaskmode> 3 "register_operand" "Yk")))]
23367 : 11549 : "TARGET_AVX512F"
23368 : : "vpabs<ssemodesuffix>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
23369 : 3489 : [(set_attr "type" "sselog1")
23370 : 3489 : (set_attr "prefix" "evex")
23371 : 3489 : (set_attr "mode" "<sseinsnmode>")])
23372 : :
23373 : 102 : (define_insn "abs<mode>2_mask"
23374 : 102 : [(set (match_operand:VI12_AVX512VL 0 "register_operand" "=v")
23375 : : (vec_merge:VI12_AVX512VL
23376 : : (abs:VI12_AVX512VL
23377 : : (match_operand:VI12_AVX512VL 1 "nonimmediate_operand" "vm"))
23378 : : (match_operand:VI12_AVX512VL 2 "nonimm_or_0_operand" "0C")
23379 : : (match_operand:<avx512fmaskmode> 3 "register_operand" "Yk")))]
23380 : 352 : "TARGET_AVX512BW"
23381 : : "vpabs<ssemodesuffix>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
23382 : : [(set_attr "type" "sselog1")
23383 : : (set_attr "prefix" "evex")
23384 : : (set_attr "mode" "<sseinsnmode>")])
23385 : :
23386 : : (define_expand "abs<mode>2"
23387 : : [(set (match_operand:VI_AVX2 0 "register_operand")
23388 : : (abs:VI_AVX2
23389 : : (match_operand:VI_AVX2 1 "vector_operand")))]
23390 : : "TARGET_SSE2"
23391 : 771 : {
23392 : 663 : if (!TARGET_SSSE3
23393 : : || ((<MODE>mode == V2DImode || <MODE>mode == V4DImode)
23394 : 33 : && !TARGET_AVX512VL))
23395 : : {
23396 : 452 : ix86_expand_sse2_abs (operands[0], operands[1]);
23397 : 452 : DONE;
23398 : : }
23399 : : })
23400 : :
23401 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
23402 : 319 : ;;
23403 : 319 : ;; AMD SSE4A instructions
23404 : 319 : ;;
23405 : 319 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
23406 : :
23407 : 319 : (define_insn "sse4a_movnt<mode>"
23408 : : [(set (match_operand:MODEF 0 "memory_operand" "=m")
23409 : : (unspec:MODEF
23410 : 319 : [(match_operand:MODEF 1 "register_operand" "x")]
23411 : 319 : UNSPEC_MOVNT))]
23412 : 327 : "TARGET_SSE4A"
23413 : 8 : "movnt<ssemodesuffix>\t{%1, %0|%0, %1}"
23414 : : [(set_attr "type" "ssemov")
23415 : : (set_attr "mode" "<MODE>")])
23416 : 12 :
23417 : 120 : (define_insn "sse4a_vmmovnt<mode>"
23418 : 90 : [(set (match_operand:<ssescalarmode> 0 "memory_operand" "=m")
23419 : 8 : (unspec:<ssescalarmode>
23420 : 210 : [(vec_select:<ssescalarmode>
23421 : 245 : (match_operand:VF_128 1 "register_operand" "x")
23422 : 278 : (parallel [(const_int 0)]))]
23423 : 278 : UNSPEC_MOVNT))]
23424 : 234 : "TARGET_SSE4A"
23425 : 278 : "movnt<ssescalarmodesuffix>\t{%1, %0|%0, %1}"
23426 : 88 : [(set_attr "type" "ssemov")
23427 : 82 : (set_attr "mode" "<ssescalarmode>")])
23428 : 132 :
23429 : 44 : (define_insn "sse4a_extrqi"
23430 : 88 : [(set (match_operand:V2DI 0 "register_operand" "=x")
23431 : : (unspec:V2DI [(match_operand:V2DI 1 "register_operand" "0")
23432 : 44 : (match_operand 2 "const_0_to_255_operand")
23433 : 44 : (match_operand 3 "const_0_to_255_operand")]
23434 : : UNSPEC_EXTRQI))]
23435 : 63 : "TARGET_SSE4A"
23436 : 44 : "extrq\t{%3, %2, %0|%0, %2, %3}"
23437 : : [(set_attr "type" "sse")
23438 : : (set_attr "prefix_data16" "1")
23439 : 1000 : (set_attr "length_immediate" "2")
23440 : 1000 : (set_attr "mode" "TI")])
23441 : :
23442 : 659 : (define_insn "sse4a_extrq"
23443 : 659 : [(set (match_operand:V2DI 0 "register_operand" "=x")
23444 : : (unspec:V2DI [(match_operand:V2DI 1 "register_operand" "0")
23445 : 42302 : (match_operand:V16QI 2 "register_operand" "x")]
23446 : 42302 : UNSPEC_EXTRQ))]
23447 : 64 : "TARGET_SSE4A"
23448 : : "extrq\t{%2, %0|%0, %2}"
23449 : 25799 : [(set_attr "type" "sse")
23450 : 25799 : (set_attr "prefix_data16" "1")
23451 : 25880 : (set_attr "mode" "TI")])
23452 : 25880 :
23453 : : (define_insn "sse4a_insertqi"
23454 : 81 : [(set (match_operand:V2DI 0 "register_operand" "=x")
23455 : : (unspec:V2DI [(match_operand:V2DI 1 "register_operand" "0")
23456 : : (match_operand:V2DI 2 "register_operand" "x")
23457 : : (match_operand 3 "const_0_to_255_operand")
23458 : : (match_operand 4 "const_0_to_255_operand")]
23459 : : UNSPEC_INSERTQI))]
23460 : 86 : "TARGET_SSE4A"
23461 : : "insertq\t{%4, %3, %2, %0|%0, %2, %3, %4}"
23462 : : [(set_attr "type" "sseins")
23463 : : (set_attr "prefix_data16" "0")
23464 : 548 : (set_attr "prefix_rep" "1")
23465 : 548 : (set_attr "length_immediate" "2")
23466 : 548 : (set_attr "mode" "TI")])
23467 : 548 :
23468 : 548 : (define_insn "sse4a_insertq"
23469 : 548 : [(set (match_operand:V2DI 0 "register_operand" "=x")
23470 : 548 : (unspec:V2DI [(match_operand:V2DI 1 "register_operand" "0")
23471 : 548 : (match_operand:V2DI 2 "register_operand" "x")]
23472 : 548 : UNSPEC_INSERTQ))]
23473 : 620 : "TARGET_SSE4A"
23474 : : "insertq\t{%2, %0|%0, %2}"
23475 : 548 : [(set_attr "type" "sseins")
23476 : : (set_attr "prefix_data16" "0")
23477 : 42932 : (set_attr "prefix_rep" "1")
23478 : 42932 : (set_attr "mode" "TI")])
23479 : :
23480 : 4402 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
23481 : 4536 : ;;
23482 : : ;; Intel SSE4.1 instructions
23483 : 4402 : ;;
23484 : : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
23485 : :
23486 : : ;; Mapping of immediate bits for blend instructions
23487 : : (define_mode_attr blendbits
23488 : : [(V8SF "255") (V4SF "15") (V4DF "15") (V2DF "3")])
23489 : :
23490 : : (define_insn "<sse4_1>_blend<ssemodesuffix><avxsizesuffix>"
23491 : : [(set (match_operand:VF_128_256 0 "register_operand" "=Yr,*x,x")
23492 : : (vec_merge:VF_128_256
23493 : : (match_operand:VF_128_256 2 "vector_operand" "Yrja,*xja,xjm")
23494 : : (match_operand:VF_128_256 1 "register_operand" "0,0,x")
23495 : : (match_operand:SI 3 "const_0_to_<blendbits>_operand")))]
23496 : 2882 : "TARGET_SSE4_1"
23497 : : "@
23498 : : blend<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}
23499 : : blend<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}
23500 : 510 : vblend<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
23501 : 510 : [(set_attr "isa" "noavx,noavx,avx")
23502 : : (set_attr "type" "ssemov")
23503 : 510 : (set_attr "addr" "gpr16")
23504 : : (set_attr "length_immediate" "1")
23505 : : (set_attr "prefix_data16" "1,1,*")
23506 : : (set_attr "prefix_extra" "1")
23507 : : (set_attr "prefix" "orig,orig,vex")
23508 : : (set_attr "mode" "<MODE>")])
23509 : :
23510 : : (define_insn "<sse4_1>_blendv<ssemodesuffix><avxsizesuffix>"
23511 : : [(set (match_operand:VF_128_256 0 "register_operand" "=Yr,*x,x")
23512 : : (unspec:VF_128_256
23513 : : [(match_operand:VF_128_256 1 "register_operand" "0,0,x")
23514 : : (match_operand:VF_128_256 2 "vector_operand" "Yrja,*xja,xjm")
23515 : : (match_operand:VF_128_256 3 "register_operand" "Yz,Yz,x")]
23516 : : UNSPEC_BLENDV))]
23517 : 2573 : "TARGET_SSE4_1"
23518 : : "@
23519 : : blendv<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}
23520 : : blendv<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}
23521 : 1280 : vblendv<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
23522 : 1280 : [(set_attr "isa" "noavx,noavx,avx")
23523 : : (set_attr "type" "ssemov")
23524 : 1280 : (set_attr "addr" "gpr16")
23525 : : (set_attr "length_immediate" "1")
23526 : : (set_attr "prefix_data16" "1,1,*")
23527 : : (set_attr "prefix_extra" "1")
23528 : : (set_attr "prefix" "orig,orig,vex")
23529 : : (set_attr "btver2_decode" "vector,vector,vector")
23530 : : (set_attr "mode" "<MODE>")])
23531 : :
23532 : : ;; Also define scalar versions. These are used for conditional move.
23533 : : ;; Using subregs into vector modes causes register allocation lossage.
23534 : : ;; These patterns do not allow memory operands because the native
23535 : : ;; instructions read the full 128-bits.
23536 : :
23537 : : (define_insn "sse4_1_blendv<ssemodesuffix>"
23538 : : [(set (match_operand:MODEF 0 "register_operand" "=Yr,*x,x")
23539 : : (unspec:MODEF
23540 : : [(match_operand:MODEF 1 "register_operand" "0,0,x")
23541 : : (match_operand:MODEF 2 "register_operand" "Yr,*x,x")
23542 : : (match_operand:MODEF 3 "register_operand" "Yz,Yz,x")]
23543 : : UNSPEC_BLENDV))]
23544 : 198 : "TARGET_SSE4_1"
23545 : 91 : {
23546 : 91 : if (get_attr_mode (insn) == MODE_V4SF)
23547 : 51 : return (which_alternative == 2
23548 : 157 : ? "vblendvps\t{%3, %2, %1, %0|%0, %1, %2, %3}"
23549 : 157 : : "blendvps\t{%3, %2, %0|%0, %2, %3}");
23550 : : else
23551 : 26431 : return (which_alternative == 2
23552 : 40 : ? "vblendv<ssevecmodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
23553 : 17109 : : "blendv<ssevecmodesuffix>\t{%3, %2, %0|%0, %2, %3}");
23554 : : }
23555 : 18 : [(set_attr "isa" "noavx,noavx,avx")
23556 : 36 : (set_attr "type" "ssemov")
23557 : : (set_attr "length_immediate" "1")
23558 : 40 : (set_attr "prefix_data16" "1,1,*")
23559 : : (set_attr "prefix_extra" "1")
23560 : : (set_attr "prefix" "orig,orig,vex")
23561 : : (set_attr "btver2_decode" "vector,vector,vector")
23562 : : (set (attr "mode")
23563 : : (cond [(match_test "TARGET_AVX")
23564 : : (const_string "<ssevecmode>")
23565 : 202599287 : (match_test "optimize_function_for_size_p (cfun)")
23566 : : (const_string "V4SF")
23567 : 98579813 : (match_test "TARGET_SSE_PACKED_SINGLE_INSN_OPTIMAL")
23568 : : (const_string "V4SF")
23569 : 126086622 : ]
23570 : : (const_string "<ssevecmode>")))])
23571 : 34662370 :
23572 : : (define_insn_and_split "*<sse4_1>_blendv<ssemodesuffix><avxsizesuffix>_lt"
23573 : 0 : [(set (match_operand:VF_128_256 0 "register_operand" "=Yr,*x,x")
23574 : 249443505 : (unspec:VF_128_256
23575 : 1449574 : [(match_operand:VF_128_256 1 "register_operand" "0,0,x")
23576 : 164670 : (match_operand:VF_128_256 2 "vector_operand" "Yrja,*xja,xjm")
23577 : 1461773 : (lt:VF_128_256
23578 : 4738150 : (match_operand:<sseintvecmode> 3 "register_operand" "Yz,Yz,x")
23579 : 1648518 : (match_operand:<sseintvecmode> 4 "const0_operand"))]
23580 : 188438 : UNSPEC_BLENDV))]
23581 : 26630 : "TARGET_SSE4_1"
23582 : 2874113 : "#"
23583 : 1449704 : "&& reload_completed"
23584 : 11726 : [(set (match_dup 0)
23585 : 1449590 : (unspec:VF_128_256
23586 : 526494 : [(match_dup 1) (match_dup 2) (match_dup 3)] UNSPEC_BLENDV))]
23587 : 526669 : "operands[3] = gen_lowpart (<MODE>mode, operands[3]);"
23588 : 11763 : [(set_attr "isa" "noavx,noavx,avx")
23589 : 526533 : (set_attr "type" "ssemov")
23590 : 65 : (set_attr "addr" "gpr16")
23591 : 65 : (set_attr "length_immediate" "1")
23592 : 526598 : (set_attr "prefix_data16" "1,1,*")
23593 : 526598 : (set_attr "prefix_extra" "1")
23594 : 65 : (set_attr "prefix" "orig,orig,vex")
23595 : 65 : (set_attr "btver2_decode" "vector,vector,vector")
23596 : 65 : (set_attr "mode" "<MODE>")])
23597 : 65 :
23598 : 65 : (define_insn_and_split "*<sse4_1>_blendv<ssemodesuffix><avxsizesuffix>_gt"
23599 : 0 : [(set (match_operand:VF_128_256 0 "register_operand" "=Yr,*x,x")
23600 : 0 : (unspec:VF_128_256
23601 : 0 : [(match_operand:VF_128_256 1 "vector_operand" "Yrja,*xja,xjm")
23602 : 0 : (match_operand:VF_128_256 2 "register_operand" "0,0,x")
23603 : 0 : (gt:VF_128_256
23604 : 0 : (match_operand:<sseintvecmode> 3 "register_operand" "Yz,Yz,x")
23605 : 65 : (match_operand:<sseintvecmode> 4 "vector_all_ones_operand"))]
23606 : 65 : UNSPEC_BLENDV))]
23607 : 110 : "TARGET_SSE4_1"
23608 : 0 : "#"
23609 : 28 : "&& reload_completed"
23610 : 14 : [(set (match_dup 0)
23611 : 3 : (unspec:VF_128_256
23612 : 3 : [(match_dup 2) (match_dup 1) (match_dup 3)] UNSPEC_BLENDV))]
23613 : 66 : "operands[3] = gen_lowpart (<MODE>mode, operands[3]);"
23614 : 24 : [(set_attr "isa" "noavx,noavx,avx")
23615 : 25 : (set_attr "type" "ssemov")
23616 : 39 : (set_attr "addr" "gpr16")
23617 : 39 : (set_attr "length_immediate" "1")
23618 : 39 : (set_attr "prefix_data16" "1,1,*")
23619 : 39 : (set_attr "prefix_extra" "1")
23620 : 39 : (set_attr "prefix" "orig,orig,vex")
23621 : 14 : (set_attr "btver2_decode" "vector,vector,vector")
23622 : 39 : (set_attr "mode" "<MODE>")])
23623 : 14 :
23624 : 14 : (define_mode_attr ssefltmodesuffix
23625 : 0 : [(V2DI "pd") (V4DI "pd") (V4SI "ps") (V8SI "ps")
23626 : 0 : (V2DF "pd") (V4DF "pd") (V4SF "ps") (V8SF "ps")])
23627 : 0 :
23628 : : (define_mode_attr ssefltvecmode
23629 : 0 : [(V2DI "V2DF") (V4DI "V4DF") (V4SI "V4SF") (V8SI "V8SF")])
23630 : :
23631 : 14 : (define_insn_and_split "*<sse4_1>_blendv<ssefltmodesuffix><avxsizesuffix>_ltint"
23632 : 14 : [(set (match_operand:<ssebytemode> 0 "register_operand" "=Yr,*x,x")
23633 : 14 : (unspec:<ssebytemode>
23634 : : [(match_operand:<ssebytemode> 1 "register_operand" "0,0,x")
23635 : : (match_operand:<ssebytemode> 2 "vector_operand" "Yrja,*xja,xjm")
23636 : : (subreg:<ssebytemode>
23637 : : (lt:VI48_AVX
23638 : : (match_operand:VI48_AVX 3 "register_operand" "Yz,Yz,x")
23639 : 9 : (match_operand:VI48_AVX 4 "const0_operand")) 0)]
23640 : : UNSPEC_BLENDV))]
23641 : 212 : "TARGET_SSE4_1"
23642 : 9 : "#"
23643 : 101 : "&& reload_completed"
23644 : 55 : [(set (match_dup 0)
23645 : 38 : (unspec:<ssefltvecmode>
23646 : 38 : [(match_dup 1) (match_dup 2) (match_dup 3)] UNSPEC_BLENDV))]
23647 : 96 : {
23648 : 105 : operands[0] = gen_lowpart (<ssefltvecmode>mode, operands[0]);
23649 : 46 : operands[1] = gen_lowpart (<ssefltvecmode>mode, operands[1]);
23650 : 219 : operands[2] = gen_lowpart (<ssefltvecmode>mode, operands[2]);
23651 : 46 : operands[3] = gen_lowpart (<ssefltvecmode>mode, operands[3]);
23652 : 15 : }
23653 : : [(set_attr "isa" "noavx,noavx,avx")
23654 : 3 : (set_attr "type" "ssemov")
23655 : 49 : (set_attr "addr" "gpr16")
23656 : 46 : (set_attr "length_immediate" "1")
23657 : 46 : (set_attr "prefix_data16" "1,1,*")
23658 : 46 : (set_attr "prefix_extra" "1")
23659 : 46 : (set_attr "prefix" "orig,orig,vex")
23660 : 669 : (set_attr "btver2_decode" "vector,vector,vector")
23661 : 46 : (set_attr "mode" "<ssefltvecmode>")])
23662 : 46 :
23663 : 46 : (define_insn_and_split "*<sse4_1>_blendv<ssefltmodesuffix><avxsizesuffix>_gtint"
23664 : : [(set (match_operand:<ssebytemode> 0 "register_operand" "=Yr,*x,x")
23665 : : (unspec:<ssebytemode>
23666 : 0 : [(match_operand:<ssebytemode> 1 "vector_operand" "Yrja,*xja,xjm")
23667 : 0 : (match_operand:<ssebytemode> 2 "register_operand" "0,0,x")
23668 : 0 : (subreg:<ssebytemode>
23669 : 0 : (gt:VI48_AVX
23670 : 46 : (match_operand:VI48_AVX 3 "register_operand" "Yz,Yz,x")
23671 : 46 : (match_operand:VI48_AVX 4 "vector_all_ones_operand")) 0)]
23672 : 46 : UNSPEC_BLENDV))]
23673 : 75 : "TARGET_SSE4_1"
23674 : 0 : "#"
23675 : 32 : "&& reload_completed"
23676 : 16 : [(set (match_dup 0)
23677 : 20 : (unspec:<ssefltvecmode>
23678 : 23 : [(match_dup 2) (match_dup 1) (match_dup 3)] UNSPEC_BLENDV))]
23679 : 40 : {
23680 : 43 : operands[0] = gen_lowpart (<ssefltvecmode>mode, operands[0]);
23681 : 19 : operands[1] = gen_lowpart (<ssefltvecmode>mode, operands[1]);
23682 : 663 : operands[2] = gen_lowpart (<ssefltvecmode>mode, operands[2]);
23683 : 19 : operands[3] = gen_lowpart (<ssefltvecmode>mode, operands[3]);
23684 : 17 : }
23685 : 3 : [(set_attr "isa" "noavx,noavx,avx")
23686 : 3 : (set_attr "type" "ssemov")
23687 : 22 : (set_attr "addr" "gpr16")
23688 : 16 : (set_attr "length_immediate" "1")
23689 : 16 : (set_attr "prefix_data16" "1,1,*")
23690 : 16 : (set_attr "prefix_extra" "1")
23691 : 16 : (set_attr "prefix" "orig,orig,vex")
23692 : 16 : (set_attr "btver2_decode" "vector,vector,vector")
23693 : 16 : (set_attr "mode" "<ssefltvecmode>")])
23694 : 16 :
23695 : 16 : ;; PR target/100738: Transform vpcmpeqd + vpxor + vblendvps to vblendvps for inverted mask;
23696 : : (define_insn_and_split "*<sse4_1>_blendv<ssefltmodesuffix><avxsizesuffix>_not_ltint"
23697 : : [(set (match_operand:<ssebytemode> 0 "register_operand")
23698 : : (unspec:<ssebytemode>
23699 : : [(match_operand:<ssebytemode> 1 "register_operand")
23700 : : (match_operand:<ssebytemode> 2 "vector_operand")
23701 : : (subreg:<ssebytemode>
23702 : 16 : (lt:VI48_AVX
23703 : 16 : (subreg:VI48_AVX
23704 : 16 : (not:<ssebytemode>
23705 : : (match_operand:<ssebytemode> 3 "register_operand")) 0)
23706 : : (match_operand:VI48_AVX 4 "const0_operand")) 0)]
23707 : : UNSPEC_BLENDV))]
23708 : 9 : "TARGET_SSE4_1 && ix86_pre_reload_split ()"
23709 : : "#"
23710 : 0 : "&& 1"
23711 : 0 : [(set (match_dup 0)
23712 : 3 : (unspec:<ssefltvecmode>
23713 : 0 : [(match_dup 2) (match_dup 1) (match_dup 3)] UNSPEC_BLENDV))]
23714 : 3 : {
23715 : 3 : operands[0] = gen_lowpart (<ssefltvecmode>mode, operands[0]);
23716 : 3 : operands[1] = gen_lowpart (<ssefltvecmode>mode, operands[1]);
23717 : 3 : operands[2] = force_reg (<ssefltvecmode>mode,
23718 : 663 : gen_lowpart (<ssefltvecmode>mode, operands[2]));
23719 : 663 : operands[3] = gen_lowpart (<ssefltvecmode>mode, operands[3]);
23720 : 660 : })
23721 : 660 :
23722 : 0 : (define_insn_and_split "*<sse4_1>_blendv<ssefltmodesuffix><avxsizesuffix>_not_gtint"
23723 : 11 : [(set (match_operand:<ssebytemode> 0 "register_operand")
23724 : 11 : (unspec:<ssebytemode>
23725 : 3 : [(match_operand:<ssebytemode> 1 "vector_operand")
23726 : 3 : (match_operand:<ssebytemode> 2 "register_operand")
23727 : 3 : (subreg:<ssebytemode>
23728 : 3 : (gt:VI48_AVX
23729 : 3 : (subreg:VI48_AVX
23730 : 3 : (not:<ssebytemode>
23731 : 3 : (match_operand:<ssebytemode> 3 "register_operand")) 0)
23732 : : (match_operand:VI48_AVX 4 "vector_all_ones_operand")) 0)]
23733 : : UNSPEC_BLENDV))]
23734 : 9 : "TARGET_SSE4_1 && ix86_pre_reload_split ()"
23735 : 0 : "#"
23736 : 0 : "&& 1"
23737 : 0 : [(set (match_dup 0)
23738 : 6 : (unspec:<ssefltvecmode>
23739 : 3 : [(match_dup 1) (match_dup 2) (match_dup 3)] UNSPEC_BLENDV))]
23740 : 6 : {
23741 : 3 : operands[0] = gen_lowpart (<ssefltvecmode>mode, operands[0]);
23742 : 3 : operands[2] = gen_lowpart (<ssefltvecmode>mode, operands[2]);
23743 : 4 : operands[1] = force_reg (<ssefltvecmode>mode,
23744 : 3 : gen_lowpart (<ssefltvecmode>mode, operands[1]));
23745 : 4 : operands[3] = gen_lowpart (<ssefltvecmode>mode, operands[3]);
23746 : 68 : })
23747 : 1 :
23748 : 68 : (define_insn "<sse4_1>_dp<ssemodesuffix><avxsizesuffix>"
23749 : 71 : [(set (match_operand:VF_128_256 0 "register_operand" "=Yr,*x,x")
23750 : 71 : (unspec:VF_128_256
23751 : 71 : [(match_operand:VF_128_256 1 "vector_operand" "%0,0,x")
23752 : 70 : (match_operand:VF_128_256 2 "vector_operand" "Yrja,*xja,xjm")
23753 : 71 : (match_operand:SI 3 "const_0_to_255_operand")]
23754 : 3 : UNSPEC_DP))]
23755 : 619 : "TARGET_SSE4_1"
23756 : 3 : "@
23757 : 3 : dp<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}
23758 : : dp<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}
23759 : 0 : vdp<ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
23760 : 0 : [(set_attr "isa" "noavx,noavx,avx")
23761 : : (set_attr "type" "ssemul")
23762 : 0 : (set_attr "addr" "gpr16")
23763 : : (set_attr "length_immediate" "1")
23764 : 3 : (set_attr "prefix_data16" "1,1,*")
23765 : 3 : (set_attr "prefix_extra" "1")
23766 : 3 : (set_attr "prefix" "orig,orig,vex")
23767 : : (set_attr "btver2_decode" "vector,vector,vector")
23768 : : (set_attr "znver1_decode" "vector,vector,vector")
23769 : : (set_attr "mode" "<MODE>")])
23770 : :
23771 : : ;; Mode attribute used by `vmovntdqa' pattern
23772 : 9 : (define_mode_attr vi8_sse4_1_avx2_avx512
23773 : : [(V2DI "sse4_1") (V4DI "avx2") (V8DI "avx512f")])
23774 : 9 :
23775 : 9 : (define_insn "<vi8_sse4_1_avx2_avx512>_movntdqa"
23776 : 9 : [(set (match_operand:VI8_AVX2_AVX512F 0 "register_operand" "=Yr,*x,v")
23777 : 9 : (unspec:VI8_AVX2_AVX512F [(match_operand:VI8_AVX2_AVX512F 1 "memory_operand" "jm,jm,m")]
23778 : 9 : UNSPEC_MOVNTDQA))]
23779 : 147 : "TARGET_SSE4_1"
23780 : 3 : "%vmovntdqa\t{%1, %0|%0, %1}"
23781 : 8 : [(set_attr "isa" "noavx,noavx,avx")
23782 : 1 : (set_attr "addr" "gpr16,gpr16,*")
23783 : : (set_attr "type" "ssemov")
23784 : : (set_attr "prefix_extra" "1")
23785 : : (set_attr "prefix" "orig,orig,maybe_evex")
23786 : : (set_attr "mode" "<sseinsnmode>")])
23787 : 150 :
23788 : 150 : (define_insn "<sse4_1_avx2>_mpsadbw"
23789 : 150 : [(set (match_operand:VI1_AVX2 0 "register_operand" "=Yr,*x,x")
23790 : 4 : (unspec:VI1_AVX2
23791 : 146 : [(match_operand:VI1_AVX2 1 "register_operand" "0,0,x")
23792 : 146 : (match_operand:VI1_AVX2 2 "vector_operand" "Yrja,*xja,xjm")
23793 : 146 : (match_operand:SI 3 "const_0_to_255_operand")]
23794 : 146 : UNSPEC_MPSADBW))]
23795 : 474 : "TARGET_SSE4_1"
23796 : : "@
23797 : 0 : mpsadbw\t{%3, %2, %0|%0, %2, %3}
23798 : : mpsadbw\t{%3, %2, %0|%0, %2, %3}
23799 : : vmpsadbw\t{%3, %2, %1, %0|%0, %1, %2, %3}"
23800 : : [(set_attr "isa" "noavx,noavx,avx")
23801 : : (set_attr "addr" "gpr16")
23802 : : (set_attr "type" "sselog1")
23803 : : (set_attr "length_immediate" "1")
23804 : : (set_attr "prefix_extra" "1")
23805 : : (set_attr "prefix" "orig,orig,vex")
23806 : : (set_attr "btver2_decode" "vector,vector,vector")
23807 : : (set_attr "znver1_decode" "vector,vector,vector")
23808 : : (set_attr "mode" "<sseinsnmode>")])
23809 : :
23810 : : (define_insn "avx10_2_mpsadbw<mask_name>"
23811 : : [(set (match_operand:V64QI 0 "register_operand" "=v")
23812 : : (unspec:V64QI
23813 : : [(match_operand:V64QI 1 "register_operand" "v")
23814 : : (match_operand:V64QI 2 "vector_operand" "vm")
23815 : : (match_operand:SI 3 "const_0_to_255_operand" "n")]
23816 : : UNSPEC_MPSADBW))]
23817 : 227 : "TARGET_AVX10_2_512"
23818 : : "vmpsadbw\t{%3, %2, %1, %0<mask_operand4>|%0<mask_operand4>, %1, %2, %3}"
23819 : : [(set_attr "length_immediate" "1")
23820 : : (set_attr "prefix" "evex")])
23821 : 152 :
23822 : 152 : (define_insn "<mask_codefor><sse4_1_avx2>_mpsadbw<mask_name>"
23823 : : [(set (match_operand:VI1 0 "register_operand" "=v")
23824 : : (unspec:VI1
23825 : : [(match_operand:VI1 1 "register_operand" "v")
23826 : : (match_operand:VI1 2 "vector_operand" "vm")
23827 : 2716 : (match_operand:SI 3 "const_0_to_255_operand" "n")]
23828 : : UNSPEC_MPSADBW))]
23829 : 304 : "TARGET_AVX10_2_256"
23830 : : "vmpsadbw\t{%3, %2, %1, %0<mask_operand4>|%0<mask_operand4>, %1, %2, %3}"
23831 : 2716 : [(set_attr "length_immediate" "1")
23832 : 2716 : (set_attr "prefix" "evex")
23833 : 2779 : (set_attr "mode" "<sseinsnmode>")])
23834 : 63 :
23835 : 2716 : (define_insn "<sse4_1_avx2>_packusdw<mask_name>"
23836 : 63 : [(set (match_operand:VI2_AVX2_AVX512BW 0 "register_operand" "=Yr,*x,<v_Yw>")
23837 : 10941 : (unspec:VI2_AVX2_AVX512BW
23838 : 10941 : [(match_operand:<sseunpackmode> 1 "register_operand" "0,0,<v_Yw>")
23839 : 2716 : (match_operand:<sseunpackmode> 2 "vector_operand" "Yrja,*xja,<v_Yw>m")]
23840 : 1427 : UNSPEC_US_TRUNCATE))]
23841 : 9114 : "TARGET_SSE4_1 && <mask_mode512bit_condition> && <mask_avx512bw_condition>"
23842 : 2716 : "@
23843 : 3263 : packusdw\t{%2, %0|%0, %2}
23844 : 3263 : packusdw\t{%2, %0|%0, %2}
23845 : 3263 : vpackusdw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
23846 : : [(set_attr "isa" "noavx,noavx,avx")
23847 : 788 : (set_attr "addr" "gpr16,gpr16,*")
23848 : 788 : (set_attr "type" "sselog")
23849 : 1076 : (set_attr "prefix_extra" "1")
23850 : 829 : (set_attr "prefix" "orig,orig,<mask_prefix>")
23851 : 1047 : (set_attr "mode" "<sseinsnmode>")])
23852 : 759 :
23853 : 541 : (define_insn "<sse4_1_avx2>_pblendvb"
23854 : 218 : [(set (match_operand:VI1_AVX2 0 "register_operand" "=Yr,*x,x")
23855 : 541 : (unspec:VI1_AVX2
23856 : 81 : [(match_operand:VI1_AVX2 1 "register_operand" "0,0,x")
23857 : 189 : (match_operand:VI1_AVX2 2 "vector_operand" "Yrja,*xja,xjm")
23858 : 189 : (match_operand:VI1_AVX2 3 "register_operand" "Yz,Yz,x")]
23859 : 81 : UNSPEC_BLENDV))]
23860 : 5851 : "TARGET_SSE4_1"
23861 : 81 : "@
23862 : 159 : pblendvb\t{%3, %2, %0|%0, %2, %3}
23863 : : pblendvb\t{%3, %2, %0|%0, %2, %3}
23864 : : vpblendvb\t{%3, %2, %1, %0|%0, %1, %2, %3}"
23865 : : [(set_attr "isa" "noavx,noavx,avx")
23866 : : (set_attr "type" "ssemov")
23867 : : (set_attr "addr" "gpr16")
23868 : 740 : (set_attr "prefix_extra" "1")
23869 : 740 : (set_attr "length_immediate" "*,*,1")
23870 : 740 : (set_attr "prefix" "orig,orig,vex")
23871 : 740 : (set_attr "btver2_decode" "vector,vector,vector")
23872 : : (set_attr "mode" "<sseinsnmode>")])
23873 : 2 :
23874 : 2 : (define_split
23875 : : [(set (match_operand:VI1_AVX2 0 "register_operand")
23876 : : (unspec:VI1_AVX2
23877 : : [(match_operand:VI1_AVX2 1 "vector_operand")
23878 : : (match_operand:VI1_AVX2 2 "register_operand")
23879 : : (not:VI1_AVX2 (match_operand:VI1_AVX2 3 "register_operand"))]
23880 : : UNSPEC_BLENDV))]
23881 : 0 : "TARGET_SSE4_1"
23882 : : [(set (match_dup 0)
23883 : 0 : (unspec:VI1_AVX2
23884 : : [(match_dup 2) (match_dup 1) (match_dup 3)]
23885 : : UNSPEC_BLENDV))])
23886 : :
23887 : : (define_split
23888 : : [(set (match_operand:VI1_AVX2 0 "register_operand")
23889 : : (unspec:VI1_AVX2
23890 : : [(match_operand:VI1_AVX2 1 "vector_operand")
23891 : : (match_operand:VI1_AVX2 2 "register_operand")
23892 : : (subreg:VI1_AVX2 (not (match_operand 3 "register_operand")) 0)]
23893 : 107 : UNSPEC_BLENDV))]
23894 : 107 : "TARGET_SSE4_1
23895 : 0 : && GET_MODE_CLASS (GET_MODE (operands[3])) == MODE_VECTOR_INT
23896 : 0 : && GET_MODE_SIZE (GET_MODE (operands[3])) == <MODE_SIZE>"
23897 : 2 : [(set (match_dup 0)
23898 : 0 : (unspec:VI1_AVX2
23899 : : [(match_dup 2) (match_dup 1) (match_dup 4)]
23900 : : UNSPEC_BLENDV))]
23901 : 0 : "operands[4] = gen_lowpart (<MODE>mode, operands[3]);")
23902 : :
23903 : : (define_insn_and_split "*<sse4_1_avx2>_pblendvb_lt"
23904 : 0 : [(set (match_operand:VI1_AVX2 0 "register_operand" "=Yr,*x,x")
23905 : 0 : (unspec:VI1_AVX2
23906 : 0 : [(match_operand:VI1_AVX2 1 "register_operand" "0,0,x")
23907 : 0 : (match_operand:VI1_AVX2 2 "vector_operand" "Yrja,*xja,xjm")
23908 : 0 : (lt:VI1_AVX2 (match_operand:VI1_AVX2 3 "register_operand" "Yz,Yz,x")
23909 : 0 : (match_operand:VI1_AVX2 4 "const0_operand"))]
23910 : 0 : UNSPEC_BLENDV))]
23911 : 103 : "TARGET_SSE4_1"
23912 : 0 : "#"
23913 : 0 : "&& 1"
23914 : 67 : [(set (match_dup 0)
23915 : 0 : (unspec:VI1_AVX2
23916 : : [(match_dup 1) (match_dup 2) (match_dup 3)] UNSPEC_BLENDV))]
23917 : 43 : ""
23918 : 889 : [(set_attr "isa" "noavx,noavx,avx")
23919 : 846 : (set_attr "type" "ssemov")
23920 : 67 : (set_attr "addr" "gpr16")
23921 : 474 : (set_attr "prefix_extra" "1")
23922 : 67 : (set_attr "length_immediate" "*,*,1")
23923 : 117 : (set_attr "prefix" "orig,orig,vex")
23924 : 69 : (set_attr "btver2_decode" "vector,vector,vector")
23925 : 68 : (set_attr "mode" "<sseinsnmode>")])
23926 : 68 :
23927 : 67 : (define_insn_and_split "*<sse4_1_avx2>_pblendvb_gt"
23928 : 85 : [(set (match_operand:VI1_AVX2 0 "register_operand" "=Yr,*x,x")
23929 : : (unspec:VI1_AVX2
23930 : : [(match_operand:VI1_AVX2 1 "vector_operand" "Yrja,*xja,xjm")
23931 : : (match_operand:VI1_AVX2 2 "register_operand" "0,0,x")
23932 : : (gt:VI1_AVX2 (match_operand:VI1_AVX2 3 "register_operand" "Yz,Yz,x")
23933 : 18 : (match_operand:VI1_AVX2 4 "vector_all_ones_operand"))]
23934 : 18 : UNSPEC_BLENDV))]
23935 : 98 : "TARGET_SSE4_1"
23936 : 85 : "#"
23937 : 85 : "&& 1"
23938 : 26 : [(set (match_dup 0)
23939 : 18 : (unspec:VI1_AVX2
23940 : 18 : [(match_dup 2) (match_dup 1) (match_dup 3)] UNSPEC_BLENDV))]
23941 : 5 : ""
23942 : 727 : [(set_attr "isa" "noavx,noavx,avx")
23943 : 716 : (set_attr "type" "ssemov")
23944 : 149 : (set_attr "addr" "gpr16")
23945 : 187 : (set_attr "prefix_extra" "1")
23946 : 8 : (set_attr "length_immediate" "*,*,1")
23947 : 20 : (set_attr "prefix" "orig,orig,vex")
23948 : 14 : (set_attr "btver2_decode" "vector,vector,vector")
23949 : 14 : (set_attr "mode" "<sseinsnmode>")])
23950 : 14 :
23951 : 14 : (define_insn_and_split "*<sse4_1_avx2>_pblendvb_lt_subreg_not"
23952 : 14 : [(set (match_operand:VI1_AVX2 0 "register_operand")
23953 : 6 : (unspec:VI1_AVX2
23954 : 6 : [(match_operand:VI1_AVX2 2 "vector_operand")
23955 : : (match_operand:VI1_AVX2 1 "register_operand")
23956 : : (lt:VI1_AVX2
23957 : : (subreg:VI1_AVX2
23958 : : (not (match_operand 3 "register_operand")) 0)
23959 : 8 : (match_operand:VI1_AVX2 4 "const0_operand"))]
23960 : 8 : UNSPEC_BLENDV))]
23961 : 13 : "TARGET_SSE4_1
23962 : 6 : && GET_MODE_CLASS (GET_MODE (operands[3])) == MODE_VECTOR_INT
23963 : 12 : && GET_MODE_SIZE (GET_MODE (operands[3])) == <MODE_SIZE>
23964 : 6 : && ix86_pre_reload_split ()"
23965 : 0 : "#"
23966 : 12 : "&& 1"
23967 : 0 : [(set (match_dup 0)
23968 : 2 : (unspec:VI1_AVX2
23969 : : [(match_dup 1) (match_dup 2)
23970 : 1 : (lt:VI1_AVX2 (match_dup 3) (match_dup 4))] UNSPEC_BLENDV))]
23971 : 16 : "operands[3] = gen_lowpart (<MODE>mode, operands[3]);")
23972 : 26276 :
23973 : 26276 : (define_insn_and_split "*<sse4_1_avx2>_pblendvb_gt_subreg_not"
23974 : 26441 : [(set (match_operand:VI1_AVX2 0 "register_operand")
23975 : 26441 : (unspec:VI1_AVX2
23976 : 26441 : [(match_operand:VI1_AVX2 2 "register_operand")
23977 : 26441 : (match_operand:VI1_AVX2 1 "vector_operand")
23978 : 26278 : (gt:VI1_AVX2
23979 : 26270 : (subreg:VI1_AVX2
23980 : 6 : (not (match_operand 3 "register_operand")) 0)
23981 : 1151 : (match_operand:VI1_AVX2 4 "vector_all_ones_operand"))]
23982 : 1151 : UNSPEC_BLENDV))]
23983 : 2 : "TARGET_SSE4_1
23984 : 1151 : && GET_MODE_CLASS (GET_MODE (operands[3])) == MODE_VECTOR_INT
23985 : 0 : && GET_MODE_SIZE (GET_MODE (operands[3])) == <MODE_SIZE>
23986 : 0 : && ix86_pre_reload_split ()"
23987 : 0 : "#"
23988 : : "&& 1"
23989 : 0 : [(set (match_dup 0)
23990 : 0 : (unspec:VI1_AVX2
23991 : : [(match_dup 1) (match_dup 2)
23992 : 0 : (gt:VI1_AVX2 (match_dup 3) (match_dup 4))] UNSPEC_BLENDV))]
23993 : 2 : "operands[3] = gen_lowpart (<MODE>mode, operands[3]);")
23994 : 2 :
23995 : 2 : (define_insn "sse4_1_pblend<ssemodesuffix>"
23996 : 4804 : [(set (match_operand:V8_128 0 "register_operand" "=Yr,*x,x")
23997 : 4804 : (vec_merge:V8_128
23998 : 0 : (match_operand:V8_128 2 "vector_operand" "Yrja,*xja,xjm")
23999 : 4804 : (match_operand:V8_128 1 "register_operand" "0,0,x")
24000 : 30913 : (match_operand:SI 3 "const_0_to_255_operand")))]
24001 : 16558 : "TARGET_SSE4_1"
24002 : 4804 : "@
24003 : 4808 : pblendw\t{%3, %2, %0|%0, %2, %3}
24004 : 30917 : pblendw\t{%3, %2, %0|%0, %2, %3}
24005 : 40315 : vpblendw\t{%3, %2, %1, %0|%0, %1, %2, %3}"
24006 : 40315 : [(set_attr "isa" "noavx,noavx,avx")
24007 : 26328 : (set_attr "type" "ssemov")
24008 : 40315 : (set_attr "addr" "gpr16")
24009 : 26328 : (set_attr "prefix_extra" "1")
24010 : 26109 : (set_attr "length_immediate" "1")
24011 : 26151 : (set_attr "prefix" "orig,orig,vex")
24012 : 42 : (set_attr "mode" "TI")])
24013 : 85 :
24014 : 85 : ;; The builtin uses an 8-bit immediate. Expand that.
24015 : 0 : (define_expand "avx2_pblend<ssemodesuffix>"
24016 : 1 : [(set (match_operand:V16_256 0 "register_operand")
24017 : 2 : (vec_merge:V16_256
24018 : : (match_operand:V16_256 2 "nonimmediate_operand")
24019 : : (match_operand:V16_256 1 "register_operand")
24020 : : (match_operand:SI 3 "const_0_to_255_operand")))]
24021 : : "TARGET_AVX2"
24022 : 24 : {
24023 : 25 : HOST_WIDE_INT val = INTVAL (operands[3]) & 0xff;
24024 : 24 : operands[3] = GEN_INT (val << 8 | val);
24025 : 1 : })
24026 : 1 :
24027 : 1 : (define_expand "avx2_pblend<ssemodesuffix>_1"
24028 : 25 : [(set (match_operand:V16_256 0 "register_operand")
24029 : 24 : (vec_merge:V16_256
24030 : 25 : (match_operand:V16_256 2 "register_operand")
24031 : 24 : (match_operand:V16_256 1 "register_operand")
24032 : 24 : (match_operand:SI 3 "const_int_operand")))]
24033 : 24 : "TARGET_AVX2
24034 : 24 : && !((INTVAL (operands[3]) & 0xff) && (INTVAL (operands[3]) & 0xff00))"
24035 : 36 : {
24036 : 12 : int mask = INTVAL (operands[3]);
24037 : 36 : if (mask == 0)
24038 : 0 : emit_move_insn (operands[0], operands[1]);
24039 : : else
24040 : : {
24041 : 12 : rtx tmp = gen_reg_rtx (<MODE>mode);
24042 : 36 : rtx blendw_idx, blendd_idx;
24043 : 24 :
24044 : 36 : if (mask & 0xff)
24045 : : {
24046 : 4 : blendw_idx = GEN_INT (mask & 0xff);
24047 : 4 : blendd_idx = GEN_INT (15);
24048 : : }
24049 : 10 : else
24050 : 4 : {
24051 : 8 : blendw_idx = GEN_INT (mask >> 8 & 0xff);
24052 : 22 : blendd_idx = GEN_INT (240);
24053 : 4 : }
24054 : 16 : emit_insn (gen_avx2_pblend<ssemodesuffix> (tmp, operands[1],
24055 : 4 : operands[2], blendw_idx));
24056 : 0 :
24057 : 16 : rtx op0 = gen_reg_rtx (V8SImode);
24058 : 12 : tmp = lowpart_subreg (V8SImode, tmp, <MODE>mode);
24059 : 12 : operands[1] = lowpart_subreg (V8SImode, operands[1], <MODE>mode);
24060 : 13 : emit_insn (gen_avx2_pblenddv8si (op0, operands[1],
24061 : : tmp, blendd_idx));
24062 : 13 : emit_move_insn (operands[0], lowpart_subreg (<MODE>mode, op0, V8SImode));
24063 : 1 : }
24064 : 1 :
24065 : 13 : DONE;
24066 : 0 : })
24067 : 1 :
24068 : : (define_insn "*avx2_pblend<ssemodesuffix>"
24069 : : [(set (match_operand:V16_256 0 "register_operand" "=x")
24070 : : (vec_merge:V16_256
24071 : : (match_operand:V16_256 2 "nonimmediate_operand" "xjm")
24072 : : (match_operand:V16_256 1 "register_operand" "x")
24073 : : (match_operand:SI 3 "avx2_pblendw_operand")))]
24074 : 6277 : "TARGET_AVX2"
24075 : 635 : {
24076 : 623 : operands[3] = GEN_INT (INTVAL (operands[3]) & 0xff);
24077 : 635 : return "vpblendw\t{%3, %2, %1, %0|%0, %1, %2, %3}";
24078 : 10866 : }
24079 : 10866 : [(set_attr "type" "ssemov")
24080 : : (set_attr "addr" "gpr16")
24081 : 10866 : (set_attr "prefix_extra" "1")
24082 : 12 : (set_attr "length_immediate" "1")
24083 : : (set_attr "prefix" "vex")
24084 : : (set_attr "mode" "OI")])
24085 : :
24086 : : (define_insn "avx2_pblendd<mode>"
24087 : : [(set (match_operand:VI4_AVX2 0 "register_operand" "=x")
24088 : : (vec_merge:VI4_AVX2
24089 : : (match_operand:VI4_AVX2 2 "nonimmediate_operand" "xjm")
24090 : : (match_operand:VI4_AVX2 1 "register_operand" "x")
24091 : 7 : (match_operand:SI 3 "const_0_to_255_operand")))]
24092 : 6887 : "TARGET_AVX2"
24093 : 7 : "vpblendd\t{%3, %2, %1, %0|%0, %1, %2, %3}"
24094 : 7 : [(set_attr "type" "ssemov")
24095 : 7 : (set_attr "prefix_extra" "1")
24096 : 755 : (set_attr "length_immediate" "1")
24097 : 748 : (set_attr "prefix" "vex")
24098 : 7 : (set_attr "mode" "<sseinsnmode>")])
24099 : 748 :
24100 : 8172 : (define_insn "sse4_1_phminposuw"
24101 : 8172 : [(set (match_operand:V8HI 0 "register_operand" "=Yr,*x,x")
24102 : 8172 : (unspec:V8HI [(match_operand:V8HI 1 "vector_operand" "Yrja,*xja,xjm")]
24103 : : UNSPEC_PHMINPOSUW))]
24104 : 7655 : "TARGET_SSE4_1"
24105 : 7519 : "%vphminposuw\t{%1, %0|%0, %1}"
24106 : 7519 : [(set_attr "isa" "noavx,noavx,avx")
24107 : : (set_attr "addr" "gpr16")
24108 : 7419 : (set_attr "type" "sselog1")
24109 : 7419 : (set_attr "prefix_extra" "1")
24110 : 7419 : (set_attr "prefix" "orig,orig,vex")
24111 : 7419 : (set_attr "mode" "TI")])
24112 : :
24113 : 365 : (define_insn "avx2_<code>v16qiv16hi2<mask_name>"
24114 : 365 : [(set (match_operand:V16HI 0 "register_operand" "=Yw")
24115 : 49 : (any_extend:V16HI
24116 : 49 : (match_operand:V16QI 1 "nonimmediate_operand" "Ywm")))]
24117 : 3073 : "TARGET_AVX2 && <mask_avx512bw_condition> && <mask_avx512vl_condition>"
24118 : : "vpmov<extsuffix>bw\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24119 : : [(set_attr "type" "ssemov")
24120 : : (set_attr "prefix_extra" "1")
24121 : 1261 : (set_attr "prefix" "maybe_evex")
24122 : 2037 : (set_attr "mode" "OI")])
24123 : :
24124 : : (define_insn_and_split "*avx2_zero_extendv16qiv16hi2_1"
24125 : : [(set (match_operand:V32QI 0 "register_operand" "=v")
24126 : : (vec_select:V32QI
24127 : : (vec_concat:V64QI
24128 : : (match_operand:V32QI 1 "nonimmediate_operand" "vm")
24129 : : (match_operand:V32QI 2 "const0_operand"))
24130 : : (match_parallel 3 "pmovzx_parallel"
24131 : : [(match_operand 4 "const_int_operand")])))]
24132 : 53 : "TARGET_AVX2"
24133 : : "#"
24134 : 8 : "&& reload_completed"
24135 : : [(set (match_dup 0) (zero_extend:V16HI (match_dup 1)))]
24136 : 53 : {
24137 : 94 : operands[0] = lowpart_subreg (V16HImode, operands[0], V32QImode);
24138 : 12 : operands[1] = lowpart_subreg (V16QImode, operands[1], V32QImode);
24139 : 16 : })
24140 : :
24141 : : (define_insn_and_split "*avx2_zero_extendv16qiv16hi2_2"
24142 : 4 : [(set (match_operand:V32QI 0 "register_operand" "=v")
24143 : 4 : (vec_select:V32QI
24144 : 4 : (vec_concat:V64QI
24145 : 4 : (subreg:V32QI
24146 : 4 : (vec_concat:VI248_256
24147 : : (match_operand:<ssehalfvecmode> 1 "nonimmediate_operand" "vm")
24148 : : (match_operand:<ssehalfvecmode> 2 "const0_operand")) 0)
24149 : 4 : (match_operand:V32QI 3 "const0_operand"))
24150 : 4 : (match_parallel 4 "pmovzx_parallel"
24151 : 4 : [(match_operand 5 "const_int_operand")])))]
24152 : 0 : "TARGET_AVX2"
24153 : : "#"
24154 : 2 : "&& reload_completed"
24155 : 1 : [(set (match_dup 0) (zero_extend:V16HI (match_dup 1)))]
24156 : 3 : {
24157 : 3 : operands[0] = lowpart_subreg (V16HImode, operands[0], V32QImode);
24158 : 3 : operands[1] = lowpart_subreg (V16QImode, operands[1], <ssehalfvecmode>mode);
24159 : 2 : })
24160 : 0 :
24161 : 0 : (define_expand "<insn>v16qiv16hi2"
24162 : 1 : [(set (match_operand:V16HI 0 "register_operand")
24163 : 1 : (any_extend:V16HI
24164 : 1 : (match_operand:V16QI 1 "nonimmediate_operand")))]
24165 : 1 : "TARGET_AVX2")
24166 : 1 :
24167 : : (define_insn "avx512bw_<code>v32qiv32hi2<mask_name>"
24168 : : [(set (match_operand:V32HI 0 "register_operand" "=v")
24169 : 1 : (any_extend:V32HI
24170 : 1 : (match_operand:V32QI 1 "nonimmediate_operand" "vm")))]
24171 : 1262 : "TARGET_AVX512BW && TARGET_EVEX512"
24172 : : "vpmov<extsuffix>bw\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24173 : : [(set_attr "type" "ssemov")
24174 : : (set_attr "prefix" "evex")
24175 : 1542 : (set_attr "mode" "XI")])
24176 : 1549 :
24177 : 0 : (define_insn_and_split "*avx512bw_zero_extendv32qiv32hi2_1"
24178 : : [(set (match_operand:V64QI 0 "register_operand" "=v")
24179 : 7 : (vec_select:V64QI
24180 : 0 : (vec_concat:V128QI
24181 : 0 : (match_operand:V64QI 1 "nonimmediate_operand" "vm")
24182 : 0 : (match_operand:V64QI 2 "const0_operand"))
24183 : 0 : (match_parallel 3 "pmovzx_parallel"
24184 : 0 : [(match_operand 4 "const_int_operand")])))]
24185 : 53 : "TARGET_AVX512BW && TARGET_EVEX512"
24186 : : "#"
24187 : 9 : "&& reload_completed"
24188 : : [(set (match_dup 0) (zero_extend:V32HI (match_dup 1)))]
24189 : 9618 : {
24190 : 9614 : operands[0] = lowpart_subreg (V32HImode, operands[0], V64QImode);
24191 : 17 : operands[1] = lowpart_subreg (V32QImode, operands[1], V64QImode);
24192 : 25 : })
24193 : 0 :
24194 : 1 : (define_insn_and_split "*avx512bw_zero_extendv32qiv32hi2_2"
24195 : 4 : [(set (match_operand:V64QI 0 "register_operand" "=v")
24196 : 4 : (vec_select:V64QI
24197 : 4 : (vec_concat:V128QI
24198 : 4 : (subreg:V64QI
24199 : 4 : (vec_concat:VI248_512
24200 : : (match_operand:<ssehalfvecmode> 1 "nonimmediate_operand" "vm")
24201 : : (match_operand:<ssehalfvecmode> 2 "const0_operand")) 0)
24202 : 4 : (match_operand:V64QI 3 "const0_operand"))
24203 : 4 : (match_parallel 4 "pmovzx_parallel"
24204 : 4 : [(match_operand 5 "const_int_operand")])))]
24205 : 4 : "TARGET_AVX512BW && TARGET_EVEX512"
24206 : : "#"
24207 : 2 : "&& reload_completed"
24208 : 1 : [(set (match_dup 0) (zero_extend:V32HI (match_dup 1)))]
24209 : 1 : {
24210 : 1 : operands[0] = lowpart_subreg (V32HImode, operands[0], V64QImode);
24211 : 3 : operands[1] = lowpart_subreg (V32QImode, operands[1], <ssehalfvecmode>mode);
24212 : 2 : })
24213 : 0 :
24214 : 0 : (define_expand "<insn>v32qiv32hi2"
24215 : 1 : [(set (match_operand:V32HI 0 "register_operand")
24216 : 1 : (any_extend:V32HI
24217 : 1 : (match_operand:V32QI 1 "nonimmediate_operand")))]
24218 : 1 : "TARGET_AVX512BW && TARGET_EVEX512")
24219 : 1 :
24220 : : (define_insn "sse4_1_<code>v8qiv8hi2<mask_name>"
24221 : : [(set (match_operand:V8HI 0 "register_operand" "=Yr,*x,Yw")
24222 : 1 : (any_extend:V8HI
24223 : 1 : (vec_select:V8QI
24224 : 1 : (match_operand:V16QI 1 "register_operand" "Yr,*x,Yw")
24225 : : (parallel [(const_int 0) (const_int 1)
24226 : : (const_int 2) (const_int 3)
24227 : : (const_int 4) (const_int 5)
24228 : : (const_int 6) (const_int 7)]))))]
24229 : 18799 : "TARGET_SSE4_1 && <mask_avx512bw_condition> && <mask_avx512vl_condition>"
24230 : 0 : "%vpmov<extsuffix>bw\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24231 : : [(set_attr "isa" "noavx,noavx,avx")
24232 : 31 : (set_attr "type" "ssemov")
24233 : 631 : (set_attr "prefix_extra" "1")
24234 : 631 : (set_attr "prefix" "orig,orig,maybe_evex")
24235 : 31 : (set_attr "mode" "TI")])
24236 : 31 :
24237 : 31 : (define_insn "*sse4_1_<code>v8qiv8hi2<mask_name>_1"
24238 : : [(set (match_operand:V8HI 0 "register_operand" "=Yr,*x,Yw")
24239 : : (any_extend:V8HI
24240 : : (match_operand:V8QI 1 "memory_operand" "jm,jm,m")))]
24241 : 1542 : "TARGET_SSE4_1 && <mask_avx512bw_condition> && <mask_avx512vl_condition>"
24242 : : "@
24243 : : pmov<extsuffix>bw\t{%1, %0|%0, %1}
24244 : : pmov<extsuffix>bw\t{%1, %0|%0, %1}
24245 : 569 : vpmov<extsuffix>bw\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24246 : 724 : [(set_attr "isa" "noavx,noavx,avx")
24247 : : (set_attr "addr" "gpr16,gpr16,*")
24248 : : (set_attr "type" "ssemov")
24249 : : (set_attr "prefix_extra" "1")
24250 : : (set_attr "prefix" "orig,orig,maybe_evex")
24251 : : (set_attr "mode" "TI")])
24252 : :
24253 : : (define_insn_and_split "*sse4_1_<code>v8qiv8hi2<mask_name>_2"
24254 : : [(set (match_operand:V8HI 0 "register_operand")
24255 : : (any_extend:V8HI
24256 : : (vec_select:V8QI
24257 : : (subreg:V16QI
24258 : : (vec_concat:V2DI
24259 : : (match_operand:DI 1 "memory_operand")
24260 : : (const_int 0)) 0)
24261 : : (parallel [(const_int 0) (const_int 1)
24262 : : (const_int 2) (const_int 3)
24263 : : (const_int 4) (const_int 5)
24264 : : (const_int 6) (const_int 7)]))))]
24265 : 2 : "TARGET_SSE4_1 && <mask_avx512bw_condition> && <mask_avx512vl_condition>
24266 : 2 : && ix86_pre_reload_split ()"
24267 : 0 : "#"
24268 : : "&& 1"
24269 : 1 : [(set (match_dup 0)
24270 : 2 : (any_extend:V8HI (match_dup 1)))]
24271 : 3 : "operands[1] = adjust_address_nv (operands[1], V8QImode, 0);")
24272 : 2 :
24273 : 2 : (define_insn_and_split "*sse4_1_zero_extendv8qiv8hi2_3"
24274 : 1 : [(set (match_operand:V16QI 0 "register_operand" "=Yr,*x,Yw")
24275 : 1 : (vec_select:V16QI
24276 : 1 : (vec_concat:V32QI
24277 : 1 : (match_operand:V16QI 1 "vector_operand" "Yrja,*xja,Ywm")
24278 : 1 : (match_operand:V16QI 2 "const0_operand"))
24279 : : (match_parallel 3 "pmovzx_parallel"
24280 : : [(match_operand 4 "const_int_operand")])))]
24281 : 9622 : "TARGET_SSE4_1"
24282 : 1 : "#"
24283 : 13 : "&& reload_completed"
24284 : : [(set (match_dup 0)
24285 : 58 : (zero_extend:V8HI
24286 : 104 : (vec_select:V8QI
24287 : 8 : (match_dup 1)
24288 : 23 : (parallel [(const_int 0) (const_int 1)
24289 : 0 : (const_int 2) (const_int 3)
24290 : : (const_int 4) (const_int 5)
24291 : 7 : (const_int 6) (const_int 7)]))))]
24292 : 6 : {
24293 : 6 : operands[0] = lowpart_subreg (V8HImode, operands[0], V16QImode);
24294 : 6 : if (MEM_P (operands[1]))
24295 : 0 : {
24296 : 2 : operands[1] = lowpart_subreg (V8QImode, operands[1], V16QImode);
24297 : 2 : operands[1] = gen_rtx_ZERO_EXTEND (V8HImode, operands[1]);
24298 : 2 : emit_insn (gen_rtx_SET (operands[0], operands[1]));
24299 : 4 : DONE;
24300 : : }
24301 : 2 : }
24302 : 2 : [(set_attr "isa" "noavx,noavx,avx")
24303 : 2 : (set_attr "addr" "gpr16,gpr16,*")])
24304 : 6 :
24305 : 4 : (define_insn_and_split "*sse4_1_zero_extendv8qiv8hi2_4"
24306 : 6 : [(set (match_operand:V16QI 0 "register_operand" "=Yr,*x,Yw")
24307 : 4 : (vec_select:V16QI
24308 : 4 : (vec_concat:V32QI
24309 : : (subreg:V16QI
24310 : : (vec_concat:VI248_128
24311 : : (match_operand:<ssehalfvecmode> 1 "vector_operand" "Yrja,*xja,Ywm")
24312 : : (match_operand:<ssehalfvecmode> 2 "const0_operand")) 0)
24313 : : (match_operand:V16QI 3 "const0_operand"))
24314 : : (match_parallel 4 "pmovzx_parallel"
24315 : : [(match_operand 5 "const_int_operand")])))]
24316 : 0 : "TARGET_SSE4_1"
24317 : : "#"
24318 : 2 : "&& reload_completed"
24319 : 1 : [(set (match_dup 0)
24320 : 2 : (zero_extend:V8HI
24321 : 2 : (vec_select:V8QI
24322 : 6 : (match_dup 1)
24323 : 6 : (parallel [(const_int 0) (const_int 1)
24324 : 4 : (const_int 2) (const_int 3)
24325 : : (const_int 4) (const_int 5)
24326 : : (const_int 6) (const_int 7)]))))]
24327 : 1 : {
24328 : 1 : operands[0] = lowpart_subreg (V8HImode, operands[0], V16QImode);
24329 : 5 : if (MEM_P (operands[1]))
24330 : : {
24331 : 0 : operands[1] = lowpart_subreg (V8QImode, operands[1], <ssehalfvecmode>mode);
24332 : 4 : operands[1] = gen_rtx_ZERO_EXTEND (V8HImode, operands[1]);
24333 : 4 : emit_insn (gen_rtx_SET (operands[0], operands[1]));
24334 : 4 : DONE;
24335 : 4 : }
24336 : 5 : operands[1] = lowpart_subreg (V16QImode, operands[1], <ssehalfvecmode>mode);
24337 : 4 : }
24338 : : [(set_attr "isa" "noavx,noavx,avx")
24339 : : (set_attr "addr" "gpr16,gpr16,*")])
24340 : 1 :
24341 : 1 : (define_expand "<insn>v8qiv8hi2"
24342 : 1 : [(set (match_operand:V8HI 0 "register_operand")
24343 : 1 : (any_extend:V8HI
24344 : 1 : (match_operand:V8QI 1 "nonimmediate_operand")))]
24345 : : "TARGET_SSE4_1 || TARGET_MMX_WITH_SSE"
24346 : 31 : {
24347 : 31 : if (!TARGET_SSE4_1)
24348 : : {
24349 : 2 : ix86_expand_sse_extend (operands[0], operands[1], <u_bool>);
24350 : 2 : DONE;
24351 : : }
24352 : :
24353 : 29 : if (!MEM_P (operands[1]))
24354 : : {
24355 : 25 : rtx op1 = force_reg (V8QImode, operands[1]);
24356 : 25 : op1 = lowpart_subreg (V16QImode, op1, V8QImode);
24357 : 25 : emit_insn (gen_sse4_1_<code>v8qiv8hi2 (operands[0], op1));
24358 : 26 : DONE;
24359 : 1 : }
24360 : 1 : })
24361 : :
24362 : : (define_insn "<mask_codefor>avx512f_<code>v16qiv16si2<mask_name>"
24363 : 4 : [(set (match_operand:V16SI 0 "register_operand" "=v")
24364 : 4 : (any_extend:V16SI
24365 : 6 : (match_operand:V16QI 1 "nonimmediate_operand" "vm")))]
24366 : 575 : "TARGET_AVX512F && TARGET_EVEX512"
24367 : : "vpmov<extsuffix>bd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24368 : 8 : [(set_attr "type" "ssemov")
24369 : 2 : (set_attr "prefix" "evex")
24370 : 1054 : (set_attr "mode" "XI")])
24371 : 1578 :
24372 : 4 : (define_expand "<insn>v16qiv16si2"
24373 : 6 : [(set (match_operand:V16SI 0 "register_operand")
24374 : : (any_extend:V16SI
24375 : : (match_operand:V16QI 1 "nonimmediate_operand")))]
24376 : 0 : "TARGET_AVX512F && TARGET_EVEX512")
24377 : :
24378 : 5 : (define_insn "avx2_<code>v8qiv8si2<mask_name>"
24379 : 0 : [(set (match_operand:V8SI 0 "register_operand" "=v")
24380 : 0 : (any_extend:V8SI
24381 : 5 : (vec_select:V8QI
24382 : 5 : (match_operand:V16QI 1 "register_operand" "v")
24383 : 5 : (parallel [(const_int 0) (const_int 1)
24384 : 5 : (const_int 2) (const_int 3)
24385 : 5 : (const_int 4) (const_int 5)
24386 : 5 : (const_int 6) (const_int 7)]))))]
24387 : 207 : "TARGET_AVX2 && <mask_avx512vl_condition>"
24388 : : "vpmov<extsuffix>bd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24389 : : [(set_attr "type" "ssemov")
24390 : : (set_attr "prefix_extra" "1")
24391 : 580 : (set_attr "prefix" "maybe_evex")
24392 : 580 : (set_attr "mode" "OI")])
24393 : :
24394 : : (define_insn "*avx2_<code>v8qiv8si2<mask_name>_1"
24395 : : [(set (match_operand:V8SI 0 "register_operand" "=v")
24396 : : (any_extend:V8SI
24397 : : (match_operand:V8QI 1 "memory_operand" "m")))]
24398 : 22 : "TARGET_AVX2 && <mask_avx512vl_condition>"
24399 : : "%vpmov<extsuffix>bd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24400 : : [(set_attr "type" "ssemov")
24401 : : (set_attr "prefix_extra" "1")
24402 : 4843 : (set_attr "prefix" "maybe_evex")
24403 : 4843 : (set_attr "mode" "OI")])
24404 : :
24405 : : (define_insn_and_split "*avx2_<code>v8qiv8si2<mask_name>_2"
24406 : : [(set (match_operand:V8SI 0 "register_operand")
24407 : : (any_extend:V8SI
24408 : : (vec_select:V8QI
24409 : : (subreg:V16QI
24410 : : (vec_concat:V2DI
24411 : : (match_operand:DI 1 "memory_operand")
24412 : : (const_int 0)) 0)
24413 : : (parallel [(const_int 0) (const_int 1)
24414 : : (const_int 2) (const_int 3)
24415 : : (const_int 4) (const_int 5)
24416 : : (const_int 6) (const_int 7)]))))]
24417 : 4 : "TARGET_AVX2 && <mask_avx512vl_condition>
24418 : 4 : && ix86_pre_reload_split ()"
24419 : 0 : "#"
24420 : : "&& 1"
24421 : 2 : [(set (match_dup 0)
24422 : 1 : (any_extend:V8SI (match_dup 1)))]
24423 : 3 : "operands[1] = adjust_address_nv (operands[1], V8QImode, 0);")
24424 : 1 :
24425 : 1 : (define_expand "<insn>v8qiv8si2"
24426 : 2 : [(set (match_operand:V8SI 0 "register_operand")
24427 : 2 : (any_extend:V8SI
24428 : 2 : (match_operand:V8QI 1 "nonimmediate_operand")))]
24429 : 2 : "TARGET_AVX2"
24430 : 11 : {
24431 : 9 : if (!MEM_P (operands[1]))
24432 : : {
24433 : 9 : rtx op1 = force_reg (V8QImode, operands[1]);
24434 : 9 : op1 = lowpart_subreg (V16QImode, op1, V8QImode);
24435 : 9 : emit_insn (gen_avx2_<code>v8qiv8si2 (operands[0], op1));
24436 : 7 : DONE;
24437 : : }
24438 : : })
24439 : :
24440 : 17 : (define_insn "sse4_1_<code>v4qiv4si2<mask_name>"
24441 : 2 : [(set (match_operand:V4SI 0 "register_operand" "=Yr,*x,v")
24442 : 2 : (any_extend:V4SI
24443 : 19 : (vec_select:V4QI
24444 : 16 : (match_operand:V16QI 1 "register_operand" "Yr,*x,v")
24445 : 14 : (parallel [(const_int 0) (const_int 1)
24446 : 16 : (const_int 2) (const_int 3)]))))]
24447 : 248 : "TARGET_SSE4_1 && <mask_avx512vl_condition>"
24448 : 14 : "%vpmov<extsuffix>bd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24449 : 2 : [(set_attr "isa" "noavx,noavx,avx")
24450 : 2 : (set_attr "type" "ssemov")
24451 : 9383 : (set_attr "prefix_extra" "1")
24452 : 9377 : (set_attr "prefix" "orig,orig,maybe_evex")
24453 : 4 : (set_attr "mode" "TI")])
24454 : 4 :
24455 : 4 : (define_insn "*sse4_1_<code>v4qiv4si2<mask_name>_1"
24456 : 7 : [(set (match_operand:V4SI 0 "register_operand" "=Yr,*x,v")
24457 : 2 : (any_extend:V4SI
24458 : 4 : (match_operand:V4QI 1 "memory_operand" "jm,jm,m")))]
24459 : 59 : "TARGET_SSE4_1 && <mask_avx512vl_condition>"
24460 : 2 : "%vpmov<extsuffix>bd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24461 : 2 : [(set_attr "isa" "noavx,noavx,avx")
24462 : 2 : (set_attr "addr" "gpr16,gpr16,*")
24463 : 56 : (set_attr "type" "ssemov")
24464 : 58 : (set_attr "prefix_extra" "1")
24465 : : (set_attr "prefix" "orig,orig,maybe_evex")
24466 : : (set_attr "mode" "TI")])
24467 : 0 :
24468 : : (define_insn_and_split "*sse4_1_<code>v4qiv4si2<mask_name>_2"
24469 : 0 : [(set (match_operand:V4SI 0 "register_operand")
24470 : 0 : (any_extend:V4SI
24471 : 0 : (vec_select:V4QI
24472 : 0 : (subreg:V16QI
24473 : 0 : (vec_merge:V4SI
24474 : 0 : (vec_duplicate:V4SI
24475 : : (match_operand:SI 1 "memory_operand"))
24476 : : (const_vector:V4SI
24477 : : [(const_int 0) (const_int 0)
24478 : : (const_int 0) (const_int 0)])
24479 : : (const_int 1)) 0)
24480 : : (parallel [(const_int 0) (const_int 1)
24481 : : (const_int 2) (const_int 3)]))))]
24482 : 4 : "TARGET_SSE4_1 && <mask_avx512vl_condition>
24483 : 4 : && ix86_pre_reload_split ()"
24484 : 0 : "#"
24485 : : "&& 1"
24486 : 2 : [(set (match_dup 0)
24487 : 1 : (any_extend:V4SI (match_dup 1)))]
24488 : 2 : "operands[1] = adjust_address_nv (operands[1], V4QImode, 0);")
24489 : 1 :
24490 : 1 : (define_expand "<insn>v4qiv4si2"
24491 : 2 : [(set (match_operand:V4SI 0 "register_operand")
24492 : 2 : (any_extend:V4SI
24493 : 2 : (match_operand:V4QI 1 "nonimmediate_operand")))]
24494 : 2 : "TARGET_SSE4_1"
24495 : 16 : {
24496 : 14 : if (!MEM_P (operands[1]))
24497 : : {
24498 : 14 : rtx op1 = force_reg (V4QImode, operands[1]);
24499 : 14 : op1 = lowpart_subreg (V16QImode, op1, V4QImode);
24500 : 14 : emit_insn (gen_sse4_1_<code>v4qiv4si2 (operands[0], op1));
24501 : 12 : DONE;
24502 : : }
24503 : : })
24504 : :
24505 : 2 : (define_insn "avx512f_<code>v16hiv16si2<mask_name>"
24506 : 6 : [(set (match_operand:V16SI 0 "register_operand" "=v")
24507 : 2 : (any_extend:V16SI
24508 : 8 : (match_operand:V16HI 1 "nonimmediate_operand" "vm")))]
24509 : 1058 : "TARGET_AVX512F && TARGET_EVEX512"
24510 : 4 : "vpmov<extsuffix>wd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24511 : 6 : [(set_attr "type" "ssemov")
24512 : 0 : (set_attr "prefix" "evex")
24513 : 26 : (set_attr "mode" "XI")])
24514 : 24 :
24515 : 2 : (define_expand "<insn>v16hiv16si2"
24516 : 3 : [(set (match_operand:V16SI 0 "register_operand")
24517 : : (any_extend:V16SI
24518 : 1 : (match_operand:V16HI 1 "nonimmediate_operand")))]
24519 : 1 : "TARGET_AVX512F && TARGET_EVEX512")
24520 : 1 :
24521 : 1 : (define_insn_and_split "avx512f_zero_extendv16hiv16si2_1"
24522 : 2 : [(set (match_operand:V32HI 0 "register_operand" "=v")
24523 : 1 : (vec_select:V32HI
24524 : 2 : (vec_concat:V64HI
24525 : 2 : (match_operand:V32HI 1 "nonimmediate_operand" "vm")
24526 : 2 : (match_operand:V32HI 2 "const0_operand"))
24527 : 2 : (match_parallel 3 "pmovzx_parallel"
24528 : 0 : [(match_operand 4 "const_int_operand")])))]
24529 : 62 : "TARGET_AVX512F && TARGET_EVEX512"
24530 : : "#"
24531 : 8 : "&& reload_completed"
24532 : : [(set (match_dup 0) (zero_extend:V16SI (match_dup 1)))]
24533 : 60 : {
24534 : 56 : operands[0] = lowpart_subreg (V16SImode, operands[0], V32HImode);
24535 : 12 : operands[1] = lowpart_subreg (V16HImode, operands[1], V32HImode);
24536 : 16 : })
24537 : :
24538 : : (define_insn_and_split "*avx512f_zero_extendv16hiv16si2_2"
24539 : 4 : [(set (match_operand:V32HI 0 "register_operand" "=v")
24540 : 4 : (vec_select:V32HI
24541 : 4 : (vec_concat:V64HI
24542 : 4 : (subreg:V32HI
24543 : 4 : (vec_concat:VI148_512
24544 : : (match_operand:<ssehalfvecmode> 1 "nonimmediate_operand" "vm")
24545 : : (match_operand:<ssehalfvecmode> 2 "const0_operand")) 0)
24546 : 4 : (match_operand:V32HI 3 "const0_operand"))
24547 : 4 : (match_parallel 4 "pmovzx_parallel"
24548 : 4 : [(match_operand 5 "const_int_operand")])))]
24549 : 8 : "TARGET_AVX512F"
24550 : : "#"
24551 : 4 : "&& reload_completed"
24552 : 2 : [(set (match_dup 0) (zero_extend:V16SI (match_dup 1)))]
24553 : 2 : {
24554 : 2 : operands[0] = lowpart_subreg (V16SImode, operands[0], V32HImode);
24555 : 6 : operands[1] = lowpart_subreg (V16HImode, operands[1], <ssehalfvecmode>mode);
24556 : 4 : })
24557 : 0 :
24558 : 0 : (define_insn "avx2_<code>v8hiv8si2<mask_name>"
24559 : 2 : [(set (match_operand:V8SI 0 "register_operand" "=v")
24560 : 2 : (any_extend:V8SI
24561 : 2 : (match_operand:V8HI 1 "nonimmediate_operand" "vm")))]
24562 : 4392 : "TARGET_AVX2 && <mask_avx512vl_condition>"
24563 : 2 : "vpmov<extsuffix>wd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24564 : : [(set_attr "type" "ssemov")
24565 : : (set_attr "prefix_extra" "1")
24566 : 56 : (set_attr "prefix" "maybe_evex")
24567 : 56 : (set_attr "mode" "OI")])
24568 : 2 :
24569 : : (define_expand "<insn>v8hiv8si2"
24570 : : [(set (match_operand:V8SI 0 "register_operand")
24571 : : (any_extend:V8SI
24572 : : (match_operand:V8HI 1 "nonimmediate_operand")))]
24573 : 28 : "TARGET_AVX2")
24574 : 0 :
24575 : : (define_insn_and_split "avx2_zero_extendv8hiv8si2_1"
24576 : 28 : [(set (match_operand:V16HI 0 "register_operand" "=v")
24577 : 28 : (vec_select:V16HI
24578 : 28 : (vec_concat:V32HI
24579 : 28 : (match_operand:V16HI 1 "nonimmediate_operand" "vm")
24580 : 28 : (match_operand:V16HI 2 "const0_operand"))
24581 : 28 : (match_parallel 3 "pmovzx_parallel"
24582 : : [(match_operand 4 "const_int_operand")])))]
24583 : 60 : "TARGET_AVX2"
24584 : : "#"
24585 : 8 : "&& reload_completed"
24586 : : [(set (match_dup 0) (zero_extend:V8SI (match_dup 1)))]
24587 : 11561 : {
24588 : 11557 : operands[0] = lowpart_subreg (V8SImode, operands[0], V16HImode);
24589 : 18 : operands[1] = lowpart_subreg (V8HImode, operands[1], V16HImode);
24590 : 28 : })
24591 : :
24592 : : (define_insn_and_split "*avx2_zero_extendv8hiv8si2_2"
24593 : 4 : [(set (match_operand:V16HI 0 "register_operand" "=v")
24594 : 4 : (vec_select:V16HI
24595 : 4 : (vec_concat:V32HI
24596 : 4 : (subreg:V16HI
24597 : 4 : (vec_concat:VI148_256
24598 : : (match_operand:<ssehalfvecmode> 1 "nonimmediate_operand" "vm")
24599 : : (match_operand:<ssehalfvecmode> 2 "const0_operand")) 0)
24600 : 4 : (match_operand:V16HI 3 "const0_operand"))
24601 : 4 : (match_parallel 4 "pmovzx_parallel"
24602 : 4 : [(match_operand 5 "const_int_operand")])))]
24603 : 0 : "TARGET_AVX2"
24604 : : "#"
24605 : 4 : "&& reload_completed"
24606 : 2 : [(set (match_dup 0) (zero_extend:V8SI (match_dup 1)))]
24607 : 6 : {
24608 : 13 : operands[0] = lowpart_subreg (V8SImode, operands[0], V16HImode);
24609 : 6 : operands[1] = lowpart_subreg (V8HImode, operands[1], <ssehalfvecmode>mode);
24610 : 11 : })
24611 : 7 :
24612 : 7 :
24613 : 9 : (define_insn "sse4_1_<code>v4hiv4si2<mask_name>"
24614 : 2 : [(set (match_operand:V4SI 0 "register_operand" "=Yr,*x,v")
24615 : 9 : (any_extend:V4SI
24616 : 2 : (vec_select:V4HI
24617 : 2 : (match_operand:V8HI 1 "register_operand" "Yr,*x,v")
24618 : : (parallel [(const_int 0) (const_int 1)
24619 : : (const_int 2) (const_int 3)]))))]
24620 : 8916 : "TARGET_SSE4_1 && <mask_avx512vl_condition>"
24621 : 2 : "%vpmov<extsuffix>wd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24622 : 2 : [(set_attr "isa" "noavx,noavx,avx")
24623 : : (set_attr "type" "ssemov")
24624 : 588 : (set_attr "prefix_extra" "1")
24625 : 588 : (set_attr "prefix" "orig,orig,maybe_evex")
24626 : : (set_attr "mode" "TI")])
24627 : :
24628 : 0 : (define_insn "*sse4_1_<code>v4hiv4si2<mask_name>_1"
24629 : : [(set (match_operand:V4SI 0 "register_operand" "=Yr,*x,v")
24630 : 0 : (any_extend:V4SI
24631 : 0 : (match_operand:V4HI 1 "memory_operand" "jm,jm,m")))]
24632 : 56 : "TARGET_SSE4_1 && <mask_avx512vl_condition>"
24633 : 0 : "%vpmov<extsuffix>wd\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24634 : 0 : [(set_attr "isa" "noavx,noavx,avx")
24635 : 0 : (set_attr "addr" "gpr16,gpr16,*")
24636 : 19 : (set_attr "type" "ssemov")
24637 : 38 : (set_attr "prefix_extra" "1")
24638 : : (set_attr "prefix" "orig,orig,maybe_evex")
24639 : : (set_attr "mode" "TI")])
24640 : :
24641 : : (define_insn_and_split "*sse4_1_<code>v4hiv4si2<mask_name>_2"
24642 : : [(set (match_operand:V4SI 0 "register_operand")
24643 : : (any_extend:V4SI
24644 : : (vec_select:V4HI
24645 : : (subreg:V8HI
24646 : : (vec_concat:V2DI
24647 : : (match_operand:DI 1 "memory_operand")
24648 : : (const_int 0)) 0)
24649 : : (parallel [(const_int 0) (const_int 1)
24650 : : (const_int 2) (const_int 3)]))))]
24651 : 2 : "TARGET_SSE4_1 && <mask_avx512vl_condition>
24652 : 2 : && ix86_pre_reload_split ()"
24653 : 0 : "#"
24654 : : "&& 1"
24655 : 1 : [(set (match_dup 0)
24656 : 3 : (any_extend:V4SI (match_dup 1)))]
24657 : 4 : "operands[1] = adjust_address_nv (operands[1], V4HImode, 0);")
24658 : 3 :
24659 : 3 : (define_expand "<insn>v4hiv4si2"
24660 : 1 : [(set (match_operand:V4SI 0 "register_operand")
24661 : 1 : (any_extend:V4SI
24662 : 1 : (match_operand:V4HI 1 "nonimmediate_operand")))]
24663 : 1 : "TARGET_SSE4_1 || TARGET_MMX_WITH_SSE"
24664 : 29 : {
24665 : 28 : if (!TARGET_SSE4_1)
24666 : : {
24667 : 20 : ix86_expand_sse_extend (operands[0], operands[1], <u_bool>);
24668 : 20 : DONE;
24669 : 1 : }
24670 : :
24671 : 9 : if (!MEM_P (operands[1]))
24672 : : {
24673 : 7 : rtx op1 = force_reg (V4HImode, operands[1]);
24674 : 7 : op1 = lowpart_subreg (V8HImode, op1, V4HImode);
24675 : 10 : emit_insn (gen_sse4_1_<code>v4hiv4si2 (operands[0], op1));
24676 : 7 : DONE;
24677 : 3 : }
24678 : 3 : })
24679 : 3 :
24680 : 3 : (define_insn_and_split "*sse4_1_zero_extendv4hiv4si2_3"
24681 : 2 : [(set (match_operand:V8HI 0 "register_operand" "=Yr,*x,v")
24682 : 5 : (vec_select:V8HI
24683 : 2 : (vec_concat:V16HI
24684 : 2 : (match_operand:V8HI 1 "vector_operand" "Yrja,*xja,vm")
24685 : : (match_operand:V8HI 2 "const0_operand"))
24686 : 2 : (match_parallel 3 "pmovzx_parallel"
24687 : : [(match_operand 4 "const_int_operand")])))]
24688 : 11567 : "TARGET_SSE4_1"
24689 : 2 : "#"
24690 : 16 : "&& reload_completed"
24691 : 2 : [(set (match_dup 0)
24692 : 177 : (zero_extend:V4SI
24693 : 170 : (vec_select:V4HI
24694 : 180 : (match_dup 1)
24695 : 10 : (parallel [(const_int 0) (const_int 1)
24696 : 15 : (const_int 2) (const_int 3)]))))]
24697 : 7 : {
24698 : 7 : operands[0] = lowpart_subreg (V4SImode, operands[0], V8HImode);
24699 : 12 : if (MEM_P (operands[1]))
24700 : 5 : {
24701 : 7 : operands[1] = lowpart_subreg (V4HImode, operands[1], V8HImode);
24702 : 7 : operands[1] = gen_rtx_ZERO_EXTEND (V4SImode, operands[1]);
24703 : 7 : emit_insn (gen_rtx_SET (operands[0], operands[1]));
24704 : 7 : DONE;
24705 : : }
24706 : : }
24707 : : [(set_attr "isa" "noavx,noavx,avx")
24708 : : (set_attr "addr" "gpr16,gpr16,*")])
24709 : 5 :
24710 : 5 : (define_insn_and_split "*sse4_1_zero_extendv4hiv4si2_4"
24711 : 5 : [(set (match_operand:V8HI 0 "register_operand" "=Yr,*x,v")
24712 : 5 : (vec_select:V8HI
24713 : 5 : (vec_concat:V16HI
24714 : : (subreg:V8HI
24715 : : (vec_concat:VI148_128
24716 : : (match_operand:<ssehalfvecmode> 1 "vector_operand" "Yrja,*xja,vm")
24717 : : (match_operand:<ssehalfvecmode> 2 "const0_operand")) 0)
24718 : : (match_operand:V8HI 3 "const0_operand"))
24719 : : (match_parallel 4 "pmovzx_parallel"
24720 : : [(match_operand 5 "const_int_operand")])))]
24721 : 0 : "TARGET_SSE4_1"
24722 : : "#"
24723 : 9 : "&& reload_completed"
24724 : 7 : [(set (match_dup 0)
24725 : 9 : (zero_extend:V4SI
24726 : 4 : (vec_select:V4HI
24727 : 4 : (match_dup 1)
24728 : 4 : (parallel [(const_int 0) (const_int 1)
24729 : 747143 : (const_int 2) (const_int 3)]))))]
24730 : 472134 : {
24731 : 472131 : operands[0] = lowpart_subreg (V4SImode, operands[0], V8HImode);
24732 : 20 : if (MEM_P (operands[1]))
24733 : 5 : {
24734 : 5 : operands[1] = lowpart_subreg (V4HImode, operands[1], <ssehalfvecmode>mode);
24735 : 3 : operands[1] = gen_rtx_ZERO_EXTEND (V4SImode, operands[1]);
24736 : 3 : emit_insn (gen_rtx_SET (operands[0], operands[1]));
24737 : 3 : DONE;
24738 : 3 : }
24739 : 2 : operands[1] = lowpart_subreg (V8HImode, operands[1], <ssehalfvecmode>mode);
24740 : : }
24741 : : [(set_attr "isa" "noavx,noavx,avx")
24742 : : (set_attr "addr" "gpr16,gpr16,*")])
24743 : 2 :
24744 : 2 : (define_insn "avx512f_<code>v8qiv8di2<mask_name>"
24745 : 2 : [(set (match_operand:V8DI 0 "register_operand" "=v")
24746 : 2 : (any_extend:V8DI
24747 : 2 : (vec_select:V8QI
24748 : : (match_operand:V16QI 1 "register_operand" "v")
24749 : : (parallel [(const_int 0) (const_int 1)
24750 : : (const_int 2) (const_int 3)
24751 : : (const_int 4) (const_int 5)
24752 : : (const_int 6) (const_int 7)]))))]
24753 : 580 : "TARGET_AVX512F && TARGET_EVEX512"
24754 : : "vpmov<extsuffix>bq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24755 : : [(set_attr "type" "ssemov")
24756 : : (set_attr "prefix" "evex")
24757 : 630 : (set_attr "mode" "XI")])
24758 : 630 :
24759 : 2 : (define_insn "*avx512f_<code>v8qiv8di2<mask_name>_1"
24760 : : [(set (match_operand:V8DI 0 "register_operand" "=v")
24761 : : (any_extend:V8DI
24762 : : (match_operand:V8QI 1 "memory_operand" "m")))]
24763 : 19 : "TARGET_AVX512F && TARGET_EVEX512"
24764 : 12 : "vpmov<extsuffix>bq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24765 : : [(set_attr "type" "ssemov")
24766 : : (set_attr "prefix" "evex")
24767 : 588 : (set_attr "mode" "XI")])
24768 : 734 :
24769 : 12 : (define_insn_and_split "*avx512f_<code>v8qiv8di2<mask_name>_2"
24770 : 12 : [(set (match_operand:V8DI 0 "register_operand")
24771 : 12 : (any_extend:V8DI
24772 : 12 : (vec_select:V8QI
24773 : : (subreg:V16QI
24774 : : (vec_concat:V2DI
24775 : : (match_operand:DI 1 "memory_operand")
24776 : : (const_int 0)) 0)
24777 : : (parallel [(const_int 0) (const_int 1)
24778 : : (const_int 2) (const_int 3)
24779 : : (const_int 4) (const_int 5)
24780 : : (const_int 6) (const_int 7)]))))]
24781 : 2 : "TARGET_AVX512F && TARGET_EVEX512 && ix86_pre_reload_split ()"
24782 : 0 : "#"
24783 : : "&& 1"
24784 : 0 : [(set (match_dup 0)
24785 : 2 : (any_extend:V8DI (match_dup 1)))]
24786 : 3 : "operands[1] = adjust_address_nv (operands[1], V8QImode, 0);")
24787 : 1 :
24788 : 1 : (define_expand "<insn>v8qiv8di2"
24789 : 1 : [(set (match_operand:V8DI 0 "register_operand")
24790 : 1 : (any_extend:V8DI
24791 : 1 : (match_operand:V8QI 1 "nonimmediate_operand")))]
24792 : 1 : "TARGET_AVX512F && TARGET_EVEX512"
24793 : 6 : {
24794 : 5 : if (!MEM_P (operands[1]))
24795 : : {
24796 : 4 : rtx op1 = force_reg (V8QImode, operands[1]);
24797 : 4 : op1 = lowpart_subreg (V16QImode, op1, V8QImode);
24798 : 4 : emit_insn (gen_avx512f_<code>v8qiv8di2 (operands[0], op1));
24799 : 3 : DONE;
24800 : : }
24801 : : })
24802 : :
24803 : : (define_insn "avx2_<code>v4qiv4di2<mask_name>"
24804 : 3 : [(set (match_operand:V4DI 0 "register_operand" "=v")
24805 : 2 : (any_extend:V4DI
24806 : 3 : (vec_select:V4QI
24807 : 3 : (match_operand:V16QI 1 "register_operand" "v")
24808 : 1 : (parallel [(const_int 0) (const_int 1)
24809 : 3 : (const_int 2) (const_int 3)]))))]
24810 : 181 : "TARGET_AVX2 && <mask_avx512vl_condition>"
24811 : 1 : "vpmov<extsuffix>bq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24812 : 2 : [(set_attr "type" "ssemov")
24813 : 2 : (set_attr "prefix_extra" "1")
24814 : 595 : (set_attr "prefix" "maybe_evex")
24815 : 593 : (set_attr "mode" "OI")])
24816 : :
24817 : : (define_insn "*avx2_<code>v4qiv4di2<mask_name>_1"
24818 : : [(set (match_operand:V4DI 0 "register_operand" "=v")
24819 : 3 : (any_extend:V4DI
24820 : 2 : (match_operand:V4QI 1 "memory_operand" "m")))]
24821 : 19 : "TARGET_AVX2 && <mask_avx512vl_condition>"
24822 : 5 : "vpmov<extsuffix>bq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24823 : 2 : [(set_attr "type" "ssemov")
24824 : 0 : (set_attr "prefix_extra" "1")
24825 : 51 : (set_attr "prefix" "maybe_evex")
24826 : 49 : (set_attr "mode" "OI")])
24827 : :
24828 : : (define_insn_and_split "*avx2_<code>v4qiv4di2<mask_name>_2"
24829 : : [(set (match_operand:V4DI 0 "register_operand")
24830 : 0 : (any_extend:V4DI
24831 : : (vec_select:V4QI
24832 : 0 : (subreg:V16QI
24833 : 0 : (vec_merge:V4SI
24834 : 0 : (vec_duplicate:V4SI
24835 : 0 : (match_operand:SI 1 "memory_operand"))
24836 : 0 : (const_vector:V4SI
24837 : 0 : [(const_int 0) (const_int 0)
24838 : : (const_int 0) (const_int 0)])
24839 : : (const_int 1)) 0)
24840 : : (parallel [(const_int 0) (const_int 1)
24841 : : (const_int 2) (const_int 3)]))))]
24842 : 1 : "TARGET_AVX2 && <mask_avx512vl_condition>
24843 : 2 : && ix86_pre_reload_split ()"
24844 : 0 : "#"
24845 : : "&& 1"
24846 : 1 : [(set (match_dup 0)
24847 : 1 : (any_extend:V4DI (match_dup 1)))]
24848 : 1 : "operands[1] = adjust_address_nv (operands[1], V4QImode, 0);")
24849 : 1 :
24850 : 1 : (define_expand "<insn>v4qiv4di2"
24851 : 1 : [(set (match_operand:V4DI 0 "register_operand")
24852 : 1 : (any_extend:V4DI
24853 : 1 : (match_operand:V4QI 1 "nonimmediate_operand")))]
24854 : 1 : "TARGET_AVX2"
24855 : 6 : {
24856 : 5 : if (!MEM_P (operands[1]))
24857 : : {
24858 : 4 : rtx op1 = force_reg (V4QImode, operands[1]);
24859 : 4 : op1 = lowpart_subreg (V16QImode, operands[1], V4QImode);
24860 : 4 : emit_insn (gen_avx2_<code>v4qiv4di2 (operands[0], op1));
24861 : 3 : DONE;
24862 : : }
24863 : : })
24864 : :
24865 : 2 : (define_insn "sse4_1_<code>v2qiv2di2<mask_name>"
24866 : 5 : [(set (match_operand:V2DI 0 "register_operand" "=Yr,*x,v")
24867 : 2 : (any_extend:V2DI
24868 : 7 : (vec_select:V2QI
24869 : 5 : (match_operand:V16QI 1 "register_operand" "Yr,*x,v")
24870 : 1 : (parallel [(const_int 0) (const_int 1)]))))]
24871 : 226 : "TARGET_SSE4_1 && <mask_avx512vl_condition>"
24872 : 0 : "%vpmov<extsuffix>bq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24873 : 1 : [(set_attr "isa" "noavx,noavx,avx")
24874 : 2 : (set_attr "type" "ssemov")
24875 : 583 : (set_attr "prefix_extra" "1")
24876 : 583 : (set_attr "prefix" "orig,orig,maybe_evex")
24877 : : (set_attr "mode" "TI")])
24878 : 0 :
24879 : 0 : (define_insn "*sse4_1_<code>v2qiv2di2<mask_name>_1"
24880 : 0 : [(set (match_operand:V2DI 0 "register_operand" "=x,v")
24881 : 5 : (any_extend:V2DI
24882 : 2 : (match_operand:V2QI 1 "memory_operand" "jm,m")))]
24883 : 22 : "TARGET_SSE4_1 && <mask_avx512vl_condition>"
24884 : 7 : "%vpmov<extsuffix>bq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24885 : 7 : [(set_attr "isa" "noavx,avx")
24886 : 7 : (set_attr "addr" "gpr16,*")
24887 : 26 : (set_attr "type" "ssemov")
24888 : 24 : (set_attr "prefix_extra" "1")
24889 : 7 : (set_attr "prefix" "maybe_evex")
24890 : : (set_attr "mode" "TI")])
24891 : :
24892 : : (define_expand "<insn>v2qiv2di2"
24893 : : [(set (match_operand:V2DI 0 "register_operand")
24894 : : (any_extend:V2DI
24895 : : (match_operand:V2QI 1 "nonimmediate_operand")))]
24896 : : "TARGET_SSE4_1"
24897 : 10 : {
24898 : 10 : if (!MEM_P (operands[1]))
24899 : : {
24900 : 6 : rtx op1 = force_reg (V2QImode, operands[1]);
24901 : 6 : op1 = lowpart_subreg (V16QImode, op1, V2QImode);
24902 : 6 : emit_insn (gen_sse4_1_<code>v2qiv2di2 (operands[0], op1));
24903 : 6 : DONE;
24904 : : }
24905 : : })
24906 : :
24907 : : (define_insn_and_split "*sse4_1_zero_extendv2qiv2di2_2"
24908 : 4 : [(set (match_operand:V2DI 0 "register_operand")
24909 : 4 : (zero_extend:V2DI
24910 : 4 : (vec_select:V2QI
24911 : 4 : (subreg:V16QI
24912 : : (vec_merge:V8_128
24913 : 4 : (vec_duplicate:V8_128
24914 : : (match_operand:<ssescalarmode> 1 "nonimmediate_operand"))
24915 : : (match_operand:V8_128 2 "const0_operand")
24916 : 4 : (const_int 1)) 0)
24917 : 4 : (parallel [(const_int 0) (const_int 1)]))))]
24918 : 15 : "TARGET_SSE4_1 && ix86_pre_reload_split ()"
24919 : 0 : "#"
24920 : : "&& 1"
24921 : 0 : [(const_int 0)]
24922 : 11 : {
24923 : 12 : if (!MEM_P (operands[1]))
24924 : 4 : operands[1] = force_reg (<ssescalarmode>mode, operands[1]);
24925 : 8 : operands[1] = lowpart_subreg (V2QImode, operands[1], <ssescalarmode>mode);
24926 : 6 : emit_insn (gen_zero_extendv2qiv2di2 (operands[0], operands[1]));
24927 : 6 : DONE;
24928 : 2 : })
24929 : 2 :
24930 : 2 : (define_insn "avx512f_<code>v8hiv8di2<mask_name>"
24931 : 2 : [(set (match_operand:V8DI 0 "register_operand" "=v")
24932 : : (any_extend:V8DI
24933 : : (match_operand:V8HI 1 "nonimmediate_operand" "vm")))]
24934 : 576 : "TARGET_AVX512F && TARGET_EVEX512"
24935 : : "vpmov<extsuffix>wq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24936 : 421667 : [(set_attr "type" "ssemov")
24937 : : (set_attr "prefix" "evex")
24938 : 161289 : (set_attr "mode" "XI")])
24939 : 3110 :
24940 : 421668 : (define_expand "<insn>v8hiv8di2"
24941 : 421667 : [(set (match_operand:V8DI 0 "register_operand")
24942 : 581187 : (any_extend:V8DI
24943 : 581187 : (match_operand:V8HI 1 "nonimmediate_operand")))]
24944 : 159520 : "TARGET_AVX512F && TARGET_EVEX512")
24945 : 160685 :
24946 : 160684 : (define_insn "avx2_<code>v4hiv4di2<mask_name>"
24947 : 1 : [(set (match_operand:V4DI 0 "register_operand" "=v")
24948 : 159304 : (any_extend:V4DI
24949 : 159304 : (vec_select:V4HI
24950 : : (match_operand:V8HI 1 "register_operand" "v")
24951 : 1910 : (parallel [(const_int 0) (const_int 1)
24952 : 1910 : (const_int 2) (const_int 3)]))))]
24953 : 2105 : "TARGET_AVX2 && <mask_avx512vl_condition>"
24954 : : "vpmov<extsuffix>wq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24955 : 1910 : [(set_attr "type" "ssemov")
24956 : 1910 : (set_attr "prefix_extra" "1")
24957 : 633 : (set_attr "prefix" "maybe_evex")
24958 : 1260 : (set_attr "mode" "OI")])
24959 : 627 :
24960 : 627 : (define_insn "*avx2_<code>v4hiv4di2<mask_name>_1"
24961 : : [(set (match_operand:V4DI 0 "register_operand" "=v")
24962 : 627 : (any_extend:V4DI
24963 : 627 : (match_operand:V4HI 1 "memory_operand" "m")))]
24964 : 676 : "TARGET_AVX2 && <mask_avx512vl_condition>"
24965 : : "vpmov<extsuffix>wq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
24966 : 627 : [(set_attr "type" "ssemov")
24967 : 627 : (set_attr "prefix_extra" "1")
24968 : 4144 : (set_attr "prefix" "maybe_evex")
24969 : 4677 : (set_attr "mode" "OI")])
24970 : 533 :
24971 : 533 : (define_insn_and_split "*avx2_<code>v4hiv4di2<mask_name>_2"
24972 : : [(set (match_operand:V4DI 0 "register_operand")
24973 : 313 : (any_extend:V4DI
24974 : 313 : (vec_select:V4HI
24975 : 313 : (subreg:V8HI
24976 : : (vec_concat:V2DI
24977 : 313 : (match_operand:DI 1 "memory_operand")
24978 : 313 : (const_int 0)) 0)
24979 : : (parallel [(const_int 0) (const_int 1)
24980 : 309 : (const_int 2) (const_int 3)]))))]
24981 : 315 : "TARGET_AVX2 && <mask_avx512vl_condition>
24982 : 315 : && ix86_pre_reload_split ()"
24983 : 0 : "#"
24984 : 309 : "&& 1"
24985 : 3 : [(set (match_dup 0)
24986 : 310 : (any_extend:V4DI (match_dup 1)))]
24987 : 621 : "operands[1] = adjust_address_nv (operands[1], V4HImode, 0);")
24988 : 1 :
24989 : 1 : (define_expand "<insn>v4hiv4di2"
24990 : 3 : [(set (match_operand:V4DI 0 "register_operand")
24991 : 3 : (any_extend:V4DI
24992 : 3 : (match_operand:V4HI 1 "nonimmediate_operand")))]
24993 : 3 : "TARGET_AVX2"
24994 : 10 : {
24995 : 7 : if (!MEM_P (operands[1]))
24996 : : {
24997 : 6 : rtx op1 = force_reg (V4HImode, operands[1]);
24998 : 6 : op1 = lowpart_subreg (V8HImode, op1, V4HImode);
24999 : 6 : emit_insn (gen_avx2_<code>v4hiv4di2 (operands[0], op1));
25000 : 3 : DONE;
25001 : : }
25002 : : })
25003 : :
25004 : 5 : (define_insn "sse4_1_<code>v2hiv2di2<mask_name>"
25005 : 9 : [(set (match_operand:V2DI 0 "register_operand" "=Yr,*x,v")
25006 : 4 : (any_extend:V2DI
25007 : 14 : (vec_select:V2HI
25008 : 14 : (match_operand:V8HI 1 "register_operand" "Yr,*x,v")
25009 : 10 : (parallel [(const_int 0) (const_int 1)]))))]
25010 : 195 : "TARGET_SSE4_1 && <mask_avx512vl_condition>"
25011 : 5 : "%vpmov<extsuffix>wq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
25012 : 10 : [(set_attr "isa" "noavx,noavx,avx")
25013 : 4 : (set_attr "type" "ssemov")
25014 : 4493 : (set_attr "prefix_extra" "1")
25015 : 4493 : (set_attr "prefix" "orig,orig,maybe_evex")
25016 : : (set_attr "mode" "TI")])
25017 : :
25018 : : (define_insn "*sse4_1_<code>v2hiv2di2<mask_name>_1"
25019 : : [(set (match_operand:V2DI 0 "register_operand" "=Yr,*x,v")
25020 : 2 : (any_extend:V2DI
25021 : 4 : (match_operand:V2HI 1 "memory_operand" "jm,jm,m")))]
25022 : 19 : "TARGET_SSE4_1 && <mask_avx512vl_condition>"
25023 : 6 : "%vpmov<extsuffix>wq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
25024 : 4 : [(set_attr "isa" "noavx,noavx,avx")
25025 : 4 : (set_attr "addr" "gpr16,gpr16,*")
25026 : 50 : (set_attr "type" "ssemov")
25027 : 46 : (set_attr "prefix_extra" "1")
25028 : 4 : (set_attr "prefix" "orig,orig,maybe_evex")
25029 : : (set_attr "mode" "TI")])
25030 : 2 :
25031 : : (define_insn_and_split "*sse4_1_<code>v2hiv2di2<mask_name>_2"
25032 : : [(set (match_operand:V2DI 0 "register_operand")
25033 : 2 : (any_extend:V2DI
25034 : : (vec_select:V2HI
25035 : : (subreg:V8HI
25036 : : (vec_merge:V4SI
25037 : : (vec_duplicate:V4SI
25038 : : (match_operand:SI 1 "memory_operand"))
25039 : : (const_vector:V4SI
25040 : : [(const_int 0) (const_int 0)
25041 : 0 : (const_int 0) (const_int 0)])
25042 : : (const_int 1)) 0)
25043 : 0 : (parallel [(const_int 0) (const_int 1)]))))]
25044 : 1 : "TARGET_SSE4_1 && <mask_avx512vl_condition>
25045 : 2 : && ix86_pre_reload_split ()"
25046 : 0 : "#"
25047 : 0 : "&& 1"
25048 : 1 : [(set (match_dup 0)
25049 : 0 : (any_extend:V2DI (match_dup 1)))]
25050 : 1 : "operands[1] = adjust_address_nv (operands[1], V2HImode, 0);")
25051 : :
25052 : : (define_expand "<insn>v2hiv2di2"
25053 : 14 : [(set (match_operand:V2DI 0 "register_operand")
25054 : 14 : (any_extend:V2DI
25055 : 1276609 : (match_operand:V2HI 1 "nonimmediate_operand")))]
25056 : 18 : "TARGET_SSE4_1"
25057 : 1276610 : {
25058 : 13 : if (!MEM_P (operands[1]))
25059 : 44285 : {
25060 : 4577 : rtx op1 = force_reg (V2HImode, operands[1]);
25061 : 4579 : op1 = lowpart_subreg (V8HImode, op1, V2HImode);
25062 : 4 : emit_insn (gen_sse4_1_<code>v2hiv2di2 (operands[0], op1));
25063 : 262444 : DONE;
25064 : 262441 : }
25065 : 262435 : })
25066 : 262436 :
25067 : 262440 : (define_insn "avx512f_<code>v8siv8di2<mask_name>"
25068 : 262439 : [(set (match_operand:V8DI 0 "register_operand" "=v")
25069 : 262437 : (any_extend:V8DI
25070 : 262443 : (match_operand:V8SI 1 "nonimmediate_operand" "vm")))]
25071 : 1774 : "TARGET_AVX512F && TARGET_EVEX512"
25072 : 262437 : "vpmov<extsuffix>dq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
25073 : 227256 : [(set_attr "type" "ssemov")
25074 : 4743 : (set_attr "prefix" "evex")
25075 : 5050 : (set_attr "mode" "XI")])
25076 : 4830 :
25077 : 8 : (define_insn_and_split "*avx512f_zero_extendv8siv8di2_1"
25078 : 569 : [(set (match_operand:V16SI 0 "register_operand" "=v")
25079 : 281 : (vec_select:V16SI
25080 : 6 : (vec_concat:V32SI
25081 : : (match_operand:V16SI 1 "nonimmediate_operand" "vm")
25082 : 281 : (match_operand:V16SI 2 "const0_operand"))
25083 : : (match_parallel 3 "pmovzx_parallel"
25084 : 16 : [(match_operand 4 "const_int_operand")])))]
25085 : 52 : "TARGET_AVX512F && TARGET_EVEX512"
25086 : 16 : "#"
25087 : 150 : "&& reload_completed"
25088 : 164 : [(set (match_dup 0) (zero_extend:V8DI (match_dup 1)))]
25089 : 26 : {
25090 : 12 : operands[0] = lowpart_subreg (V8DImode, operands[0], V16SImode);
25091 : 20 : operands[1] = lowpart_subreg (V8SImode, operands[1], V16SImode);
25092 : 0 : })
25093 : 0 :
25094 : 0 : (define_insn_and_split "*avx512f_zero_extendv8siv8di2_2"
25095 : 4 : [(set (match_operand:V16SI 0 "register_operand" "=v")
25096 : 4 : (vec_select:V16SI
25097 : 4 : (vec_concat:V32SI
25098 : 4 : (vec_concat:V16SI
25099 : 4 : (match_operand:V8SI 1 "nonimmediate_operand" "vm")
25100 : : (match_operand:V8SI 2 "const0_operand"))
25101 : : (match_operand:V16SI 3 "const0_operand"))
25102 : 4 : (match_parallel 4 "pmovzx_parallel"
25103 : 4 : [(match_operand 5 "const_int_operand")])))]
25104 : 8 : "TARGET_AVX512F && TARGET_EVEX512"
25105 : : "#"
25106 : 2 : "&& reload_completed"
25107 : : [(set (match_dup 0) (zero_extend:V8DI (match_dup 1)))]
25108 : 2 : {
25109 : 72 : operands[0] = lowpart_subreg (V8DImode, operands[0], V16SImode);
25110 : 2 : })
25111 : 4 :
25112 : 69 : (define_expand "<insn>v8siv8di2"
25113 : 70 : [(set (match_operand:V8DI 0 "register_operand" "=v")
25114 : 70 : (any_extend:V8DI
25115 : 70 : (match_operand:V8SI 1 "nonimmediate_operand" "vm")))]
25116 : 70 : "TARGET_AVX512F && TARGET_EVEX512")
25117 : 70 :
25118 : : (define_insn "avx2_<code>v4siv4di2<mask_name>"
25119 : : [(set (match_operand:V4DI 0 "register_operand" "=v")
25120 : 1 : (any_extend:V4DI
25121 : 1 : (match_operand:V4SI 1 "nonimmediate_operand" "vm")))]
25122 : 3755 : "TARGET_AVX2 && <mask_avx512vl_condition>"
25123 : : "vpmov<extsuffix>dq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
25124 : : [(set_attr "type" "ssemov")
25125 : : (set_attr "prefix" "maybe_evex")
25126 : 22 : (set_attr "prefix_extra" "1")
25127 : 388 : (set_attr "mode" "OI")])
25128 : :
25129 : : (define_insn_and_split "*avx2_zero_extendv4siv4di2_1"
25130 : 366 : [(set (match_operand:V8SI 0 "register_operand" "=v")
25131 : 366 : (vec_select:V8SI
25132 : 366 : (vec_concat:V16SI
25133 : 366 : (match_operand:V8SI 1 "nonimmediate_operand" "vm")
25134 : 366 : (match_operand:V8SI 2 "const0_operand"))
25135 : 366 : (match_parallel 3 "pmovzx_parallel"
25136 : : [(match_operand 4 "const_int_operand")])))]
25137 : 60 : "TARGET_AVX2"
25138 : : "#"
25139 : 111 : "&& reload_completed"
25140 : 125 : [(set (match_dup 0) (zero_extend:V4DI (match_dup 1)))]
25141 : 10 : {
25142 : 12 : operands[0] = lowpart_subreg (V4DImode, operands[0], V8SImode);
25143 : 4 : operands[1] = lowpart_subreg (V4SImode, operands[1], V8SImode);
25144 : : })
25145 : :
25146 : : (define_insn_and_split "*avx2_zero_extendv4siv4di2_2"
25147 : 4 : [(set (match_operand:V8SI 0 "register_operand" "=v")
25148 : 4 : (vec_select:V8SI
25149 : 4 : (vec_concat:V16SI
25150 : 4 : (vec_concat:V8SI
25151 : 4 : (match_operand:V4SI 1 "nonimmediate_operand" "vm")
25152 : : (match_operand:V4SI 2 "const0_operand"))
25153 : : (match_operand:V8SI 3 "const0_operand"))
25154 : 4 : (match_parallel 4 "pmovzx_parallel"
25155 : 4 : [(match_operand 5 "const_int_operand")])))]
25156 : 8 : "TARGET_AVX2"
25157 : : "#"
25158 : 2 : "&& reload_completed"
25159 : : [(set (match_dup 0) (zero_extend:V4DI (match_dup 1)))]
25160 : 2 : {
25161 : 3 : operands[0] = lowpart_subreg (V4DImode, operands[0], V8SImode);
25162 : 2 : })
25163 : 4 :
25164 : 0 : (define_expand "<insn>v4siv4di2"
25165 : 1 : [(set (match_operand:V4DI 0 "register_operand")
25166 : 1 : (any_extend:V4DI
25167 : 1 : (match_operand:V4SI 1 "nonimmediate_operand")))]
25168 : 1 : "TARGET_AVX2")
25169 : 1 :
25170 : : (define_insn "sse4_1_<code>v2siv2di2<mask_name>"
25171 : : [(set (match_operand:V2DI 0 "register_operand" "=Yr,*x,v")
25172 : 1 : (any_extend:V2DI
25173 : 1 : (vec_select:V2SI
25174 : 1 : (match_operand:V4SI 1 "register_operand" "Yr,*x,v")
25175 : 0 : (parallel [(const_int 0) (const_int 1)]))))]
25176 : 4089 : "TARGET_SSE4_1 && <mask_avx512vl_condition>"
25177 : : "%vpmov<extsuffix>dq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
25178 : 0 : [(set_attr "isa" "noavx,noavx,avx")
25179 : 0 : (set_attr "type" "ssemov")
25180 : : (set_attr "prefix_extra" "1")
25181 : : (set_attr "prefix" "orig,orig,maybe_evex")
25182 : 0 : (set_attr "mode" "TI")])
25183 : 48798 :
25184 : 47823 : (define_insn "*sse4_1_<code>v2siv2di2<mask_name>_1"
25185 : 613 : [(set (match_operand:V2DI 0 "register_operand" "=Yr,*x,v")
25186 : 3634 : (any_extend:V2DI
25187 : 10322 : (match_operand:V2SI 1 "memory_operand" "jm,jm,m")))]
25188 : 46 : "TARGET_SSE4_1 && <mask_avx512vl_condition>"
25189 : 21 : "%vpmov<extsuffix>dq\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
25190 : 55 : [(set_attr "isa" "noavx,noavx,avx")
25191 : : (set_attr "addr" "gpr16,gpr16,*")
25192 : 86094 : (set_attr "type" "ssemov")
25193 : 5127 : (set_attr "prefix_extra" "1")
25194 : 86072 : (set_attr "prefix" "orig,orig,maybe_evex")
25195 : 86072 : (set_attr "mode" "TI")])
25196 : 86072 :
25197 : 86072 : (define_insn_and_split "*sse4_1_<code>v2siv2di2<mask_name>_2"
25198 : : [(set (match_operand:V2DI 0 "register_operand")
25199 : 19205 : (any_extend:V2DI
25200 : 19205 : (vec_select:V2SI
25201 : : (subreg:V4SI
25202 : : (vec_concat:V2DI
25203 : 0 : (match_operand:DI 1 "memory_operand")
25204 : : (const_int 0)) 0)
25205 : : (parallel [(const_int 0) (const_int 1)]))))]
25206 : 2 : "TARGET_SSE4_1 && <mask_avx512vl_condition>
25207 : 2 : && ix86_pre_reload_split ()"
25208 : 0 : "#"
25209 : : "&& 1"
25210 : 1 : [(set (match_dup 0)
25211 : 0 : (any_extend:V2DI (match_dup 1)))]
25212 : 1 : "operands[1] = adjust_address_nv (operands[1], V2SImode, 0);")
25213 : 0 :
25214 : 0 : (define_insn_and_split "*sse4_1_zero_extendv2siv2di2_3"
25215 : 19 : [(set (match_operand:V4SI 0 "register_operand" "=Yr,*x,v")
25216 : 19 : (vec_select:V4SI
25217 : 28 : (vec_concat:V8SI
25218 : 10 : (match_operand:V4SI 1 "vector_operand" "Yrja,*xja,vm")
25219 : 27 : (match_operand:V4SI 2 "const0_operand"))
25220 : 0 : (match_parallel 3 "pmovzx_parallel"
25221 : 35 : [(match_operand 4 "const_int_operand")])))]
25222 : 5393 : "TARGET_SSE4_1"
25223 : 7 : "#"
25224 : 10248 : "&& reload_completed"
25225 : 10175 : [(set (match_dup 0)
25226 : 10403 : (zero_extend:V2DI
25227 : 35 : (vec_select:V2SI (match_dup 1)
25228 : 69 : (parallel [(const_int 0) (const_int 1)]))))]
25229 : 39 : {
25230 : 15 : operands[0] = lowpart_subreg (V2DImode, operands[0], V4SImode);
25231 : 15 : if (MEM_P (operands[1]))
25232 : 24 : {
25233 : 2 : operands[1] = lowpart_subreg (V2SImode, operands[1], V4SImode);
25234 : 2 : operands[1] = gen_rtx_ZERO_EXTEND (V2DImode, operands[1]);
25235 : 2 : emit_insn (gen_rtx_SET (operands[0], operands[1]));
25236 : 2 : DONE;
25237 : : }
25238 : 0 : }
25239 : : [(set_attr "isa" "noavx,noavx,avx")
25240 : : (set_attr "addr" "gpr16,gpr16,*")])
25241 : 13 :
25242 : 13 : (define_insn_and_split "*sse4_1_zero_extendv2siv2di2_4"
25243 : 13 : [(set (match_operand:V4SI 0 "register_operand" "=Yr,*x,v")
25244 : 13 : (vec_select:V4SI
25245 : 13 : (vec_concat:V8SI
25246 : 1 : (vec_concat:V4SI
25247 : : (match_operand:V2SI 1 "vector_operand" "Yrja, *xja, vm")
25248 : 1 : (match_operand:V2SI 2 "const0_operand"))
25249 : 1 : (match_operand:V4SI 3 "const0_operand"))
25250 : 1 : (match_parallel 4 "pmovzx_parallel"
25251 : 1 : [(match_operand 5 "const_int_operand")])))]
25252 : 4 : "TARGET_SSE4_1"
25253 : 14 : "#"
25254 : 16 : "&& reload_completed"
25255 : 14 : [(set (match_dup 0)
25256 : 2 : (zero_extend:V2DI
25257 : 1 : (vec_select:V2SI (match_dup 1)
25258 : 1 : (parallel [(const_int 0) (const_int 1)]))))]
25259 : 1 : {
25260 : 1 : operands[0] = lowpart_subreg (V2DImode, operands[0], V4SImode);
25261 : 1 : if (MEM_P (operands[1]))
25262 : : {
25263 : 0 : operands[1] = gen_rtx_ZERO_EXTEND (V2DImode, operands[1]);
25264 : 703313 : emit_insn (gen_rtx_SET (operands[0], operands[1]));
25265 : 703314 : DONE;
25266 : 1069831 : }
25267 : 1069832 : operands[1] = lowpart_subreg (V4SImode, operands[1], V2SImode);
25268 : 703313 : }
25269 : 703313 : [(set_attr "isa" "noavx,noavx,avx")
25270 : 366517 : (set_attr "addr" "gpr16,gpr16,*")])
25271 : 588388 :
25272 : 1 : (define_expand "<insn>v2siv2di2"
25273 : 454765 : [(set (match_operand:V2DI 0 "register_operand")
25274 : 13 : (any_extend:V2DI
25275 : 119003 : (match_operand:V2SI 1 "nonimmediate_operand")))]
25276 : 2 : "TARGET_SSE4_1 || TARGET_MMX_WITH_SSE"
25277 : 436 : {
25278 : 437 : if (!TARGET_SSE4_1)
25279 : 0 : {
25280 : 421 : ix86_expand_sse_extend (operands[0], operands[1], <u_bool>);
25281 : 421 : DONE;
25282 : : }
25283 : 1 :
25284 : 15 : if (!MEM_P (operands[1]))
25285 : 12 : {
25286 : 12 : rtx op1 = force_reg (V2SImode, operands[1]);
25287 : 12 : op1 = lowpart_subreg (V4SImode, op1, V2SImode);
25288 : 23 : emit_insn (gen_sse4_1_<code>v2siv2di2 (operands[0], op1));
25289 : 12 : DONE;
25290 : 0 : }
25291 : 0 : })
25292 : 0 :
25293 : 0 : ;; ptestps/ptestpd are very similar to comiss and ucomiss when
25294 : 2 : ;; setting FLAGS_REG. But it is not a really compare instruction.
25295 : 2 : (define_insn "avx_vtest<ssemodesuffix><avxsizesuffix>"
25296 : 2 : [(set (reg:CC FLAGS_REG)
25297 : 2 : (unspec:CC [(match_operand:VF_128_256 0 "register_operand" "x")
25298 : 0 : (match_operand:VF_128_256 1 "nonimmediate_operand" "xjm")]
25299 : 2 : UNSPEC_VTESTP))]
25300 : 186 : "TARGET_AVX"
25301 : 9 : "vtest<ssemodesuffix>\t{%1, %0|%0, %1}"
25302 : 4 : [(set_attr "type" "ssecomi")
25303 : 4 : (set_attr "addr" "gpr16")
25304 : 594 : (set_attr "prefix_extra" "1")
25305 : 592 : (set_attr "prefix" "vex")
25306 : 560 : (set_attr "mode" "<MODE>")])
25307 : 1152 :
25308 : 2 : ;; ptest is very similar to comiss and ucomiss when setting FLAGS_REG.
25309 : 2 : ;; But it is not really a compare instruction.
25310 : 2 : (define_insn "*<sse4_1>_ptest<mode>"
25311 : 2 : [(set (reg FLAGS_REG)
25312 : 2 : (unspec [(match_operand:V_AVX 0 "register_operand" "Yr, *x, x")
25313 : 0 : (match_operand:V_AVX 1 "vector_operand" "Yrja, *xja, xjm")]
25314 : 0 : UNSPEC_PTEST))]
25315 : 33620 : "TARGET_SSE4_1 && ix86_match_ptest_ccmode (insn)"
25316 : 5232 : "%vptest\t{%1, %0|%0, %1}"
25317 : 0 : [(set_attr "isa" "noavx,noavx,avx")
25318 : 0 : (set_attr "type" "ssecomi")
25319 : 22504 : (set_attr "addr" "gpr16")
25320 : 22504 : (set_attr "prefix_extra" "1")
25321 : 17290 : (set_attr "prefix" "orig,orig,vex")
25322 : 57042 : (set (attr "btver2_decode")
25323 : 16 : (if_then_else
25324 : 0 : (match_test "<sseinsnmode>mode==OImode")
25325 : 0 : (const_string "vector")
25326 : 16 : (const_string "*")))
25327 : 0 : (set_attr "mode" "<sseinsnmode>")])
25328 : 0 :
25329 : 0 : ;; Expand a ptest to set the Z flag.
25330 : 0 : (define_expand "<sse4_1>_ptestz<mode>"
25331 : 0 : [(set (reg:CCZ FLAGS_REG)
25332 : 0 : (unspec:CCZ [(match_operand:V_AVX 0 "register_operand")
25333 : 0 : (match_operand:V_AVX 1 "vector_operand")]
25334 : 0 : UNSPEC_PTEST))]
25335 : 0 : "TARGET_SSE4_1")
25336 : 0 :
25337 : 0 : ;; Expand a ptest to set the C flag
25338 : 0 : (define_expand "<sse4_1>_ptestc<mode>"
25339 : 0 : [(set (reg:CCC FLAGS_REG)
25340 : 0 : (unspec:CCC [(match_operand:V_AVX 0 "register_operand")
25341 : 0 : (match_operand:V_AVX 1 "vector_operand")]
25342 : 0 : UNSPEC_PTEST))]
25343 : 0 : "TARGET_SSE4_1")
25344 : 0 :
25345 : 0 : ;; Expand a ptest to set both the Z and C flags
25346 : 0 : (define_expand "<sse4_1>_ptest<mode>"
25347 : 0 : [(set (reg:CC FLAGS_REG)
25348 : 0 : (unspec:CC [(match_operand:V_AVX 0 "register_operand")
25349 : 0 : (match_operand:V_AVX 1 "vector_operand")]
25350 : 0 : UNSPEC_PTEST))]
25351 : 0 : "TARGET_SSE4_1")
25352 : 0 :
25353 : 0 : (define_insn "ptesttf2"
25354 : 0 : [(set (reg:CC FLAGS_REG)
25355 : 0 : (unspec:CC [(match_operand:TF 0 "register_operand" "Yr, *x, x")
25356 : 0 : (match_operand:TF 1 "vector_operand" "Yrja, *xja, xjm")]
25357 : 0 : UNSPEC_PTEST))]
25358 : 26 : "TARGET_SSE4_1"
25359 : 3 : "%vptest\t{%1, %0|%0, %1}"
25360 : 3 : [(set_attr "isa" "noavx,noavx,avx")
25361 : 0 : (set_attr "type" "ssecomi")
25362 : 51 : (set_attr "addr" "gpr16")
25363 : 51 : (set_attr "prefix_extra" "1")
25364 : 3 : (set_attr "prefix" "orig,orig,vex")
25365 : 0 : (set_attr "mode" "TI")])
25366 : 0 :
25367 : 0 : (define_insn_and_split "*ptest<mode>_and"
25368 : 0 : [(set (reg:CCZ FLAGS_REG)
25369 : 0 : (unspec:CCZ [(and:V_AVX (match_operand:V_AVX 0 "register_operand")
25370 : 0 : (match_operand:V_AVX 1 "vector_operand"))
25371 : 0 : (and:V_AVX (match_dup 0) (match_dup 1))]
25372 : 0 : UNSPEC_PTEST))]
25373 : 10 : "TARGET_SSE4_1
25374 : 26 : && ix86_pre_reload_split ()"
25375 : 0 : "#"
25376 : 0 : "&& 1"
25377 : 0 : [(set (reg:CCZ FLAGS_REG)
25378 : 16 : (unspec:CCZ [(match_dup 0) (match_dup 1)] UNSPEC_PTEST))])
25379 : 26 :
25380 : 3 : ;; ptest reg,reg sets the carry flag.
25381 : 6 : (define_split
25382 : 0 : [(set (reg:CCC FLAGS_REG)
25383 : 0 : (unspec:CCC [(match_operand:V_AVX 0 "register_operand")
25384 : 13466 : (match_operand:V_AVX 1 "register_operand")]
25385 : 13466 : UNSPEC_PTEST))]
25386 : 44 : "TARGET_SSE4_1
25387 : 13570 : && rtx_equal_p (operands[0], operands[1])"
25388 : 204 : [(set (reg:CCC FLAGS_REG)
25389 : 0 : (unspec:CCC [(const_int 0)] UNSPEC_STC))])
25390 : 133 :
25391 : 204 : ;; Changing the CCmode of FLAGS_REG requires updating both def and use.
25392 : 133 : ;; pandn/ptestz/set{n?}e -> ptestc/set{n?}c
25393 : 71 : (define_split
25394 : 191 : [(set (match_operand:SWI 0 "register_operand")
25395 : 0 : (match_operator:SWI 3 "bt_comparison_operator"
25396 : 0 : [(unspec:CCZ [
25397 : 0 : (and:V_AVX (not:V_AVX (match_operand:V_AVX 1 "register_operand"))
25398 : 0 : (match_operand:V_AVX 2 "register_operand"))
25399 : 0 : (and:V_AVX (not:V_AVX (match_dup 1)) (match_dup 2))]
25400 : 0 : UNSPEC_PTEST)
25401 : 0 : (const_int 0)]))]
25402 : 0 : "TARGET_SSE4_1"
25403 : 0 : [(set (reg:CCC FLAGS_REG)
25404 : 0 : (unspec:CCC [(match_dup 1) (match_dup 2)] UNSPEC_PTEST))
25405 : 0 : (set (match_dup 0)
25406 : 0 : (match_op_dup 3 [(reg:CCC FLAGS_REG) (const_int 0)]))])
25407 : 0 :
25408 : 0 : (define_split
25409 : 0 : [(set (strict_low_part (match_operand:QI 0 "register_operand"))
25410 : 0 : (match_operator:QI 3 "bt_comparison_operator"
25411 : 0 : [(unspec:CCZ [
25412 : 0 : (and:V_AVX (not:V_AVX (match_operand:V_AVX 1 "register_operand"))
25413 : 0 : (match_operand:V_AVX 2 "register_operand"))
25414 : 0 : (and:V_AVX (not:V_AVX (match_dup 1)) (match_dup 2))]
25415 : 0 : UNSPEC_PTEST)
25416 : 0 : (const_int 0)]))]
25417 : 0 : "TARGET_SSE4_1"
25418 : 0 : [(set (reg:CCC FLAGS_REG)
25419 : 8 : (unspec:CCC [(match_dup 1) (match_dup 2)] UNSPEC_PTEST))
25420 : 0 : (set (strict_low_part (match_dup 0))
25421 : 8 : (match_op_dup 3 [(reg:CCC FLAGS_REG) (const_int 0)]))])
25422 : 8 :
25423 : 0 : ;; pandn/ptestz/j{n?}e -> ptestc/j{n?}c
25424 : 0 : (define_split
25425 : 0 : [(set (pc)
25426 : 0 : (if_then_else
25427 : 0 : (match_operator 3 "bt_comparison_operator"
25428 : 0 : [(unspec:CCZ [
25429 : 0 : (and:V_AVX
25430 : 0 : (not:V_AVX (match_operand:V_AVX 1 "register_operand"))
25431 : 0 : (match_operand:V_AVX 2 "register_operand"))
25432 : 0 : (and:V_AVX (not:V_AVX (match_dup 1)) (match_dup 2))]
25433 : 0 : UNSPEC_PTEST)
25434 : 0 : (const_int 0)])
25435 : 0 : (match_operand 0)
25436 : 0 : (pc)))]
25437 : 0 : "TARGET_SSE4_1"
25438 : 0 : [(set (reg:CCC FLAGS_REG)
25439 : 0 : (unspec:CCC [(match_dup 1) (match_dup 2)] UNSPEC_PTEST))
25440 : 0 : (set (pc) (if_then_else (match_op_dup 3 [(reg:CCC FLAGS_REG) (const_int 0)])
25441 : 0 : (match_dup 0)
25442 : 0 : (pc)))])
25443 : 0 :
25444 : 0 : (define_expand "nearbyint<mode>2"
25445 : 0 : [(set (match_operand:VFH 0 "register_operand")
25446 : 0 : (unspec:VFH
25447 : 0 : [(match_operand:VFH 1 "vector_operand")
25448 : 0 : (match_dup 2)]
25449 : 0 : UNSPEC_ROUND))]
25450 : 0 : "TARGET_SSE4_1"
25451 : 18 : "operands[2] = GEN_INT (ROUND_MXCSR | ROUND_NO_EXC);")
25452 : 0 :
25453 : 0 : (define_expand "rint<mode>2"
25454 : 13 : [(set (match_operand:VFH 0 "register_operand")
25455 : 11 : (unspec:VFH
25456 : 14 : [(match_operand:VFH 1 "vector_operand")
25457 : 10 : (match_dup 2)]
25458 : 10 : UNSPEC_ROUND))]
25459 : 12 : "TARGET_SSE4_1"
25460 : 36 : "operands[2] = GEN_INT (ROUND_MXCSR);")
25461 : 14 :
25462 : 0 : ;; Note vcvtpd2qq require avx512dq for all vector lengths.
25463 : 23 : (define_expand "lrint<mode><sseintvecmodelower>2"
25464 : 20 : [(set (match_operand:<sseintvecmode> 0 "register_operand")
25465 : 21 : (unspec:<sseintvecmode>
25466 : 21 : [(match_operand:VF1_VF2_AVX512DQ 1 "register_operand")]
25467 : 18 : UNSPEC_FIX_NOTRUNC))]
25468 : 18 : "TARGET_SSE2")
25469 : 14 :
25470 : 24 : (define_insn "<sse4_1>_round<ssemodesuffix><avxsizesuffix>"
25471 : 0 : [(set (match_operand:VF_128_256 0 "register_operand" "=Yr,*x,x")
25472 : 0 : (unspec:VF_128_256
25473 : 0 : [(match_operand:VF_128_256 1 "vector_operand" "Yrja,*xja,xjm")
25474 : 21 : (match_operand:SI 2 "const_0_to_15_operand")]
25475 : 0 : UNSPEC_ROUND))]
25476 : 503 : "TARGET_SSE4_1"
25477 : 80 : "%vround<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
25478 : 42 : [(set_attr "isa" "noavx,noavx,avx")
25479 : 21 : (set_attr "type" "ssecvt")
25480 : 359 : (set_attr "addr" "gpr16")
25481 : 359 : (set_attr "prefix_data16" "1,1,*")
25482 : 15 : (set_attr "prefix_extra" "1")
25483 : 369 : (set_attr "length_immediate" "1")
25484 : 0 : (set_attr "prefix" "orig,orig,vex")
25485 : 0 : (set_attr "mode" "<MODE>")])
25486 : 6 :
25487 : 2 : (define_expand "<sse4_1>_round<ssemodesuffix>_sfix<avxsizesuffix>"
25488 : 2 : [(match_operand:<sseintvecmode> 0 "register_operand")
25489 : 2 : (match_operand:VF1_128_256 1 "vector_operand")
25490 : 2 : (match_operand:SI 2 "const_0_to_15_operand")]
25491 : 2 : "TARGET_SSE4_1"
25492 : 2 : {
25493 : 0 : rtx tmp = gen_reg_rtx (<MODE>mode);
25494 : 0 :
25495 : 16 : emit_insn
25496 : 0 : (gen_<sse4_1>_round<ssemodesuffix><avxsizesuffix> (tmp, operands[1],
25497 : 0 : operands[2]));
25498 : 0 : emit_insn
25499 : 8 : (gen_fix_trunc<mode><sseintvecmodelower>2 (operands[0], tmp));
25500 : 20 : DONE;
25501 : 20 : })
25502 : 16 :
25503 : 4056 : (define_expand "avx512f_round<castmode>512"
25504 : 20 : [(match_operand:VF_512 0 "register_operand")
25505 : 4056 : (match_operand:VF_512 1 "nonimmediate_operand")
25506 : 10 : (match_operand:SI 2 "const_0_to_15_operand")]
25507 : 8 : "TARGET_AVX512F"
25508 : 8 : {
25509 : 8 : emit_insn (gen_avx512f_rndscale<mode> (operands[0], operands[1], operands[2]));
25510 : 8 : DONE;
25511 : 0 : })
25512 : 0 :
25513 : 0 : (define_expand "avx512f_roundps512_sfix"
25514 : 0 : [(match_operand:V16SI 0 "register_operand")
25515 : 0 : (match_operand:V16SF 1 "nonimmediate_operand")
25516 : 0 : (match_operand:SI 2 "const_0_to_15_operand")]
25517 : 0 : "TARGET_AVX512F && TARGET_EVEX512"
25518 : 0 : {
25519 : 0 : rtx tmp = gen_reg_rtx (V16SFmode);
25520 : 0 : emit_insn (gen_avx512f_rndscalev16sf (tmp, operands[1], operands[2]));
25521 : 7 : emit_insn (gen_fix_truncv16sfv16si2 (operands[0], tmp));
25522 : 0 : DONE;
25523 : 0 : })
25524 : 7 :
25525 : 11 : (define_expand "<sse4_1>_round<ssemodesuffix>_vec_pack_sfix<avxsizesuffix>"
25526 : 11 : [(match_operand:<ssepackfltmode> 0 "register_operand")
25527 : 7 : (match_operand:VF2 1 "vector_operand")
25528 : 7 : (match_operand:VF2 2 "vector_operand")
25529 : 11 : (match_operand:SI 3 "const_0_to_15_operand")]
25530 : 11 : "TARGET_SSE4_1"
25531 : 23 : {
25532 : 12 : rtx tmp0, tmp1;
25533 : 0 :
25534 : 21 : if (<MODE>mode == V2DFmode
25535 : 17 : && TARGET_AVX && !TARGET_PREFER_AVX128 && optimize_insn_for_speed_p ())
25536 : 11 : {
25537 : 13 : rtx tmp2 = gen_reg_rtx (V4DFmode);
25538 : 11 :
25539 : 4 : tmp0 = gen_reg_rtx (V4DFmode);
25540 : 13 : tmp1 = force_reg (V2DFmode, operands[1]);
25541 : 0 :
25542 : 2 : emit_insn (gen_avx_vec_concatv4df (tmp0, tmp1, operands[2]));
25543 : 4 : emit_insn (gen_avx_roundpd256 (tmp2, tmp0, operands[3]));
25544 : 2 : emit_insn (gen_fix_truncv4dfv4si2 (operands[0], tmp2));
25545 : 0 : }
25546 : 2 : else
25547 : 2 : {
25548 : 12 : tmp0 = gen_reg_rtx (<MODE>mode);
25549 : 12 : tmp1 = gen_reg_rtx (<MODE>mode);
25550 : 2 :
25551 : 8 : emit_insn
25552 : 10 : (gen_<sse4_1>_round<ssemodesuffix><avxsizesuffix> (tmp0, operands[1],
25553 : 0 : operands[3]));
25554 : 10 : emit_insn
25555 : 10 : (gen_<sse4_1>_round<ssemodesuffix><avxsizesuffix> (tmp1, operands[2],
25556 : 0 : operands[3]));
25557 : 18 : emit_insn
25558 : 10 : (gen_vec_pack_sfix_trunc_<mode> (operands[0], tmp0, tmp1));
25559 : 8 : }
25560 : 20 : DONE;
25561 : 8 : })
25562 : 8 :
25563 : 8 : (define_insn "sse4_1_round<ssescalarmodesuffix>"
25564 : 8 : [(set (match_operand:VFH_128 0 "register_operand" "=Yr,*x,x,v")
25565 : 0 : (vec_merge:VFH_128
25566 : 8 : (unspec:VFH_128
25567 : 8 : [(match_operand:VFH_128 2 "nonimmediate_operand" "Yrjm,*xjm,xjm,vm")
25568 : 8 : (match_operand:SI 3 "const_0_to_15_operand")]
25569 : 8 : UNSPEC_ROUND)
25570 : 8 : (match_operand:VFH_128 1 "register_operand" "0,0,x,v")
25571 : 8 : (const_int 1)))]
25572 : 115 : "TARGET_SSE4_1"
25573 : 52 : {
25574 : 8 : switch (which_alternative)
25575 : 8 : {
25576 : 857 : case 0:
25577 : 857 : case 1:
25578 : 0 : return "round<ssescalarmodesuffix>\t{%3, %2, %0|%0, %<iptr>2, %3}";
25579 : 0 : case 2:
25580 : 506 : return "vround<ssescalarmodesuffix>\t{%3, %2, %1, %0|%0, %1, %<iptr>2, %3}";
25581 : 506 : case 3:
25582 : 8 : if (x86_evex_reg_mentioned_p (operands, 3) || <MODE>mode == V8HFmode)
25583 : 0 : return "vrndscale<ssescalarmodesuffix>\t{%3, %2, %1, %0|%0, %1, %<iptr>2, %3}";
25584 : 4 : else
25585 : 0 : return "vround<ssescalarmodesuffix>\t{%3, %2, %1, %0|%0, %1, %<iptr>2, %3}";
25586 : 0 : default:
25587 : 6 : gcc_unreachable ();
25588 : 14 : }
25589 : 10 : }
25590 : 14 : [(set_attr "isa" "noavx,noavx,noavx512f,avx512f")
25591 : 6 : (set_attr "type" "ssecvt")
25592 : 6 : (set_attr "addr" "gpr16,gpr16,gpr16,*")
25593 : 44 : (set_attr "length_immediate" "1")
25594 : 0 : (set_attr "prefix_data16" "1,1,*,*")
25595 : 0 : (set_attr "prefix_extra" "1")
25596 : 10 : (set_attr "prefix" "orig,orig,vex,evex")
25597 : 0 : (set_attr "mode" "<MODE>")])
25598 : 10 :
25599 : 10 : (define_insn "*sse4_1_round<ssescalarmodesuffix>"
25600 : 10 : [(set (match_operand:VFH_128 0 "register_operand" "=Yr,*x,x,v")
25601 : 10 : (vec_merge:VFH_128
25602 : 10 : (vec_duplicate:VFH_128
25603 : 10 : (unspec:<ssescalarmode>
25604 : 0 : [(match_operand:<ssescalarmode> 2 "nonimmediate_operand" "Yrjm,*xjm,xjm,vm")
25605 : 10 : (match_operand:SI 3 "const_0_to_15_operand")]
25606 : 10 : UNSPEC_ROUND))
25607 : 10 : (match_operand:VFH_128 1 "register_operand" "0,0,x,v")
25608 : 10 : (const_int 1)))]
25609 : 10 : "TARGET_SSE4_1"
25610 : 10 : {
25611 : 10 : switch (which_alternative)
25612 : 10 : {
25613 : 14 : case 0:
25614 : 14 : case 1:
25615 : 0 : return "round<ssescalarmodesuffix>\t{%3, %2, %0|%0, %2, %3}";
25616 : 0 : case 2:
25617 : 0 : return "vround<ssescalarmodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}";
25618 : 4 : case 3:
25619 : 4 : if (x86_evex_reg_mentioned_p (operands, 3) || <MODE>mode == V8HFmode)
25620 : 9 : return "vrndscale<ssescalarmodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}";
25621 : 10 : else
25622 : 0 : return "vround<ssescalarmodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}";
25623 : 1 : default:
25624 : 1 : gcc_unreachable ();
25625 : 1 : }
25626 : 1 : }
25627 : 11 : [(set_attr "isa" "noavx,noavx,noavx512f,avx512f")
25628 : 11 : (set_attr "type" "ssecvt")
25629 : 11 : (set_attr "addr" "gpr16,gpr16,gpr16,*")
25630 : 0 : (set_attr "length_immediate" "1")
25631 : 0 : (set_attr "prefix_data16" "1,1,*,*")
25632 : 0 : (set_attr "prefix_extra" "1")
25633 : 0 : (set_attr "prefix" "orig,orig,vex,evex")
25634 : 0 : (set_attr "mode" "<MODE>")])
25635 : 0 :
25636 : 0 : (define_expand "floor<mode>2"
25637 : 0 : [(set (match_operand:VFH 0 "register_operand")
25638 : 1 : (unspec:VFH
25639 : 0 : [(match_operand:VFH 1 "vector_operand")
25640 : 0 : (match_dup 2)]
25641 : 1 : UNSPEC_ROUND))]
25642 : 1 : "TARGET_SSE4_1 && !flag_trapping_math"
25643 : 23 : "operands[2] = GEN_INT (ROUND_FLOOR | ROUND_NO_EXC);")
25644 : 1 :
25645 : 1 : (define_expand "lfloor<mode><sseintvecmodelower>2"
25646 : 21 : [(match_operand:<sseintvecmode> 0 "register_operand")
25647 : 20 : (match_operand:VHF_AVX512VL 1 "nonimmediate_operand")]
25648 : 28 : "TARGET_AVX512FP16 && !flag_trapping_math"
25649 : 25 : {
25650 : 25 : rtx tmp = gen_reg_rtx (<MODE>mode);
25651 : 19 : emit_insn (gen_floor<mode>2 (tmp, operands[1]));
25652 : 0 : emit_insn (gen_fix_trunc<mode><sseintvecmodelower>2 (operands[0], tmp));
25653 : 28 : DONE;
25654 : 0 : })
25655 : 0 :
25656 : 0 : (define_expand "lfloor<mode><sseintvecmodelower>2"
25657 : 0 : [(match_operand:<sseintvecmode> 0 "register_operand")
25658 : 0 : (match_operand:VF1_VF2_AVX512DQ 1 "register_operand")]
25659 : 28 : "TARGET_SSE4_1 && !flag_trapping_math"
25660 : 30 : {
25661 : 36 : rtx tmp = gen_reg_rtx (<MODE>mode);
25662 : 7 : emit_insn (gen_floor<mode>2 (tmp, operands[1]));
25663 : 7 : emit_insn (gen_fix_trunc<mode><sseintvecmodelower>2 (operands[0], tmp));
25664 : 7 : DONE;
25665 : 0 : })
25666 : 8 :
25667 : 0 : (define_expand "ceil<mode>2"
25668 : 0 : [(set (match_operand:VFH 0 "register_operand")
25669 : 2 : (unspec:VFH
25670 : 1 : [(match_operand:VFH 1 "vector_operand")
25671 : 16 : (match_dup 2)]
25672 : 8 : UNSPEC_ROUND))]
25673 : 8 : "TARGET_SSE4_1 && !flag_trapping_math"
25674 : 30 : "operands[2] = GEN_INT (ROUND_CEIL | ROUND_NO_EXC);")
25675 : 19 :
25676 : 8 : (define_expand "lceil<mode><sseintvecmodelower>2"
25677 : 35 : [(match_operand:<sseintvecmode> 0 "register_operand")
25678 : 27 : (match_operand:VHF_AVX512VL 1 "register_operand")]
25679 : 31 : "TARGET_AVX512FP16 && !flag_trapping_math"
25680 : 20 : {
25681 : 32 : rtx tmp = gen_reg_rtx (<MODE>mode);
25682 : 48 : emit_insn (gen_ceil<mode>2 (tmp, operands[1]));
25683 : 5 : emit_insn (gen_fix_trunc<mode><sseintvecmodelower>2 (operands[0], tmp));
25684 : 32 : DONE;
25685 : 15 : })
25686 : 20 :
25687 : 20 : (define_expand "lceil<mode><sseintvecmodelower>2"
25688 : 20 : [(match_operand:<sseintvecmode> 0 "register_operand")
25689 : 12 : (match_operand:VF1_VF2_AVX512DQ 1 "register_operand")]
25690 : 27 : "TARGET_SSE4_1 && !flag_trapping_math"
25691 : 47 : {
25692 : 41 : rtx tmp = gen_reg_rtx (<MODE>mode);
25693 : 7 : emit_insn (gen_ceil<mode>2 (tmp, operands[1]));
25694 : 7 : emit_insn (gen_fix_trunc<mode><sseintvecmodelower>2 (operands[0], tmp));
25695 : 7 : DONE;
25696 : 0 : })
25697 : 8 :
25698 : 0 : (define_expand "btrunc<mode>2"
25699 : 0 : [(set (match_operand:VFH 0 "register_operand")
25700 : 8 : (unspec:VFH
25701 : 8 : [(match_operand:VFH 1 "vector_operand")
25702 : 16 : (match_dup 2)]
25703 : 8 : UNSPEC_ROUND))]
25704 : 8 : "TARGET_SSE4_1 && !flag_trapping_math"
25705 : 12 : "operands[2] = GEN_INT (ROUND_TRUNC | ROUND_NO_EXC);")
25706 : 9 :
25707 : 8 : (define_expand "round<mode>2"
25708 : 26 : [(set (match_dup 3)
25709 : 26 : (plus:VFH
25710 : 26 : (match_operand:VFH 1 "register_operand")
25711 : 22 : (match_dup 2)))
25712 : 19 : (set (match_operand:VFH 0 "register_operand")
25713 : 31 : (unspec:VFH
25714 : 1 : [(match_dup 3) (match_dup 4)]
25715 : 19 : UNSPEC_ROUND))]
25716 : 13 : "TARGET_SSE4_1 && !flag_trapping_math"
25717 : 45 : {
25718 : 18 : machine_mode scalar_mode;
25719 : 45 : const struct real_format *fmt;
25720 : 36 : REAL_VALUE_TYPE pred_half, half_minus_pred_half;
25721 : 19 : rtx half, vec_half;
25722 : 31 :
25723 : 51 : scalar_mode = GET_MODE_INNER (<MODE>mode);
25724 : 0 :
25725 : 0 : /* load nextafter (0.5, 0.0) */
25726 : 32 : fmt = REAL_MODE_FORMAT (scalar_mode);
25727 : 32 : real_2expN (&half_minus_pred_half, -(fmt->p) - 1, scalar_mode);
25728 : 32 : real_arithmetic (&pred_half, MINUS_EXPR, &dconsthalf, &half_minus_pred_half);
25729 : 32 : half = const_double_from_real_value (pred_half, scalar_mode);
25730 : 1 :
25731 : 32 : vec_half = ix86_build_const_vector (<MODE>mode, true, half);
25732 : 33 : vec_half = force_reg (<MODE>mode, vec_half);
25733 : 33 :
25734 : 32 : operands[2] = gen_reg_rtx (<MODE>mode);
25735 : 64 : emit_insn (gen_copysign<mode>3 (operands[2], vec_half, operands[1]));
25736 : 33 :
25737 : 32 : operands[3] = gen_reg_rtx (<MODE>mode);
25738 : 32 : operands[4] = GEN_INT (ROUND_TRUNC);
25739 : 32 : })
25740 : 0 :
25741 : 3 : (define_expand "lround<mode><sseintvecmodelower>2"
25742 : 32 : [(match_operand:<sseintvecmode> 0 "register_operand")
25743 : 32 : (match_operand:VHF_AVX512VL 1 "register_operand")]
25744 : 35 : "TARGET_AVX512FP16 && !flag_trapping_math"
25745 : 35 : {
25746 : 35 : rtx tmp = gen_reg_rtx (<MODE>mode);
25747 : 36 : emit_insn (gen_round<mode>2 (tmp, operands[1]));
25748 : 35 : emit_insn (gen_fix_trunc<mode><sseintvecmodelower>2 (operands[0], tmp));
25749 : 35 : DONE;
25750 : 36 : })
25751 : 33 :
25752 : 1 : (define_expand "lround<mode><sseintvecmodelower>2"
25753 : 32 : [(match_operand:<sseintvecmode> 0 "register_operand")
25754 : 1 : (match_operand:VF1_VF2_AVX512DQ 1 "register_operand")]
25755 : 1 : "TARGET_SSE4_1 && !flag_trapping_math"
25756 : 7 : {
25757 : 32 : rtx tmp = gen_reg_rtx (<MODE>mode);
25758 : 7 : emit_insn (gen_round<mode>2 (tmp, operands[1]));
25759 : 7 : emit_insn (gen_fix_trunc<mode><sseintvecmodelower>2 (operands[0], tmp));
25760 : 7 : DONE;
25761 : : })
25762 : :
25763 : 32 : (define_expand "round<mode>2_sfix"
25764 : 32 : [(match_operand:<sseintvecmode> 0 "register_operand")
25765 : 32 : (match_operand:VF1 1 "register_operand")]
25766 : : "TARGET_SSE4_1 && !flag_trapping_math"
25767 : 2 : {
25768 : 0 : rtx tmp = gen_reg_rtx (<MODE>mode);
25769 : :
25770 : 7 : emit_insn (gen_round<mode>2 (tmp, operands[1]));
25771 : 2 :
25772 : 2 : emit_insn
25773 : 9 : (gen_fix_trunc<mode><sseintvecmodelower>2 (operands[0], tmp));
25774 : 7 : DONE;
25775 : 9 : })
25776 : 9 :
25777 : 9 : (define_expand "round<mode>2_vec_pack_sfix"
25778 : 7 : [(match_operand:<ssepackfltmode> 0 "register_operand")
25779 : 448 : (match_operand:VF2 1 "register_operand")
25780 : : (match_operand:VF2 2 "register_operand")]
25781 : 448 : "TARGET_SSE4_1 && !flag_trapping_math"
25782 : 458 : {
25783 : 6 : rtx tmp0, tmp1;
25784 : 452 :
25785 : 6 : if (<MODE>mode == V2DFmode
25786 : 2 : && TARGET_AVX && !TARGET_PREFER_AVX128 && optimize_insn_for_speed_p ())
25787 : 4 : {
25788 : 5 : rtx tmp2 = gen_reg_rtx (V4DFmode);
25789 : 0 :
25790 : 1 : tmp0 = gen_reg_rtx (V4DFmode);
25791 : 1 : tmp1 = force_reg (V2DFmode, operands[1]);
25792 : 0 :
25793 : 1 : emit_insn (gen_avx_vec_concatv4df (tmp0, tmp1, operands[2]));
25794 : 1 : emit_insn (gen_roundv4df2 (tmp2, tmp0));
25795 : 1 : emit_insn (gen_fix_truncv4dfv4si2 (operands[0], tmp2));
25796 : 0 : }
25797 : 0 : else
25798 : 0 : {
25799 : 5 : tmp0 = gen_reg_rtx (<MODE>mode);
25800 : 5 : tmp1 = gen_reg_rtx (<MODE>mode);
25801 : 0 :
25802 : 5 : emit_insn (gen_round<mode>2 (tmp0, operands[1]));
25803 : 5 : emit_insn (gen_round<mode>2 (tmp1, operands[2]));
25804 : 0 :
25805 : 5 : emit_insn
25806 : 5 : (gen_vec_pack_sfix_trunc_<mode> (operands[0], tmp0, tmp1));
25807 : 0 : }
25808 : 6 : DONE;
25809 : 0 : })
25810 : 0 :
25811 : 0 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
25812 : 0 : ;;
25813 : 0 : ;; Intel SSE4.2 string/text processing instructions
25814 : 0 : ;;
25815 : 0 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
25816 : 0 :
25817 : 0 : (define_insn_and_split "sse4_2_pcmpestr"
25818 : 0 : [(set (match_operand:SI 0 "register_operand" "=c,c")
25819 : 0 : (unspec:SI
25820 : 0 : [(match_operand:V16QI 2 "register_operand" "x,x")
25821 : 0 : (match_operand:SI 3 "register_operand" "a,a")
25822 : 0 : (match_operand:V16QI 4 "nonimmediate_operand" "x,m")
25823 : 0 : (match_operand:SI 5 "register_operand" "d,d")
25824 : 0 : (match_operand:SI 6 "const_0_to_255_operand")]
25825 : 0 : UNSPEC_PCMPESTR))
25826 : 0 : (set (match_operand:V16QI 1 "register_operand" "=Yz,Yz")
25827 : 0 : (unspec:V16QI
25828 : 0 : [(match_dup 2)
25829 : 0 : (match_dup 3)
25830 : 0 : (match_dup 4)
25831 : 0 : (match_dup 5)
25832 : 0 : (match_dup 6)]
25833 : 0 : UNSPEC_PCMPESTR))
25834 : 0 : (set (reg:CC FLAGS_REG)
25835 : 0 : (unspec:CC
25836 : 0 : [(match_dup 2)
25837 : 0 : (match_dup 3)
25838 : 0 : (match_dup 4)
25839 : 0 : (match_dup 5)
25840 : 0 : (match_dup 6)]
25841 : 0 : UNSPEC_PCMPESTR))]
25842 : 2516 : "TARGET_SSE4_2
25843 : 2516 : && ix86_pre_reload_split ()"
25844 : 0 : "#"
25845 : 1642 : "&& 1"
25846 : 280 : [(const_int 0)]
25847 : 2142 : {
25848 : 1727 : int ecx = !find_regno_note (curr_insn, REG_UNUSED,
25849 : 798 : reg_or_subregno (operands[0]));
25850 : 798 : int xmm0 = !find_regno_note (curr_insn, REG_UNUSED,
25851 : 305 : reg_or_subregno (operands[1]));
25852 : 195 : int flags = !find_regno_note (curr_insn, REG_UNUSED, FLAGS_REG);
25853 : 363 :
25854 : 1051 : if (ecx)
25855 : 169 : emit_insn (gen_sse4_2_pcmpestri (operands[0], operands[2],
25856 : 0 : operands[3], operands[4],
25857 : 110 : operands[5], operands[6]));
25858 : 305 : if (xmm0)
25859 : 171 : emit_insn (gen_sse4_2_pcmpestrm (operands[1], operands[2],
25860 : 0 : operands[3], operands[4],
25861 : 111 : operands[5], operands[6]));
25862 : 305 : if (flags && !(ecx || xmm0))
25863 : 221 : emit_insn (gen_sse4_2_pcmpestr_cconly (NULL, NULL,
25864 : 111 : operands[2], operands[3],
25865 : 1 : operands[4], operands[5],
25866 : 111 : operands[6]));
25867 : 306 : if (!(flags || ecx || xmm0))
25868 : 111 : emit_note (NOTE_INSN_DELETED);
25869 : 110 :
25870 : 306 : DONE;
25871 : 1 : }
25872 : 1 : [(set_attr "type" "sselog")
25873 : 1 : (set_attr "prefix_extra" "1")
25874 : 1 : (set_attr "length_immediate" "1")
25875 : 1 : (set_attr "memory" "none,load")
25876 : 1 : (set_attr "mode" "TI")])
25877 : 1 :
25878 : 1 : (define_insn "sse4_2_pcmpestri"
25879 : 1 : [(set (match_operand:SI 0 "register_operand" "=c,c")
25880 : 0 : (unspec:SI
25881 : 0 : [(match_operand:V16QI 1 "register_operand" "x,x")
25882 : 0 : (match_operand:SI 2 "register_operand" "a,a")
25883 : 0 : (match_operand:V16QI 3 "nonimmediate_operand" "x,jm")
25884 : 1 : (match_operand:SI 4 "register_operand" "d,d")
25885 : 1 : (match_operand:SI 5 "const_0_to_255_operand")]
25886 : 1 : UNSPEC_PCMPESTR))
25887 : 0 : (set (reg:CC FLAGS_REG)
25888 : 0 : (unspec:CC
25889 : 0 : [(match_dup 1)
25890 : 0 : (match_dup 2)
25891 : 5 : (match_dup 3)
25892 : 0 : (match_dup 4)
25893 : 0 : (match_dup 5)]
25894 : 0 : UNSPEC_PCMPESTR))]
25895 : 164 : "TARGET_SSE4_2"
25896 : 5 : "%vpcmpestri\t{%5, %3, %1|%1, %3, %5}"
25897 : 5 : [(set_attr "type" "sselog")
25898 : 5 : (set_attr "addr" "gpr16")
25899 : 171 : (set_attr "prefix_extra" "1")
25900 : 171 : (set_attr "prefix" "maybe_vex")
25901 : 5 : (set_attr "length_immediate" "1")
25902 : 0 : (set_attr "btver2_decode" "vector")
25903 : 0 : (set_attr "memory" "none,load")
25904 : 0 : (set_attr "mode" "TI")])
25905 : 0 :
25906 : 0 : (define_insn "sse4_2_pcmpestrm"
25907 : 0 : [(set (match_operand:V16QI 0 "register_operand" "=Yz,Yz")
25908 : 0 : (unspec:V16QI
25909 : 0 : [(match_operand:V16QI 1 "register_operand" "x,x")
25910 : 0 : (match_operand:SI 2 "register_operand" "a,a")
25911 : 0 : (match_operand:V16QI 3 "nonimmediate_operand" "x,jm")
25912 : 0 : (match_operand:SI 4 "register_operand" "d,d")
25913 : : (match_operand:SI 5 "const_0_to_255_operand")]
25914 : 0 : UNSPEC_PCMPESTR))
25915 : 0 : (set (reg:CC FLAGS_REG)
25916 : 6 : (unspec:CC
25917 : 0 : [(match_dup 1)
25918 : 0 : (match_dup 2)
25919 : 0 : (match_dup 3)
25920 : 6 : (match_dup 4)
25921 : 6 : (match_dup 5)]
25922 : 10 : UNSPEC_PCMPESTR))]
25923 : 172 : "TARGET_SSE4_2"
25924 : 6 : "%vpcmpestrm\t{%5, %3, %1|%1, %3, %5}"
25925 : 6 : [(set_attr "type" "sselog")
25926 : 10 : (set_attr "addr" "gpr16")
25927 : 4 : (set_attr "prefix_extra" "1")
25928 : 4 : (set_attr "length_immediate" "1")
25929 : 4 : (set_attr "prefix" "maybe_vex")
25930 : 4 : (set_attr "btver2_decode" "vector")
25931 : 4 : (set_attr "memory" "none,load")
25932 : 4 : (set_attr "mode" "TI")])
25933 : :
25934 : : (define_insn "sse4_2_pcmpestr_cconly"
25935 : : [(set (reg:CC FLAGS_REG)
25936 : : (unspec:CC
25937 : 5214685 : [(match_operand:V16QI 2 "register_operand" "x,x,x,x")
25938 : 0 : (match_operand:SI 3 "register_operand" "a,a,a,a")
25939 : 0 : (match_operand:V16QI 4 "nonimmediate_operand" "x,jm,x,jm")
25940 : : (match_operand:SI 5 "register_operand" "d,d,d,d")
25941 : 5214685 : (match_operand:SI 6 "const_0_to_255_operand")]
25942 : 5214685 : UNSPEC_PCMPESTR))
25943 : 5214685 : (clobber (match_scratch:V16QI 0 "=Yz,Yz,X,X"))
25944 : 5214705 : (clobber (match_scratch:SI 1 "= X, X,c,c"))]
25945 : 5214855 : "TARGET_SSE4_2"
25946 : 5214685 : "@
25947 : 5214745 : %vpcmpestrm\t{%6, %4, %2|%2, %4, %6}
25948 : 80 : %vpcmpestrm\t{%6, %4, %2|%2, %4, %6}
25949 : 4822608 : %vpcmpestri\t{%6, %4, %2|%2, %4, %6}
25950 : 4822608 : %vpcmpestri\t{%6, %4, %2|%2, %4, %6}"
25951 : 4809825 : [(set_attr "type" "sselog")
25952 : 4815126 : (set_attr "addr" "gpr16")
25953 : 4814972 : (set_attr "prefix_extra" "1")
25954 : 4809825 : (set_attr "length_immediate" "1")
25955 : 4809805 : (set_attr "memory" "none,load,none,load")
25956 : 4981222 : (set_attr "btver2_decode" "vector,vector,vector,vector")
25957 : 4815106 : (set_attr "prefix" "maybe_vex")
25958 : 4809805 : (set_attr "mode" "TI")])
25959 : 4809805 :
25960 : 4977487 : (define_insn_and_split "sse4_2_pcmpistr"
25961 : 4977487 : [(set (match_operand:SI 0 "register_operand" "=c,c")
25962 : 4977487 : (unspec:SI
25963 : 4977487 : [(match_operand:V16QI 2 "register_operand" "x,x")
25964 : 4977487 : (match_operand:V16QI 3 "nonimmediate_operand" "x,jm")
25965 : 167682 : (match_operand:SI 4 "const_0_to_255_operand")]
25966 : 1019797 : UNSPEC_PCMPISTR))
25967 : 1019797 : (set (match_operand:V16QI 1 "register_operand" "=Yz,Yz")
25968 : 1019722 : (unspec:V16QI
25969 : 75 : [(match_dup 2)
25970 : 36300 : (match_dup 3)
25971 : 36225 : (match_dup 4)]
25972 : : UNSPEC_PCMPISTR))
25973 : 36277 : (set (reg:CC FLAGS_REG)
25974 : 32715 : (unspec:CC
25975 : 58205 : [(match_dup 2)
25976 : 30 : (match_dup 3)
25977 : 30 : (match_dup 4)]
25978 : 30 : UNSPEC_PCMPISTR))]
25979 : 3542 : "TARGET_SSE4_2
25980 : 3512 : && ix86_pre_reload_split ()"
25981 : 30 : "#"
25982 : 2072 : "&& 1"
25983 : 394 : [(const_int 0)]
25984 : 2708 : {
25985 : 2147 : int ecx = !find_regno_note (curr_insn, REG_UNUSED,
25986 : 3374 : reg_or_subregno (operands[0]));
25987 : 3374 : int xmm0 = !find_regno_note (curr_insn, REG_UNUSED,
25988 : 3368 : reg_or_subregno (operands[1]));
25989 : 259 : int flags = !find_regno_note (curr_insn, REG_UNUSED, FLAGS_REG);
25990 : 1996 :
25991 : 2251 : if (ecx)
25992 : 2069 : emit_insn (gen_sse4_2_pcmpistri (operands[0], operands[2],
25993 : 154 : operands[3], operands[4]));
25994 : 2095 : if (xmm0)
25995 : 2081 : emit_insn (gen_sse4_2_pcmpistrm (operands[1], operands[2],
25996 : 1996 : operands[3], operands[4]));
25997 : 2249 : if (flags && !(ecx || xmm0))
25998 : 2136 : emit_insn (gen_sse4_2_pcmpistr_cconly (NULL, NULL,
25999 : 154 : operands[2], operands[3],
26000 : 1842 : operands[4]));
26001 : 2095 : if (!(flags || ecx || xmm0))
26002 : 1843 : emit_note (NOTE_INSN_DELETED);
26003 : :
26004 : 2095 : DONE;
26005 : : }
26006 : 1792 : [(set_attr "type" "sselog")
26007 : 1792 : (set_attr "addr" "gpr16")
26008 : 1792 : (set_attr "prefix_extra" "1")
26009 : 5376 : (set_attr "length_immediate" "1")
26010 : : (set_attr "memory" "none,load")
26011 : : (set_attr "mode" "TI")])
26012 : :
26013 : : (define_insn "sse4_2_pcmpistri"
26014 : : [(set (match_operand:SI 0 "register_operand" "=c,c")
26015 : : (unspec:SI
26016 : : [(match_operand:V16QI 1 "register_operand" "x,x")
26017 : 0 : (match_operand:V16QI 2 "nonimmediate_operand" "x,jm")
26018 : : (match_operand:SI 3 "const_0_to_255_operand")]
26019 : 0 : UNSPEC_PCMPISTR))
26020 : 0 : (set (reg:CC FLAGS_REG)
26021 : 0 : (unspec:CC
26022 : 0 : [(match_dup 1)
26023 : 0 : (match_dup 2)
26024 : 0 : (match_dup 3)]
26025 : 0 : UNSPEC_PCMPISTR))]
26026 : 127 : "TARGET_SSE4_2"
26027 : 0 : "%vpcmpistri\t{%3, %2, %1|%1, %2, %3}"
26028 : 0 : [(set_attr "type" "sselog")
26029 : 0 : (set_attr "addr" "gpr16")
26030 : 149 : (set_attr "prefix_extra" "1")
26031 : 149 : (set_attr "length_immediate" "1")
26032 : 0 : (set_attr "prefix" "maybe_vex")
26033 : 0 : (set_attr "memory" "none,load")
26034 : 0 : (set_attr "btver2_decode" "vector")
26035 : 0 : (set_attr "mode" "TI")])
26036 : :
26037 : : (define_insn "sse4_2_pcmpistrm"
26038 : : [(set (match_operand:V16QI 0 "register_operand" "=Yz,Yz")
26039 : : (unspec:V16QI
26040 : 0 : [(match_operand:V16QI 1 "register_operand" "x,x")
26041 : 0 : (match_operand:V16QI 2 "nonimmediate_operand" "x,jm")
26042 : 0 : (match_operand:SI 3 "const_0_to_255_operand")]
26043 : : UNSPEC_PCMPISTR))
26044 : : (set (reg:CC FLAGS_REG)
26045 : : (unspec:CC
26046 : : [(match_dup 1)
26047 : : (match_dup 2)
26048 : 0 : (match_dup 3)]
26049 : : UNSPEC_PCMPISTR))]
26050 : 149 : "TARGET_SSE4_2"
26051 : 0 : "%vpcmpistrm\t{%3, %2, %1|%1, %2, %3}"
26052 : 0 : [(set_attr "type" "sselog")
26053 : 0 : (set_attr "addr" "gpr16")
26054 : 0 : (set_attr "prefix_extra" "1")
26055 : 0 : (set_attr "length_immediate" "1")
26056 : 0 : (set_attr "prefix" "maybe_vex")
26057 : 0 : (set_attr "memory" "none,load")
26058 : 8616 : (set_attr "btver2_decode" "vector")
26059 : 8616 : (set_attr "mode" "TI")])
26060 : 8616 :
26061 : 0 : (define_insn "sse4_2_pcmpistr_cconly"
26062 : 8616 : [(set (reg:CC FLAGS_REG)
26063 : 8616 : (unspec:CC
26064 : 8616 : [(match_operand:V16QI 2 "register_operand" "x,x,x,x")
26065 : 8616 : (match_operand:V16QI 3 "nonimmediate_operand" "x,jm,x,jm")
26066 : 0 : (match_operand:SI 4 "const_0_to_255_operand")]
26067 : 8616 : UNSPEC_PCMPISTR))
26068 : 8616 : (clobber (match_scratch:V16QI 0 "=Yz,Yz,X,X"))
26069 : : (clobber (match_scratch:SI 1 "= X, X,c,c"))]
26070 : 8551 : "TARGET_SSE4_2"
26071 : 8393 : "@
26072 : 8397 : %vpcmpistrm\t{%4, %3, %2|%2, %3, %4}
26073 : 8397 : %vpcmpistrm\t{%4, %3, %2|%2, %3, %4}
26074 : : %vpcmpistri\t{%4, %3, %2|%2, %3, %4}
26075 : 8393 : %vpcmpistri\t{%4, %3, %2|%2, %3, %4}"
26076 : 8393 : [(set_attr "type" "sselog")
26077 : : (set_attr "addr" "gpr16")
26078 : 3734 : (set_attr "prefix_extra" "1")
26079 : 4025 : (set_attr "length_immediate" "1")
26080 : 236800 : (set_attr "memory" "none,load,none,load")
26081 : 4025 : (set_attr "prefix" "maybe_vex")
26082 : 236811 : (set_attr "btver2_decode" "vector,vector,vector,vector")
26083 : 236871 : (set_attr "mode" "TI")])
26084 : 236751 :
26085 : 236569 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
26086 : 3794 : ;;
26087 : 182720 : ;; XOP instructions
26088 : 182660 : ;;
26089 : 3783 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
26090 : 3783 :
26091 : 3783 : (define_code_iterator xop_plus [plus ss_plus])
26092 : 0 :
26093 : 416 : (define_code_attr macs [(plus "macs") (ss_plus "macss")])
26094 : 416 : (define_code_attr madcs [(plus "madcs") (ss_plus "madcss")])
26095 : 415 :
26096 : 771 : ;; XOP parallel integer multiply/add instructions.
26097 : 1 :
26098 : 355 : (define_insn "xop_p<macs><ssemodesuffix><ssemodesuffix>"
26099 : : [(set (match_operand:VI24_128 0 "register_operand" "=x")
26100 : 132 : (xop_plus:VI24_128
26101 : 132 : (mult:VI24_128
26102 : : (match_operand:VI24_128 1 "nonimmediate_operand" "%x")
26103 : 132 : (match_operand:VI24_128 2 "nonimmediate_operand" "xm"))
26104 : : (match_operand:VI24_128 3 "register_operand" "x")))]
26105 : 8517 : "TARGET_XOP"
26106 : : "vp<macs><ssemodesuffix><ssemodesuffix>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
26107 : 0 : [(set_attr "type" "ssemuladd")
26108 : 0 : (set_attr "prefix" "vex")
26109 : 3467 : (set_attr "mode" "TI")])
26110 : 3467 :
26111 : : (define_insn "xop_p<macs>dql"
26112 : : [(set (match_operand:V2DI 0 "register_operand" "=x")
26113 : 198 : (xop_plus:V2DI
26114 : 198 : (mult:V2DI
26115 : : (sign_extend:V2DI
26116 : 189 : (vec_select:V2SI
26117 : 225280 : (match_operand:V4SI 1 "nonimmediate_operand" "%x")
26118 : 225280 : (parallel [(const_int 0) (const_int 2)])))
26119 : 189 : (sign_extend:V2DI
26120 : 281 : (vec_select:V2SI
26121 : 92 : (match_operand:V4SI 2 "nonimmediate_operand" "xm")
26122 : 126 : (parallel [(const_int 0) (const_int 2)]))))
26123 : 126 : (match_operand:V2DI 3 "register_operand" "x")))]
26124 : 248 : "TARGET_XOP"
26125 : 126 : "vp<macs>dql\t{%3, %2, %1, %0|%0, %1, %2, %3}"
26126 : 126 : [(set_attr "type" "ssemuladd")
26127 : : (set_attr "prefix" "vex")
26128 : 411 : (set_attr "mode" "TI")])
26129 : 411 :
26130 : 126 : (define_insn "xop_p<macs>dqh"
26131 : 0 : [(set (match_operand:V2DI 0 "register_operand" "=x")
26132 : 126 : (xop_plus:V2DI
26133 : : (mult:V2DI
26134 : 63 : (sign_extend:V2DI
26135 : 63 : (vec_select:V2SI
26136 : : (match_operand:V4SI 1 "nonimmediate_operand" "%x")
26137 : : (parallel [(const_int 1) (const_int 3)])))
26138 : : (sign_extend:V2DI
26139 : : (vec_select:V2SI
26140 : : (match_operand:V4SI 2 "nonimmediate_operand" "xm")
26141 : : (parallel [(const_int 1) (const_int 3)]))))
26142 : : (match_operand:V2DI 3 "register_operand" "x")))]
26143 : 285 : "TARGET_XOP"
26144 : : "vp<macs>dqh\t{%3, %2, %1, %0|%0, %1, %2, %3}"
26145 : : [(set_attr "type" "ssemuladd")
26146 : : (set_attr "prefix" "vex")
26147 : : (set_attr "mode" "TI")])
26148 : :
26149 : : ;; XOP parallel integer multiply/add instructions for the intrinisics
26150 : : (define_insn "xop_p<macs>wd"
26151 : 63 : [(set (match_operand:V4SI 0 "register_operand" "=x")
26152 : 63 : (xop_plus:V4SI
26153 : : (mult:V4SI
26154 : : (sign_extend:V4SI
26155 : 674578 : (vec_select:V4HI
26156 : 674578 : (match_operand:V8HI 1 "nonimmediate_operand" "%x")
26157 : 674578 : (parallel [(const_int 1) (const_int 3)
26158 : 674641 : (const_int 5) (const_int 7)])))
26159 : 63 : (sign_extend:V4SI
26160 : 5009 : (vec_select:V4HI
26161 : 5009 : (match_operand:V8HI 2 "nonimmediate_operand" "xm")
26162 : : (parallel [(const_int 1) (const_int 3)
26163 : : (const_int 5) (const_int 7)]))))
26164 : : (match_operand:V4SI 3 "register_operand" "x")))]
26165 : 126 : "TARGET_XOP"
26166 : 63 : "vp<macs>wd\t{%3, %2, %1, %0|%0, %1, %2, %3}"
26167 : 63 : [(set_attr "type" "ssemuladd")
26168 : 63 : (set_attr "prefix" "vex")
26169 : 63 : (set_attr "mode" "TI")])
26170 : 63 :
26171 : 63 : (define_insn "xop_p<madcs>wd"
26172 : 63 : [(set (match_operand:V4SI 0 "register_operand" "=x")
26173 : 652 : (xop_plus:V4SI
26174 : 652 : (plus:V4SI
26175 : 63 : (mult:V4SI
26176 : 571 : (sign_extend:V4SI
26177 : 508 : (vec_select:V4HI
26178 : 63 : (match_operand:V8HI 1 "nonimmediate_operand" "%x")
26179 : 445 : (parallel [(const_int 0) (const_int 2)
26180 : 508 : (const_int 4) (const_int 6)])))
26181 : 508 : (sign_extend:V4SI
26182 : 74 : (vec_select:V4HI
26183 : 434 : (match_operand:V8HI 2 "nonimmediate_operand" "xm")
26184 : 497 : (parallel [(const_int 0) (const_int 2)
26185 : 497 : (const_int 4) (const_int 6)]))))
26186 : : (mult:V4SI
26187 : 248 : (sign_extend:V4SI
26188 : 248 : (vec_select:V4HI
26189 : 63 : (match_dup 1)
26190 : : (parallel [(const_int 1) (const_int 3)
26191 : 63 : (const_int 5) (const_int 7)])))
26192 : 63 : (sign_extend:V4SI
26193 : 63 : (vec_select:V4HI
26194 : : (match_dup 2)
26195 : 63 : (parallel [(const_int 1) (const_int 3)
26196 : 63 : (const_int 5) (const_int 7)])))))
26197 : : (match_operand:V4SI 3 "register_operand" "x")))]
26198 : 958 : "TARGET_XOP"
26199 : 1179 : "vp<madcs>wd\t{%3, %2, %1, %0|%0, %1, %2, %3}"
26200 : : [(set_attr "type" "ssemuladd")
26201 : 63 : (set_attr "prefix" "vex")
26202 : 12261 : (set_attr "mode" "TI")])
26203 : 12198 :
26204 : 63 : ;; XOP parallel XMM conditional moves
26205 : 63 : (define_insn "xop_pcmov_<mode><avxsizesuffix>"
26206 : 43 : [(set (match_operand:V_128_256 0 "register_operand" "=x,x")
26207 : 106 : (if_then_else:V_128_256
26208 : 355943 : (match_operand:V_128_256 3 "nonimmediate_operand" "x,m")
26209 : 63 : (match_operand:V_128_256 1 "register_operand" "x,x")
26210 : : (match_operand:V_128_256 2 "nonimmediate_operand" "xm,x")))]
26211 : 63 : "TARGET_XOP"
26212 : 355943 : "vpcmov\t{%3, %2, %1, %0|%0, %1, %2, %3}"
26213 : 63 : [(set_attr "type" "sse4arg")
26214 : 355880 : (set_attr "mode" "<sseinsnmode>")])
26215 : 356288 :
26216 : 356288 : ;; Recognize XOP's vpcmov from canonical (xor (and (xor t f) c) f)
26217 : 63 : (define_split
26218 : 356225 : [(set (match_operand:V_128_256 0 "register_operand")
26219 : 791135 : (xor:V_128_256
26220 : 435255 : (and:V_128_256
26221 : 435255 : (xor:V_128_256 (match_operand:V_128_256 1 "register_operand")
26222 : 355880 : (match_operand:V_128_256 2 "register_operand"))
26223 : 302046 : (match_operand:V_128_256 3 "nonimmediate_operand"))
26224 : 302046 : (match_dup 1)))]
26225 : 302603 : "TARGET_XOP"
26226 : 302579 : [(set (match_dup 0) (if_then_else:V_128_256 (match_dup 3)
26227 : 100 : (match_dup 2)
26228 : 1856 : (match_dup 1)))])
26229 : 1802 : (define_split
26230 : 2301 : [(set (match_operand:V_128_256 0 "register_operand")
26231 : : (xor:V_128_256
26232 : 1297 : (and:V_128_256
26233 : 1297 : (xor:V_128_256 (match_operand:V_128_256 1 "register_operand")
26234 : : (match_operand:V_128_256 2 "register_operand"))
26235 : 1255 : (match_operand:V_128_256 3 "nonimmediate_operand"))
26236 : 1255 : (match_dup 2)))]
26237 : 1264 : "TARGET_XOP"
26238 : 1192 : [(set (match_dup 0) (if_then_else:V_128_256 (match_dup 3)
26239 : 64 : (match_dup 1)
26240 : 1255 : (match_dup 2)))])
26241 : 215 :
26242 : 348 : ;; XOP horizontal add/subtract instructions
26243 : 455 : (define_insn "xop_phadd<u>bw"
26244 : 63 : [(set (match_operand:V8HI 0 "register_operand" "=x")
26245 : 215 : (plus:V8HI
26246 : 152 : (any_extend:V8HI
26247 : 367 : (vec_select:V8QI
26248 : 63 : (match_operand:V16QI 1 "nonimmediate_operand" "xm")
26249 : 152 : (parallel [(const_int 0) (const_int 2)
26250 : 215 : (const_int 4) (const_int 6)
26251 : 215 : (const_int 8) (const_int 10)
26252 : 152 : (const_int 12) (const_int 14)])))
26253 : 185480802 : (any_extend:V8HI
26254 : 185480802 : (vec_select:V8QI
26255 : 185480739 : (match_dup 1)
26256 : 899001 : (parallel [(const_int 1) (const_int 3)
26257 : 922646 : (const_int 5) (const_int 7)
26258 : 922646 : (const_int 9) (const_int 11)
26259 : 63 : (const_int 13) (const_int 15)])))))]
26260 : 914484 : "TARGET_XOP"
26261 : 914431 : "vphadd<u>bw\t{%1, %0|%0, %1}"
26262 : : [(set_attr "type" "sseiadd1")
26263 : 500109 : (set_attr "prefix" "vex")
26264 : 500225 : (set_attr "prefix_extra" "1")
26265 : 500225 : (set_attr "mode" "TI")])
26266 : :
26267 : 524 : (define_insn "xop_phadd<u>bd"
26268 : 524 : [(set (match_operand:V4SI 0 "register_operand" "=x")
26269 : : (plus:V4SI
26270 : : (plus:V4SI
26271 : 0 : (any_extend:V4SI
26272 : 0 : (vec_select:V4QI
26273 : : (match_operand:V16QI 1 "nonimmediate_operand" "xm")
26274 : : (parallel [(const_int 0) (const_int 4)
26275 : 0 : (const_int 8) (const_int 12)])))
26276 : : (any_extend:V4SI
26277 : : (vec_select:V4QI
26278 : : (match_dup 1)
26279 : : (parallel [(const_int 1) (const_int 5)
26280 : : (const_int 9) (const_int 13)]))))
26281 : : (plus:V4SI
26282 : : (any_extend:V4SI
26283 : : (vec_select:V4QI
26284 : : (match_dup 1)
26285 : : (parallel [(const_int 2) (const_int 6)
26286 : : (const_int 10) (const_int 14)])))
26287 : : (any_extend:V4SI
26288 : : (vec_select:V4QI
26289 : : (match_dup 1)
26290 : : (parallel [(const_int 3) (const_int 7)
26291 : : (const_int 11) (const_int 15)]))))))]
26292 : 43 : "TARGET_XOP"
26293 : : "vphadd<u>bd\t{%1, %0|%0, %1}"
26294 : : [(set_attr "type" "sseiadd1")
26295 : : (set_attr "prefix" "vex")
26296 : 96 : (set_attr "prefix_extra" "1")
26297 : 96 : (set_attr "mode" "TI")])
26298 : :
26299 : : (define_insn "xop_phadd<u>bq"
26300 : : [(set (match_operand:V2DI 0 "register_operand" "=x")
26301 : : (plus:V2DI
26302 : : (plus:V2DI
26303 : : (plus:V2DI
26304 : : (any_extend:V2DI
26305 : : (vec_select:V2QI
26306 : : (match_operand:V16QI 1 "nonimmediate_operand" "xm")
26307 : : (parallel [(const_int 0) (const_int 8)])))
26308 : : (any_extend:V2DI
26309 : : (vec_select:V2QI
26310 : : (match_dup 1)
26311 : : (parallel [(const_int 1) (const_int 9)]))))
26312 : : (plus:V2DI
26313 : : (any_extend:V2DI
26314 : : (vec_select:V2QI
26315 : : (match_dup 1)
26316 : : (parallel [(const_int 2) (const_int 10)])))
26317 : : (any_extend:V2DI
26318 : : (vec_select:V2QI
26319 : : (match_dup 1)
26320 : : (parallel [(const_int 3) (const_int 11)])))))
26321 : : (plus:V2DI
26322 : : (plus:V2DI
26323 : : (any_extend:V2DI
26324 : : (vec_select:V2QI
26325 : : (match_dup 1)
26326 : : (parallel [(const_int 4) (const_int 12)])))
26327 : : (any_extend:V2DI
26328 : : (vec_select:V2QI
26329 : : (match_dup 1)
26330 : : (parallel [(const_int 5) (const_int 13)]))))
26331 : : (plus:V2DI
26332 : : (any_extend:V2DI
26333 : : (vec_select:V2QI
26334 : : (match_dup 1)
26335 : : (parallel [(const_int 6) (const_int 14)])))
26336 : : (any_extend:V2DI
26337 : : (vec_select:V2QI
26338 : : (match_dup 1)
26339 : : (parallel [(const_int 7) (const_int 15)])))))))]
26340 : 96 : "TARGET_XOP"
26341 : : "vphadd<u>bq\t{%1, %0|%0, %1}"
26342 : : [(set_attr "type" "sseiadd1")
26343 : : (set_attr "prefix" "vex")
26344 : 48 : (set_attr "prefix_extra" "1")
26345 : 48 : (set_attr "mode" "TI")])
26346 : :
26347 : 48 : (define_insn "xop_phadd<u>wd"
26348 : : [(set (match_operand:V4SI 0 "register_operand" "=x")
26349 : : (plus:V4SI
26350 : : (any_extend:V4SI
26351 : : (vec_select:V4HI
26352 : 182988 : (match_operand:V8HI 1 "nonimmediate_operand" "xm")
26353 : 182988 : (parallel [(const_int 0) (const_int 2)
26354 : : (const_int 4) (const_int 6)])))
26355 : : (any_extend:V4SI
26356 : 58 : (vec_select:V4HI
26357 : 58 : (match_dup 1)
26358 : : (parallel [(const_int 1) (const_int 3)
26359 : : (const_int 5) (const_int 7)])))))]
26360 : 116 : "TARGET_XOP"
26361 : : "vphadd<u>wd\t{%1, %0|%0, %1}"
26362 : : [(set_attr "type" "sseiadd1")
26363 : : (set_attr "prefix" "vex")
26364 : 124 : (set_attr "prefix_extra" "1")
26365 : 124 : (set_attr "mode" "TI")])
26366 : :
26367 : : (define_insn "xop_phadd<u>wq"
26368 : : [(set (match_operand:V2DI 0 "register_operand" "=x")
26369 : : (plus:V2DI
26370 : : (plus:V2DI
26371 : : (any_extend:V2DI
26372 : : (vec_select:V2HI
26373 : : (match_operand:V8HI 1 "nonimmediate_operand" "xm")
26374 : : (parallel [(const_int 0) (const_int 4)])))
26375 : : (any_extend:V2DI
26376 : : (vec_select:V2HI
26377 : : (match_dup 1)
26378 : : (parallel [(const_int 1) (const_int 5)]))))
26379 : : (plus:V2DI
26380 : : (any_extend:V2DI
26381 : : (vec_select:V2HI
26382 : : (match_dup 1)
26383 : : (parallel [(const_int 2) (const_int 6)])))
26384 : : (any_extend:V2DI
26385 : : (vec_select:V2HI
26386 : : (match_dup 1)
26387 : : (parallel [(const_int 3) (const_int 7)]))))))]
26388 : 96 : "TARGET_XOP"
26389 : : "vphadd<u>wq\t{%1, %0|%0, %1}"
26390 : : [(set_attr "type" "sseiadd1")
26391 : : (set_attr "prefix" "vex")
26392 : : (set_attr "prefix_extra" "1")
26393 : : (set_attr "mode" "TI")])
26394 : :
26395 : : (define_insn "xop_phadd<u>dq"
26396 : 224961 : [(set (match_operand:V2DI 0 "register_operand" "=x")
26397 : 224961 : (plus:V2DI
26398 : : (any_extend:V2DI
26399 : 618 : (vec_select:V2SI
26400 : 661 : (match_operand:V4SI 1 "nonimmediate_operand" "xm")
26401 : 661 : (parallel [(const_int 0) (const_int 2)])))
26402 : : (any_extend:V2DI
26403 : 100 : (vec_select:V2SI
26404 : 100 : (match_dup 1)
26405 : 100 : (parallel [(const_int 1) (const_int 3)])))))]
26406 : 224 : "TARGET_XOP"
26407 : : "vphadd<u>dq\t{%1, %0|%0, %1}"
26408 : : [(set_attr "type" "sseiadd1")
26409 : 100 : (set_attr "prefix" "vex")
26410 : 96 : (set_attr "prefix_extra" "1")
26411 : 96 : (set_attr "mode" "TI")])
26412 : 196 :
26413 : : (define_insn "xop_phsubbw"
26414 : 4 : [(set (match_operand:V8HI 0 "register_operand" "=x")
26415 : 181114 : (minus:V8HI
26416 : 96 : (sign_extend:V8HI
26417 : : (vec_select:V8QI
26418 : 106 : (match_operand:V16QI 1 "nonimmediate_operand" "xm")
26419 : 106 : (parallel [(const_int 0) (const_int 2)
26420 : 755996514 : (const_int 4) (const_int 6)
26421 : 48 : (const_int 8) (const_int 10)
26422 : : (const_int 12) (const_int 14)])))
26423 : : (sign_extend:V8HI
26424 : 755996514 : (vec_select:V8QI
26425 : 755996514 : (match_dup 1)
26426 : 755996514 : (parallel [(const_int 1) (const_int 3)
26427 : 755996514 : (const_int 5) (const_int 7)
26428 : 755996514 : (const_int 9) (const_int 11)
26429 : 755996514 : (const_int 13) (const_int 15)])))))]
26430 : 58 : "TARGET_XOP"
26431 : 290755 : "vphsubbw\t{%1, %0|%0, %1}"
26432 : 290755 : [(set_attr "type" "sseiadd1")
26433 : 290147 : (set_attr "prefix" "vex")
26434 : 555852 : (set_attr "prefix_extra" "1")
26435 : 58 : (set_attr "mode" "TI")])
26436 : :
26437 : : (define_insn "xop_phsubwd"
26438 : : [(set (match_operand:V4SI 0 "register_operand" "=x")
26439 : : (minus:V4SI
26440 : : (sign_extend:V4SI
26441 : : (vec_select:V4HI
26442 : : (match_operand:V8HI 1 "nonimmediate_operand" "xm")
26443 : : (parallel [(const_int 0) (const_int 2)
26444 : : (const_int 4) (const_int 6)])))
26445 : : (sign_extend:V4SI
26446 : : (vec_select:V4HI
26447 : : (match_dup 1)
26448 : : (parallel [(const_int 1) (const_int 3)
26449 : : (const_int 5) (const_int 7)])))))]
26450 : 58 : "TARGET_XOP"
26451 : : "vphsubwd\t{%1, %0|%0, %1}"
26452 : : [(set_attr "type" "sseiadd1")
26453 : : (set_attr "prefix" "vex")
26454 : 58 : (set_attr "prefix_extra" "1")
26455 : 58 : (set_attr "mode" "TI")])
26456 : :
26457 : : (define_insn "xop_phsubdq"
26458 : : [(set (match_operand:V2DI 0 "register_operand" "=x")
26459 : : (minus:V2DI
26460 : : (sign_extend:V2DI
26461 : : (vec_select:V2SI
26462 : : (match_operand:V4SI 1 "nonimmediate_operand" "xm")
26463 : : (parallel [(const_int 0) (const_int 2)])))
26464 : : (sign_extend:V2DI
26465 : : (vec_select:V2SI
26466 : : (match_dup 1)
26467 : : (parallel [(const_int 1) (const_int 3)])))))]
26468 : 58 : "TARGET_XOP"
26469 : : "vphsubdq\t{%1, %0|%0, %1}"
26470 : : [(set_attr "type" "sseiadd1")
26471 : : (set_attr "prefix" "vex")
26472 : : (set_attr "prefix_extra" "1")
26473 : : (set_attr "mode" "TI")])
26474 : :
26475 : : ;; XOP permute instructions
26476 : : (define_insn "xop_pperm"
26477 : : [(set (match_operand:V16QI 0 "register_operand" "=x,x")
26478 : : (unspec:V16QI
26479 : : [(match_operand:V16QI 1 "register_operand" "x,x")
26480 : : (match_operand:V16QI 2 "nonimmediate_operand" "x,m")
26481 : : (match_operand:V16QI 3 "nonimmediate_operand" "xm,x")]
26482 : 87182 : UNSPEC_XOP_PERMUTE))]
26483 : 22754 : "TARGET_XOP && !(MEM_P (operands[2]) && MEM_P (operands[3]))"
26484 : : "vpperm\t{%3, %2, %1, %0|%0, %1, %2, %3}"
26485 : : [(set_attr "type" "sse4arg")
26486 : 87182 : (set_attr "mode" "TI")])
26487 : 88070 :
26488 : 88070 : ;; XOP pack instructions that combine two vectors into a smaller vector
26489 : 87182 : (define_insn "xop_pperm_pack_v2di_v4si"
26490 : 87509 : [(set (match_operand:V4SI 0 "register_operand" "=x,x")
26491 : 87509 : (vec_concat:V4SI
26492 : 87182 : (truncate:V2SI
26493 : 87182 : (match_operand:V2DI 1 "register_operand" "x,x"))
26494 : 266 : (truncate:V2SI
26495 : 60804 : (match_operand:V2DI 2 "nonimmediate_operand" "x,m"))))
26496 : 60804 : (use (match_operand:V16QI 3 "nonimmediate_operand" "xm,x"))]
26497 : 266 : "TARGET_XOP && !(MEM_P (operands[2]) && MEM_P (operands[3]))"
26498 : 60538 : "vpperm\t{%3, %2, %1, %0|%0, %1, %2, %3}"
26499 : 60538 : [(set_attr "type" "sse4arg")
26500 : : (set_attr "mode" "TI")])
26501 : 56306 :
26502 : 56306 : (define_insn "xop_pperm_pack_v4si_v8hi"
26503 : 54825 : [(set (match_operand:V8HI 0 "register_operand" "=x,x")
26504 : 105970 : (vec_concat:V8HI
26505 : : (truncate:V4HI
26506 : 49661 : (match_operand:V4SI 1 "register_operand" "x,x"))
26507 : 49661 : (truncate:V4HI
26508 : : (match_operand:V4SI 2 "nonimmediate_operand" "x,m"))))
26509 : 49661 : (use (match_operand:V16QI 3 "nonimmediate_operand" "xm,x"))]
26510 : 49661 : "TARGET_XOP && !(MEM_P (operands[2]) && MEM_P (operands[3]))"
26511 : 49661 : "vpperm\t{%3, %2, %1, %0|%0, %1, %2, %3}"
26512 : 99322 : [(set_attr "type" "sse4arg")
26513 : : (set_attr "mode" "TI")])
26514 : 49661 :
26515 : 49661 : (define_insn "xop_pperm_pack_v8hi_v16qi"
26516 : : [(set (match_operand:V16QI 0 "register_operand" "=x,x")
26517 : 49288 : (vec_concat:V16QI
26518 : 49288 : (truncate:V8QI
26519 : 49288 : (match_operand:V8HI 1 "register_operand" "x,x"))
26520 : 49288 : (truncate:V8QI
26521 : 49288 : (match_operand:V8HI 2 "nonimmediate_operand" "x,m"))))
26522 : 49288 : (use (match_operand:V16QI 3 "nonimmediate_operand" "xm,x"))]
26523 : 49288 : "TARGET_XOP && !(MEM_P (operands[2]) && MEM_P (operands[3]))"
26524 : : "vpperm\t{%3, %2, %1, %0|%0, %1, %2, %3}"
26525 : 30301 : [(set_attr "type" "sse4arg")
26526 : 30301 : (set_attr "mode" "TI")])
26527 : :
26528 : 30301 : ;; XOP packed rotate instructions
26529 : : (define_expand "rotl<mode>3"
26530 : : [(set (match_operand:VI_128 0 "register_operand")
26531 : : (rotate:VI_128
26532 : : (match_operand:VI_128 1 "nonimmediate_operand")
26533 : 1705118 : (match_operand:SI 2 "general_operand")))]
26534 : : "TARGET_XOP"
26535 : 40 : {
26536 : : /* If we were given a scalar, convert it to parallel */
26537 : 1705158 : if (! const_0_to_<sserotatemax>_operand (operands[2], SImode))
26538 : 1705118 : {
26539 : 1705137 : rtvec vs = rtvec_alloc (<ssescalarnum>);
26540 : 1705137 : rtx par = gen_rtx_PARALLEL (<MODE>mode, vs);
26541 : 1705137 : rtx reg = gen_reg_rtx (<MODE>mode);
26542 : 1705137 : rtx op2 = operands[2];
26543 : 1705137 : int i;
26544 : 1705118 :
26545 : 19 : if (GET_MODE (op2) != <ssescalarmode>mode)
26546 : 16885 : {
26547 : 16897 : op2 = gen_reg_rtx (<ssescalarmode>mode);
26548 : 16897 : convert_move (op2, operands[2], false);
26549 : : }
26550 : 863 :
26551 : 1014 : for (i = 0; i < <ssescalarnum>; i++)
26552 : 132 : RTVEC_ELT (vs, i) = op2;
26553 : 863 :
26554 : 19 : emit_insn (gen_vec_init<mode><ssescalarmodelower> (reg, par));
26555 : 108 : emit_insn (gen_xop_vrotl<mode>3 (operands[0], operands[1], reg));
26556 : 108 : DONE;
26557 : 178 : }
26558 : : })
26559 : :
26560 : : (define_expand "rotr<mode>3"
26561 : 21 : [(set (match_operand:VI_128 0 "register_operand")
26562 : 21 : (rotatert:VI_128
26563 : 21 : (match_operand:VI_128 1 "nonimmediate_operand")
26564 : 21 : (match_operand:SI 2 "general_operand")))]
26565 : 21 : "TARGET_XOP"
26566 : 27 : {
26567 : : /* If we were given a scalar, convert it to parallel */
26568 : 27 : if (! const_0_to_<sserotatemax>_operand (operands[2], SImode))
26569 : : {
26570 : 0 : rtvec vs = rtvec_alloc (<ssescalarnum>);
26571 : 0 : rtx par = gen_rtx_PARALLEL (<MODE>mode, vs);
26572 : 21 : rtx neg = gen_reg_rtx (<MODE>mode);
26573 : 21 : rtx reg = gen_reg_rtx (<MODE>mode);
26574 : 21 : rtx op2 = operands[2];
26575 : 0 : int i;
26576 : :
26577 : 0 : if (GET_MODE (op2) != <ssescalarmode>mode)
26578 : : {
26579 : 1 : op2 = gen_reg_rtx (<ssescalarmode>mode);
26580 : 0 : convert_move (op2, operands[2], false);
26581 : : }
26582 : 0 :
26583 : 1 : for (i = 0; i < <ssescalarnum>; i++)
26584 : 1 : RTVEC_ELT (vs, i) = op2;
26585 : 1 :
26586 : 1 : emit_insn (gen_vec_init<mode><ssescalarmodelower> (reg, par));
26587 : 1 : emit_insn (gen_neg<mode>2 (neg, reg));
26588 : 1 : emit_insn (gen_xop_vrotl<mode>3 (operands[0], operands[1], neg));
26589 : 1 : DONE;
26590 : : }
26591 : : })
26592 : 0 :
26593 : : (define_insn "xop_rotl<mode>3"
26594 : 6 : [(set (match_operand:VI_128 0 "register_operand" "=x")
26595 : 6 : (rotate:VI_128
26596 : 6 : (match_operand:VI_128 1 "nonimmediate_operand" "xm")
26597 : 6 : (match_operand:SI 2 "const_0_to_<sserotatemax>_operand")))]
26598 : 380 : "TARGET_XOP"
26599 : 6 : "vprot<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
26600 : : [(set_attr "type" "sseishft")
26601 : 6 : (set_attr "prefix" "vex")
26602 : 529 : (set_attr "prefix_extra" "1")
26603 : 529 : (set_attr "length_immediate" "1")
26604 : : (set_attr "mode" "TI")])
26605 : 6 :
26606 : 6 : (define_insn "xop_rotr<mode>3"
26607 : 6 : [(set (match_operand:VI_128 0 "register_operand" "=x")
26608 : : (rotatert:VI_128
26609 : : (match_operand:VI_128 1 "nonimmediate_operand" "xm")
26610 : : (match_operand:SI 2 "const_0_to_<sserotatemax>_operand")))]
26611 : 78 : "TARGET_XOP"
26612 : 120 : {
26613 : 0 : operands[3]
26614 : 11 : = GEN_INT (GET_MODE_BITSIZE (<ssescalarmode>mode) - INTVAL (operands[2]));
26615 : 140 : return \"vprot<ssemodesuffix>\t{%3, %1, %0|%0, %1, %3}\";
26616 : 238 : }
26617 : 109 : [(set_attr "type" "sseishft")
26618 : 109 : (set_attr "prefix" "vex")
26619 : 109 : (set_attr "prefix_extra" "1")
26620 : 152 : (set_attr "length_immediate" "1")
26621 : 109 : (set_attr "mode" "TI")])
26622 : 109 :
26623 : : (define_expand "vrotr<mode>3"
26624 : : [(match_operand:VI_128 0 "register_operand")
26625 : : (match_operand:VI_128 1 "register_operand")
26626 : : (match_operand:VI_128 2 "register_operand")]
26627 : : "TARGET_XOP"
26628 : 0 : {
26629 : 0 : rtx reg = gen_reg_rtx (<MODE>mode);
26630 : 0 : emit_insn (gen_neg<mode>2 (reg, operands[2]));
26631 : 0 : emit_insn (gen_xop_vrotl<mode>3 (operands[0], operands[1], reg));
26632 : 0 : DONE;
26633 : : })
26634 : :
26635 : : (define_expand "vrotl<mode>3"
26636 : : [(match_operand:VI_128 0 "register_operand")
26637 : : (match_operand:VI_128 1 "register_operand")
26638 : : (match_operand:VI_128 2 "register_operand")]
26639 : : "TARGET_XOP"
26640 : 1 : {
26641 : 1 : emit_insn (gen_xop_vrotl<mode>3 (operands[0], operands[1], operands[2]));
26642 : 1 : DONE;
26643 : : })
26644 : :
26645 : : (define_insn "xop_vrotl<mode>3"
26646 : : [(set (match_operand:VI_128 0 "register_operand" "=x,x")
26647 : : (if_then_else:VI_128
26648 : : (ge:VI_128
26649 : : (match_operand:VI_128 2 "nonimmediate_operand" "x,m")
26650 : : (const_int 0))
26651 : : (rotate:VI_128
26652 : : (match_operand:VI_128 1 "nonimmediate_operand" "xm,x")
26653 : 1 : (match_dup 2))
26654 : : (rotatert:VI_128
26655 : : (match_dup 1)
26656 : : (neg:VI_128 (match_dup 2)))))]
26657 : 250 : "TARGET_XOP && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
26658 : 1 : "vprot<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
26659 : 1 : [(set_attr "type" "sseishft")
26660 : 1 : (set_attr "prefix" "vex")
26661 : 612 : (set_attr "prefix_extra" "1")
26662 : 612 : (set_attr "mode" "TI")])
26663 : 5 :
26664 : : ;; XOP packed shift instructions.
26665 : 8677 : (define_expand "vlshr<mode>3"
26666 : 8677 : [(set (match_operand:VI12_128 0 "register_operand")
26667 : 8683 : (lshiftrt:VI12_128
26668 : 8683 : (match_operand:VI12_128 1 "register_operand")
26669 : 8683 : (match_operand:VI12_128 2 "nonimmediate_operand")))]
26670 : 6 : "TARGET_XOP || (TARGET_AVX512BW && TARGET_AVX512VL)"
26671 : 7876 : {
26672 : 7876 : if (TARGET_XOP)
26673 : 6 : {
26674 : 6437 : rtx neg = gen_reg_rtx (<MODE>mode);
26675 : 6437 : emit_insn (gen_neg<mode>2 (neg, operands[2]));
26676 : 6437 : emit_insn (gen_xop_shl<mode>3 (operands[0], operands[1], neg));
26677 : 0 : DONE;
26678 : 5106 : }
26679 : 4 : else if (<MODE>mode == V16QImode)
26680 : 78 : {
26681 : 158 : ix86_expand_vecop_qihi (LSHIFTRT, operands[0], operands[1], operands[2]);
26682 : 2 : DONE;
26683 : : }
26684 : : })
26685 : :
26686 : : (define_expand "vlshr<mode>3"
26687 : 2 : [(set (match_operand:VI48_128 0 "register_operand")
26688 : 2 : (lshiftrt:VI48_128
26689 : 2 : (match_operand:VI48_128 1 "register_operand")
26690 : 2 : (match_operand:VI48_128 2 "nonimmediate_operand")))]
26691 : 2 : "TARGET_AVX2 || TARGET_XOP"
26692 : 107 : {
26693 : 105 : if (!TARGET_AVX2)
26694 : 2 : {
26695 : 62 : rtx neg = gen_reg_rtx (<MODE>mode);
26696 : 62 : emit_insn (gen_neg<mode>2 (neg, operands[2]));
26697 : 62 : emit_insn (gen_xop_shl<mode>3 (operands[0], operands[1], neg));
26698 : 64 : DONE;
26699 : 2 : }
26700 : 2 : })
26701 : :
26702 : : (define_expand "v<insn><mode>3"
26703 : 43 : [(set (match_operand:VI12_256_512_AVX512VL 0 "register_operand")
26704 : 43 : (any_shift:VI12_256_512_AVX512VL
26705 : 47 : (match_operand:VI12_256_512_AVX512VL 1 "register_operand")
26706 : 43 : (match_operand:VI12_256_512_AVX512VL 2 "nonimmediate_operand")))]
26707 : 43 : "TARGET_AVX512BW"
26708 : 62 : {
26709 : 23 : if (<MODE>mode == V32QImode || <MODE>mode == V64QImode)
26710 : 47 : {
26711 : 11 : ix86_expand_vecop_qihi (<CODE>, operands[0], operands[1], operands[2]);
26712 : 11 : DONE;
26713 : 4 : }
26714 : 47 : })
26715 : 47 :
26716 : 43 : (define_expand "vlshr<mode>3"
26717 : 12 : [(set (match_operand:VI48_512 0 "register_operand")
26718 : 12 : (lshiftrt:VI48_512
26719 : 12 : (match_operand:VI48_512 1 "register_operand")
26720 : 12 : (match_operand:VI48_512 2 "nonimmediate_operand")))]
26721 : 16 : "TARGET_AVX512F")
26722 : 12 :
26723 : : (define_expand "vlshr<mode>3"
26724 : 12 : [(set (match_operand:VI48_256 0 "register_operand")
26725 : 4 : (lshiftrt:VI48_256
26726 : 4 : (match_operand:VI48_256 1 "register_operand")
26727 : 4 : (match_operand:VI48_256 2 "nonimmediate_operand")))]
26728 : 12 : "TARGET_AVX2")
26729 : 12 :
26730 : 16 : (define_expand "vashrv8di3"
26731 : 4 : [(set (match_operand:V8DI 0 "register_operand")
26732 : : (ashiftrt:V8DI
26733 : : (match_operand:V8DI 1 "register_operand")
26734 : : (match_operand:V8DI 2 "nonimmediate_operand")))]
26735 : 898 : "TARGET_AVX512F && TARGET_EVEX512")
26736 : :
26737 : : (define_expand "vashrv4di3"
26738 : : [(set (match_operand:V4DI 0 "register_operand")
26739 : 898 : (ashiftrt:V4DI
26740 : 274 : (match_operand:V4DI 1 "register_operand")
26741 : 274 : (match_operand:V4DI 2 "nonimmediate_operand")))]
26742 : 274 : "TARGET_AVX2"
26743 : 274 : {
26744 : 274 : if (!TARGET_AVX512VL)
26745 : 233 : {
26746 : 52 : rtx mask = ix86_build_signbit_mask (V4DImode, 1, 0);
26747 : 263 : rtx t1 = gen_reg_rtx (V4DImode);
26748 : 52 : rtx t2 = gen_reg_rtx (V4DImode);
26749 : 52 : rtx t3 = gen_reg_rtx (V4DImode);
26750 : 52 : emit_insn (gen_vlshrv4di3 (t1, operands[1], operands[2]));
26751 : 263 : emit_insn (gen_vlshrv4di3 (t2, mask, operands[2]));
26752 : 159 : emit_insn (gen_xorv4di3 (t3, t1, t2));
26753 : 159 : emit_insn (gen_subv4di3 (operands[0], t3, t2));
26754 : 159 : DONE;
26755 : 107 : }
26756 : 107 : })
26757 : 107 :
26758 : : (define_expand "vashr<mode>3"
26759 : 48 : [(set (match_operand:VI12_128 0 "register_operand")
26760 : 2 : (ashiftrt:VI12_128
26761 : 2 : (match_operand:VI12_128 1 "register_operand")
26762 : 2 : (match_operand:VI12_128 2 "nonimmediate_operand")))]
26763 : 48 : "TARGET_XOP || (TARGET_AVX512BW && TARGET_AVX512VL)"
26764 : 47 : {
26765 : 45 : if (TARGET_XOP)
26766 : 45 : {
26767 : 41 : rtx neg = gen_reg_rtx (<MODE>mode);
26768 : 41 : emit_insn (gen_neg<mode>2 (neg, operands[2]));
26769 : 43 : emit_insn (gen_xop_sha<mode>3 (operands[0], operands[1], neg));
26770 : 2 : DONE;
26771 : 44 : }
26772 : 6 : else if(<MODE>mode == V16QImode)
26773 : : {
26774 : 2 : ix86_expand_vecop_qihi (ASHIFTRT, operands[0],operands[1], operands[2]);
26775 : 44 : DONE;
26776 : : }
26777 : 1 : })
26778 : :
26779 : : (define_expand "vashrv2di3"
26780 : 2 : [(set (match_operand:V2DI 0 "register_operand")
26781 : 3 : (ashiftrt:V2DI
26782 : 3 : (match_operand:V2DI 1 "register_operand")
26783 : 6 : (match_operand:V2DI 2 "nonimmediate_operand")))]
26784 : 3 : "TARGET_XOP || TARGET_AVX2"
26785 : 44 : {
26786 : 42 : if (TARGET_XOP)
26787 : 6 : {
26788 : 40 : rtx neg = gen_reg_rtx (V2DImode);
26789 : 40 : emit_insn (gen_negv2di2 (neg, operands[2]));
26790 : 40 : emit_insn (gen_xop_shav2di3 (operands[0], operands[1], neg));
26791 : 42 : DONE;
26792 : 5 : }
26793 : 9 : if (!TARGET_AVX512VL)
26794 : : {
26795 : 2 : rtx mask = ix86_build_signbit_mask (V2DImode, 1, 0);
26796 : 2 : rtx t1 = gen_reg_rtx (V2DImode);
26797 : 2 : rtx t2 = gen_reg_rtx (V2DImode);
26798 : 69 : rtx t3 = gen_reg_rtx (V2DImode);
26799 : 2 : emit_insn (gen_vlshrv2di3 (t1, operands[1], operands[2]));
26800 : 2 : emit_insn (gen_vlshrv2di3 (t2, mask, operands[2]));
26801 : 2 : emit_insn (gen_xorv2di3 (t3, t1, t2));
26802 : 69 : emit_insn (gen_subv2di3 (operands[0], t3, t2));
26803 : 8 : DONE;
26804 : 6 : }
26805 : 6 : })
26806 : 6 :
26807 : 6 : (define_expand "vashrv4si3"
26808 : 8 : [(set (match_operand:V4SI 0 "register_operand")
26809 : 2 : (ashiftrt:V4SI (match_operand:V4SI 1 "register_operand")
26810 : 3 : (match_operand:V4SI 2 "nonimmediate_operand")))]
26811 : 2 : "TARGET_AVX2 || TARGET_XOP"
26812 : 175 : {
26813 : 175 : if (!TARGET_AVX2)
26814 : 1 : {
26815 : 153 : rtx neg = gen_reg_rtx (V4SImode);
26816 : 151 : emit_insn (gen_negv4si2 (neg, operands[2]));
26817 : 151 : emit_insn (gen_xop_shav4si3 (operands[0], operands[1], neg));
26818 : 151 : DONE;
26819 : 3 : }
26820 : 3 : })
26821 : 2 :
26822 : : (define_expand "vashrv16si3"
26823 : 23 : [(set (match_operand:V16SI 0 "register_operand")
26824 : 23 : (ashiftrt:V16SI (match_operand:V16SI 1 "register_operand")
26825 : 23 : (match_operand:V16SI 2 "nonimmediate_operand")))]
26826 : 184 : "TARGET_AVX512F && TARGET_EVEX512")
26827 : 23 :
26828 : 23 : (define_expand "vashrv8si3"
26829 : : [(set (match_operand:V8SI 0 "register_operand")
26830 : 184 : (ashiftrt:V8SI (match_operand:V8SI 1 "register_operand")
26831 : 161 : (match_operand:V8SI 2 "nonimmediate_operand")))]
26832 : 161 : "TARGET_AVX2")
26833 : 161 :
26834 : 184 : (define_expand "vashl<mode>3"
26835 : 184 : [(set (match_operand:VI12_128 0 "register_operand")
26836 : 184 : (ashift:VI12_128
26837 : : (match_operand:VI12_128 1 "register_operand")
26838 : : (match_operand:VI12_128 2 "nonimmediate_operand")))]
26839 : : "TARGET_XOP || (TARGET_AVX512BW && TARGET_AVX512VL)"
26840 : 4 : {
26841 : 6 : if (TARGET_XOP)
26842 : : {
26843 : 0 : emit_insn (gen_xop_sha<mode>3 (operands[0], operands[1], operands[2]));
26844 : 0 : DONE;
26845 : 2 : }
26846 : 6 : else if (<MODE>mode == V16QImode)
26847 : 2 : {
26848 : 4 : ix86_expand_vecop_qihi (ASHIFT, operands[0], operands[1], operands[2]);
26849 : 4 : DONE;
26850 : 2 : }
26851 : 2 : })
26852 : :
26853 : : (define_expand "vashl<mode>3"
26854 : 2 : [(set (match_operand:VI48_128 0 "register_operand")
26855 : 2 : (ashift:VI48_128
26856 : 2 : (match_operand:VI48_128 1 "register_operand")
26857 : 2 : (match_operand:VI48_128 2 "nonimmediate_operand")))]
26858 : 2 : "TARGET_AVX2 || TARGET_XOP"
26859 : 146 : {
26860 : 144 : if (!TARGET_AVX2)
26861 : 2 : {
26862 : 134 : operands[2] = force_reg (<MODE>mode, operands[2]);
26863 : 134 : emit_insn (gen_xop_sha<mode>3 (operands[0], operands[1], operands[2]));
26864 : 134 : DONE;
26865 : 2 : }
26866 : 2 : })
26867 : 2 :
26868 : : (define_expand "vashl<mode>3"
26869 : 10 : [(set (match_operand:VI48_512 0 "register_operand")
26870 : 10 : (ashift:VI48_512
26871 : 10 : (match_operand:VI48_512 1 "register_operand")
26872 : 55 : (match_operand:VI48_512 2 "nonimmediate_operand")))]
26873 : 10 : "TARGET_AVX512F")
26874 : 10 :
26875 : : (define_expand "vashl<mode>3"
26876 : 55 : [(set (match_operand:VI48_256 0 "register_operand")
26877 : 45 : (ashift:VI48_256
26878 : 45 : (match_operand:VI48_256 1 "register_operand")
26879 : 45 : (match_operand:VI48_256 2 "nonimmediate_operand")))]
26880 : 55 : "TARGET_AVX2")
26881 : 55 :
26882 : 55 : (define_insn "xop_sha<mode>3"
26883 : : [(set (match_operand:VI_128 0 "register_operand" "=x,x")
26884 : : (if_then_else:VI_128
26885 : : (ge:VI_128
26886 : : (match_operand:VI_128 2 "nonimmediate_operand" "x,m")
26887 : 263 : (const_int 0))
26888 : : (ashift:VI_128
26889 : : (match_operand:VI_128 1 "nonimmediate_operand" "xm,x")
26890 : : (match_dup 2))
26891 : 263 : (ashiftrt:VI_128
26892 : 263 : (match_dup 1)
26893 : 263 : (neg:VI_128 (match_dup 2)))))]
26894 : 691 : "TARGET_XOP && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
26895 : 263 : "vpsha<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
26896 : 263 : [(set_attr "type" "sseishft")
26897 : 263 : (set_attr "prefix" "vex")
26898 : 2811 : (set_attr "prefix_extra" "1")
26899 : 2811 : (set_attr "mode" "TI")])
26900 : :
26901 : : (define_insn "xop_shl<mode>3"
26902 : 1429 : [(set (match_operand:VI_128 0 "register_operand" "=x,x")
26903 : 1429 : (if_then_else:VI_128
26904 : 1429 : (ge:VI_128
26905 : : (match_operand:VI_128 2 "nonimmediate_operand" "x,m")
26906 : 946 : (const_int 0))
26907 : : (ashift:VI_128
26908 : 64 : (match_operand:VI_128 1 "nonimmediate_operand" "xm,x")
26909 : 128 : (match_dup 2))
26910 : : (lshiftrt:VI_128
26911 : : (match_dup 1)
26912 : : (neg:VI_128 (match_dup 2)))))]
26913 : 244 : "TARGET_XOP && !(MEM_P (operands[1]) && MEM_P (operands[2]))"
26914 : : "vpshl<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
26915 : : [(set_attr "type" "sseishft")
26916 : : (set_attr "prefix" "vex")
26917 : 672 : (set_attr "prefix_extra" "1")
26918 : 672 : (set_attr "mode" "TI")])
26919 : :
26920 : : (define_expand "<insn><mode>3"
26921 : : [(set (match_operand:VI1_AVX512 0 "register_operand")
26922 : : (any_shift:VI1_AVX512
26923 : : (match_operand:VI1_AVX512 1 "register_operand")
26924 : : (match_operand:SI 2 "nonmemory_operand")))]
26925 : : "TARGET_SSE2"
26926 : 321 : {
26927 : 321 : if (TARGET_XOP && <MODE>mode == V16QImode)
26928 : : {
26929 : 4 : bool negate = false;
26930 : 4 : rtx (*gen) (rtx, rtx, rtx);
26931 : 4 : rtx tmp, par;
26932 : 4 : int i;
26933 : :
26934 : 4 : if (<CODE> != ASHIFT)
26935 : 1769 : {
26936 : 2 : if (CONST_INT_P (operands[2]))
26937 : 0 : operands[2] = GEN_INT (-INTVAL (operands[2]));
26938 : : else
26939 : 1769 : negate = true;
26940 : 1769 : }
26941 : 1773 : par = gen_rtx_PARALLEL (V16QImode, rtvec_alloc (16));
26942 : 1773 : tmp = lowpart_subreg (QImode, operands[2], SImode);
26943 : 1837 : for (i = 0; i < 16; i++)
26944 : 1833 : XVECEXP (par, 0, i) = tmp;
26945 : 1769 :
26946 : 1773 : tmp = gen_reg_rtx (V16QImode);
26947 : 1773 : emit_insn (gen_vec_initv16qiqi (tmp, par));
26948 : :
26949 : 226 : if (negate)
26950 : 224 : emit_insn (gen_negv16qi2 (tmp, tmp));
26951 : 191 :
26952 : 195 : gen = (<CODE> == LSHIFTRT ? gen_xop_shlv16qi3 : gen_xop_shav16qi3);
26953 : 390 : emit_insn (gen (operands[0], operands[1], tmp));
26954 : 4 : }
26955 : : else
26956 : 317 : ix86_expand_vecop_qihi (<CODE>, operands[0], operands[1], operands[2]);
26957 : 321 : DONE;
26958 : : })
26959 : :
26960 : : (define_expand "ashrv2di3"
26961 : : [(set (match_operand:V2DI 0 "register_operand")
26962 : : (ashiftrt:V2DI
26963 : : (match_operand:V2DI 1 "register_operand")
26964 : : (match_operand:DI 2 "nonmemory_operand")))]
26965 : : "TARGET_SSE2"
26966 : 161 : {
26967 : 161 : if (!TARGET_AVX512VL)
26968 : : {
26969 : 152 : ix86_expand_v2di_ashiftrt (operands);
26970 : 152 : DONE;
26971 : : }
26972 : : })
26973 : :
26974 : : (define_insn_and_split "*ashrv2di3"
26975 : 9 : [(set (match_operand:V2DI 0 "register_operand")
26976 : 9 : (ashiftrt:V2DI
26977 : 9 : (match_operand:V2DI 1 "register_operand")
26978 : 9 : (match_operand:DI 2 "nonmemory_operand")))]
26979 : 1417 : "TARGET_SSE2 && !TARGET_AVX512VL && ix86_pre_reload_split ()"
26980 : 42 : "#"
26981 : 324 : "&& 1"
26982 : 58691 : [(const_int 0)]
26983 : 1063 : "ix86_expand_v2di_ashiftrt (operands); DONE;")
26984 : 263 :
26985 : 2968 : ;; XOP FRCZ support
26986 : 2745 : (define_insn "xop_frcz<mode>2"
26987 : 2793 : [(set (match_operand:FMAMODE 0 "register_operand" "=x")
26988 : 74 : (unspec:FMAMODE
26989 : 47 : [(match_operand:FMAMODE 1 "nonimmediate_operand" "xm")]
26990 : 34 : UNSPEC_FRCZ))]
26991 : 83 : "TARGET_XOP"
26992 : 34 : "vfrcz<ssemodesuffix>\t{%1, %0|%0, %1}"
26993 : 34 : [(set_attr "type" "ssecvt1")
26994 : 390 : (set_attr "prefix" "vex")
26995 : 147 : (set_attr "prefix_extra" "1")
26996 : 521 : (set_attr "mode" "<MODE>")])
26997 : 521 :
26998 : 147 : (define_expand "xop_vmfrcz<mode>2"
26999 : 668 : [(set (match_operand:VF_128 0 "register_operand")
27000 : 460 : (vec_merge:VF_128
27001 : 460 : (unspec:VF_128
27002 : 16 : [(match_operand:VF_128 1 "nonimmediate_operand")]
27003 : 460 : UNSPEC_FRCZ)
27004 : 460 : (match_dup 2)
27005 : 460 : (const_int 1)))]
27006 : 460 : "TARGET_XOP"
27007 : 478 : "operands[2] = CONST0_RTX (<MODE>mode);")
27008 : 460 :
27009 : 444 : (define_insn "*xop_vmfrcz<mode>2"
27010 : 462 : [(set (match_operand:VF_128 0 "register_operand" "=x")
27011 : 462 : (vec_merge:VF_128
27012 : 462 : (unspec:VF_128
27013 : 462 : [(match_operand:VF_128 1 "nonimmediate_operand" "xm")]
27014 : 462 : UNSPEC_FRCZ)
27015 : 18 : (match_operand:VF_128 2 "const0_operand")
27016 : 116 : (const_int 1)))]
27017 : 192 : "TARGET_XOP"
27018 : : "vfrcz<ssescalarmodesuffix>\t{%1, %0|%0, %<iptr>1}"
27019 : 116 : [(set_attr "type" "ssecvt1")
27020 : : (set_attr "prefix" "vex")
27021 : 85 : (set_attr "prefix_extra" "1")
27022 : 85 : (set_attr "mode" "<MODE>")])
27023 : :
27024 : 85 : (define_insn "xop_maskcmp<mode>3"
27025 : 18 : [(set (match_operand:VI_128 0 "register_operand" "=x")
27026 : 18 : (match_operator:VI_128 1 "ix86_comparison_int_operator"
27027 : 18 : [(match_operand:VI_128 2 "register_operand" "x")
27028 : : (match_operand:VI_128 3 "nonimmediate_operand" "xm")]))]
27029 : 4168 : "TARGET_XOP"
27030 : : "vpcom%Y1<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}"
27031 : : [(set_attr "type" "sse4arg")
27032 : 16 : (set_attr "mode" "TI")])
27033 : 137645 :
27034 : 137645 : (define_insn "xop_maskcmp_uns<mode>3"
27035 : : [(set (match_operand:VI_128 0 "register_operand" "=x")
27036 : 137645 : (match_operator:VI_128 1 "ix86_comparison_uns_operator"
27037 : 0 : [(match_operand:VI_128 2 "register_operand" "x")
27038 : 16 : (match_operand:VI_128 3 "nonimmediate_operand" "xm")]))]
27039 : 1348 : "TARGET_XOP"
27040 : 16 : "vpcom%Y1u<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}"
27041 : 1802620 : [(set_attr "type" "sse4arg")
27042 : 16 : (set_attr "mode" "TI")])
27043 : 1217811 :
27044 : 77345 : ;; Version of pcom*u* that is called from the intrinsics that allows pcomequ*
27045 : 1140482 : ;; and pcomneu* not to be converted to the signed ones in case somebody needs
27046 : 77345 : ;; the exact instruction generated for the intrinsic.
27047 : 1140466 : (define_insn "xop_maskcmp_uns2<mode>3"
27048 : 1140466 : [(set (match_operand:VI_128 0 "register_operand" "=x")
27049 : 1140466 : (unspec:VI_128
27050 : : [(match_operator:VI_128 1 "ix86_comparison_uns_operator"
27051 : 12957 : [(match_operand:VI_128 2 "register_operand" "x")
27052 : 12957 : (match_operand:VI_128 3 "nonimmediate_operand" "xm")])]
27053 : 5110524 : UNSPEC_XOP_UNSIGNED_CMP))]
27054 : 13073 : "TARGET_XOP"
27055 : : "vpcom%Y1u<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3}"
27056 : : [(set_attr "type" "sse4arg")
27057 : 5110524 : (set_attr "mode" "TI")])
27058 : 5110852 :
27059 : 5110852 : ;; Pcomtrue and pcomfalse support. These are useless instructions, but are
27060 : 5110524 : ;; being added here to be complete.
27061 : 5110852 : (define_insn "xop_pcom_tf<mode>3"
27062 : 5110524 : [(set (match_operand:VI_128 0 "register_operand" "=x")
27063 : 5110524 : (unspec:VI_128
27064 : 5110524 : [(match_operand:VI_128 1 "register_operand" "x")
27065 : 5110524 : (match_operand:VI_128 2 "nonimmediate_operand" "xm")
27066 : 636 : (match_operand:SI 3 "const_int_operand")]
27067 : 2352230 : UNSPEC_XOP_TRUEFALSE))]
27068 : 868 : "TARGET_XOP"
27069 : 2351761 : {
27070 : 2352319 : return ((INTVAL (operands[3]) != 0)
27071 : 2352223 : ? "vpcomtrue<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
27072 : 1381 : : "vpcomfalse<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}");
27073 : 1253 : }
27074 : 42938 : [(set_attr "type" "sse4arg")
27075 : 656 : (set_attr "mode" "TI")])
27076 : 42937 :
27077 : 43362 : (define_insn "xop_vpermil2<mode>3"
27078 : 11734 : [(set (match_operand:VF_128_256 0 "register_operand" "=x,x")
27079 : 43266 : (unspec:VF_128_256
27080 : : [(match_operand:VF_128_256 1 "register_operand" "x,x")
27081 : 18 : (match_operand:VF_128_256 2 "nonimmediate_operand" "x,m")
27082 : 35 : (match_operand:<sseintvecmode> 3 "nonimmediate_operand" "xm,x")
27083 : 33 : (match_operand:SI 4 "const_0_to_3_operand")]
27084 : 34 : UNSPEC_VPERMIL2))]
27085 : 122 : "TARGET_XOP"
27086 : 11734 : "vpermil2<ssemodesuffix>\t{%4, %3, %2, %1, %0|%0, %1, %2, %3, %4}"
27087 : 11734 : [(set_attr "type" "sse4arg")
27088 : 11734 : (set_attr "mode" "<MODE>")])
27089 : 11734 :
27090 : 173 : ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
27091 : 6293 :
27092 : 6328 : (define_insn "aesenc"
27093 : 138 : [(set (match_operand:V2DI 0 "register_operand" "=x,x,v")
27094 : 6293 : (unspec:V2DI [(match_operand:V2DI 1 "register_operand" "0,x,v")
27095 : 6310 : (match_operand:V2DI 2 "vector_operand" "xja,xjm,vm")]
27096 : 6310 : UNSPEC_AESENC))]
27097 : 9210 : "TARGET_AES || (TARGET_VAES && TARGET_AVX512VL)"
27098 : 6293 : "@
27099 : 6293 : aesenc\t{%2, %0|%0, %2}
27100 : 6293 : * return TARGET_AES ? \"vaesenc\t{%2, %1, %0|%0, %1, %2}\" : \"%{evex%} vaesenc\t{%2, %1, %0|%0, %1, %2}\";
27101 : 638 : vaesenc\t{%2, %1, %0|%0, %1, %2}"
27102 : 6931 : [(set_attr "isa" "noavx,avx,vaes_avx512vl")
27103 : 35 : (set_attr "type" "sselog1")
27104 : 2468 : (set_attr "addr" "gpr16,*,*")
27105 : 1865 : (set_attr "prefix_extra" "1")
27106 : : (set_attr "prefix" "orig,maybe_evex,evex")
27107 : : (set_attr "btver2_decode" "double,double,double")
27108 : 1821 : (set_attr "mode" "TI")])
27109 : 17 :
27110 : : (define_insn "aesenclast"
27111 : 0 : [(set (match_operand:V2DI 0 "register_operand" "=x,x,v")
27112 : : (unspec:V2DI [(match_operand:V2DI 1 "register_operand" "0,x,v")
27113 : : (match_operand:V2DI 2 "vector_operand" "xja,xjm,vm")]
27114 : : UNSPEC_AESENCLAST))]
27115 : 505 : "TARGET_AES || (TARGET_VAES && TARGET_AVX512VL)"
27116 : 35 : "@
27117 : : aesenclast\t{%2, %0|%0, %2}
27118 : 35 : * return TARGET_AES ? \"vaesenclast\t{%2, %1, %0|%0, %1, %2}\" : \"%{evex%} vaesenclast\t{%2, %1, %0|%0, %1, %2}\";
27119 : 638 : vaesenclast\t{%2, %1, %0|%0, %1, %2}"
27120 : 638 : [(set_attr "isa" "noavx,avx,vaes_avx512vl")
27121 : 17 : (set_attr "type" "sselog1")
27122 : 655 : (set_attr "addr" "gpr16,*,*")
27123 : : (set_attr "prefix_extra" "1")
27124 : 0 : (set_attr "prefix" "orig,maybe_evex,evex")
27125 : : (set_attr "btver2_decode" "double,double,double")
27126 : : (set_attr "mode" "TI")])
27127 : :
27128 : : (define_insn "aesdec"
27129 : : [(set (match_operand:V2DI 0 "register_operand" "=x,x,v")
27130 : : (unspec:V2DI [(match_operand:V2DI 1 "register_operand" "0,x,v")
27131 : : (match_operand:V2DI 2 "vector_operand" "xja,xjm,vm")]
27132 : : UNSPEC_AESDEC))]
27133 : 505 : "TARGET_AES || (TARGET_VAES && TARGET_AVX512VL)"
27134 : : "@
27135 : : aesdec\t{%2, %0|%0, %2}
27136 : : * return TARGET_AES ? \"vaesdec\t{%2, %1, %0|%0, %1, %2}\" : \"%{evex%} vaesdec\t{%2, %1, %0|%0, %1, %2}\";
27137 : 638 : vaesdec\t{%2, %1, %0|%0, %1, %2}"
27138 : 638 : [(set_attr "isa" "noavx,avx,vaes_avx512vl")
27139 : : (set_attr "type" "sselog1")
27140 : 638 : (set_attr "addr" "gpr16,*,*")
27141 : : (set_attr "prefix_extra" "1")
27142 : : (set_attr "prefix" "orig,maybe_evex,evex")
27143 : : (set_attr "btver2_decode" "double,double,double")
27144 : : (set_attr "mode" "TI")])
27145 : :
27146 : : (define_insn "aesdeclast"
27147 : : [(set (match_operand:V2DI 0 "register_operand" "=x,x,v")
27148 : : (unspec:V2DI [(match_operand:V2DI 1 "register_operand" "0,x,v")
27149 : : (match_operand:V2DI 2 "vector_operand" "xja,xjm,vm")]
27150 : : UNSPEC_AESDECLAST))]
27151 : 505 : "TARGET_AES || (TARGET_VAES && TARGET_AVX512VL)"
27152 : : "@
27153 : : aesdeclast\t{%2, %0|%0, %2}
27154 : : * return TARGET_AES ? \"vaesdeclast\t{%2, %1, %0|%0, %1, %2}\" : \"%{evex%} vaesdeclast\t{%2, %1, %0|%0, %1, %2}\";
27155 : 613 : vaesdeclast\t{%2, %1, %0|%0, %1, %2}"
27156 : 613 : [(set_attr "isa" "noavx,avx,vaes_avx512vl")
27157 : : (set_attr "addr" "gpr16,*,*")
27158 : 613 : (set_attr "type" "sselog1")
27159 : 613 : (set_attr "prefix_extra" "1")
27160 : 613 : (set_attr "prefix" "orig,maybe_evex,evex")
27161 : : (set_attr "btver2_decode" "double,double,double")
27162 : 577 : (set_attr "mode" "TI")])
27163 : 577 :
27164 : 577 : (define_insn "aesimc"
27165 : : [(set (match_operand:V2DI 0 "register_operand" "=x")
27166 : 577 : (unspec:V2DI [(match_operand:V2DI 1 "vector_operand" "xja")]
27167 : 577 : UNSPEC_AESIMC))]
27168 : 1174 : "TARGET_AES"
27169 : 577 : "%vaesimc\t{%1, %0|%0, %1}"
27170 : : [(set_attr "type" "sselog1")
27171 : : (set_attr "addr" "gpr16")
27172 : 3802 : (set_attr "prefix_extra" "1")
27173 : 3802 : (set_attr "prefix" "maybe_vex")
27174 : 3802 : (set_attr "mode" "TI")])
27175 : 3802 :
27176 : : (define_insn "aeskeygenassist"
27177 : 1133 : [(set (match_operand:V2DI 0 "register_operand" "=x")
27178 : 0 : (unspec:V2DI [(match_operand:V2DI 1 "vector_operand" "xja")
27179 : 0 : (match_operand:SI 2 "const_0_to_255_operand")]
27180 : 0 : UNSPEC_AESKEYGENASSIST))]
27181 : 577 : "TARGET_AES"
27182 : : "%vaeskeygenassist\t{%2, %1, %0|%0, %1, %2}"
27183 : : [(set_attr "type" "sselog1")
27184 : : (set_attr "addr" "gpr16")
27185 : 20079 : (set_attr "prefix_extra" "1")
27186 : 20079 : (set_attr "length_immediate" "1")
27187 : : (set_attr "prefix" "maybe_vex")
27188 : 1233 : (set_attr "mode" "TI")])
27189 : 1233 :
27190 : 1233 : (define_insn "pclmulqdq"
27191 : 1233 : [(set (match_operand:V2DI 0 "register_operand" "=x,x,v")
27192 : 1233 : (unspec:V2DI [(match_operand:V2DI 1 "register_operand" "0,x,v")
27193 : 1233 : (match_operand:V2DI 2 "vector_operand" "xja,xm,vm")
27194 : 1233 : (match_operand:SI 3 "const_0_to_255_operand")]
27195 : 1233 : UNSPEC_PCLMUL))]
27196 : 266 : "TARGET_PCLMUL"
27197 : 70 : "@
27198 : 70 : pclmulqdq\t{%3, %2, %0|%0, %2, %3}
27199 : : vpclmulqdq\t{%3, %2, %1, %0|%0, %1, %2, %3}
27200 : 3781 : vpclmulqdq\t{%3, %2, %1, %0|%0, %1, %2, %3}"
27201 : 3912 : [(set_attr "isa" "noavx,avx,vpclmulqdqvl")
27202 : : (set_attr "type" "sselog1")
27203 : : (set_attr "addr" "gpr16,*,*")
27204 : 2765 : (set_attr "prefix_extra" "1")
27205 : 2765 : (set_attr "length_immediate" "1")
27206 : 2765 : (set_attr "prefix" "orig,vex,evex")
27207 : 2765 : (set_attr "mode" "TI")])
27208 : :
27209 : : (define_expand "avx_vzeroall"
27210 : : [(match_par_dup 0 [(const_int 0)])]
27211 : : "TARGET_AVX"
27212 : 199 : {
27213 : 199 : int nregs = TARGET_64BIT ? 16 : 8;
27214 : 199 : int regno;
27215 : :
27216 : 199 : operands[0] = gen_rtx_PARALLEL (VOIDmode, rtvec_alloc (nregs + 1));
27217 : :
27218 : 199 : XVECEXP (operands[0], 0, 0)
27219 : 199 : = gen_rtx_UNSPEC_VOLATILE (VOIDmode, gen_rtvec (1, const0_rtx),
27220 : : UNSPECV_VZEROALL);
27221 : :
27222 : 3375 : for (regno = 0; regno < nregs; regno++)
27223 : 3176 : XVECEXP (operands[0], 0, regno + 1)
27224 : 6352 : = gen_rtx_SET (gen_rtx_REG (V8SImode, GET_SSE_REGNO (regno)),
27225 : : CONST0_RTX (V8SImode));
27226 : : })
27227 : :
27228 : : (define_insn "*avx_vzeroall"
27229 : 199 : [(match_parallel 0 "vzeroall_operation"
27230 : 199 : [(unspec_volatile [(const_int 0)] UNSPECV_VZEROALL)])]
27231 : 6660 : "TARGET_AVX"
27232 : 199 : "vzeroall"
27233 : 199 : [(set_attr "type" "sse")
27234 : 199 : (set_attr "modrm" "0")
27235 : 210769 : (set_attr "memory" "none")
27236 : 210570 : (set_attr "prefix" "vex")
27237 : 210570 : (set_attr "btver2_decode" "vector")
27238 : 210570 : (set_attr "mode" "OI")])
27239 : 210570 :
27240 : 37 : ;; Clear the upper 128bits of AVX registers, equivalent to a NOP
27241 : 7045 : ;; if the upper 128bits are unused. Initially we expand the instructions
27242 : : ;; as though they had no effect on the SSE registers, but later add SETs and
27243 : 0 : ;; CLOBBERs to the PARALLEL to model the real effect.
27244 : 0 :
27245 : 0 : (define_expand "avx_vzeroupper"
27246 : 37 : [(parallel [(call (mem:QI (const_int 0))
27247 : 37 : (const_int 0))
27248 : 37 : (unspec [(const_int ABI_VZEROUPPER)] UNSPEC_CALLEE_ABI)])]
27249 : 37 : "TARGET_AVX"
27250 : 89 : {
27251 : 89 : ix86_expand_avx_vzeroupper ();
27252 : 89 : DONE;
27253 : 37 : })
27254 : 37 :
27255 : : (define_insn "avx_vzeroupper_callee_abi"
27256 : : [(call (mem:QI (const_int 0))
27257 : : (const_int 0))
27258 : : (unspec [(const_int ABI_VZEROUPPER)] UNSPEC_CALLEE_ABI)]
27259 : 16022 : "TARGET_AVX"
27260 : : "vzeroupper"
27261 : : [(set_attr "type" "sse")
27262 : : (set_attr "modrm" "0")
27263 : 26075 : (set_attr "memory" "none")
27264 : 26075 : (set_attr "prefix" "vex")
27265 : 26075 : (set_attr "btver2_decode" "vector")
27266 : : (set_attr "mode" "OI")])
27267 : 515 :
27268 : 515 : (define_mode_attr pbroadcast_evex_isa
27269 : : [(V64QI "avx512bw_512") (V32QI "avx512bw") (V16QI "avx512bw")
27270 : 515 : (V32HI "avx512bw_512") (V16HI "avx512bw") (V8HI "avx512bw")
27271 : 515 : (V16SI "avx512f_512") (V8SI "avx512f") (V4SI "avx512f")
27272 : : (V8DI "avx512f_512") (V4DI "avx512f") (V2DI "avx512f")
27273 : 515 : (V32HF "avx512bw_512") (V16HF "avx512bw") (V8HF "avx512bw")
27274 : 13 : (V32BF "avx512bw_512") (V16BF "avx512bw") (V8BF "avx512bw")])
27275 : 32 :
27276 : 32 : (define_insn "avx2_pbroadcast<mode>"
27277 : : [(set (match_operand:VIHFBF 0 "register_operand" "=x,v")
27278 : 13 : (vec_duplicate:VIHFBF
27279 : 13 : (vec_select:<ssescalarmode>
27280 : 13 : (match_operand:<ssexmmmode> 1 "nonimmediate_operand" "xm,vm")
27281 : 13 : (parallel [(const_int 0)]))))]
27282 : 1469 : "TARGET_AVX2"
27283 : 13 : "vpbroadcast<sseintmodesuffix>\t{%1, %0|%0, %<iptr>1}"
27284 : 25 : [(set_attr "isa" "*,<pbroadcast_evex_isa>")
27285 : : (set_attr "type" "ssemov")
27286 : : (set_attr "prefix_extra" "1")
27287 : : (set_attr "prefix" "vex,evex")
27288 : : (set_attr "mode" "<sseinsnmode>")])
27289 : :
27290 : : (define_insn "avx2_pbroadcast<mode>_1"
27291 : : [(set (match_operand:VIHFBF_256 0 "register_operand" "=x,x,v,v")
27292 : : (vec_duplicate:VIHFBF_256
27293 : : (vec_select:<ssescalarmode>
27294 : : (match_operand:VIHFBF_256 1 "nonimmediate_operand" "m,x,m,v")
27295 : : (parallel [(const_int 0)]))))]
27296 : 80 : "TARGET_AVX2"
27297 : : "@
27298 : : vpbroadcast<sseintmodesuffix>\t{%1, %0|%0, %<iptr>1}
27299 : : vpbroadcast<sseintmodesuffix>\t{%x1, %0|%0, %x1}
27300 : : vpbroadcast<sseintmodesuffix>\t{%1, %0|%0, %<iptr>1}
27301 : : vpbroadcast<sseintmodesuffix>\t{%x1, %0|%0, %x1}"
27302 : : [(set_attr "isa" "*,*,<pbroadcast_evex_isa>,<pbroadcast_evex_isa>")
27303 : : (set_attr "type" "ssemov")
27304 : 567 : (set_attr "prefix_extra" "1")
27305 : 567 : (set_attr "prefix" "vex")
27306 : : (set_attr "mode" "<sseinsnmode>")])
27307 : :
27308 : : (define_insn "<avx2_avx512>_permvar<mode><mask_name>"
27309 : 518 : [(set (match_operand:VI48F_256_512 0 "register_operand" "=v")
27310 : : (unspec:VI48F_256_512
27311 : : [(match_operand:VI48F_256_512 1 "nonimmediate_operand" "vm")
27312 : : (match_operand:<sseintvecmode> 2 "register_operand" "v")]
27313 : : UNSPEC_VPERMVAR))]
27314 : 14633 : "TARGET_AVX2 && <mask_mode512bit_condition>"
27315 : 1567 : {
27316 : 1567 : if (TARGET_DEST_FALSE_DEP_FOR_GLC
27317 : 16 : && <mask3_dest_false_dep_for_glc_cond>
27318 : 2184 : && !reg_mentioned_p (operands[0], operands[1])
27319 : 3317 : && !reg_mentioned_p (operands[0], operands[2]))
27320 : 18 : output_asm_insn ("vxorps\t%x0, %x0, %x0", operands);
27321 : 2930 : return "vperm<ssemodesuffix>\t{%1, %2, %0<mask_operand3>|%0<mask_operand3>, %2, %1}";
27322 : 495 : }
27323 : 308 : [(set_attr "type" "sselog")
27324 : : (set_attr "prefix" "<mask_prefix2>")
27325 : : (set_attr "mode" "<sseinsnmode>")])
27326 : 470 :
27327 : : (define_insn "<avx512>_permvar<mode><mask_name>"
27328 : : [(set (match_operand:VI1_AVX512VL 0 "register_operand" "=v")
27329 : : (unspec:VI1_AVX512VL
27330 : : [(match_operand:VI1_AVX512VL 1 "nonimmediate_operand" "vm")
27331 : : (match_operand:<sseintvecmode> 2 "register_operand" "v")]
27332 : : UNSPEC_VPERMVAR))]
27333 : 297 : "TARGET_AVX512VBMI && <mask_mode512bit_condition>"
27334 : : "vperm<ssemodesuffix>\t{%1, %2, %0<mask_operand3>|%0<mask_operand3>, %2, %1}"
27335 : : [(set_attr "type" "sselog")
27336 : : (set_attr "prefix" "<mask_prefix2>")
27337 : : (set_attr "mode" "<sseinsnmode>")])
27338 : :
27339 : : (define_insn "<avx512>_permvar<mode><mask_name>"
27340 : : [(set (match_operand:VI2HFBF_AVX512VL 0 "register_operand" "=v")
27341 : : (unspec:VI2HFBF_AVX512VL
27342 : : [(match_operand:VI2HFBF_AVX512VL 1 "nonimmediate_operand" "vm")
27343 : : (match_operand:<sseintvecmode> 2 "register_operand" "v")]
27344 : : UNSPEC_VPERMVAR))]
27345 : 634 : "TARGET_AVX512BW && <mask_mode512bit_condition>"
27346 : : "vpermw\t{%1, %2, %0<mask_operand3>|%0<mask_operand3>, %2, %1}"
27347 : : [(set_attr "type" "sselog")
27348 : : (set_attr "prefix" "<mask_prefix2>")
27349 : : (set_attr "mode" "<sseinsnmode>")])
27350 : :
27351 : : ;; Recognize broadcast as a vec_select as produced by builtin_vec_perm.
27352 : : ;; If it so happens that the input is in memory, use vbroadcast.
27353 : : ;; Otherwise use vpermilp (and in the case of 256-bit modes, vperm2f128).
27354 : : (define_insn "*avx_vperm_broadcast_v4sf"
27355 : : [(set (match_operand:V4SF 0 "register_operand" "=v,v,v")
27356 : : (vec_select:V4SF
27357 : : (match_operand:V4SF 1 "nonimmediate_operand" "m,o,v")
27358 : : (match_parallel 2 "avx_vbroadcast_operand"
27359 : : [(match_operand 3 "const_int_operand" "C,n,n")])))]
27360 : 281 : "TARGET_AVX"
27361 : 36 : {
27362 : 9136 : int elt = INTVAL (operands[3]);
27363 : 36 : switch (which_alternative)
27364 : : {
27365 : 10 : case 0:
27366 : 10 : case 1:
27367 : 10 : operands[1] = adjust_address_nv (operands[1], SFmode, elt * 4);
27368 : 10 : return "vbroadcastss\t{%1, %0|%0, %k1}";
27369 : 26 : case 2:
27370 : 26 : operands[2] = GEN_INT (elt * 0x55);
27371 : 26 : return "vpermilps\t{%2, %1, %0|%0, %1, %2}";
27372 : 0 : default:
27373 : 0 : gcc_unreachable ();
27374 : : }
27375 : : }
27376 : : [(set_attr "type" "ssemov,ssemov,sselog1")
27377 : : (set_attr "prefix_extra" "1")
27378 : : (set_attr "length_immediate" "0,0,1")
27379 : 16 : (set_attr "prefix" "maybe_evex")
27380 : : (set_attr "mode" "SF,SF,V4SF")])
27381 : :
27382 : : (define_insn_and_split "*avx_vperm_broadcast_<mode>"
27383 : : [(set (match_operand:VF_256 0 "register_operand" "=v,v,v")
27384 : : (vec_select:VF_256
27385 : : (match_operand:VF_256 1 "nonimmediate_operand" "m,o,?v")
27386 : : (match_parallel 2 "avx_vbroadcast_operand"
27387 : : [(match_operand 3 "const_int_operand" "C,n,n")])))]
27388 : 240 : "TARGET_AVX
27389 : 229 : && (<MODE>mode != V4DFmode || !TARGET_AVX2 || operands[3] == const0_rtx)"
27390 : : "#"
27391 : 4530 : "&& reload_completed"
27392 : 60 : [(set (match_dup 0) (vec_duplicate:VF_256 (match_dup 1)))]
27393 : 66 : {
27394 : 33 : rtx op0 = operands[0], op1 = operands[1];
27395 : 74 : int elt = INTVAL (operands[3]);
27396 : 41 :
27397 : 74 : if (REG_P (op1))
27398 : 41 : {
27399 : 121 : int mask;
27400 : :
27401 : 7104 : if (TARGET_AVX2 && elt == 0)
27402 : : {
27403 : 7081 : emit_insn (gen_vec_dup<mode> (op0, gen_lowpart (<ssescalarmode>mode,
27404 : 7079 : op1)));
27405 : 7081 : DONE;
27406 : 7079 : }
27407 : 7079 :
27408 : 7079 : /* Shuffle element we care about into all elements of the 128-bit lane.
27409 : 7079 : The other lane gets shuffled too, but we don't care. */
27410 : 23 : if (<MODE>mode == V4DFmode)
27411 : 4278 : mask = (elt & 1 ? 15 : 0);
27412 : 4278 : else
27413 : 4301 : mask = (elt & 3) * 0x55;
27414 : 4301 : emit_insn (gen_avx_vpermil<mode> (op0, op1, GEN_INT (mask)));
27415 : 4278 :
27416 : : /* Shuffle the lane we care about into both lanes of the dest. */
27417 : 23 : mask = (elt / (<ssescalarnum> / 2)) * 0x11;
27418 : 23 : if (EXT_REX_SSE_REG_P (op0))
27419 : : {
27420 : : /* There is no EVEX VPERM2F128, but we can use either VBROADCASTSS
27421 : : or VSHUFF128. */
27422 : 3 : gcc_assert (<MODE>mode == V8SFmode);
27423 : 3 : if ((mask & 1) == 0)
27424 : 1 : emit_insn (gen_avx2_vec_dupv8sf (op0,
27425 : 1 : gen_lowpart (V4SFmode, op0)));
27426 : : else
27427 : 2 : emit_insn (gen_avx512vl_shuf_f32x4_1 (op0, op0, op0,
27428 : : GEN_INT (4), GEN_INT (5),
27429 : : GEN_INT (6), GEN_INT (7),
27430 : : GEN_INT (12), GEN_INT (13),
27431 : : GEN_INT (14), GEN_INT (15)));
27432 : 3 : DONE;
27433 : : }
27434 : :
27435 : 20 : emit_insn (gen_avx_vperm2f128<mode>3 (op0, op0, op0, GEN_INT (mask)));
27436 : 20 : DONE;
27437 : : }
27438 : :
27439 : 8 : operands[1] = adjust_address (op1, <ssescalarmode>mode,
27440 : : elt * GET_MODE_SIZE (<ssescalarmode>mode));
27441 : : })
27442 : :
27443 : : (define_expand "<sse2_avx_avx512f>_vpermil<mode><mask_name>"
27444 : 8 : [(set (match_operand:VF2 0 "register_operand")
27445 : 8 : (vec_select:VF2
27446 : 8 : (match_operand:VF2 1 "nonimmediate_operand")
27447 : 8 : (match_operand:SI 2 "const_0_to_255_operand")))]
27448 : 8 : "TARGET_AVX && <mask_mode512bit_condition>"
27449 : 92 : {
27450 : 92 : int mask = INTVAL (operands[2]);
27451 : 100 : rtx perm[<ssescalarnum>];
27452 : 8 :
27453 : 100 : int i;
27454 : 315 : for (i = 0; i < <ssescalarnum>; i = i + 2)
27455 : : {
27456 : 223 : perm[i] = GEN_INT (((mask >> i) & 1) + i);
27457 : 223 : perm[i + 1] = GEN_INT (((mask >> (i + 1)) & 1) + i);
27458 : 27 : }
27459 : :
27460 : 92 : operands[2]
27461 : 92 : = gen_rtx_PARALLEL (VOIDmode, gen_rtvec_v (<ssescalarnum>, perm));
27462 : 0 : })
27463 : 0 :
27464 : 27 : (define_expand "<sse2_avx_avx512f>_vpermil<mode><mask_name>"
27465 : 119 : [(set (match_operand:VF1 0 "register_operand")
27466 : 119 : (vec_select:VF1
27467 : 119 : (match_operand:VF1 1 "nonimmediate_operand")
27468 : 119 : (match_operand:SI 2 "const_0_to_255_operand")))]
27469 : 119 : "TARGET_AVX && <mask_mode512bit_condition>"
27470 : 245 : {
27471 : 219 : int mask = INTVAL (operands[2]);
27472 : 192 : rtx perm[<ssescalarnum>];
27473 : 66 :
27474 : 192 : int i;
27475 : 416 : for (i = 0; i < <ssescalarnum>; i = i + 4)
27476 : 92 : {
27477 : 316 : perm[i] = GEN_INT (((mask >> 0) & 3) + i);
27478 : 303 : perm[i + 1] = GEN_INT (((mask >> 2) & 3) + i);
27479 : 290 : perm[i + 2] = GEN_INT (((mask >> 4) & 3) + i);
27480 : 290 : perm[i + 3] = GEN_INT (((mask >> 6) & 3) + i);
27481 : : }
27482 : :
27483 : 220 : operands[2]
27484 : 192 : = gen_rtx_PARALLEL (VOIDmode, gen_rtvec_v (<ssescalarnum>, perm));
27485 : 66 : })
27486 : :
27487 : 48 : ;; This pattern needs to come before the avx2_perm*/avx512f_perm*
27488 : 137 : ;; patterns, as they have the same RTL representation (vpermilp*
27489 : 190 : ;; being a subset of what vpermp* can do), but vpermilp* has shorter
27490 : 237 : ;; latency as it never crosses lanes.
27491 : 190 : (define_insn "*<sse2_avx_avx512f>_vpermilp<mode><mask_name>"
27492 : 190 : [(set (match_operand:VF 0 "register_operand" "=v")
27493 : 153 : (vec_select:VF
27494 : 105 : (match_operand:VF 1 "nonimmediate_operand" "vm")
27495 : 162 : (match_parallel 2 ""
27496 : 148 : [(match_operand 3 "const_int_operand")])))]
27497 : 24179 : "TARGET_AVX && <mask_mode512bit_condition>
27498 : 34155 : && avx_vpermilp_parallel (operands[2], <MODE>mode)"
27499 : 1675 : {
27500 : 136 : int mask = avx_vpermilp_parallel (operands[2], <MODE>mode) - 1;
27501 : 8385 : operands[2] = GEN_INT (mask);
27502 : 7977 : return "vpermil<ssemodesuffix>\t{%2, %1, %0<mask_operand4>|%0<mask_operand4>, %1, %2}";
27503 : 7369 : }
27504 : 43 : [(set_attr "type" "sselog")
27505 : : (set_attr "prefix_extra" "1")
27506 : 720 : (set_attr "length_immediate" "1")
27507 : 2233 : (set_attr "prefix" "<mask_prefix>")
27508 : 69 : (set_attr "mode" "<sseinsnmode>")])
27509 : :
27510 : 12 : (define_expand "avx2_perm<mode>"
27511 : 12 : [(match_operand:VI8F_256 0 "register_operand")
27512 : 88 : (match_operand:VI8F_256 1 "nonimmediate_operand")
27513 : 88 : (match_operand:SI 2 "const_0_to_255_operand")]
27514 : 114 : "TARGET_AVX2"
27515 : 99 : {
27516 : 125 : int mask = INTVAL (operands[2]);
27517 : 125 : emit_insn (gen_avx2_perm<mode>_1 (operands[0], operands[1],
27518 : 77 : GEN_INT ((mask >> 0) & 3),
27519 : 125 : GEN_INT ((mask >> 2) & 3),
27520 : 99 : GEN_INT ((mask >> 4) & 3),
27521 : 24 : GEN_INT ((mask >> 6) & 3)));
27522 : 23 : DONE;
27523 : 0 : })
27524 : :
27525 : : (define_expand "avx512vl_perm<mode>_mask"
27526 : : [(match_operand:VI8F_256 0 "register_operand")
27527 : : (match_operand:VI8F_256 1 "nonimmediate_operand")
27528 : : (match_operand:SI 2 "const_0_to_255_operand")
27529 : : (match_operand:VI8F_256 3 "nonimm_or_0_operand")
27530 : : (match_operand:<avx512fmaskmode> 4 "register_operand")]
27531 : : "TARGET_AVX512VL"
27532 : 54 : {
27533 : 54 : int mask = INTVAL (operands[2]);
27534 : 54 : emit_insn (gen_<avx2_avx512>_perm<mode>_1_mask (operands[0], operands[1],
27535 : : GEN_INT ((mask >> 0) & 3),
27536 : 54 : GEN_INT ((mask >> 2) & 3),
27537 : 54 : GEN_INT ((mask >> 4) & 3),
27538 : 54 : GEN_INT ((mask >> 6) & 3),
27539 : : operands[3], operands[4]));
27540 : 54 : DONE;
27541 : : })
27542 : :
27543 : : (define_insn "avx2_perm<mode>_1<mask_name>"
27544 : 143 : [(set (match_operand:VI8F_256 0 "register_operand" "=v")
27545 : : (vec_select:VI8F_256
27546 : 143 : (match_operand:VI8F_256 1 "nonimmediate_operand" "vm")
27547 : 143 : (parallel [(match_operand 2 "const_0_to_3_operand")
27548 : 0 : (match_operand 3 "const_0_to_3_operand")
27549 : 143 : (match_operand 4 "const_0_to_3_operand")
27550 : : (match_operand 5 "const_0_to_3_operand")])))]
27551 : 12238 : "TARGET_AVX2 && <mask_mode512bit_condition>"
27552 : 14515 : {
27553 : 1264 : int mask = 0;
27554 : 1264 : mask |= INTVAL (operands[2]) << 0;
27555 : 19784 : mask |= INTVAL (operands[3]) << 2;
27556 : 19784 : mask |= INTVAL (operands[4]) << 4;
27557 : 1264 : mask |= INTVAL (operands[5]) << 6;
27558 : 658 : operands[2] = GEN_INT (mask);
27559 : 1602 : if (TARGET_DEST_FALSE_DEP_FOR_GLC
27560 : 342 : && <mask6_dest_false_dep_for_glc_cond>
27561 : 42287 : && !reg_mentioned_p (operands[0], operands[1]))
27562 : 8 : output_asm_insn ("vxorps\t%x0, %x0, %x0", operands);
27563 : 1582 : return "vperm<ssemodesuffix>\t{%2, %1, %0<mask_operand6>|%0<mask_operand6>, %1, %2}";
27564 : 318 : }
27565 : 41001 : [(set_attr "type" "sselog")
27566 : 40683 : (set_attr "prefix" "<mask_prefix2>")
27567 : 41001 : (set_attr "mode" "<sseinsnmode>")])
27568 : 41633 :
27569 : 41001 : (define_expand "avx512f_perm<mode>"
27570 : 40701 : [(match_operand:V8FI 0 "register_operand")
27571 : 41019 : (match_operand:V8FI 1 "nonimmediate_operand")
27572 : 41001 : (match_operand:SI 2 "const_0_to_255_operand")]
27573 : 37897 : "TARGET_AVX512F"
27574 : 40807 : {
27575 : 40939 : int mask = INTVAL (operands[2]);
27576 : 40939 : emit_insn (gen_avx512f_perm<mode>_1 (operands[0], operands[1],
27577 : 40939 : GEN_INT ((mask >> 0) & 3),
27578 : 40683 : GEN_INT ((mask >> 2) & 3),
27579 : 37805 : GEN_INT ((mask >> 4) & 3),
27580 : 40065 : GEN_INT ((mask >> 6) & 3),
27581 : 39821 : GEN_INT (((mask >> 0) & 3) + 4),
27582 : 37561 : GEN_INT (((mask >> 2) & 3) + 4),
27583 : 658 : GEN_INT (((mask >> 4) & 3) + 4),
27584 : 924 : GEN_INT (((mask >> 6) & 3) + 4)));
27585 : 924 : DONE;
27586 : 251 : })
27587 : 909 :
27588 : 904 : (define_expand "avx512f_perm<mode>_mask"
27589 : 512 : [(match_operand:V8FI 0 "register_operand")
27590 : 658 : (match_operand:V8FI 1 "nonimmediate_operand")
27591 : 658 : (match_operand:SI 2 "const_0_to_255_operand")
27592 : : (match_operand:V8FI 3 "nonimm_or_0_operand")
27593 : 658 : (match_operand:<avx512fmaskmode> 4 "register_operand")]
27594 : 658 : "TARGET_AVX512F"
27595 : 76 : {
27596 : 734 : int mask = INTVAL (operands[2]);
27597 : 734 : emit_insn (gen_avx512f_perm<mode>_1_mask (operands[0], operands[1],
27598 : : GEN_INT ((mask >> 0) & 3),
27599 : 658 : GEN_INT ((mask >> 2) & 3),
27600 : 658 : GEN_INT ((mask >> 4) & 3),
27601 : : GEN_INT ((mask >> 6) & 3),
27602 : 734 : GEN_INT (((mask >> 0) & 3) + 4),
27603 : 734 : GEN_INT (((mask >> 2) & 3) + 4),
27604 : 76 : GEN_INT (((mask >> 4) & 3) + 4),
27605 : 734 : GEN_INT (((mask >> 6) & 3) + 4),
27606 : : operands[3], operands[4]));
27607 : 1216 : DONE;
27608 : 934 : })
27609 : 672 :
27610 : 672 : (define_insn "avx512f_perm<mode>_1<mask_name>"
27611 : 0 : [(set (match_operand:V8FI 0 "register_operand" "=v")
27612 : 672 : (vec_select:V8FI
27613 : : (match_operand:V8FI 1 "nonimmediate_operand" "vm")
27614 : : (parallel [(match_operand 2 "const_0_to_3_operand")
27615 : : (match_operand 3 "const_0_to_3_operand")
27616 : : (match_operand 4 "const_0_to_3_operand")
27617 : : (match_operand 5 "const_0_to_3_operand")
27618 : : (match_operand 6 "const_4_to_7_operand")
27619 : : (match_operand 7 "const_4_to_7_operand")
27620 : : (match_operand 8 "const_4_to_7_operand")
27621 : : (match_operand 9 "const_4_to_7_operand")])))]
27622 : 706 : "TARGET_AVX512F && <mask_mode512bit_condition>
27623 : 1214 : && (INTVAL (operands[2]) == (INTVAL (operands[6]) - 4)
27624 : 1214 : && INTVAL (operands[3]) == (INTVAL (operands[7]) - 4)
27625 : 1214 : && INTVAL (operands[4]) == (INTVAL (operands[8]) - 4)
27626 : 1214 : && INTVAL (operands[5]) == (INTVAL (operands[9]) - 4))"
27627 : 164 : {
27628 : 164 : int mask = 0;
27629 : 164 : mask |= INTVAL (operands[2]) << 0;
27630 : 164 : mask |= INTVAL (operands[3]) << 2;
27631 : 164 : mask |= INTVAL (operands[4]) << 4;
27632 : 164 : mask |= INTVAL (operands[5]) << 6;
27633 : 8 : operands[2] = GEN_INT (mask);
27634 : 164 : if (TARGET_DEST_FALSE_DEP_FOR_GLC
27635 : 6 : && <mask10_dest_false_dep_for_glc_cond>
27636 : 166 : && !reg_mentioned_p (operands[0], operands[1]))
27637 : 6 : output_asm_insn ("vxorps\t%x0, %x0, %x0", operands);
27638 : 166 : return "vperm<ssemodesuffix>\t{%2, %1, %0<mask_operand10>|%0<mask_operand10>, %1, %2}";
27639 : 2 : }
27640 : 2 : [(set_attr "type" "sselog")
27641 : 2 : (set_attr "prefix" "<mask_prefix2>")
27642 : 0 : (set_attr "mode" "<sseinsnmode>")])
27643 : 516 :
27644 : : ;; TODO (APX): vmovaps supports EGPR but not others, could split
27645 : : ;; pattern to enable rex2 address for this one.
27646 : : (define_insn "avx2_permv2ti"
27647 : : [(set (match_operand:V4DI 0 "register_operand" "=x")
27648 : : (unspec:V4DI
27649 : : [(match_operand:V4DI 1 "register_operand" "x")
27650 : : (match_operand:V4DI 2 "nonimmediate_operand" "xjm")
27651 : : (match_operand:SI 3 "const_0_to_255_operand")]
27652 : : UNSPEC_VPERMTI))]
27653 : 2765 : "TARGET_AVX2"
27654 : 358 : {
27655 : 358 : int mask = INTVAL (operands[3]);
27656 : 358 : if ((mask & 0xbb) == 16)
27657 : 53 : {
27658 : 57 : if (rtx_equal_p (operands[0], operands[1]))
27659 : 53 : return "";
27660 : 53 : else
27661 : 53 : return "vmovaps\t{%1, %0|%0, %1}";
27662 : 53 : }
27663 : 407 : if ((mask & 0xbb) == 50)
27664 : 53 : {
27665 : 55 : if (rtx_equal_p (operands[0], operands[2]))
27666 : 53 : return "";
27667 : : else
27668 : 53 : return "vmovaps\t{%2, %0|%0, %2}";
27669 : : }
27670 : 367 : if ((mask & 0xbb) == 18)
27671 : 15 : return "vblendps\t{$15, %2, %1, %0|%0, %1, %2, 15}";
27672 : 350 : if ((mask & 0xbb) == 48)
27673 : 17 : return "vblendps\t{$240, %2, %1, %0|%0, %1, %2, 240}";
27674 : : return "vperm2i128\t{%3, %2, %1, %0|%0, %1, %2, %3}";
27675 : : }
27676 : : [(set_attr "type" "sselog")
27677 : : (set_attr "addr" "gpr16")
27678 : : (set_attr "prefix" "vex")
27679 : : (set_attr "mode" "OI")])
27680 : :
27681 : : (define_insn "avx2_vec_dupv4df"
27682 : : [(set (match_operand:V4DF 0 "register_operand" "=v")
27683 : : (vec_duplicate:V4DF
27684 : : (vec_select:DF
27685 : : (match_operand:V2DF 1 "register_operand" "v")
27686 : : (parallel [(const_int 0)]))))]
27687 : 96 : "TARGET_AVX2"
27688 : : "vbroadcastsd\t{%1, %0|%0, %1}"
27689 : 10 : [(set_attr "type" "sselog1")
27690 : 10 : (set_attr "prefix" "maybe_evex")
27691 : : (set_attr "mode" "V4DF")])
27692 : :
27693 : : (define_insn "<avx512>_vec_dup<mode>_1"
27694 : : [(set (match_operand:VIHFBF_AVX512BW 0 "register_operand" "=v,v")
27695 : : (vec_duplicate:VIHFBF_AVX512BW
27696 : : (vec_select:<ssescalarmode>
27697 : : (match_operand:VIHFBF_AVX512BW 1 "nonimmediate_operand" "v,m")
27698 : : (parallel [(const_int 0)]))))]
27699 : 0 : "TARGET_AVX512F"
27700 : : "@
27701 : : vpbroadcast<sseintmodesuffix>\t{%x1, %0|%0, %x1}
27702 : : vpbroadcast<sseintmodesuffix>\t{%x1, %0|%0, %<iptr>1}"
27703 : : [(set_attr "type" "ssemov")
27704 : : (set_attr "prefix" "evex")
27705 : : (set_attr "mode" "<sseinsnmode>")])
27706 : :
27707 : : (define_insn "<avx512>_vec_dup<mode><mask_name>"
27708 : : [(set (match_operand:V48_AVX512VL 0 "register_operand" "=v")
27709 : 0 : (vec_duplicate:V48_AVX512VL
27710 : : (vec_select:<ssescalarmode>
27711 : : (match_operand:<ssexmmmode> 1 "nonimmediate_operand" "vm")
27712 : : (parallel [(const_int 0)]))))]
27713 : 1025 : "TARGET_AVX512F"
27714 : 290 : {
27715 : : /* There is no DF broadcast (in AVX-512*) to 128b register.
27716 : : Mimic it with vmovddup, just like vec_dupv2df<mask_name> does. */
27717 : 290 : if (<MODE>mode == V2DFmode)
27718 : 0 : return "vmovddup\t{%1, %0<mask_operand2>|%0<mask_operand2>, %q1}";
27719 : :
27720 : 290 : return "v<sseintprefix>broadcast<bcstscalarsuff>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %<iptr>1}";
27721 : : }
27722 : : [(set_attr "type" "ssemov")
27723 : : (set_attr "prefix" "evex")
27724 : : (set_attr "mode" "<sseinsnmode>")])
27725 : 290 :
27726 : : (define_insn "<avx512>_vec_dup<mode><mask_name>"
27727 : : [(set (match_operand:VI12HFBF_AVX512VL 0 "register_operand" "=v")
27728 : : (vec_duplicate:VI12HFBF_AVX512VL
27729 : : (vec_select:<ssescalarmode>
27730 : : (match_operand:<ssexmmmode> 1 "nonimmediate_operand" "vm")
27731 : : (parallel [(const_int 0)]))))]
27732 : 390 : "TARGET_AVX512BW"
27733 : : "vpbroadcast<bcstscalarsuff>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %<iptr>1}"
27734 : : [(set_attr "type" "ssemov")
27735 : : (set_attr "prefix" "evex")
27736 : : (set_attr "mode" "<sseinsnmode>")])
27737 : :
27738 : : (define_insn "<mask_codefor>avx512f_broadcast<mode><mask_name>"
27739 : : [(set (match_operand:V16FI 0 "register_operand" "=v,v")
27740 : : (vec_duplicate:V16FI
27741 : : (match_operand:<ssexmmmode> 1 "nonimmediate_operand" "v,m")))]
27742 : 814 : "TARGET_AVX512F"
27743 : : "@
27744 : : vshuf<shuffletype>32x4\t{$0x0, %g1, %g1, %0<mask_operand2>|%0<mask_operand2>, %g1, %g1, 0x0}
27745 : : vbroadcast<shuffletype>32x4\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
27746 : : [(set_attr "type" "ssemov")
27747 : : (set_attr "prefix" "evex")
27748 : : (set_attr "mode" "<sseinsnmode>")])
27749 : :
27750 : : (define_insn "<mask_codefor>avx512f_broadcast<mode><mask_name>"
27751 : : [(set (match_operand:V8FI 0 "register_operand" "=v,v")
27752 : : (vec_duplicate:V8FI
27753 : : (match_operand:<ssehalfvecmode> 1 "nonimmediate_operand" "v,m")))]
27754 : 533 : "TARGET_AVX512F"
27755 : : "@
27756 : : vshuf<shuffletype>64x2\t{$0x44, %g1, %g1, %0<mask_operand2>|%0<mask_operand2>, %g1, %g1, 0x44}
27757 : : vbroadcast<shuffletype>64x4\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
27758 : : [(set_attr "type" "ssemov")
27759 : : (set_attr "prefix" "evex")
27760 : : (set_attr "mode" "<sseinsnmode>")])
27761 : :
27762 : : (define_insn "<mask_codefor><avx512>_vec_dup_gpr<mode><mask_name>"
27763 : : [(set (match_operand:VI12HFBF_AVX512VL 0 "register_operand" "=v,v")
27764 : : (vec_duplicate:VI12HFBF_AVX512VL
27765 : : (match_operand:<ssescalarmode> 1 "nonimmediate_operand" "vm,r")))]
27766 : 7439 : "TARGET_AVX512BW"
27767 : : "@
27768 : : vpbroadcast<bcstscalarsuff>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}
27769 : : vpbroadcast<bcstscalarsuff>\t{%k1, %0<mask_operand2>|%0<mask_operand2>, %k1}"
27770 : : [(set_attr "type" "ssemov")
27771 : : (set_attr "prefix" "evex")
27772 : : (set_attr "mode" "<sseinsnmode>")])
27773 : :
27774 : : (define_insn "<mask_codefor><avx512>_vec_dup_gpr<mode><mask_name>"
27775 : : [(set (match_operand:V48_AVX512VL 0 "register_operand" "=v,v")
27776 : : (vec_duplicate:V48_AVX512VL
27777 : : (match_operand:<ssescalarmode> 1 "nonimmediate_operand" "vm,r")))]
27778 : 16582 : "TARGET_AVX512F"
27779 : : "v<sseintprefix>broadcast<bcstscalarsuff>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
27780 : : [(set_attr "type" "ssemov")
27781 : : (set_attr "prefix" "evex")
27782 : : (set_attr "mode" "<sseinsnmode>")
27783 : : (set (attr "enabled")
27784 : : (if_then_else (eq_attr "alternative" "1")
27785 : 3929 : (symbol_ref "GET_MODE_CLASS (<ssescalarmode>mode) == MODE_INT
27786 : 2733 : && (<ssescalarmode>mode != DImode || TARGET_64BIT)")
27787 : : (const_int 1)))])
27788 : :
27789 : : (define_insn "vec_dupv4sf"
27790 : : [(set (match_operand:V4SF 0 "register_operand" "=v,v,v,x")
27791 : : (vec_duplicate:V4SF
27792 : : (match_operand:SF 1 "nonimmediate_operand" "Yv,v,m,0")))]
27793 : 4040 : "TARGET_SSE"
27794 : 4040 : "@
27795 : 0 : * return TARGET_AVX2 ? \"vbroadcastss\t{%1, %0|%0, %1}\" : \"vshufps\t{$0, %d1, %0|%0, %d1, 0}\";
27796 : 0 : vbroadcastss\t{%1, %g0|%g0, %1}
27797 : 9018 : vbroadcastss\t{%1, %0|%0, %1}
27798 : 4978 : shufps\t{$0, %0, %0|%0, %0, 0}"
27799 : 9018 : [(set_attr "isa" "avx,*,avx,noavx")
27800 : 4040 : (set (attr "type")
27801 : 4877 : (cond [(and (eq_attr "alternative" "0")
27802 : 2020 : (match_test "!TARGET_AVX2"))
27803 : 4816 : (const_string "sseshuf1")
27804 : 4816 : (eq_attr "alternative" "3")
27805 : : (const_string "sseshuf1")
27806 : 4814 : ]
27807 : : (const_string "ssemov")))
27808 : : (set (attr "length_immediate")
27809 : : (if_then_else (eq_attr "type" "sseshuf1")
27810 : : (const_string "1")
27811 : : (const_string "0")))
27812 : : (set_attr "prefix_extra" "0,1,1,*")
27813 : : (set_attr "prefix" "maybe_evex,evex,maybe_evex,orig")
27814 : : (set_attr "mode" "V4SF,V16SF,V4SF,V4SF")
27815 : : (set (attr "enabled")
27816 : : (if_then_else (eq_attr "alternative" "1")
27817 : : (symbol_ref "TARGET_AVX512F && !TARGET_AVX512VL
27818 : : && TARGET_EVEX512 && !TARGET_PREFER_AVX256")
27819 : : (const_string "*")))])
27820 : :
27821 : : (define_insn "*vec_dupv4si"
27822 : : [(set (match_operand:V4SI 0 "register_operand" "=v,v,v,v,x")
27823 : : (vec_duplicate:V4SI
27824 : : (match_operand:SI 1 "nonimmediate_operand" "Yvm,v,Yv,m,0")))]
27825 : : "TARGET_SSE"
27826 : : "@
27827 : 0 : vpbroadcastd\t{%1, %0|%0, %1}
27828 : : vpbroadcastd\t{%1, %g0|%g0, %1}
27829 : : %vpshufd\t{$0, %1, %0|%0, %1, 0}
27830 : : vbroadcastss\t{%1, %0|%0, %1}
27831 : : shufps\t{$0, %0, %0|%0, %0, 0}"
27832 : : [(set_attr "isa" "avx2,*,sse2,avx,noavx")
27833 : : (set_attr "type" "ssemov,ssemov,sseshuf1,ssemov,sseshuf1")
27834 : : (set_attr "length_immediate" "0,0,1,0,1")
27835 : : (set_attr "prefix_extra" "1,1,0,1,*")
27836 : : (set_attr "prefix" "maybe_evex,evex,maybe_vex,maybe_evex,orig")
27837 : : (set_attr "mode" "TI,XI,TI,V4SF,V4SF")
27838 : : (set (attr "preferred_for_speed")
27839 : : (cond [(eq_attr "alternative" "3")
27840 : 565 : (symbol_ref "!TARGET_INTER_UNIT_MOVES_TO_VEC")
27841 : : ]
27842 : : (symbol_ref "true")))
27843 : : (set (attr "enabled")
27844 : : (if_then_else (eq_attr "alternative" "1")
27845 : 12309 : (symbol_ref "TARGET_AVX512F && !TARGET_AVX512VL
27846 : 24460 : && TARGET_EVEX512 && !TARGET_PREFER_AVX256")
27847 : : (const_string "*")))])
27848 : 1327 :
27849 : 1327 : (define_insn "*vec_dupv2di"
27850 : 47289 : [(set (match_operand:V2DI 0 "register_operand" "=x,v,v,v,x")
27851 : 1327 : (vec_duplicate:V2DI
27852 : 14256 : (match_operand:DI 1 "nonimmediate_operand" " 0,Yv,vm,Yvm,0")))]
27853 : 1327 : "TARGET_SSE"
27854 : 1327 : "@
27855 : 1327 : punpcklqdq\t%0, %0
27856 : 1327 : vpunpcklqdq\t{%d1, %0|%0, %d1}
27857 : 6342 : * return TARGET_AVX512VL ? \"vpbroadcastq\t{%1, %0|%0, %1}\" : \"vpbroadcastq\t{%1, %g0|%g0, %1}\";
27858 : 6342 : %vmovddup\t{%1, %0|%0, %1}
27859 : 6342 : movlhps\t%0, %0"
27860 : 1327 : [(set_attr "isa" "sse2_noavx,avx,avx512f,sse3,noavx")
27861 : 6251 : (set_attr "type" "sselog1,sselog1,ssemov,sselog1,ssemov")
27862 : 1327 : (set_attr "prefix" "orig,maybe_evex,evex,maybe_vex,orig")
27863 : 6191 : (set (attr "mode")
27864 : 4864 : (cond [(and (eq_attr "alternative" "2")
27865 : 441 : (match_test "!TARGET_AVX512VL"))
27866 : 4864 : (const_string "XI")
27867 : : (eq_attr "alternative" "3")
27868 : : (const_string "DF")
27869 : : (eq_attr "alternative" "4")
27870 : : (const_string "V4SF")
27871 : : ]
27872 : : (const_string "TI")))
27873 : : (set (attr "enabled")
27874 : : (if_then_else
27875 : : (eq_attr "alternative" "2")
27876 : 8890 : (symbol_ref "TARGET_AVX512VL
27877 : 8890 : || (TARGET_AVX512F && TARGET_EVEX512
27878 : 8908 : && !TARGET_PREFER_AVX256)")
27879 : : (const_string "*")))])
27880 : :
27881 : : (define_insn "avx2_vbroadcasti128_<mode>"
27882 : 35560 : [(set (match_operand:VI_256 0 "register_operand" "=x,v,v")
27883 : : (vec_concat:VI_256
27884 : 8890 : (match_operand:<ssehalfvecmode> 1 "memory_operand" "m,m,m")
27885 : 3489 : (match_dup 1)))]
27886 : 2 : "TARGET_AVX2"
27887 : 3489 : "@
27888 : 3941 : vbroadcasti128\t{%1, %0|%0, %1}
27889 : 3980 : vbroadcast<i128vldq>\t{%1, %0|%0, %1}
27890 : 24391 : vbroadcast<shuffletype>32x4\t{%1, %0|%0, %1}"
27891 : 24352 : [(set_attr "isa" "*,avx512dq,avx512vl")
27892 : : (set_attr "type" "ssemov")
27893 : 3227 : (set_attr "prefix_extra" "1")
27894 : 24352 : (set_attr "prefix" "vex,evex,evex")
27895 : : (set_attr "mode" "OI")])
27896 : :
27897 : : ;; optimize vlddqu + vinserti128 to vbroadcasti128, the former will use
27898 : : ;; extra shuffle port in addition to load port than the latter.
27899 : : ;; For latency perspective,vbroadcasti is no worse.
27900 : : (define_insn_and_split "avx2_lddqu_inserti_to_bcasti"
27901 : : [(set (match_operand:V4DI 0 "register_operand" "=x,v,v")
27902 : : (vec_concat:V4DI
27903 : : (subreg:V2DI
27904 : : (unspec:V16QI [(match_operand:V16QI 1 "memory_operand")]
27905 : : UNSPEC_LDDQU) 0)
27906 : : (subreg:V2DI (unspec:V16QI [(match_dup 1)]
27907 : 63436 : UNSPEC_LDDQU) 0)))]
27908 : 2 : "TARGET_AVX2 && ix86_pre_reload_split ()"
27909 : 63436 : "#"
27910 : : "&& 1"
27911 : 0 : [(set (match_dup 0)
27912 : 6940 : (vec_concat:V4DI (match_dup 1) (match_dup 1)))]
27913 : 6574 : "operands[1] = adjust_address_nv (operands[1], V2DImode, 0);")
27914 : 21190 :
27915 : 27596 : ;; Modes handled by AVX vec_dup patterns.
27916 : 6315 : (define_mode_iterator AVX_VEC_DUP_MODE
27917 : 67 : [V8SI V8SF V4DI V4DF])
27918 : 67 : (define_mode_attr vecdupssescalarmodesuffix
27919 : 67 : [(V8SF "ss") (V4DF "sd") (V8SI "ss") (V4DI "sd")])
27920 : 1 : ;; Modes handled by AVX2 vec_dup patterns.
27921 : 22 : (define_mode_iterator AVX2_VEC_DUP_MODE
27922 : 22 : [V32QI V16QI V16HI V8HI V8SI V4SI V16HF V8HF V16BF V8BF])
27923 : :
27924 : 1 : (define_insn "*vec_dup<mode>"
27925 : 1 : [(set (match_operand:AVX2_VEC_DUP_MODE 0 "register_operand" "=x,x,v")
27926 : 23 : (vec_duplicate:AVX2_VEC_DUP_MODE
27927 : : (match_operand:<ssescalarmode> 1 "nonimmediate_operand" "m,x,$r")))]
27928 : : "TARGET_AVX2"
27929 : : "@
27930 : 6834 : v<sseintprefix>broadcast<bcstscalarsuff>\t{%1, %0|%0, %1}
27931 : : v<sseintprefix>broadcast<bcstscalarsuff>\t{%x1, %0|%0, %x1}
27932 : 34632 : #"
27933 : 34632 : [(set_attr "isa" "*,*,noavx512vl")
27934 : 34584 : (set_attr "type" "ssemov")
27935 : 17269 : (set_attr "prefix_extra" "1")
27936 : 26502 : (set_attr "prefix" "maybe_evex")
27937 : 8143 : (set_attr "mode" "<sseinsnmode>")
27938 : 24711 : (set (attr "preferred_for_speed")
27939 : 24711 : (cond [(eq_attr "alternative" "2")
27940 : 42871568 : (symbol_ref "TARGET_INTER_UNIT_MOVES_TO_VEC")
27941 : 24696 : ]
27942 : : (symbol_ref "true")))])
27943 : :
27944 : : (define_insn "vec_dup<mode>"
27945 : : [(set (match_operand:AVX_VEC_DUP_MODE 0 "register_operand" "=x,x,x,v,x")
27946 : : (vec_duplicate:AVX_VEC_DUP_MODE
27947 : : (match_operand:<ssescalarmode> 1 "nonimmediate_operand" "m,m,x,v,?x")))]
27948 : 120964063 : "TARGET_AVX"
27949 : 109037883 : "@
27950 : 112915752 : v<sseintprefix>broadcast<bcstscalarsuff>\t{%1, %0|%0, %1}
27951 : 3877869 : vbroadcast<vecdupssescalarmodesuffix>\t{%1, %0|%0, %1}
27952 : 15510909 : v<sseintprefix>broadcast<bcstscalarsuff>\t{%x1, %0|%0, %x1}
27953 : 397328 : v<sseintprefix>broadcast<bcstscalarsuff>\t{%x1, %g0|%g0, %x1}
27954 : 7958246 : #"
27955 : 8002880 : [(set_attr "type" "ssemov")
27956 : : (set_attr "prefix_extra" "1")
27957 : 860396 : (set_attr "prefix" "maybe_evex")
27958 : : (set_attr "isa" "avx2,noavx2,avx2,avx512f_512,noavx2")
27959 : : (set_attr "mode" "<sseinsnmode>,V8SF,<sseinsnmode>,<sseinsnmode>,V8SF")])
27960 : 238875001 :
27961 : : (define_split
27962 : 238875001 : [(set (match_operand:AVX2_VEC_DUP_MODE 0 "register_operand")
27963 : : (vec_duplicate:AVX2_VEC_DUP_MODE
27964 : 0 : (match_operand:<ssescalarmode> 1 "register_operand")))]
27965 : 153 : "TARGET_AVX2
27966 : 0 : /* Disable this splitter if avx512vl_vec_dup_gprv*[qhs]i insn is
27967 : 0 : available, because then we can broadcast from GPRs directly.
27968 : : For V*[QH]I modes it requires both -mavx512vl and -mavx512bw,
27969 : : for V*SI mode it requires just -mavx512vl. */
27970 : 725 : && !(TARGET_AVX512VL
27971 : : && (TARGET_AVX512BW || <ssescalarmode>mode == SImode))
27972 : 3181 : && reload_completed && GENERAL_REG_P (operands[1])"
27973 : 64500 : [(const_int 0)]
27974 : 1044 : {
27975 : 858 : emit_insn (gen_vec_setv4si_0 (gen_lowpart (V4SImode, operands[0]),
27976 : 4391 : CONST0_RTX (V4SImode),
27977 : 5249 : gen_lowpart (SImode, operands[1])));
27978 : 5249 : emit_insn (gen_avx2_pbroadcast<mode> (operands[0],
27979 : 8792 : gen_lowpart (<ssexmmmode>mode,
27980 : 1644 : operands[0])));
27981 : 4374 : DONE;
27982 : : })
27983 : :
27984 : : (define_split
27985 : : [(set (match_operand:AVX_VEC_DUP_MODE 0 "register_operand")
27986 : : (vec_duplicate:AVX_VEC_DUP_MODE
27987 : : (match_operand:<ssescalarmode> 1 "register_operand")))]
27988 : 3096 : "TARGET_AVX && !TARGET_AVX2 && reload_completed"
27989 : 1065 : [(set (match_dup 2)
27990 : 29 : (vec_duplicate:<ssehalfvecmode> (match_dup 1)))
27991 : : (set (match_dup 0)
27992 : 64105 : (vec_concat:AVX_VEC_DUP_MODE (match_dup 2) (match_dup 2)))]
27993 : 64207 : "operands[2] = gen_lowpart (<ssehalfvecmode>mode, operands[0]);")
27994 : 64132 :
27995 : 64105 : (define_insn "avx_vbroadcastf128_<mode>"
27996 : 128685 : [(set (match_operand:V_256 0 "register_operand" "=x,x,x,v,v,v,v")
27997 : 56 : (vec_concat:V_256
27998 : 56 : (match_operand:<ssehalfvecmode> 1 "nonimmediate_operand" "jm,0,?x,m,0,m,0")
27999 : 105 : (match_dup 1)))]
28000 : 11986 : "TARGET_AVX"
28001 : 75 : "@
28002 : 184587985 : vbroadcast<i128>\t{%1, %0|%0, %1}
28003 : 6128 : vinsert<i128>\t{$1, %1, %0, %0|%0, %0, %1, 1}
28004 : 184609299 : vperm2<i128>\t{$0, %t1, %t1, %0|%0, %t1, %t1, 0}
28005 : 184603273 : vbroadcast<i128vldq>\t{%1, %0|%0, %1}
28006 : 184636496 : vinsert<i128vldq>\t{$1, %1, %0, %0|%0, %0, %1, 1}
28007 : 184636178 : vbroadcast<shuffletype>32x4\t{%1, %0|%0, %1}
28008 : 184706252 : vinsert<shuffletype>32x4\t{$1, %1, %0, %0|%0, %0, %1, 1}"
28009 : 184582631 : [(set_attr "isa" "noavx512vl,*,*,avx512dq,avx512dq,avx512vl,avx512vl")
28010 : 184588933 : (set_attr "type" "ssemov,sselog1,sselog1,ssemov,sselog1,ssemov,sselog1")
28011 : 184582516 : (set (attr "addr")
28012 : 623996 : (if_then_else (eq_attr "alternative" "0")
28013 : 185181957 : (const_string "gpr16")
28014 : : (const_string "*")))
28015 : 1850214 : (set_attr "prefix_extra" "1")
28016 : 1850262 : (set_attr "length_immediate" "0,1,1,0,1,0,1")
28017 : : (set_attr "prefix" "vex,vex,vex,evex,evex,evex,evex")
28018 : 458732 : (set_attr "mode" "<sseinsnmode>")])
28019 : 508981 :
28020 : : ;; For broadcast[i|f]32x2. Yes there is no v4sf version, only v4si.
28021 : 898938 : (define_mode_iterator VI4F_BRCST32x2
28022 : 899247 : [(V16SI "TARGET_EVEX512") (V8SI "TARGET_AVX512VL") (V4SI "TARGET_AVX512VL")
28023 : 334 : (V16SF "TARGET_EVEX512") (V8SF "TARGET_AVX512VL")])
28024 : 1345774 :
28025 : 1345774 : (define_mode_attr 64x2mode
28026 : 1346682 : [(V8DF "V2DF") (V8DI "V2DI") (V4DI "V2DI") (V4DF "V2DF")])
28027 : 1346682 :
28028 : 1346121 : (define_mode_attr 32x2mode
28029 : 48 : [(V16SF "V2SF") (V16SI "V2SI") (V8SI "V2SI")
28030 : 8894759 : (V8SF "V2SF") (V4SI "V2SI")])
28031 : 8895084 :
28032 : 8895256 : (define_insn "<mask_codefor>avx512dq_broadcast<mode><mask_name>"
28033 : 280 : [(set (match_operand:VI4F_BRCST32x2 0 "register_operand" "=v")
28034 : 3171 : (vec_duplicate:VI4F_BRCST32x2
28035 : : (vec_select:<32x2mode>
28036 : 1 : (match_operand:<ssexmmmode> 1 "nonimmediate_operand" "vm")
28037 : 14070 : (parallel [(const_int 0) (const_int 1)]))))]
28038 : 547 : "TARGET_AVX512DQ"
28039 : : "vbroadcast<shuffletype>32x2\t{%1, %0<mask_operand2>|%0<mask_operand2>, %q1}"
28040 : : [(set_attr "type" "ssemov")
28041 : 14068 : (set_attr "prefix_extra" "1")
28042 : 14068 : (set_attr "prefix" "evex")
28043 : 14068 : (set_attr "mode" "<sseinsnmode>")])
28044 : 14068 :
28045 : 14068 : (define_insn "<mask_codefor>avx512vl_broadcast<mode><mask_name>_1"
28046 : 8983 : [(set (match_operand:VI4F_256 0 "register_operand" "=v,v")
28047 : 9014 : (vec_duplicate:VI4F_256
28048 : 31 : (match_operand:<ssexmmmode> 1 "nonimmediate_operand" "v,m")))]
28049 : 7680 : "TARGET_AVX512VL"
28050 : 7562 : "@
28051 : 7593 : vshuf<shuffletype>32x4\t{$0x0, %t1, %t1, %0<mask_operand2>|%0<mask_operand2>, %t1, %t1, 0x0}
28052 : 7562 : vbroadcast<shuffletype>32x4\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
28053 : 7562 : [(set_attr "type" "ssemov")
28054 : : (set_attr "prefix_extra" "1")
28055 : 0 : (set_attr "prefix" "evex")
28056 : 0 : (set_attr "mode" "<sseinsnmode>")])
28057 : 301031 :
28058 : 301031 : (define_insn "<mask_codefor>avx512dq_broadcast<mode><mask_name>_1"
28059 : 294369 : [(set (match_operand:V16FI 0 "register_operand" "=v,v")
28060 : 595207 : (vec_duplicate:V16FI
28061 : 6567 : (match_operand:<ssehalfvecmode> 1 "nonimmediate_operand" "v,m")))]
28062 : 295017 : "TARGET_AVX512DQ"
28063 : : "@
28064 : : vshuf<shuffletype>32x4\t{$0x44, %g1, %g1, %0<mask_operand2>|%0<mask_operand2>, %g1, %g1, 0x44}
28065 : : vbroadcast<shuffletype>32x8\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
28066 : : [(set_attr "type" "ssemov")
28067 : : (set_attr "length_immediate" "1,*")
28068 : : (set_attr "prefix" "evex")
28069 : : (set_attr "mode" "<sseinsnmode>")])
28070 : :
28071 : : ;; For broadcast[i|f]64x2
28072 : : (define_mode_iterator VI8F_BRCST64x2
28073 : 647 : [(V8DI "TARGET_EVEX512") (V8DF "TARGET_EVEX512")
28074 : : (V4DI "TARGET_AVX512VL") (V4DF "TARGET_AVX512VL")])
28075 : :
28076 : : (define_insn "<mask_codefor>avx512dq_broadcast<mode><mask_name>_1"
28077 : : [(set (match_operand:VI8F_BRCST64x2 0 "register_operand" "=v,v")
28078 : : (vec_duplicate:VI8F_BRCST64x2
28079 : : (match_operand:<64x2mode> 1 "nonimmediate_operand" "v,m")))]
28080 : 647 : "TARGET_AVX512DQ"
28081 : 3597 : "@
28082 : 3597 : vshuf<shuffletype>64x2\t{$0x0, %<xtg_mode>1, %<xtg_mode>1, %0<mask_operand2>|%0<mask_operand2>, %<xtg_mode>1, %<xtg_mode>1, 0x0}
28083 : 1091920 : vbroadcast<shuffletype>64x2\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
28084 : 810023 : [(set_attr "type" "ssemov")
28085 : 1901685 : (set_attr "length_immediate" "1")
28086 : 280374 : (set_attr "prefix" "evex")
28087 : 810168 : (set_attr "mode" "<sseinsnmode>")])
28088 : 300 :
28089 : 300 : ;; Use unspec to prevent rtl optimizer to optimize zero_extend + vec_duplicate
28090 : 460 : ;; to pbroadcastm, there could be an extra kmov after RA.
28091 : 222 : (define_insn "avx512cd_maskb_vec_dup<mode>"
28092 : 3502 : [(set (match_operand:VI8_AVX512VL 0 "register_operand" "=v")
28093 : 110 : (vec_duplicate:VI8_AVX512VL
28094 : 110 : (zero_extend:DI
28095 : : (match_operand:QI 1 "register_operand" "k"))))
28096 : 3502 : (unspec [(const_int 0)] UNSPEC_MASKOP)]
28097 : 3617 : "TARGET_AVX512CD"
28098 : 3555 : "vpbroadcastmb2q\t{%1, %0|%0, %1}"
28099 : 3502 : [(set_attr "type" "mskmov")
28100 : 3502 : (set_attr "prefix" "evex")
28101 : 3502 : (set_attr "mode" "XI")])
28102 : 3502 :
28103 : 3502 : (define_insn "avx512cd_maskw_vec_dup<mode>"
28104 : 3502 : [(set (match_operand:VI4_AVX512VL 0 "register_operand" "=v")
28105 : 3502 : (vec_duplicate:VI4_AVX512VL
28106 : : (zero_extend:SI
28107 : 3502 : (match_operand:HI 1 "register_operand" "k"))))
28108 : 3502 : (unspec [(const_int 0)] UNSPEC_MASKOP)]
28109 : 3564 : "TARGET_AVX512CD"
28110 : 0 : "vpbroadcastmw2d\t{%1, %0|%0, %1}"
28111 : 3502 : [(set_attr "type" "mskmov")
28112 : 3502 : (set_attr "prefix" "evex")
28113 : : (set_attr "mode" "XI")])
28114 : 3502 :
28115 : 3502 : (define_insn "<sse2_avx_avx512f>_vpermilvar<mode>3<mask_name>"
28116 : : [(set (match_operand:VF 0 "register_operand" "=v")
28117 : 3502 : (unspec:VF
28118 : 3502 : [(match_operand:VF 1 "register_operand" "v")
28119 : : (match_operand:<sseintvecmode> 2 "nonimmediate_operand" "vm")]
28120 : 3502 : UNSPEC_VPERMIL))]
28121 : 4437 : "TARGET_AVX && <mask_mode512bit_condition>"
28122 : : "vpermil<ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
28123 : 3502 : [(set_attr "type" "sselog")
28124 : 3502 : (set_attr "prefix_extra" "1")
28125 : 352 : (set_attr "btver2_decode" "vector")
28126 : 3462 : (set_attr "prefix" "<mask_prefix>")
28127 : 3110 : (set_attr "mode" "<sseinsnmode>")])
28128 : :
28129 : 568 : (define_mode_iterator VPERMI2
28130 : 2479 : [(V16SI "TARGET_EVEX512") (V16SF "TARGET_EVEX512")
28131 : 7637 : (V8DI "TARGET_EVEX512") (V8DF "TARGET_EVEX512")
28132 : 494 : (V8SI "TARGET_AVX512VL") (V8SF "TARGET_AVX512VL")
28133 : 494 : (V4DI "TARGET_AVX512VL") (V4DF "TARGET_AVX512VL")
28134 : 8183 : (V4SI "TARGET_AVX512VL") (V4SF "TARGET_AVX512VL")
28135 : 7195 : (V2DI "TARGET_AVX512VL") (V2DF "TARGET_AVX512VL")
28136 : 10428 : (V32HI "TARGET_AVX512BW && TARGET_EVEX512")
28137 : 2303 : (V16HI "TARGET_AVX512BW && TARGET_AVX512VL")
28138 : 14541 : (V8HI "TARGET_AVX512BW && TARGET_AVX512VL")
28139 : 15860 : (V64QI "TARGET_AVX512VBMI && TARGET_EVEX512")
28140 : 5082 : (V32QI "TARGET_AVX512VBMI && TARGET_AVX512VL")
28141 : 2716 : (V16QI "TARGET_AVX512VBMI && TARGET_AVX512VL")])
28142 : 7129 :
28143 : 3628 : (define_mode_iterator VPERMI2I
28144 : 2004 : [(V16SI "TARGET_EVEX512") (V8DI "TARGET_EVEX512")
28145 : 2439 : (V8SI "TARGET_AVX512VL") (V4SI "TARGET_AVX512VL")
28146 : 2314 : (V4DI "TARGET_AVX512VL") (V2DI "TARGET_AVX512VL")
28147 : 2040 : (V32HI "TARGET_AVX512BW && TARGET_EVEX512")
28148 : 1577 : (V16HI "TARGET_AVX512BW && TARGET_AVX512VL")
28149 : 2276 : (V8HI "TARGET_AVX512BW && TARGET_AVX512VL")
28150 : 4626 : (V64QI "TARGET_AVX512VBMI && TARGET_EVEX512")
28151 : 2471 : (V32QI "TARGET_AVX512VBMI && TARGET_AVX512VL")
28152 : 2326 : (V16QI "TARGET_AVX512VBMI && TARGET_AVX512VL")])
28153 : 4414 :
28154 : 1419 : (define_expand "<avx512>_vpermi2var<mode>3_mask"
28155 : 1418 : [(set (match_operand:VPERMI2 0 "register_operand")
28156 : 1040 : (vec_merge:VPERMI2
28157 : 1631 : (unspec:VPERMI2
28158 : 291 : [(match_operand:<sseintvecmode> 2 "register_operand")
28159 : 1228 : (match_operand:VPERMI2 1 "register_operand")
28160 : : (match_operand:VPERMI2 3 "nonimmediate_operand")]
28161 : 136 : UNSPEC_VPERMT2)
28162 : 136 : (match_dup 5)
28163 : : (match_operand:<avx512fmaskmode> 4 "register_operand")))]
28164 : : "TARGET_AVX512F"
28165 : 250 : {
28166 : 257 : operands[2] = force_reg (<sseintvecmode>mode, operands[2]);
28167 : 250 : operands[5] = gen_lowpart (<MODE>mode, operands[2]);
28168 : : })
28169 : :
28170 : : (define_insn "*<avx512>_vpermi2var<mode>3_mask"
28171 : 250 : [(set (match_operand:VPERMI2I 0 "register_operand" "=v")
28172 : 250 : (vec_merge:VPERMI2I
28173 : 250 : (unspec:VPERMI2I
28174 : 250 : [(match_operand:<sseintvecmode> 2 "register_operand" "0")
28175 : 250 : (match_operand:VPERMI2I 1 "register_operand" "v")
28176 : 250 : (match_operand:VPERMI2I 3 "nonimmediate_operand" "vm")]
28177 : 250 : UNSPEC_VPERMT2)
28178 : 250 : (match_dup 2)
28179 : 250 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
28180 : 1864 : "TARGET_AVX512F"
28181 : 250 : "vpermi2<ssemodesuffix>\t{%3, %1, %0%{%4%}|%0%{%4%}, %1, %3}"
28182 : 250 : [(set_attr "type" "sselog")
28183 : : (set_attr "prefix" "evex")
28184 : 250 : (set_attr "mode" "<sseinsnmode>")])
28185 : :
28186 : : (define_insn "*<avx512>_vpermi2var<mode>3_mask"
28187 : : [(set (match_operand:VF_AVX512VL 0 "register_operand" "=v")
28188 : : (vec_merge:VF_AVX512VL
28189 : : (unspec:VF_AVX512VL
28190 : : [(match_operand:<sseintvecmode> 2 "register_operand" "0")
28191 : : (match_operand:VF_AVX512VL 1 "register_operand" "v")
28192 : : (match_operand:VF_AVX512VL 3 "nonimmediate_operand" "vm")]
28193 : : UNSPEC_VPERMT2)
28194 : 250 : (subreg:VF_AVX512VL (match_dup 2) 0)
28195 : 250 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
28196 : 869 : "TARGET_AVX512F"
28197 : : "vpermi2<ssemodesuffix>\t{%3, %1, %0%{%4%}|%0%{%4%}, %1, %3}"
28198 : : [(set_attr "type" "sselog")
28199 : : (set_attr "prefix" "evex")
28200 : : (set_attr "mode" "<sseinsnmode>")])
28201 : 249 :
28202 : : (define_expand "<avx512>_vpermt2var<mode>3_maskz"
28203 : : [(match_operand:VPERMI2 0 "register_operand")
28204 : : (match_operand:<sseintvecmode> 1 "register_operand")
28205 : : (match_operand:VPERMI2 2 "register_operand")
28206 : : (match_operand:VPERMI2 3 "nonimmediate_operand")
28207 : 249 : (match_operand:<avx512fmaskmode> 4 "register_operand")]
28208 : 120 : "TARGET_AVX512F"
28209 : 177 : {
28210 : 216 : emit_insn (gen_<avx512>_vpermt2var<mode>3_maskz_1 (
28211 : 249 : operands[0], operands[1], operands[2], operands[3],
28212 : 249 : CONST0_RTX (<MODE>mode), operands[4]));
28213 : 216 : DONE;
28214 : 249 : })
28215 : 120 :
28216 : 129 : (define_insn "<avx512>_vpermt2var<mode>3<sd_maskz_name>"
28217 : : [(set (match_operand:VPERMI2 0 "register_operand" "=v,v")
28218 : : (unspec:VPERMI2
28219 : : [(match_operand:<sseintvecmode> 1 "register_operand" "v,0")
28220 : : (match_operand:VPERMI2 2 "register_operand" "0,v")
28221 : : (match_operand:VPERMI2 3 "nonimmediate_operand" "vm,vm")]
28222 : : UNSPEC_VPERMT2))]
28223 : 17365 : "TARGET_AVX512F"
28224 : : "@
28225 : : vpermt2<ssemodesuffix>\t{%3, %1, %0<sd_mask_op4>|%0<sd_mask_op4>, %1, %3}
28226 : : vpermi2<ssemodesuffix>\t{%3, %2, %0<sd_mask_op4>|%0<sd_mask_op4>, %2, %3}"
28227 : : [(set_attr "type" "sselog")
28228 : : (set_attr "prefix" "evex")
28229 : : (set_attr "mode" "<sseinsnmode>")])
28230 : :
28231 : : (define_insn "<avx512>_vpermt2var<mode>3<sd_maskz_name>"
28232 : : [(set (match_operand:VHFBF_AVX512VL 0 "register_operand" "=v,v")
28233 : : (unspec:VHFBF_AVX512VL
28234 : : [(match_operand:<sseintvecmode> 1 "register_operand" "v,0")
28235 : : (match_operand:VHFBF_AVX512VL 2 "register_operand" "0,v")
28236 : : (match_operand:VHFBF_AVX512VL 3 "nonimmediate_operand" "vm,vm")]
28237 : : UNSPEC_VPERMT2))]
28238 : 0 : "TARGET_AVX512BW"
28239 : : "@
28240 : 758 : vpermt2w\t{%3, %1, %0<sd_mask_op4>|%0<sd_mask_op4>, %1, %3}
28241 : : vpermi2w\t{%3, %2, %0<sd_mask_op4>|%0<sd_mask_op4>, %2, %3}"
28242 : : [(set_attr "type" "sselog")
28243 : : (set_attr "prefix" "evex")
28244 : : (set_attr "mode" "<sseinsnmode>")])
28245 : 566 :
28246 : 614 : (define_insn "<avx512>_vpermt2var<mode>3_mask"
28247 : 527 : [(set (match_operand:VPERMI2 0 "register_operand" "=v")
28248 : 710 : (vec_merge:VPERMI2
28249 : 758 : (unspec:VPERMI2
28250 : 758 : [(match_operand:<sseintvecmode> 1 "register_operand" "v")
28251 : 758 : (match_operand:VPERMI2 2 "register_operand" "0")
28252 : 758 : (match_operand:VPERMI2 3 "nonimmediate_operand" "vm")]
28253 : 192 : UNSPEC_VPERMT2)
28254 : 96 : (match_dup 2)
28255 : 96 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
28256 : 1844 : "TARGET_AVX512F"
28257 : : "vpermt2<ssemodesuffix>\t{%3, %1, %0%{%4%}|%0%{%4%}, %1, %3}"
28258 : : [(set_attr "type" "sselog")
28259 : : (set_attr "prefix" "evex")
28260 : : (set_attr "mode" "<sseinsnmode>")])
28261 : :
28262 : : (define_expand "avx_vperm2f128<mode>3"
28263 : : [(set (match_operand:AVX256MODE2P 0 "register_operand")
28264 : : (unspec:AVX256MODE2P
28265 : : [(match_operand:AVX256MODE2P 1 "register_operand")
28266 : : (match_operand:AVX256MODE2P 2 "nonimmediate_operand")
28267 : : (match_operand:SI 3 "const_0_to_255_operand")]
28268 : : UNSPEC_VPERMIL2F128))]
28269 : : "TARGET_AVX"
28270 : 456 : {
28271 : 456 : int mask = INTVAL (operands[3]);
28272 : 456 : if ((mask & 0x88) == 0)
28273 : : {
28274 : 450 : rtx perm[<ssescalarnum>], t1, t2;
28275 : 450 : int i, base, nelt = <ssescalarnum>, nelt2 = nelt / 2;
28276 : :
28277 : 450 : base = (mask & 3) * nelt2;
28278 : 2204 : for (i = 0; i < nelt2; ++i)
28279 : 1754 : perm[i] = GEN_INT (base + i);
28280 : :
28281 : 450 : base = ((mask >> 4) & 3) * nelt2;
28282 : 2204 : for (i = 0; i < nelt2; ++i)
28283 : 1754 : perm[i + nelt2] = GEN_INT (base + i);
28284 : :
28285 : 450 : t2 = gen_rtx_VEC_CONCAT (<ssedoublevecmode>mode,
28286 : : operands[1], operands[2]);
28287 : 450 : t1 = gen_rtx_PARALLEL (VOIDmode, gen_rtvec_v (nelt, perm));
28288 : 450 : t2 = gen_rtx_VEC_SELECT (<MODE>mode, t2, t1);
28289 : 450 : t2 = gen_rtx_SET (operands[0], t2);
28290 : 450 : emit_insn (t2);
28291 : 450 : DONE;
28292 : : }
28293 : : })
28294 : :
28295 : : ;; Note that bits 7 and 3 of the imm8 allow lanes to be zeroed, which
28296 : 6 : ;; means that in order to represent this properly in rtl we'd have to
28297 : 6 : ;; nest *another* vec_concat with a zero operand and do the select from
28298 : 6 : ;; a 4x wide vector. That doesn't seem very nice.
28299 : 6 : (define_insn "*avx_vperm2f128<mode>_full"
28300 : 6 : [(set (match_operand:AVX256MODE2P 0 "register_operand" "=x")
28301 : 6 : (unspec:AVX256MODE2P
28302 : 6 : [(match_operand:AVX256MODE2P 1 "register_operand" "x")
28303 : 6 : (match_operand:AVX256MODE2P 2 "nonimmediate_operand" "xjm")
28304 : : (match_operand:SI 3 "const_0_to_255_operand")]
28305 : 6 : UNSPEC_VPERMIL2F128))]
28306 : 7 : "TARGET_AVX"
28307 : : "vperm2<i128>\t{%3, %2, %1, %0|%0, %1, %2, %3}"
28308 : : [(set_attr "type" "sselog")
28309 : : (set_attr "addr" "gpr16")
28310 : 38 : (set_attr "prefix_extra" "1")
28311 : 38 : (set_attr "length_immediate" "1")
28312 : 6 : (set_attr "prefix" "vex")
28313 : 44 : (set_attr "mode" "<sseinsnmode>")])
28314 : 5944 :
28315 : 5938 : (define_insn "*avx_vperm2f128<mode>_nozero"
28316 : : [(set (match_operand:AVX256MODE2P 0 "register_operand" "=x")
28317 : 4193 : (vec_select:AVX256MODE2P
28318 : 4193 : (vec_concat:<ssedoublevecmode>
28319 : 147 : (match_operand:AVX256MODE2P 1 "register_operand" "x")
28320 : 1816 : (match_operand:AVX256MODE2P 2 "nonimmediate_operand" "xjm"))
28321 : 1816 : (match_parallel 3 ""
28322 : : [(match_operand 4 "const_int_operand")])))]
28323 : 14930 : "TARGET_AVX
28324 : 65349 : && avx_vperm2f128_parallel (operands[3], <MODE>mode)"
28325 : 42451 : {
28326 : 3011 : int mask = avx_vperm2f128_parallel (operands[3], <MODE>mode) - 1;
28327 : 1761 : if ((mask & 0xbb) == 0x12)
28328 : 51307 : return "vblendps\t{$15, %2, %1, %0|%0, %1, %2, 15}";
28329 : 52744 : if ((mask & 0xbb) == 0x30)
28330 : 340 : return "vblendps\t{$240, %2, %1, %0|%0, %1, %2, 240}";
28331 : 1584 : if ((mask & 0xbb) == 0x20)
28332 : 101625 : return "vinsert<i128>\t{$1, %x2, %1, %0|%0, %1, %x2, 1}";
28333 : 64299 : operands[3] = GEN_INT (mask);
28334 : 64299 : return "vperm2<i128>\t{%3, %2, %1, %0|%0, %1, %2, %3}";
28335 : 63633 : }
28336 : 193 : [(set_attr "type" "sselog")
28337 : 238 : (set_attr "addr" "gpr16")
28338 : 238 : (set_attr "prefix_extra" "1")
28339 : 1131 : (set_attr "length_immediate" "1")
28340 : 193 : (set_attr "prefix" "vex")
28341 : : (set_attr "mode" "<sseinsnmode>")])
28342 : 63 :
28343 : 63 : (define_insn "*ssse3_palignr<mode>_perm"
28344 : : [(set (match_operand:V_128 0 "register_operand" "=x,Yw")
28345 : : (vec_select:V_128
28346 : 63 : (match_operand:V_128 1 "register_operand" "0,Yw")
28347 : : (match_parallel 2 "palignr_operand"
28348 : : [(match_operand 3 "const_int_operand")])))]
28349 : 1217 : "TARGET_SSSE3"
28350 : 6711 : {
28351 : 135 : operands[2] = (GEN_INT (INTVAL (operands[3])
28352 : : * GET_MODE_UNIT_SIZE (GET_MODE (operands[0]))));
28353 : 77012 :
28354 : 77144 : switch (which_alternative)
28355 : 10060 : {
28356 : 87072 : case 0:
28357 : 940 : return "palignr\t{%2, %1, %0|%0, %1, %2}";
28358 : 9230 : case 1:
28359 : 9230 : return "vpalignr\t{%2, %1, %1, %0|%0, %1, %1, %2}";
28360 : 0 : default:
28361 : 0 : gcc_unreachable ();
28362 : : }
28363 : 8136 : }
28364 : 8136 : [(set_attr "isa" "noavx,avx")
28365 : 8136 : (set_attr "type" "sseishft")
28366 : 8136 : (set_attr "atom_unit" "sishuf")
28367 : 8281 : (set_attr "prefix_data16" "1,*")
28368 : 8136 : (set_attr "prefix_extra" "1")
28369 : 8136 : (set_attr "length_immediate" "1")
28370 : : (set_attr "prefix" "orig,maybe_evex")])
28371 : 4519 :
28372 : 4519 : (define_expand "avx512vl_vinsert<mode>"
28373 : 4519 : [(match_operand:VI48F_256 0 "register_operand")
28374 : 4519 : (match_operand:VI48F_256 1 "register_operand")
28375 : 4519 : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand")
28376 : : (match_operand:SI 3 "const_0_to_1_operand")
28377 : 0 : (match_operand:VI48F_256 4 "register_operand")
28378 : 0 : (match_operand:<avx512fmaskmode> 5 "register_operand")]
28379 : : "TARGET_AVX512VL"
28380 : 96 : {
28381 : 96 : rtx (*insn)(rtx, rtx, rtx, rtx, rtx);
28382 : :
28383 : 96 : switch (INTVAL (operands[3]))
28384 : : {
28385 : : case 0:
28386 : : insn = gen_vec_set_lo_<mode>_mask;
28387 : : break;
28388 : 96 : case 1:
28389 : 96 : insn = gen_vec_set_hi_<mode>_mask;
28390 : 96 : break;
28391 : 0 : default:
28392 : 0 : gcc_unreachable ();
28393 : : }
28394 : :
28395 : 96 : emit_insn (insn (operands[0], operands[1], operands[2], operands[4],
28396 : : operands[5]));
28397 : 96 : DONE;
28398 : : })
28399 : :
28400 : : (define_expand "avx_vinsertf128<mode>"
28401 : : [(match_operand:V_256 0 "register_operand")
28402 : : (match_operand:V_256 1 "register_operand")
28403 : : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand")
28404 : : (match_operand:SI 3 "const_0_to_1_operand")]
28405 : : "TARGET_AVX"
28406 : 257 : {
28407 : 257 : rtx (*insn)(rtx, rtx, rtx);
28408 : :
28409 : 257 : switch (INTVAL (operands[3]))
28410 : : {
28411 : : case 0:
28412 : : insn = gen_vec_set_lo_<mode>;
28413 : : break;
28414 : 213 : case 1:
28415 : 213 : insn = gen_vec_set_hi_<mode>;
28416 : 213 : break;
28417 : 0 : default:
28418 : 0 : gcc_unreachable ();
28419 : : }
28420 : :
28421 : 257 : emit_insn (insn (operands[0], operands[1], operands[2]));
28422 : 257 : DONE;
28423 : : })
28424 : :
28425 : : (define_insn "vec_set_lo_<mode><mask_name>"
28426 : : [(set (match_operand:VI8F_256 0 "register_operand" "=x,v")
28427 : 20 : (vec_concat:VI8F_256
28428 : : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand" "xjm,vm")
28429 : : (vec_select:<ssehalfvecmode>
28430 : : (match_operand:VI8F_256 1 "register_operand" "x,v")
28431 : 20 : (parallel [(const_int 2) (const_int 3)]))))]
28432 : 88 : "TARGET_AVX && <mask_avx512dq_condition>"
28433 : 22 : {
28434 : 16 : if (TARGET_AVX512DQ)
28435 : 0 : return "vinsert<shuffletype>64x2\t{$0x0, %2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2, 0x0}";
28436 : 53 : else if (TARGET_AVX512VL)
28437 : 41 : return "vinsert<shuffletype>32x4\t{$0x0, %2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2, 0x0}";
28438 : 122 : else
28439 : 10 : return "vinsert<i128>\t{$0x0, %2, %1, %0|%0, %1, %2, 0x0}";
28440 : 41 : }
28441 : 2394 : [(set_attr "isa" "noavx512vl,avx512vl")
28442 : 2284 : (set_attr "addr" "gpr16,*")
28443 : 1019 : (set_attr "type" "sselog")
28444 : 2826 : (set_attr "prefix_extra" "1")
28445 : 2905 : (set_attr "length_immediate" "1")
28446 : 3016 : (set_attr "prefix" "vex")
28447 : 181 : (set_attr "mode" "<sseinsnmode>")])
28448 : 5085 :
28449 : 2623 : (define_insn "vec_set_hi_<mode><mask_name>"
28450 : 2632 : [(set (match_operand:VI8F_256 0 "register_operand" "=x,v")
28451 : 2829 : (vec_concat:VI8F_256
28452 : 2741 : (vec_select:<ssehalfvecmode>
28453 : 2741 : (match_operand:VI8F_256 1 "register_operand" "x,v")
28454 : 2738 : (parallel [(const_int 0) (const_int 1)]))
28455 : 2752 : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand" "xjm,vm")))]
28456 : 2884 : "TARGET_AVX && <mask_avx512dq_condition>"
28457 : 219 : {
28458 : 855 : if (TARGET_AVX512DQ)
28459 : 715 : return "vinsert<shuffletype>64x2\t{$0x1, %2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2, 0x1}";
28460 : 777 : else if (TARGET_AVX512VL)
28461 : 747 : return "vinsert<shuffletype>32x4\t{$0x1, %2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2, 0x1}";
28462 : 729 : else
28463 : 109 : return "vinsert<i128>\t{$0x1, %2, %1, %0|%0, %1, %2, 0x1}";
28464 : 758 : }
28465 : 3871 : [(set_attr "isa" "noavx512vl,avx512vl")
28466 : 14 : (set_attr "addr" "gpr16,*")
28467 : 3871 : (set_attr "type" "sselog")
28468 : 891 : (set_attr "prefix_extra" "1")
28469 : 3293 : (set_attr "length_immediate" "1")
28470 : 3293 : (set_attr "prefix" "vex")
28471 : 253 : (set_attr "mode" "<sseinsnmode>")])
28472 : 968 :
28473 : 3318 : (define_insn "vec_set_lo_<mode><mask_name>"
28474 : 1196 : [(set (match_operand:VI4F_256 0 "register_operand" "=x,v")
28475 : 6 : (vec_concat:VI4F_256
28476 : 735 : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand" "xjm,vm")
28477 : 488 : (vec_select:<ssehalfvecmode>
28478 : 247 : (match_operand:VI4F_256 1 "register_operand" "x,v")
28479 : 12 : (parallel [(const_int 4) (const_int 5)
28480 : 503 : (const_int 6) (const_int 7)]))))]
28481 : 300 : "TARGET_AVX"
28482 : 267 : {
28483 : 31 : if (TARGET_AVX512VL)
28484 : 238 : return "vinsert<shuffletype>32x4\t{$0x0, %2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2, 0x0}";
28485 : 290 : else
28486 : 293 : return "vinsert<i128>\t{$0x0, %2, %1, %0|%0, %1, %2, 0x0}";
28487 : : }
28488 : 226 : [(set_attr "isa" "noavx512vl,avx512vl")
28489 : 49 : (set_attr "addr" "gpr16,*")
28490 : 233 : (set_attr "type" "sselog")
28491 : 92 : (set_attr "prefix_extra" "1")
28492 : 225 : (set_attr "length_immediate" "1")
28493 : 232 : (set_attr "prefix" "vex")
28494 : 232 : (set_attr "mode" "<sseinsnmode>")])
28495 : 225 :
28496 : 7 : (define_insn "vec_set_hi_<mode><mask_name>"
28497 : 52 : [(set (match_operand:VI4F_256 0 "register_operand" "=x,v")
28498 : 7 : (vec_concat:VI4F_256
28499 : 0 : (vec_select:<ssehalfvecmode>
28500 : 0 : (match_operand:VI4F_256 1 "register_operand" "x,v")
28501 : : (parallel [(const_int 0) (const_int 1)
28502 : 45 : (const_int 2) (const_int 3)]))
28503 : 0 : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand" "xjm,vm")))]
28504 : 642 : "TARGET_AVX"
28505 : 171 : {
28506 : 82 : if (TARGET_AVX512VL)
28507 : : return "vinsert<shuffletype>32x4\t{$0x1, %2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2, 0x1}";
28508 : 820 : else
28509 : 845 : return "vinsert<i128>\t{$0x1, %2, %1, %0|%0, %1, %2, 0x1}";
28510 : : }
28511 : 7 : [(set_attr "isa" "noavx512vl,avx512vl")
28512 : 820 : (set_attr "addr" "gpr16,*")
28513 : 614 : (set_attr "type" "sselog")
28514 : 772 : (set_attr "prefix_extra" "1")
28515 : 7 : (set_attr "length_immediate" "1")
28516 : 605 : (set_attr "prefix" "vex")
28517 : 621 : (set_attr "mode" "<sseinsnmode>")])
28518 : 683 :
28519 : 77 : (define_insn "vec_set_lo_<mode>"
28520 : 535 : [(set (match_operand:V16_256 0 "register_operand" "=x,v")
28521 : 7 : (vec_concat:V16_256
28522 : 266 : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand" "xjm,vm")
28523 : 282 : (vec_select:<ssehalfvecmode>
28524 : 7 : (match_operand:V16_256 1 "register_operand" "x,v")
28525 : : (parallel [(const_int 8) (const_int 9)
28526 : 282 : (const_int 10) (const_int 11)
28527 : 7 : (const_int 12) (const_int 13)
28528 : 7 : (const_int 14) (const_int 15)]))))]
28529 : 29 : "TARGET_AVX"
28530 : : "@
28531 : 7 : vinsert%~128\t{$0x0, %2, %1, %0|%0, %1, %2, 0x0}
28532 : : vinserti32x4\t{$0x0, %2, %1, %0|%0, %1, %2, 0x0}"
28533 : 35 : [(set_attr "isa" "noavx512vl,avx512vl")
28534 : 15 : (set_attr "addr" "gpr16,*")
28535 : : (set_attr "type" "sselog")
28536 : : (set_attr "prefix_extra" "1")
28537 : 15 : (set_attr "length_immediate" "1")
28538 : 148 : (set_attr "prefix" "vex,evex")
28539 : 148 : (set_attr "mode" "OI")])
28540 : :
28541 : 148 : (define_insn "vec_set_hi_<mode>"
28542 : 148 : [(set (match_operand:V16_256 0 "register_operand" "=x,v")
28543 : : (vec_concat:V16_256
28544 : 181 : (vec_select:<ssehalfvecmode>
28545 : 148 : (match_operand:V16_256 1 "register_operand" "x,v")
28546 : : (parallel [(const_int 0) (const_int 1)
28547 : 148 : (const_int 2) (const_int 3)
28548 : 181 : (const_int 4) (const_int 5)
28549 : : (const_int 6) (const_int 7)]))
28550 : 148 : (match_operand:<ssehalfvecmode> 2 "nonimmediate_operand" "xjm,vm")))]
28551 : 12 : "TARGET_AVX"
28552 : 15 : "@
28553 : 15 : vinsert%~128\t{$0x1, %2, %1, %0|%0, %1, %2, 0x1}
28554 : 12 : vinserti32x4\t{$0x1, %2, %1, %0|%0, %1, %2, 0x1}"
28555 : 22 : [(set_attr "isa" "noavx512vl,avx512vl")
28556 : 37 : (set_attr "addr" "gpr16,*")
28557 : : (set_attr "type" "sselog")
28558 : : (set_attr "prefix_extra" "1")
28559 : 22 : (set_attr "length_immediate" "1")
28560 : 1747 : (set_attr "prefix" "vex,evex")
28561 : : (set_attr "mode" "OI")])
28562 : 0 :
28563 : 0 : (define_insn "vec_set_lo_v32qi"
28564 : 0 : [(set (match_operand:V32QI 0 "register_operand" "=x,v")
28565 : 1747 : (vec_concat:V32QI
28566 : : (match_operand:V16QI 2 "nonimmediate_operand" "xjm,v")
28567 : 193 : (vec_select:V16QI
28568 : 193 : (match_operand:V32QI 1 "register_operand" "x,v")
28569 : : (parallel [(const_int 16) (const_int 17)
28570 : : (const_int 18) (const_int 19)
28571 : 193 : (const_int 20) (const_int 21)
28572 : : (const_int 22) (const_int 23)
28573 : : (const_int 24) (const_int 25)
28574 : : (const_int 26) (const_int 27)
28575 : : (const_int 28) (const_int 29)
28576 : : (const_int 30) (const_int 31)]))))]
28577 : 7 : "TARGET_AVX"
28578 : 0 : "@
28579 : : vinsert%~128\t{$0x0, %2, %1, %0|%0, %1, %2, 0x0}
28580 : : vinserti32x4\t{$0x0, %2, %1, %0|%0, %1, %2, 0x0}"
28581 : : [(set_attr "isa" "noavx512vl,avx512vl")
28582 : : (set_attr "type" "sselog")
28583 : : (set_attr "addr" "gpr16,*")
28584 : : (set_attr "prefix_extra" "1")
28585 : : (set_attr "length_immediate" "1")
28586 : : (set_attr "prefix" "vex,evex")
28587 : 1476 : (set_attr "mode" "OI")])
28588 : :
28589 : : (define_insn "vec_set_hi_v32qi"
28590 : : [(set (match_operand:V32QI 0 "register_operand" "=x,v")
28591 : 1476 : (vec_concat:V32QI
28592 : 1476 : (vec_select:V16QI
28593 : 1476 : (match_operand:V32QI 1 "register_operand" "x,v")
28594 : 1476 : (parallel [(const_int 0) (const_int 1)
28595 : 1476 : (const_int 2) (const_int 3)
28596 : 1476 : (const_int 4) (const_int 5)
28597 : : (const_int 6) (const_int 7)
28598 : 614 : (const_int 8) (const_int 9)
28599 : 614 : (const_int 10) (const_int 11)
28600 : 614 : (const_int 12) (const_int 13)
28601 : 614 : (const_int 14) (const_int 15)]))
28602 : : (match_operand:V16QI 2 "nonimmediate_operand" "xjm,vm")))]
28603 : 292 : "TARGET_AVX"
28604 : 291 : "@
28605 : 3 : vinsert%~128\t{$0x1, %2, %1, %0|%0, %1, %2, 0x1}
28606 : : vinserti32x4\t{$0x1, %2, %1, %0|%0, %1, %2, 0x1}"
28607 : : [(set_attr "isa" "noavx512vl,avx512vl")
28608 : : (set_attr "addr" "gpr16")
28609 : 287 : (set_attr "type" "sselog")
28610 : : (set_attr "prefix_extra" "1")
28611 : : (set_attr "length_immediate" "1")
28612 : : (set_attr "prefix" "vex,evex")
28613 : 2079267 : (set_attr "mode" "OI")])
28614 : :
28615 : : (define_insn "<avx_avx2>_maskload<ssemodesuffix><avxsizesuffix>"
28616 : : [(set (match_operand:V48_128_256 0 "register_operand" "=x")
28617 : 2079267 : (unspec:V48_128_256
28618 : 2079267 : [(match_operand:<sseintvecmode> 2 "register_operand" "x")
28619 : 2079267 : (match_operand:V48_128_256 1 "memory_operand" "jm")]
28620 : 2079267 : UNSPEC_MASKMOV))]
28621 : 2079365 : "TARGET_AVX"
28622 : 2079503 : {
28623 : 2079503 : if (TARGET_AVX2)
28624 : : return "v<sseintprefix>maskmov<ssemodesuffix>\t{%1, %2, %0|%0, %2, %1}";
28625 : 1871988 : else
28626 : 1872034 : return "vmaskmov<ssefltmodesuffix>\t{%1, %2, %0|%0, %2, %1}";
28627 : 1869599 : }
28628 : 1871559 : [(set_attr "type" "sselog1")
28629 : 1870028 : (set_attr "addr" "gpr16")
28630 : 1869599 : (set_attr "prefix_extra" "1")
28631 : 1870589 : (set_attr "prefix" "vex")
28632 : 1869599 : (set_attr "btver2_decode" "vector")
28633 : 1869599 : (set_attr "mode" "<sseinsnmode>")])
28634 : 1869599 :
28635 : 1870352 : (define_insn "<avx_avx2>_maskstore<ssemodesuffix><avxsizesuffix>"
28636 : 1870352 : [(set (match_operand:V48_128_256 0 "memory_operand" "+jm")
28637 : 1870352 : (unspec:V48_128_256
28638 : 1870352 : [(match_operand:<sseintvecmode> 1 "register_operand" "x")
28639 : 1870352 : (match_operand:V48_128_256 2 "register_operand" "x")
28640 : 1870352 : (match_dup 0)]
28641 : 753 : UNSPEC_MASKMOV))]
28642 : 14274 : "TARGET_AVX"
28643 : 13847 : {
28644 : 2496 : if (TARGET_AVX2)
28645 : 2265 : return "v<sseintprefix>maskmov<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}";
28646 : 9981 : else
28647 : 4955 : return "vmaskmov<ssefltmodesuffix>\t{%2, %1, %0|%0, %1, %2}";
28648 : 1742 : }
28649 : 3375 : [(set_attr "type" "sselog1")
28650 : 856 : (set_attr "addr" "gpr16")
28651 : 1465 : (set_attr "prefix_extra" "1")
28652 : 1731 : (set_attr "prefix" "vex")
28653 : 1465 : (set_attr "btver2_decode" "vector")
28654 : 669 : (set_attr "mode" "<sseinsnmode>")])
28655 : 2129 :
28656 : : (define_expand "maskload<mode><sseintvecmodelower>_1"
28657 : : [(set (match_operand:V48_128_256 0 "register_operand")
28658 : : (unspec:V48_128_256
28659 : : [(match_operand:<sseintvecmode> 2 "register_operand")
28660 : : (match_operand:V48_128_256 1 "memory_operand")]
28661 : : UNSPEC_MASKMOV))]
28662 : : "TARGET_AVX")
28663 : :
28664 : : (define_expand "maskload<mode><sseintvecmodelower>"
28665 : : [(set (match_operand:V48_128_256 0 "register_operand")
28666 : : (unspec:V48_128_256
28667 : : [(match_operand:<sseintvecmode> 2 "register_operand")
28668 : : (match_operand:V48_128_256 1 "memory_operand")
28669 : : (match_operand:V48_128_256 3 "const0_operand")]
28670 : : UNSPEC_MASKMOV))]
28671 : : "TARGET_AVX"
28672 : 147 : {
28673 : 147 : emit_insn (gen_maskload<mode><sseintvecmodelower>_1 (operands[0],
28674 : : operands[1],
28675 : : operands[2]));
28676 : 147 : DONE;
28677 : : })
28678 : :
28679 : : (define_expand "maskload<mode><avx512fmaskmodelower>"
28680 : : [(set (match_operand:V48_AVX512VL 0 "register_operand")
28681 : : (vec_merge:V48_AVX512VL
28682 : : (unspec:V48_AVX512VL
28683 : : [(match_operand:V48_AVX512VL 1 "memory_operand")]
28684 : : UNSPEC_MASKLOAD)
28685 : : (match_operand:V48_AVX512VL 3 "const0_operand")
28686 : : (match_operand:<avx512fmaskmode> 2 "register_operand")))]
28687 : : "TARGET_AVX512F")
28688 : :
28689 : : (define_expand "maskload<mode><avx512fmaskmodelower>"
28690 : : [(set (match_operand:VI12HFBF_AVX512VL 0 "register_operand")
28691 : : (vec_merge:VI12HFBF_AVX512VL
28692 : : (unspec:VI12HFBF_AVX512VL
28693 : : [(match_operand:VI12HFBF_AVX512VL 1 "memory_operand")]
28694 : : UNSPEC_MASKLOAD)
28695 : : (match_operand:VI12HFBF_AVX512VL 3 "const0_operand")
28696 : : (match_operand:<avx512fmaskmode> 2 "register_operand")))]
28697 : : "TARGET_AVX512BW")
28698 : :
28699 : : (define_expand "maskstore<mode><sseintvecmodelower>"
28700 : : [(set (match_operand:V48_128_256 0 "memory_operand")
28701 : : (unspec:V48_128_256
28702 : : [(match_operand:<sseintvecmode> 2 "register_operand")
28703 : 131 : (match_operand:V48_128_256 1 "register_operand")
28704 : : (match_dup 0)]
28705 : : UNSPEC_MASKMOV))]
28706 : : "TARGET_AVX")
28707 : :
28708 : 131 : (define_expand "maskstore<mode><avx512fmaskmodelower>"
28709 : : [(set (match_operand:V48_AVX512VL 0 "memory_operand")
28710 : : (unspec:V48_AVX512VL
28711 : : [(match_operand:V48_AVX512VL 1 "register_operand")
28712 : : (match_dup 0)
28713 : : (match_operand:<avx512fmaskmode> 2 "register_operand")]
28714 : : UNSPEC_MASKMOV))]
28715 : : "TARGET_AVX512F")
28716 : :
28717 : : (define_expand "maskstore<mode><avx512fmaskmodelower>"
28718 : : [(set (match_operand:VI12HFBF_AVX512VL 0 "memory_operand")
28719 : : (unspec:VI12HFBF_AVX512VL
28720 : 77 : [(match_operand:VI12HFBF_AVX512VL 1 "register_operand")
28721 : : (match_dup 0)
28722 : : (match_operand:<avx512fmaskmode> 2 "register_operand")]
28723 : : UNSPEC_MASKMOV))]
28724 : 14 : "TARGET_AVX512BW")
28725 : 63 :
28726 : : (define_insn "<avx512>_store<mode>_mask"
28727 : : [(set (match_operand:V48_AVX512VL 0 "memory_operand" "=m")
28728 : : (unspec:V48_AVX512VL
28729 : : [(match_operand:V48_AVX512VL 1 "register_operand" "v")
28730 : : (match_dup 0)
28731 : : (match_operand:<avx512fmaskmode> 2 "register_operand" "Yk")]
28732 : : UNSPEC_MASKMOV))]
28733 : 2356 : "TARGET_AVX512F"
28734 : 469 : {
28735 : 81 : if (FLOAT_MODE_P (GET_MODE_INNER (<MODE>mode)))
28736 : : {
28737 : 263 : if (misaligned_operand (operands[0], <MODE>mode))
28738 : : return "vmovu<ssemodesuffix>\t{%1, %0%{%2%}|%0%{%2%}, %1}";
28739 : 33 : else
28740 : 114 : return "vmova<ssemodesuffix>\t{%1, %0%{%2%}|%0%{%2%}, %1}";
28741 : 40 : }
28742 : 0 : else
28743 : : {
28744 : 246 : if (misaligned_operand (operands[0], <MODE>mode))
28745 : : return "vmovdqu<ssescalarsize>\t{%1, %0%{%2%}|%0%{%2%}, %1}";
28746 : : else
28747 : 124 : return "vmovdqa<ssescalarsize>\t{%1, %0%{%2%}|%0%{%2%}, %1}";
28748 : : }
28749 : : }
28750 : 67 : [(set_attr "type" "ssemov")
28751 : : (set_attr "prefix" "evex")
28752 : 66 : (set_attr "memory" "store")
28753 : 595 : (set_attr "mode" "<sseinsnmode>")])
28754 : 102 :
28755 : : (define_insn "<avx512>_store<mode>_mask"
28756 : 66 : [(set (match_operand:VI12HFBF_AVX512VL 0 "memory_operand" "=m")
28757 : : (unspec:VI12HFBF_AVX512VL
28758 : 35 : [(match_operand:VI12HFBF_AVX512VL 1 "register_operand" "v")
28759 : : (match_dup 0)
28760 : : (match_operand:<avx512fmaskmode> 2 "register_operand" "Yk")]
28761 : : UNSPEC_MASKMOV))]
28762 : 2506 : "TARGET_AVX512BW"
28763 : : "vmovdqu<ssescalarsize>\t{%1, %0%{%2%}|%0%{%2%}, %1}"
28764 : : [(set_attr "type" "ssemov")
28765 : 39 : (set_attr "prefix" "evex")
28766 : 0 : (set_attr "memory" "store")
28767 : 71 : (set_attr "mode" "<sseinsnmode>")])
28768 : 0 :
28769 : 77 : (define_insn_and_split "*<avx512>_store<mode>_mask_1"
28770 : 0 : [(set (match_operand:V 0 "memory_operand")
28771 : 71 : (unspec:V
28772 : : [(match_operand:V 1 "register_operand")
28773 : 38 : (match_dup 0)
28774 : : (match_operand:<avx512fmaskmode> 2 "const0_or_m1_operand")]
28775 : : UNSPEC_MASKMOV))]
28776 : 6 : "TARGET_AVX512F && ix86_pre_reload_split ()"
28777 : 0 : "#"
28778 : : "&& 1"
28779 : 0 : [(const_int 0)]
28780 : 7 : {
28781 : 11 : if (constm1_operand (operands[2], <MODE>mode))
28782 : 2 : emit_move_insn (operands[0], operands[1]);
28783 : 2 : else
28784 : 0 : emit_note (NOTE_INSN_DELETED);
28785 : 0 :
28786 : 2831 : DONE;
28787 : 2830 : })
28788 : 2857 :
28789 : 2830 : (define_expand "cbranch<mode>4"
28790 : 2830 : [(set (reg:CC FLAGS_REG)
28791 : 2830 : (compare:CC (match_operand:VI_AVX_AVX512F 1 "register_operand")
28792 : 2830 : (match_operand:VI_AVX_AVX512F 2 "nonimmediate_operand")))
28793 : 2830 : (set (pc) (if_then_else
28794 : : (match_operator 0 "bt_comparison_operator"
28795 : 18 : [(reg:CC FLAGS_REG) (const_int 0)])
28796 : 18 : (label_ref (match_operand 3))
28797 : : (pc)))]
28798 : 4336 : "TARGET_SSE4_1 && (<MODE_SIZE> != 64 || !TARGET_PREFER_AVX256)"
28799 : 4587 : {
28800 : 4586 : ix86_expand_branch (GET_CODE (operands[0]),
28801 : 1 : operands[1], operands[2], operands[3]);
28802 : 4587 : DONE;
28803 : 0 : })
28804 : 4337 :
28805 : 3565 :
28806 : 4336 : (define_insn_and_split "avx_<castmode><avxsizesuffix>_<castmode>"
28807 : 4336 : [(set (match_operand:AVX256MODE2P 0 "nonimmediate_operand" "=x,m")
28808 : 4336 : (vec_concat:AVX256MODE2P
28809 : 4336 : (match_operand:<ssehalfvecmode> 1 "nonimmediate_operand" "xm,x")
28810 : 4336 : (unspec:<ssehalfvecmode> [(const_int 0)] UNSPEC_CAST)))]
28811 : 1021 : "TARGET_AVX && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
28812 : : "#"
28813 : 60 : "&& reload_completed"
28814 : : [(set (match_dup 0) (match_dup 1))]
28815 : 805 : {
28816 : 713 : if (REG_P (operands[0]))
28817 : 237 : operands[0] = gen_lowpart (<ssehalfvecmode>mode, operands[0]);
28818 : 146 : else
28819 : 622 : operands[1] = lowpart_subreg (<MODE>mode, operands[1],
28820 : : <ssehalfvecmode>mode);
28821 : 270 : })
28822 : :
28823 : : ;; Modes handled by vec_init expanders.
28824 : 92 : (define_mode_iterator VEC_INIT_MODE
28825 : 92 : [(V64QI "TARGET_AVX512F && TARGET_EVEX512") (V32QI "TARGET_AVX") V16QI
28826 : 92 : (V32HI "TARGET_AVX512F && TARGET_EVEX512") (V16HI "TARGET_AVX") V8HI
28827 : 92 : (V16SI "TARGET_AVX512F && TARGET_EVEX512") (V8SI "TARGET_AVX") V4SI
28828 : 92 : (V8DI "TARGET_AVX512F && TARGET_EVEX512") (V4DI "TARGET_AVX") V2DI
28829 : : (V32HF "TARGET_AVX512F && TARGET_EVEX512") (V16HF "TARGET_AVX") V8HF
28830 : 92 : (V32BF "TARGET_AVX512F && TARGET_EVEX512") (V16BF "TARGET_AVX") V8BF
28831 : 92 : (V16SF "TARGET_AVX512F && TARGET_EVEX512") (V8SF "TARGET_AVX") V4SF
28832 : 92 : (V8DF "TARGET_AVX512F && TARGET_EVEX512")
28833 : : (V4DF "TARGET_AVX") (V2DF "TARGET_SSE2")
28834 : : (V4TI "TARGET_AVX512F && TARGET_EVEX512") (V2TI "TARGET_AVX")])
28835 : :
28836 : 1132 : ;; Likewise, but for initialization from half sized vectors.
28837 : 6815 : ;; Thus, these are all VEC_INIT_MODE modes except V2??.
28838 : : (define_mode_iterator VEC_INIT_HALF_MODE
28839 : 974 : [(V64QI "TARGET_AVX512F && TARGET_EVEX512") (V32QI "TARGET_AVX") V16QI
28840 : 7697 : (V32HI "TARGET_AVX512F && TARGET_EVEX512") (V16HI "TARGET_AVX") V8HI
28841 : 7855 : (V16SI "TARGET_AVX512F && TARGET_EVEX512") (V8SI "TARGET_AVX") V4SI
28842 : 1014 : (V8DI "TARGET_AVX512F && TARGET_EVEX512") (V4DI "TARGET_AVX")
28843 : 1132 : (V32HF "TARGET_AVX512F && TARGET_EVEX512") (V16HF "TARGET_AVX") V8HF
28844 : 1224 : (V32BF "TARGET_AVX512F && TARGET_EVEX512") (V16BF "TARGET_AVX") V8BF
28845 : 6973 : (V16SF "TARGET_AVX512F && TARGET_EVEX512") (V8SF "TARGET_AVX") V4SF
28846 : 250 : (V8DF "TARGET_AVX512F && TARGET_EVEX512") (V4DF "TARGET_AVX")
28847 : 250 : (V4TI "TARGET_AVX512F && TARGET_EVEX512")])
28848 : 250 :
28849 : : (define_expand "vec_init<mode><ssescalarmodelower>"
28850 : : [(match_operand:VEC_INIT_MODE 0 "register_operand")
28851 : : (match_operand 1)]
28852 : : "TARGET_SSE"
28853 : 79801 : {
28854 : 7605 : ix86_expand_vector_init (false, operands[0], operands[1]);
28855 : 79801 : DONE;
28856 : : })
28857 : :
28858 : : (define_expand "vec_init<mode><ssehalfvecmodelower>"
28859 : : [(match_operand:VEC_INIT_HALF_MODE 0 "register_operand")
28860 : : (match_operand 1)]
28861 : : "TARGET_SSE"
28862 : 975 : {
28863 : 975 : ix86_expand_vector_init (false, operands[0], operands[1]);
28864 : 975 : DONE;
28865 : : })
28866 : :
28867 : : (define_expand "cond_<insn><mode>"
28868 : : [(set (match_operand:VI248_AVX512VLBW 0 "register_operand")
28869 : : (vec_merge:VI248_AVX512VLBW
28870 : : (any_shift:VI248_AVX512VLBW
28871 : : (match_operand:VI248_AVX512VLBW 2 "register_operand")
28872 : : (match_operand:VI248_AVX512VLBW 3 "nonimmediate_or_const_vec_dup_operand"))
28873 : 73018 : (match_operand:VI248_AVX512VLBW 4 "nonimm_or_0_operand")
28874 : : (match_operand:<avx512fmaskmode> 1 "register_operand")))]
28875 : : "TARGET_AVX512F"
28876 : 73108 : {
28877 : 73018 : if (const_vec_duplicate_p (operands[3]))
28878 : 73018 : {
28879 : 58 : operands[3] = unwrap_const_vec_duplicate (operands[3]);
28880 : 58 : operands[3] = lowpart_subreg (DImode, operands[3], <ssescalarmode>mode);
28881 : 73076 : emit_insn (gen_<insn><mode>3_mask (operands[0],
28882 : 168 : operands[2],
28883 : : operands[3],
28884 : : operands[4],
28885 : 153 : operands[1]));
28886 : 153 : }
28887 : 153 : else
28888 : 32 : emit_insn (gen_<avx2_avx512>_<insn>v<mode>_mask (operands[0],
28889 : 15 : operands[2],
28890 : 153 : operands[3],
28891 : 15 : operands[4],
28892 : 15 : operands[1]));
28893 : 90 : DONE;
28894 : 15 : })
28895 : 15 :
28896 : 15 : (define_insn "<avx2_avx512>_ashrv<mode><mask_name>"
28897 : : [(set (match_operand:VI48_AVX512F_AVX512VL 0 "register_operand" "=v")
28898 : : (ashiftrt:VI48_AVX512F_AVX512VL
28899 : : (match_operand:VI48_AVX512F_AVX512VL 1 "register_operand" "v")
28900 : : (match_operand:VI48_AVX512F_AVX512VL 2 "nonimmediate_operand" "vm")))]
28901 : 2527 : "TARGET_AVX2 && <mask_mode512bit_condition>"
28902 : 116 : "vpsrav<ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
28903 : : [(set_attr "type" "sseishft")
28904 : : (set_attr "prefix" "maybe_evex")
28905 : 34797 : (set_attr "mode" "<sseinsnmode>")])
28906 : 34797 :
28907 : 33150 : (define_insn "<avx2_avx512>_ashrv<mode><mask_name>"
28908 : : [(set (match_operand:VI2_AVX512VL 0 "register_operand" "=v")
28909 : 31257 : (ashiftrt:VI2_AVX512VL
28910 : 25589 : (match_operand:VI2_AVX512VL 1 "register_operand" "v")
28911 : 56237 : (match_operand:VI2_AVX512VL 2 "nonimmediate_operand" "vm")))]
28912 : 2620 : "TARGET_AVX512BW"
28913 : : "vpsravw\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
28914 : : [(set_attr "type" "sseishft")
28915 : : (set_attr "prefix" "maybe_evex")
28916 : : (set_attr "mode" "<sseinsnmode>")])
28917 : :
28918 : : (define_insn "<avx2_avx512>_<insn>v<mode><mask_name>"
28919 : : [(set (match_operand:VI48_AVX512F 0 "register_operand" "=v")
28920 : : (any_lshift:VI48_AVX512F
28921 : : (match_operand:VI48_AVX512F 1 "register_operand" "v")
28922 : 75 : (match_operand:VI48_AVX512F 2 "nonimmediate_operand" "vm")))]
28923 : 6435 : "TARGET_AVX2 && <mask_mode512bit_condition>"
28924 : 170 : "vp<vshift>v<ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
28925 : 49 : [(set_attr "type" "sseishft")
28926 : 49 : (set_attr "prefix" "maybe_evex")
28927 : 327815 : (set_attr "mode" "<sseinsnmode>")])
28928 : 327890 :
28929 : 295956 : (define_insn "<avx2_avx512>_<insn>v<mode><mask_name>"
28930 : 614737 : [(set (match_operand:VI2_AVX512VL 0 "register_operand" "=v")
28931 : 124 : (any_lshift:VI2_AVX512VL
28932 : 49 : (match_operand:VI2_AVX512VL 1 "register_operand" "v")
28933 : 0 : (match_operand:VI2_AVX512VL 2 "nonimmediate_operand" "vm")))]
28934 : 603 : "TARGET_AVX512BW"
28935 : 75 : "vp<vshift>v<ssemodesuffix>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
28936 : 75 : [(set_attr "type" "sseishft")
28937 : : (set_attr "prefix" "maybe_evex")
28938 : : (set_attr "mode" "<sseinsnmode>")])
28939 : :
28940 : : (define_insn "avx_vec_concat<mode>"
28941 : : [(set (match_operand:V_256_512 0 "register_operand" "=x,v,x,Yv")
28942 : : (vec_concat:V_256_512
28943 : : (match_operand:<ssehalfvecmode> 1 "nonimmediate_operand" "x,v,xm,vm")
28944 : : (match_operand:<ssehalfvecmode> 2 "nonimm_or_0_operand" "xjm,vm,C,C")))]
28945 : 13450 : "TARGET_AVX
28946 : 10303 : && (operands[2] == CONST0_RTX (<ssehalfvecmode>mode)
28947 : 34665 : || !MEM_P (operands[1]))"
28948 : 3682 : {
28949 : 3682 : bool egpr_used = (TARGET_APX_EGPR
28950 : 175 : && x86_extended_rex2reg_mentioned_p (operands[1]));
28951 : 93571 : switch (which_alternative)
28952 : 89889 : {
28953 : : case 0:
28954 : 12 : return "vinsert<i128>\t{$0x1, %2, %<xtg_mode>1, %0|%0, %<xtg_mode>1, %2, 0x1}";
28955 : 92683 : case 1:
28956 : 2106 : if (<MODE_SIZE> == 64)
28957 : : {
28958 : 132 : if (TARGET_AVX512DQ && GET_MODE_SIZE (<ssescalarmode>mode) == 4)
28959 : : return "vinsert<shuffletype>32x8\t{$0x1, %2, %<xtg_mode>1, %0|%0, %<xtg_mode>1, %2, 0x1}";
28960 : : else
28961 : 86 : return "vinsert<shuffletype>64x4\t{$0x1, %2, %<xtg_mode>1, %0|%0, %<xtg_mode>1, %2, 0x1}";
28962 : : }
28963 : : else
28964 : : {
28965 : 1974 : if (TARGET_AVX512DQ && GET_MODE_SIZE (<ssescalarmode>mode) == 8)
28966 : : return "vinsert<shuffletype>64x2\t{$0x1, %2, %<xtg_mode>1, %0|%0, %<xtg_mode>1, %2, 0x1}";
28967 : : else
28968 : 1858 : return "vinsert<shuffletype>32x4\t{$0x1, %2, %<xtg_mode>1, %0|%0, %<xtg_mode>1, %2, 0x1}";
28969 : : }
28970 : 93 : case 2:
28971 : 93 : case 3:
28972 : 93 : switch (get_attr_mode (insn))
28973 : : {
28974 : 4 : case MODE_V16SF:
28975 : 4 : if (misaligned_operand (operands[1], <ssehalfvecmode>mode))
28976 : : return "vmovups\t{%1, %t0|%t0, %1}";
28977 : : else
28978 : 3 : return "vmovaps\t{%1, %t0|%t0, %1}";
28979 : 7 : case MODE_V8DF:
28980 : 7 : if (misaligned_operand (operands[1], <ssehalfvecmode>mode))
28981 : : return "vmovupd\t{%1, %t0|%t0, %1}";
28982 : : else
28983 : 6 : return "vmovapd\t{%1, %t0|%t0, %1}";
28984 : 7 : case MODE_V8SF:
28985 : 7 : if (misaligned_operand (operands[1], <ssehalfvecmode>mode))
28986 : : return "vmovups\t{%1, %x0|%x0, %1}";
28987 : : else
28988 : 6 : return "vmovaps\t{%1, %x0|%x0, %1}";
28989 : 6 : case MODE_V4DF:
28990 : 6 : if (misaligned_operand (operands[1], <ssehalfvecmode>mode))
28991 : : return "vmovupd\t{%1, %x0|%x0, %1}";
28992 : : else
28993 : 4 : return "vmovapd\t{%1, %x0|%x0, %1}";
28994 : 26 : case MODE_XI:
28995 : 26 : if (misaligned_operand (operands[1], <ssehalfvecmode>mode))
28996 : : {
28997 : 9 : if (which_alternative == 2)
28998 : 9 : return egpr_used ? "vmovups\t{%1, %t0|%t0, %1}"
28999 : 9 : : "vmovdqu\t{%1, %t0|%t0, %1}";
29000 : : else if (GET_MODE_SIZE (<ssescalarmode>mode) == 8)
29001 : : return "vmovdqu64\t{%1, %t0|%t0, %1}";
29002 : : else
29003 : : return "vmovdqu32\t{%1, %t0|%t0, %1}";
29004 : : }
29005 : : else
29006 : : {
29007 : 17 : if (which_alternative == 2)
29008 : 17 : return egpr_used ? "vmovaps\t{%1, %t0|%t0, %1}"
29009 : 17 : : "vmovdqa\t{%1, %t0|%t0, %1}";
29010 : : else if (GET_MODE_SIZE (<ssescalarmode>mode) == 8)
29011 : : return "vmovdqa64\t{%1, %t0|%t0, %1}";
29012 : : else
29013 : : return "vmovdqa32\t{%1, %t0|%t0, %1}";
29014 : : }
29015 : 43 : case MODE_OI:
29016 : 43 : if (misaligned_operand (operands[1], <ssehalfvecmode>mode))
29017 : : {
29018 : 4 : if (which_alternative == 2)
29019 : 4 : return egpr_used ? "vmovups\t{%1, %x0|%x0, %1}"
29020 : 4 : : "vmovdqu\t{%1, %x0|%x0, %1}";
29021 : : else if (GET_MODE_SIZE (<ssescalarmode>mode) == 8)
29022 : : return "vmovdqu64\t{%1, %x0|%x0, %1}";
29023 : : else
29024 : : return "vmovdqu32\t{%1, %x0|%x0, %1}";
29025 : : }
29026 : : else
29027 : : {
29028 : 39 : if (which_alternative == 2)
29029 : 39 : return egpr_used ? "vmovaps\t{%1, %x0|%x0, %1}"
29030 : 39 : : "vmovdqa\t{%1, %x0|%x0, %1}";
29031 : : else if (GET_MODE_SIZE (<ssescalarmode>mode) == 8)
29032 : : return "vmovdqa64\t{%1, %x0|%x0, %1}";
29033 : : else
29034 : : return "vmovdqa32\t{%1, %x0|%x0, %1}";
29035 : : }
29036 : 0 : default:
29037 : 0 : gcc_unreachable ();
29038 : : }
29039 : 0 : default:
29040 : 0 : gcc_unreachable ();
29041 : : }
29042 : : }
29043 : : [(set_attr "isa" "noavx512f,avx512f,*,*")
29044 : : (set_attr "addr" "gpr16,*,*,*")
29045 : : (set_attr "type" "sselog,sselog,ssemov,ssemov")
29046 : 3508 : (set_attr "prefix_extra" "1,1,*,*")
29047 : : (set_attr "length_immediate" "1,1,*,*")
29048 : : (set_attr "prefix" "maybe_evex")
29049 : : (set_attr "mode" "<sseinsnmode>")])
29050 : :
29051 : : (define_insn_and_split "*vec_concat<mode>_0_1"
29052 : : [(set (match_operand:V 0 "register_operand")
29053 : : (vec_select:V
29054 : : (vec_concat:<ssedoublevecmode>
29055 : : (match_operand:V 1 "nonimmediate_operand")
29056 : : (match_operand:V 2 "const0_operand"))
29057 : : (match_parallel 3 "movq_parallel"
29058 : : [(match_operand 4 "const_int_operand")])))]
29059 : 678 : "TARGET_SSE2 && ix86_pre_reload_split ()"
29060 : 10046 : "#"
29061 : : "&& 1"
29062 : 39 : [(set (match_dup 0)
29063 : 129 : (vec_concat:V (match_dup 1) (match_dup 5)))]
29064 : 251 : {
29065 : 200 : operands[1] = gen_lowpart (<ssehalfvecmode>mode, operands[1]);
29066 : 250 : operands[5] = CONST0_RTX (<ssehalfvecmode>mode);
29067 : 484 : })
29068 : 519 :
29069 : 424 : (define_insn "vcvtph2ps<mask_name>"
29070 : 7360 : [(set (match_operand:V4SF 0 "register_operand" "=v")
29071 : 451 : (vec_select:V4SF
29072 : 453 : (unspec:V8SF [(match_operand:V8HI 1 "register_operand" "v")]
29073 : 79 : UNSPEC_VCVTPH2PS)
29074 : 451 : (parallel [(const_int 0) (const_int 1)
29075 : 2926 : (const_int 2) (const_int 3)])))]
29076 : 75 : "TARGET_F16C || TARGET_AVX512VL"
29077 : 2738 : "vcvtph2ps\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
29078 : 2738 : [(set_attr "type" "ssecvt")
29079 : 2550 : (set_attr "prefix" "maybe_evex")
29080 : 3106 : (set_attr "mode" "V4SF")])
29081 : 3106 :
29082 : 2918 : (define_insn "*vcvtph2ps_load<mask_name>"
29083 : 2663 : [(set (match_operand:V4SF 0 "register_operand" "=v")
29084 : 188 : (unspec:V4SF [(match_operand:V4HI 1 "memory_operand" "m")]
29085 : 1778 : UNSPEC_VCVTPH2PS))]
29086 : 19012 : "TARGET_F16C || TARGET_AVX512VL"
29087 : 1723 : "vcvtph2ps\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
29088 : 1853 : [(set_attr "type" "ssecvt")
29089 : 1778 : (set_attr "prefix" "vex")
29090 : 17882 : (set_attr "mode" "V8SF")])
29091 : 17649 :
29092 : 17880 : (define_insn "vcvtph2ps256<mask_name><round_saeonly_name>"
29093 : 18137 : [(set (match_operand:V8SF 0 "register_operand" "=v")
29094 : 17720 : (unspec:V8SF [(match_operand:V8HI 1 "<round_saeonly_nimm_scalar_predicate>" "<round_saeonly_constraint>")]
29095 : 17562 : UNSPEC_VCVTPH2PS))]
29096 : 17578 : "(TARGET_F16C || TARGET_AVX512VL)
29097 : 17910 : && (!<round_saeonly_applied> || TARGET_AVX10_2_256)"
29098 : 17677 : "vcvtph2ps\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
29099 : 18522 : [(set_attr "type" "ssecvt")
29100 : 17982 : (set_attr "prefix" "vex")
29101 : 5947 : (set_attr "btver2_decode" "double")
29102 : 15204 : (set_attr "mode" "V8SF")])
29103 : 12110 :
29104 : 12088 : (define_insn "<mask_codefor>avx512f_vcvtph2ps512<mask_name><round_saeonly_name>"
29105 : 13454 : [(set (match_operand:V16SF 0 "register_operand" "=v")
29106 : 11169 : (unspec:V16SF
29107 : 10199 : [(match_operand:V16HI 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
29108 : 9860 : UNSPEC_VCVTPH2PS))]
29109 : 3172 : "TARGET_AVX512F && TARGET_EVEX512"
29110 : 2495 : "vcvtph2ps\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
29111 : 392 : [(set_attr "type" "ssecvt")
29112 : 63 : (set_attr "prefix" "evex")
29113 : 251 : (set_attr "mode" "V16SF")])
29114 : 188 :
29115 : 63 : (define_expand "vcvtps2ph_mask"
29116 : 251 : [(set (match_operand:V8HI 0 "register_operand")
29117 : 993 : (vec_merge:V8HI
29118 : 2361 : (vec_concat:V8HI
29119 : 1744 : (unspec:V4HI [(match_operand:V4SF 1 "register_operand")
29120 : 823 : (match_operand:SI 2 "const_0_to_255_operand")]
29121 : 1589 : UNSPEC_VCVTPS2PH)
29122 : 1723 : (match_dup 5))
29123 : 500 : (match_operand:V8HI 3 "nonimm_or_0_operand")
29124 : 325 : (match_operand:QI 4 "register_operand")))]
29125 : 278 : "TARGET_AVX512VL"
29126 : 235 : "operands[5] = CONST0_RTX (V4HImode);")
29127 : 200 :
29128 : 278 : (define_expand "vcvtps2ph"
29129 : 205 : [(set (match_operand:V8HI 0 "register_operand")
29130 : 17 : (vec_concat:V8HI
29131 : 205 : (unspec:V4HI [(match_operand:V4SF 1 "register_operand")
29132 : 205 : (match_operand:SI 2 "const_0_to_255_operand")]
29133 : 17 : UNSPEC_VCVTPS2PH)
29134 : 205 : (match_dup 3)))]
29135 : 205 : "TARGET_F16C"
29136 : 49 : "operands[3] = CONST0_RTX (V4HImode);")
29137 : 205 :
29138 : 205 : (define_insn "*vcvtps2ph<mask_name>"
29139 : 49 : [(set (match_operand:V8HI 0 "register_operand" "=v")
29140 : 237 : (vec_concat:V8HI
29141 : 220 : (unspec:V4HI [(match_operand:V4SF 1 "register_operand" "v")
29142 : 237 : (match_operand:SI 2 "const_0_to_255_operand")]
29143 : 32 : UNSPEC_VCVTPS2PH)
29144 : 32 : (match_operand:V4HI 3 "const0_operand")))]
29145 : 427 : "(TARGET_F16C || TARGET_AVX512VL) && <mask_avx512vl_condition>"
29146 : 172 : "vcvtps2ph\t{%2, %1, %0<mask_operand4>|%0<mask_operand4>, %1, %2}"
29147 : 0 : [(set_attr "type" "ssecvt")
29148 : 220 : (set_attr "prefix" "maybe_evex")
29149 : 980 : (set_attr "mode" "V4SF")])
29150 : 1097 :
29151 : 1097 : (define_insn "*vcvtps2ph_store<merge_mask_name>"
29152 : 117 : [(set (match_operand:V4HI 0 "memory_operand" "=m")
29153 : 1034 : (unspec:V4HI [(match_operand:V4SF 1 "register_operand" "v")
29154 : 1034 : (match_operand:SI 2 "const_0_to_255_operand")]
29155 : 1034 : UNSPEC_VCVTPS2PH))]
29156 : 1049 : "TARGET_F16C || TARGET_AVX512VL"
29157 : 1049 : "vcvtps2ph\t{%2, %1, %0<merge_mask_operand3>|%0<merge_mask_operand3>, %1, %2}"
29158 : 1049 : [(set_attr "type" "ssecvt")
29159 : 1017 : (set_attr "prefix" "maybe_evex")
29160 : 1734 : (set_attr "mode" "V4SF")])
29161 : 1707 :
29162 : 117 : (define_insn "vcvtps2ph256<mask_name>"
29163 : 561 : [(set (match_operand:V8HI 0 "register_operand" "=v")
29164 : 422 : (unspec:V8HI [(match_operand:V8SF 1 "register_operand" "v")
29165 : : (match_operand:SI 2 "const_0_to_255_operand")]
29166 : 79 : UNSPEC_VCVTPS2PH))]
29167 : 421 : "TARGET_F16C || TARGET_AVX512VL"
29168 : 106 : "vcvtps2ph\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
29169 : 218 : [(set_attr "type" "ssecvt")
29170 : 131 : (set_attr "prefix" "maybe_evex")
29171 : 141 : (set_attr "btver2_decode" "vector")
29172 : 126 : (set_attr "mode" "V8SF")])
29173 : 55 :
29174 : 128 : (define_insn "*vcvtps2ph256<merge_mask_name>"
29175 : 128 : [(set (match_operand:V8HI 0 "memory_operand" "=m")
29176 : 122 : (unspec:V8HI [(match_operand:V8SF 1 "register_operand" "v")
29177 : 122 : (match_operand:SI 2 "const_0_to_255_operand")]
29178 : 22 : UNSPEC_VCVTPS2PH))]
29179 : 22 : "TARGET_F16C || TARGET_AVX512VL"
29180 : 22 : "vcvtps2ph\t{%2, %1, %0<merge_mask_operand3>|%0<merge_mask_operand3>, %1, %2}"
29181 : : [(set_attr "type" "ssecvt")
29182 : : (set_attr "prefix" "maybe_evex")
29183 : 4512 : (set_attr "btver2_decode" "vector")
29184 : 1001 : (set_attr "mode" "V8SF")])
29185 : 3511 :
29186 : 1568 : ;; vcvtps2ph is special, it encodes {sae} in evex, but round control in the imm
29187 : 1943 : ;; For intrinsic _mm512_cvt_roundps_ph (a, imm), imm contains both {sae}
29188 : 1943 : ;; and round control, we need to separate it in the assembly output.
29189 : 946 : ;; op2 in avx512f_vcvtps2ph512_mask_sae contains both sae and round control.
29190 : 946 : (define_expand "avx512f_vcvtps2ph512_mask_sae"
29191 : 946 : [(set (match_operand:V16HI 0 "register_operand" "=v")
29192 : : (vec_merge:V16HI
29193 : 937 : (unspec:V16HI
29194 : 937 : [(match_operand:V16SF 1 "register_operand" "v")
29195 : 937 : (match_operand:SI 2 "const_0_to_255_operand")]
29196 : 937 : UNSPEC_VCVTPS2PH)
29197 : : (match_operand:V16HI 3 "nonimm_or_0_operand")
29198 : : (match_operand:HI 4 "register_operand")))]
29199 : : "TARGET_AVX512F && TARGET_EVEX512"
29200 : 339 : {
29201 : 339 : int round = INTVAL (operands[2]);
29202 : : /* Separate {sae} from rounding control imm,
29203 : : imm[3:7] will be ignored by the instruction. */
29204 : 339 : if (round & 8)
29205 : : {
29206 : 4 : emit_insn (gen_avx512f_vcvtps2ph512_mask_round (operands[0], operands[1],
29207 : : operands[2], operands[3], operands[4], GEN_INT (8)));
29208 : 4 : DONE;
29209 : : }
29210 : : })
29211 : :
29212 : : (define_insn "<mask_codefor>avx512f_vcvtps2ph512<mask_name><round_saeonly_name>"
29213 : 335 : [(set (match_operand:V16HI 0 "register_operand" "=v")
29214 : 335 : (unspec:V16HI
29215 : 335 : [(match_operand:V16SF 1 "register_operand" "v")
29216 : 335 : (match_operand:SI 2 "const_0_to_255_operand")]
29217 : 335 : UNSPEC_VCVTPS2PH))]
29218 : 2817 : "TARGET_AVX512F && TARGET_EVEX512"
29219 : 336 : "vcvtps2ph\t{%2, <round_saeonly_mask_op3>%1, %0<mask_operand3>|%0<mask_operand3>, %1<round_saeonly_mask_op3>, %2}"
29220 : 762 : [(set_attr "type" "ssecvt")
29221 : 762 : (set_attr "prefix" "evex")
29222 : 2819 : (set_attr "mode" "V16SF")])
29223 : 2468 :
29224 : 2389 : (define_insn "*avx512f_vcvtps2ph512<merge_mask_name>"
29225 : 2477 : [(set (match_operand:V16HI 0 "memory_operand" "=m")
29226 : 2054 : (unspec:V16HI
29227 : 2104 : [(match_operand:V16SF 1 "register_operand" "v")
29228 : 59 : (match_operand:SI 2 "const_0_to_255_operand")]
29229 : 2045 : UNSPEC_VCVTPS2PH))]
29230 : 2472 : "TARGET_AVX512F && TARGET_EVEX512"
29231 : 2045 : "vcvtps2ph\t{%2, %1, %0<merge_mask_operand3>|%0<merge_mask_operand3>, %1, %2}"
29232 : 2045 : [(set_attr "type" "ssecvt")
29233 : 2380 : (set_attr "prefix" "evex")
29234 : 2380 : (set_attr "mode" "V16SF")])
29235 : 2380 :
29236 : : ;; For gather* insn patterns
29237 : 2045 : (define_mode_iterator VEC_GATHER_MODE
29238 : 2061 : [V2DI V2DF V4DI V4DF V4SI V4SF V8SI V8SF])
29239 : 2539 : (define_mode_attr VEC_GATHER_IDXSI
29240 : 6437 : [(V2DI "V4SI") (V4DI "V4SI") (V8DI "V8SI")
29241 : 811 : (V2DF "V4SI") (V4DF "V4SI") (V8DF "V8SI")
29242 : 811 : (V4SI "V4SI") (V8SI "V8SI") (V16SI "V16SI")
29243 : 1289 : (V4SF "V4SI") (V8SF "V8SI") (V16SF "V16SI")])
29244 : 6749 :
29245 : 6749 : (define_mode_attr VEC_GATHER_IDXDI
29246 : 6749 : [(V2DI "V2DI") (V4DI "V4DI") (V8DI "V8DI")
29247 : 6770 : (V2DF "V2DI") (V4DF "V4DI") (V8DF "V8DI")
29248 : 5959 : (V4SI "V2DI") (V8SI "V4DI") (V16SI "V8DI")
29249 : 832 : (V4SF "V2DI") (V8SF "V4DI") (V16SF "V8DI")])
29250 : 832 :
29251 : 5959 : (define_mode_attr VEC_GATHER_SRCDI
29252 : 5959 : [(V2DI "V2DI") (V4DI "V4DI") (V8DI "V8DI")
29253 : 294 : (V2DF "V2DF") (V4DF "V4DF") (V8DF "V8DF")
29254 : 5959 : (V4SI "V4SI") (V8SI "V4SI") (V16SI "V8SI")
29255 : 5959 : (V4SF "V4SF") (V8SF "V4SF") (V16SF "V8SF")])
29256 : 6232 :
29257 : 5959 : (define_expand "avx2_gathersi<mode>"
29258 : : [(parallel [(set (match_operand:VEC_GATHER_MODE 0 "register_operand")
29259 : 5938 : (unspec:VEC_GATHER_MODE
29260 : 5938 : [(match_operand:VEC_GATHER_MODE 1 "register_operand")
29261 : 5938 : (mem:<ssescalarmode>
29262 : 5938 : (match_par_dup 6
29263 : : [(match_operand 2 "vsib_address_operand")
29264 : 5938 : (match_operand:<VEC_GATHER_IDXSI>
29265 : 5938 : 3 "register_operand")
29266 : : (match_operand:SI 5 "const1248_operand ")]))
29267 : 1545 : (mem:BLK (scratch))
29268 : 1545 : (match_operand:VEC_GATHER_MODE 4 "register_operand")]
29269 : 1545 : UNSPEC_GATHER))
29270 : 1545 : (clobber (match_scratch:VEC_GATHER_MODE 7))])]
29271 : 1545 : "TARGET_AVX2"
29272 : 1754 : {
29273 : 1754 : operands[6]
29274 : 1754 : = gen_rtx_UNSPEC (Pmode, gen_rtvec (3, operands[2], operands[3],
29275 : 1545 : operands[5]), UNSPEC_VSIBADDR);
29276 : 1545 : })
29277 : 1545 :
29278 : 1545 : (define_insn "*avx2_gathersi<VEC_GATHER_MODE:mode>"
29279 : 209 : [(set (match_operand:VEC_GATHER_MODE 0 "register_operand" "=&x")
29280 : 372 : (unspec:VEC_GATHER_MODE
29281 : 372 : [(match_operand:VEC_GATHER_MODE 2 "register_operand" "0")
29282 : 368 : (match_operator:<ssescalarmode> 7 "vsib_mem_operator"
29283 : 531 : [(unspec:P
29284 : 213 : [(match_operand:P 3 "vsib_address_operand" "jb")
29285 : 368 : (match_operand:<VEC_GATHER_IDXSI> 4 "register_operand" "x")
29286 : 209 : (match_operand:SI 6 "const1248_operand")]
29287 : 270 : UNSPEC_VSIBADDR)])
29288 : 270 : (mem:BLK (scratch))
29289 : 270 : (match_operand:VEC_GATHER_MODE 5 "register_operand" "1")]
29290 : 228 : UNSPEC_GATHER))
29291 : 251 : (clobber (match_scratch:VEC_GATHER_MODE 1 "=&x"))]
29292 : 1455 : "TARGET_AVX2"
29293 : : "%M3v<sseintprefix>gatherd<ssemodesuffix>\t{%1, %7, %0|%0, %7, %1}"
29294 : 209 : [(set_attr "type" "ssemov")
29295 : 0 : (set_attr "addr" "gpr16")
29296 : : (set_attr "prefix" "vex")
29297 : : (set_attr "mode" "<sseinsnmode>")])
29298 : :
29299 : : (define_insn "*avx2_gathersi<VEC_GATHER_MODE:mode>_2"
29300 : : [(set (match_operand:VEC_GATHER_MODE 0 "register_operand" "=&x")
29301 : : (unspec:VEC_GATHER_MODE
29302 : : [(pc)
29303 : : (match_operator:<ssescalarmode> 6 "vsib_mem_operator"
29304 : : [(unspec:P
29305 : : [(match_operand:P 2 "vsib_address_operand" "jb")
29306 : : (match_operand:<VEC_GATHER_IDXSI> 3 "register_operand" "x")
29307 : : (match_operand:SI 5 "const1248_operand")]
29308 : 209 : UNSPEC_VSIBADDR)])
29309 : 209 : (mem:BLK (scratch))
29310 : 209 : (match_operand:VEC_GATHER_MODE 4 "register_operand" "1")]
29311 : : UNSPEC_GATHER))
29312 : : (clobber (match_scratch:VEC_GATHER_MODE 1 "=&x"))]
29313 : 1079 : "TARGET_AVX2"
29314 : : "%M2v<sseintprefix>gatherd<ssemodesuffix>\t{%1, %6, %0|%0, %6, %1}"
29315 : 241 : [(set_attr "type" "ssemov")
29316 : : (set_attr "addr" "gpr16")
29317 : : (set_attr "prefix" "vex")
29318 : : (set_attr "mode" "<sseinsnmode>")])
29319 : :
29320 : : (define_expand "avx2_gatherdi<mode>"
29321 : : [(parallel [(set (match_operand:VEC_GATHER_MODE 0 "register_operand")
29322 : 241 : (unspec:VEC_GATHER_MODE
29323 : 241 : [(match_operand:<VEC_GATHER_SRCDI> 1 "register_operand")
29324 : 241 : (mem:<ssescalarmode>
29325 : 241 : (match_par_dup 6
29326 : 241 : [(match_operand 2 "vsib_address_operand")
29327 : 241 : (match_operand:<VEC_GATHER_IDXDI>
29328 : 241 : 3 "register_operand")
29329 : 241 : (match_operand:SI 5 "const1248_operand ")]))
29330 : 241 : (mem:BLK (scratch))
29331 : 241 : (match_operand:<VEC_GATHER_SRCDI> 4 "register_operand")]
29332 : 241 : UNSPEC_GATHER))
29333 : : (clobber (match_scratch:VEC_GATHER_MODE 7))])]
29334 : : "TARGET_AVX2"
29335 : 223 : {
29336 : 223 : operands[6]
29337 : 223 : = gen_rtx_UNSPEC (Pmode, gen_rtvec (3, operands[2], operands[3],
29338 : : operands[5]), UNSPEC_VSIBADDR);
29339 : : })
29340 : :
29341 : : (define_insn "*avx2_gatherdi<VEC_GATHER_MODE:mode>"
29342 : 223 : [(set (match_operand:VEC_GATHER_MODE 0 "register_operand" "=&x")
29343 : 223 : (unspec:VEC_GATHER_MODE
29344 : 223 : [(match_operand:<VEC_GATHER_SRCDI> 2 "register_operand" "0")
29345 : 223 : (match_operator:<ssescalarmode> 7 "vsib_mem_operator"
29346 : 223 : [(unspec:P
29347 : 223 : [(match_operand:P 3 "vsib_address_operand" "jb")
29348 : 223 : (match_operand:<VEC_GATHER_IDXDI> 4 "register_operand" "x")
29349 : 223 : (match_operand:SI 6 "const1248_operand")]
29350 : 223 : UNSPEC_VSIBADDR)])
29351 : 223 : (mem:BLK (scratch))
29352 : 223 : (match_operand:<VEC_GATHER_SRCDI> 5 "register_operand" "1")]
29353 : 223 : UNSPEC_GATHER))
29354 : 223 : (clobber (match_scratch:VEC_GATHER_MODE 1 "=&x"))]
29355 : 1505 : "TARGET_AVX2"
29356 : : "%M3v<sseintprefix>gatherq<ssemodesuffix>\t{%5, %7, %2|%2, %7, %5}"
29357 : 223 : [(set_attr "type" "ssemov")
29358 : : (set_attr "addr" "gpr16")
29359 : : (set_attr "prefix" "vex")
29360 : : (set_attr "mode" "<sseinsnmode>")])
29361 : :
29362 : : (define_insn "*avx2_gatherdi<VEC_GATHER_MODE:mode>_2"
29363 : : [(set (match_operand:VEC_GATHER_MODE 0 "register_operand" "=&x")
29364 : : (unspec:VEC_GATHER_MODE
29365 : : [(pc)
29366 : : (match_operator:<ssescalarmode> 6 "vsib_mem_operator"
29367 : : [(unspec:P
29368 : : [(match_operand:P 2 "vsib_address_operand" "jb")
29369 : : (match_operand:<VEC_GATHER_IDXDI> 3 "register_operand" "x")
29370 : : (match_operand:SI 5 "const1248_operand")]
29371 : 223 : UNSPEC_VSIBADDR)])
29372 : 223 : (mem:BLK (scratch))
29373 : 223 : (match_operand:<VEC_GATHER_SRCDI> 4 "register_operand" "1")]
29374 : : UNSPEC_GATHER))
29375 : : (clobber (match_scratch:VEC_GATHER_MODE 1 "=&x"))]
29376 : 1085 : "TARGET_AVX2"
29377 : 101 : {
29378 : 261 : if (<VEC_GATHER_MODE:MODE>mode != <VEC_GATHER_SRCDI>mode)
29379 : 12 : return "%M2v<sseintprefix>gatherq<ssemodesuffix>\t{%4, %6, %x0|%x0, %6, %4}";
29380 : 89 : return "%M2v<sseintprefix>gatherq<ssemodesuffix>\t{%4, %6, %0|%0, %6, %4}";
29381 : : }
29382 : : [(set_attr "type" "ssemov")
29383 : : (set_attr "addr" "gpr16")
29384 : : (set_attr "prefix" "vex")
29385 : 261 : (set_attr "mode" "<sseinsnmode>")])
29386 : 160 :
29387 : 160 : (define_insn "*avx2_gatherdi<VI4F_256:mode>_3"
29388 : 160 : [(set (match_operand:<VEC_GATHER_SRCDI> 0 "register_operand" "=&x")
29389 : 160 : (vec_select:<VEC_GATHER_SRCDI>
29390 : 160 : (unspec:VI4F_256
29391 : 160 : [(match_operand:<VEC_GATHER_SRCDI> 2 "register_operand" "0")
29392 : 160 : (match_operator:<ssescalarmode> 7 "vsib_mem_operator"
29393 : 160 : [(unspec:P
29394 : 160 : [(match_operand:P 3 "vsib_address_operand" "jb")
29395 : 160 : (match_operand:<VEC_GATHER_IDXDI> 4 "register_operand" "x")
29396 : : (match_operand:SI 6 "const1248_operand")]
29397 : : UNSPEC_VSIBADDR)])
29398 : : (mem:BLK (scratch))
29399 : : (match_operand:<VEC_GATHER_SRCDI> 5 "register_operand" "1")]
29400 : : UNSPEC_GATHER)
29401 : : (parallel [(const_int 0) (const_int 1)
29402 : : (const_int 2) (const_int 3)])))
29403 : : (clobber (match_scratch:VI4F_256 1 "=&x"))]
29404 : 71 : "TARGET_AVX2"
29405 : : "%M3v<sseintprefix>gatherq<ssemodesuffix>\t{%5, %7, %0|%0, %7, %5}"
29406 : : [(set_attr "type" "ssemov")
29407 : : (set_attr "addr" "gpr16")
29408 : : (set_attr "prefix" "vex")
29409 : : (set_attr "mode" "<sseinsnmode>")])
29410 : :
29411 : : (define_insn "*avx2_gatherdi<VI4F_256:mode>_4"
29412 : : [(set (match_operand:<VEC_GATHER_SRCDI> 0 "register_operand" "=&x")
29413 : : (vec_select:<VEC_GATHER_SRCDI>
29414 : : (unspec:VI4F_256
29415 : : [(pc)
29416 : : (match_operator:<ssescalarmode> 6 "vsib_mem_operator"
29417 : : [(unspec:P
29418 : : [(match_operand:P 2 "vsib_address_operand" "jb")
29419 : : (match_operand:<VEC_GATHER_IDXDI> 3 "register_operand" "x")
29420 : : (match_operand:SI 5 "const1248_operand")]
29421 : : UNSPEC_VSIBADDR)])
29422 : : (mem:BLK (scratch))
29423 : : (match_operand:<VEC_GATHER_SRCDI> 4 "register_operand" "1")]
29424 : : UNSPEC_GATHER)
29425 : : (parallel [(const_int 0) (const_int 1)
29426 : : (const_int 2) (const_int 3)])))
29427 : : (clobber (match_scratch:VI4F_256 1 "=&x"))]
29428 : 36 : "TARGET_AVX2"
29429 : : "%M2v<sseintprefix>gatherq<ssemodesuffix>\t{%4, %6, %0|%0, %6, %4}"
29430 : : [(set_attr "type" "ssemov")
29431 : : (set_attr "addr" "gpr16")
29432 : : (set_attr "prefix" "vex")
29433 : : (set_attr "mode" "<sseinsnmode>")])
29434 : :
29435 : : (define_expand "<avx512>_gathersi<mode>"
29436 : : [(parallel [(set (match_operand:VI48F 0 "register_operand")
29437 : : (unspec:VI48F
29438 : : [(match_operand:VI48F 1 "register_operand")
29439 : : (match_operand:<avx512fmaskmode> 4 "register_operand")
29440 : : (mem:<ssescalarmode>
29441 : : (match_par_dup 6
29442 : : [(match_operand 2 "vsib_address_operand")
29443 : : (match_operand:<VEC_GATHER_IDXSI> 3 "register_operand")
29444 : : (match_operand:SI 5 "const1248_operand")]))]
29445 : : UNSPEC_GATHER))
29446 : : (clobber (match_scratch:<avx512fmaskmode> 7))])]
29447 : : "TARGET_AVX512F"
29448 : 264 : {
29449 : 264 : operands[6]
29450 : 264 : = gen_rtx_UNSPEC (Pmode, gen_rtvec (3, operands[2], operands[3],
29451 : : operands[5]), UNSPEC_VSIBADDR);
29452 : : })
29453 : :
29454 : : (define_insn "*avx512f_gathersi<VI48F:mode>"
29455 : 264 : [(set (match_operand:VI48F 0 "register_operand" "=&v")
29456 : 264 : (unspec:VI48F
29457 : 264 : [(match_operand:VI48F 1 "register_operand" "0")
29458 : 264 : (match_operand:<avx512fmaskmode> 7 "register_operand" "2")
29459 : 264 : (match_operator:<ssescalarmode> 6 "vsib_mem_operator"
29460 : 264 : [(unspec:P
29461 : 264 : [(match_operand:P 4 "vsib_address_operand" "Tv")
29462 : 264 : (match_operand:<VEC_GATHER_IDXSI> 3 "register_operand" "v")
29463 : 264 : (match_operand:SI 5 "const1248_operand")]
29464 : 264 : UNSPEC_VSIBADDR)])]
29465 : 264 : UNSPEC_GATHER))
29466 : 264 : (clobber (match_scratch:<avx512fmaskmode> 2 "=&Yk"))]
29467 : 2256 : "TARGET_AVX512F"
29468 : 264 : ;; %X6 so that we don't emit any *WORD PTR for -masm=intel, as
29469 : : ;; gas changed what it requires incompatibly.
29470 : 264 : "%M4v<sseintprefix>gatherd<ssemodesuffix>\t{%6, %0%{%2%}|%0%{%2%}, %X6}"
29471 : : [(set_attr "type" "ssemov")
29472 : : (set_attr "prefix" "evex")
29473 : : (set_attr "mode" "<sseinsnmode>")])
29474 : :
29475 : : (define_insn "*avx512f_gathersi<VI48F:mode>_2"
29476 : : [(set (match_operand:VI48F 0 "register_operand" "=&v")
29477 : : (unspec:VI48F
29478 : : [(pc)
29479 : : (match_operand:<avx512fmaskmode> 6 "register_operand" "1")
29480 : : (match_operator:<ssescalarmode> 5 "vsib_mem_operator"
29481 : : [(unspec:P
29482 : 264 : [(match_operand:P 3 "vsib_address_operand" "Tv")
29483 : 264 : (match_operand:<VEC_GATHER_IDXSI> 2 "register_operand" "v")
29484 : 264 : (match_operand:SI 4 "const1248_operand")]
29485 : : UNSPEC_VSIBADDR)])]
29486 : : UNSPEC_GATHER))
29487 : : (clobber (match_scratch:<avx512fmaskmode> 1 "=&Yk"))]
29488 : 955 : "TARGET_AVX512F"
29489 : 315 : ;; %X5 so that we don't emit any *WORD PTR for -masm=intel, as
29490 : : ;; gas changed what it requires incompatibly.
29491 : : "%M3v<sseintprefix>gatherd<ssemodesuffix>\t{%5, %0%{%1%}|%0%{%1%}, %X5}"
29492 : : [(set_attr "type" "ssemov")
29493 : : (set_attr "prefix" "evex")
29494 : : (set_attr "mode" "<sseinsnmode>")])
29495 : :
29496 : 315 :
29497 : 315 : (define_expand "<avx512>_gatherdi<mode>"
29498 : 315 : [(parallel [(set (match_operand:VI48F 0 "register_operand")
29499 : 315 : (unspec:VI48F
29500 : 315 : [(match_operand:<VEC_GATHER_SRCDI> 1 "register_operand")
29501 : 315 : (match_operand:QI 4 "register_operand")
29502 : 315 : (mem:<ssescalarmode>
29503 : 315 : (match_par_dup 6
29504 : 315 : [(match_operand 2 "vsib_address_operand")
29505 : 315 : (match_operand:<VEC_GATHER_IDXDI> 3 "register_operand")
29506 : 269 : (match_operand:SI 5 "const1248_operand")]))]
29507 : : UNSPEC_GATHER))
29508 : : (clobber (match_scratch:QI 7))])]
29509 : : "TARGET_AVX512F"
29510 : 306 : {
29511 : 306 : operands[6]
29512 : 306 : = gen_rtx_UNSPEC (Pmode, gen_rtvec (3, operands[2], operands[3],
29513 : : operands[5]), UNSPEC_VSIBADDR);
29514 : : })
29515 : :
29516 : : (define_insn "*avx512f_gatherdi<VI48F:mode>"
29517 : 306 : [(set (match_operand:VI48F 0 "register_operand" "=&v")
29518 : 306 : (unspec:VI48F
29519 : 306 : [(match_operand:<VEC_GATHER_SRCDI> 1 "register_operand" "0")
29520 : 306 : (match_operand:QI 7 "register_operand" "2")
29521 : 306 : (match_operator:<ssescalarmode> 6 "vsib_mem_operator"
29522 : 306 : [(unspec:P
29523 : 306 : [(match_operand:P 4 "vsib_address_operand" "Tv")
29524 : 306 : (match_operand:<VEC_GATHER_IDXDI> 3 "register_operand" "v")
29525 : 306 : (match_operand:SI 5 "const1248_operand")]
29526 : 306 : UNSPEC_VSIBADDR)])]
29527 : 306 : UNSPEC_GATHER))
29528 : 306 : (clobber (match_scratch:QI 2 "=&Yk"))]
29529 : 2589 : "TARGET_AVX512F"
29530 : 306 : ;; %X6 so that we don't emit any *WORD PTR for -masm=intel, as
29531 : : ;; gas changed what it requires incompatibly.
29532 : 306 : "%M4v<sseintprefix>gatherq<ssemodesuffix>\t{%6, %1%{%2%}|%1%{%2%}, %X6}"
29533 : : [(set_attr "type" "ssemov")
29534 : : (set_attr "prefix" "evex")
29535 : : (set_attr "mode" "<sseinsnmode>")])
29536 : :
29537 : : (define_insn "*avx512f_gatherdi<VI48F:mode>_2"
29538 : : [(set (match_operand:VI48F 0 "register_operand" "=&v")
29539 : : (unspec:VI48F
29540 : : [(pc)
29541 : : (match_operand:QI 6 "register_operand" "1")
29542 : : (match_operator:<ssescalarmode> 5 "vsib_mem_operator"
29543 : : [(unspec:P
29544 : 306 : [(match_operand:P 3 "vsib_address_operand" "Tv")
29545 : 306 : (match_operand:<VEC_GATHER_IDXDI> 2 "register_operand" "v")
29546 : 306 : (match_operand:SI 4 "const1248_operand")]
29547 : : UNSPEC_VSIBADDR)])]
29548 : : UNSPEC_GATHER))
29549 : : (clobber (match_scratch:QI 1 "=&Yk"))]
29550 : 1255 : "TARGET_AVX512F"
29551 : 413 : {
29552 : : /* %X5 so that we don't emit any *WORD PTR for -masm=intel, as
29553 : : gas changed what it requires incompatibly. */
29554 : 111 : if (<VI48F:MODE>mode != <VEC_GATHER_SRCDI>mode)
29555 : : {
29556 : 52 : if (<VI48F:MODE_SIZE> != 64)
29557 : 281 : return "%M3v<sseintprefix>gatherq<ssemodesuffix>\t{%5, %x0%{%1%}|%x0%{%1%}, %X5}";
29558 : 302 : else
29559 : 317 : return "%M3v<sseintprefix>gatherq<ssemodesuffix>\t{%5, %t0%{%1%}|%t0%{%1%}, %X5}";
29560 : 258 : }
29561 : 361 : return "%M3v<sseintprefix>gatherq<ssemodesuffix>\t{%5, %0%{%1%}|%0%{%1%}, %X5}";
29562 : 302 : }
29563 : 302 : [(set_attr "type" "ssemov")
29564 : 302 : (set_attr "prefix" "evex")
29565 : 302 : (set_attr "mode" "<sseinsnmode>")])
29566 : 416 :
29567 : 29 : (define_expand "<avx512>_scattersi<mode>"
29568 : 29 : [(parallel [(set (mem:VI48F
29569 : : (match_par_dup 5
29570 : : [(match_operand 0 "vsib_address_operand")
29571 : : (match_operand:<VEC_GATHER_IDXSI> 2 "register_operand")
29572 : : (match_operand:SI 4 "const1248_operand")]))
29573 : : (unspec:VI48F
29574 : : [(match_operand:<avx512fmaskmode> 1 "register_operand")
29575 : : (match_operand:VI48F 3 "register_operand")]
29576 : : UNSPEC_SCATTER))
29577 : : (clobber (match_scratch:<avx512fmaskmode> 6))])]
29578 : : "TARGET_AVX512F"
29579 : 321 : {
29580 : 321 : operands[5]
29581 : 321 : = gen_rtx_UNSPEC (Pmode, gen_rtvec (4, operands[0], operands[2],
29582 : : operands[4], operands[1]),
29583 : : UNSPEC_VSIBADDR);
29584 : : })
29585 : :
29586 : : (define_insn "*avx512f_scattersi<VI48F:mode>"
29587 : 321 : [(set (match_operator:VI48F 5 "vsib_mem_operator"
29588 : 321 : [(unspec:P
29589 : 321 : [(match_operand:P 0 "vsib_address_operand" "Tv")
29590 : 321 : (match_operand:<VEC_GATHER_IDXSI> 2 "register_operand" "v")
29591 : 321 : (match_operand:SI 4 "const1248_operand")
29592 : 321 : (match_operand:<avx512fmaskmode> 6 "register_operand" "1")]
29593 : 321 : UNSPEC_VSIBADDR)])
29594 : 321 : (unspec:VI48F
29595 : 321 : [(match_dup 6)
29596 : 321 : (match_operand:VI48F 3 "register_operand" "v")]
29597 : 321 : UNSPEC_SCATTER))
29598 : 321 : (clobber (match_scratch:<avx512fmaskmode> 1 "=&Yk"))]
29599 : 2859 : "TARGET_AVX512F"
29600 : 321 : ;; %X5 so that we don't emit any *WORD PTR for -masm=intel, as
29601 : : ;; gas changed what it requires incompatibly.
29602 : : "%M0v<sseintprefix>scatterd<ssemodesuffix>\t{%3, %5%{%1%}|%X5%{%1%}, %3}"
29603 : : [(set_attr "type" "ssemov")
29604 : : (set_attr "prefix" "evex")
29605 : : (set_attr "mode" "<sseinsnmode>")])
29606 : :
29607 : : (define_expand "<avx512>_scatterdi<mode>"
29608 : : [(parallel [(set (mem:VI48F
29609 : : (match_par_dup 5
29610 : : [(match_operand 0 "vsib_address_operand")
29611 : 321 : (match_operand:<VEC_GATHER_IDXDI> 2 "register_operand")
29612 : 321 : (match_operand:SI 4 "const1248_operand")]))
29613 : 321 : (unspec:VI48F
29614 : : [(match_operand:QI 1 "register_operand")
29615 : : (match_operand:<VEC_GATHER_SRCDI> 3 "register_operand")]
29616 : : UNSPEC_SCATTER))
29617 : : (clobber (match_scratch:QI 6))])]
29618 : 326 : "TARGET_AVX512F"
29619 : 314 : {
29620 : 314 : operands[5]
29621 : 314 : = gen_rtx_UNSPEC (Pmode, gen_rtvec (4, operands[0], operands[2],
29622 : : operands[4], operands[1]),
29623 : : UNSPEC_VSIBADDR);
29624 : 326 : })
29625 : 326 :
29626 : 326 : (define_insn "*avx512f_scatterdi<VI48F:mode>"
29627 : 640 : [(set (match_operator:VI48F 5 "vsib_mem_operator"
29628 : 640 : [(unspec:P
29629 : 640 : [(match_operand:P 0 "vsib_address_operand" "Tv")
29630 : 640 : (match_operand:<VEC_GATHER_IDXDI> 2 "register_operand" "v")
29631 : 640 : (match_operand:SI 4 "const1248_operand")
29632 : 640 : (match_operand:QI 6 "register_operand" "1")]
29633 : 326 : UNSPEC_VSIBADDR)])
29634 : 314 : (unspec:VI48F
29635 : 314 : [(match_dup 6)
29636 : 314 : (match_operand:<VEC_GATHER_SRCDI> 3 "register_operand" "v")]
29637 : 314 : UNSPEC_SCATTER))
29638 : 314 : (clobber (match_scratch:QI 1 "=&Yk"))]
29639 : 2960 : "TARGET_AVX512F"
29640 : 314 : ;; %X5 so that we don't emit any *WORD PTR for -masm=intel, as
29641 : : ;; gas changed what it requires incompatibly.
29642 : : "%M0v<sseintprefix>scatterq<ssemodesuffix>\t{%3, %5%{%1%}|%X5%{%1%}, %3}"
29643 : : [(set_attr "type" "ssemov")
29644 : : (set_attr "prefix" "evex")
29645 : : (set_attr "mode" "<sseinsnmode>")])
29646 : :
29647 : : (define_insn "<avx512>_compress<mode>_mask"
29648 : : [(set (match_operand:VI48F 0 "register_operand" "=v")
29649 : : (unspec:VI48F
29650 : : [(match_operand:VI48F 1 "register_operand" "v")
29651 : 314 : (match_operand:VI48F 2 "nonimm_or_0_operand" "0C")
29652 : 314 : (match_operand:<avx512fmaskmode> 3 "register_operand" "Yk")]
29653 : 314 : UNSPEC_COMPRESS))]
29654 : 786 : "TARGET_AVX512F"
29655 : : "v<sseintprefix>compress<ssemodesuffix>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
29656 : : [(set_attr "type" "ssemov")
29657 : : (set_attr "prefix" "evex")
29658 : 276 : (set_attr "mode" "<sseinsnmode>")])
29659 : :
29660 : : (define_insn "compress<mode>_mask"
29661 : : [(set (match_operand:VI12_AVX512VL 0 "register_operand" "=v")
29662 : : (unspec:VI12_AVX512VL
29663 : 240 : [(match_operand:VI12_AVX512VL 1 "register_operand" "v")
29664 : 240 : (match_operand:VI12_AVX512VL 2 "nonimm_or_0_operand" "0C")
29665 : 276 : (match_operand:<avx512fmaskmode> 3 "register_operand" "Yk")]
29666 : 228 : UNSPEC_COMPRESS))]
29667 : 639 : "TARGET_AVX512VBMI2"
29668 : 276 : "vpcompress<ssemodesuffix>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
29669 : 276 : [(set_attr "type" "ssemov")
29670 : 276 : (set_attr "prefix" "evex")
29671 : 36 : (set_attr "mode" "<sseinsnmode>")])
29672 : 36 :
29673 : 36 : (define_insn "<avx512>_compressstore<mode>_mask"
29674 : : [(set (match_operand:VI48F 0 "memory_operand" "=m")
29675 : : (unspec:VI48F
29676 : : [(match_operand:VI48F 1 "register_operand" "x")
29677 : : (match_dup 0)
29678 : : (match_operand:<avx512fmaskmode> 2 "register_operand" "Yk")]
29679 : : UNSPEC_COMPRESS_STORE))]
29680 : 339 : "TARGET_AVX512F"
29681 : : "v<sseintprefix>compress<ssemodesuffix>\t{%1, %0%{%2%}|%0%{%2%}, %1}"
29682 : : [(set_attr "type" "ssemov")
29683 : : (set_attr "prefix" "evex")
29684 : : (set_attr "memory" "store")
29685 : : (set_attr "mode" "<sseinsnmode>")])
29686 : :
29687 : : (define_insn "compressstore<mode>_mask"
29688 : : [(set (match_operand:VI12_AVX512VL 0 "memory_operand" "=m")
29689 : : (unspec:VI12_AVX512VL
29690 : : [(match_operand:VI12_AVX512VL 1 "register_operand" "x")
29691 : : (match_dup 0)
29692 : : (match_operand:<avx512fmaskmode> 2 "register_operand" "Yk")]
29693 : : UNSPEC_COMPRESS_STORE))]
29694 : 164 : "TARGET_AVX512VBMI2"
29695 : : "vpcompress<ssemodesuffix>\t{%1, %0%{%2%}|%0%{%2%}, %1}"
29696 : : [(set_attr "type" "ssemov")
29697 : : (set_attr "prefix" "evex")
29698 : : (set_attr "memory" "store")
29699 : : (set_attr "mode" "<sseinsnmode>")])
29700 : :
29701 : : (define_expand "<avx512>_expand<mode>_maskz"
29702 : : [(set (match_operand:VI48F 0 "register_operand")
29703 : : (unspec:VI48F
29704 : : [(match_operand:VI48F 1 "nonimmediate_operand")
29705 : : (match_operand:VI48F 2 "nonimm_or_0_operand")
29706 : : (match_operand:<avx512fmaskmode> 3 "register_operand")]
29707 : : UNSPEC_EXPAND))]
29708 : : "TARGET_AVX512F"
29709 : 288 : "operands[2] = CONST0_RTX (<MODE>mode);")
29710 : :
29711 : : (define_insn "expand<mode>_mask"
29712 : 288 : [(set (match_operand:VI48F 0 "register_operand" "=v,v")
29713 : 288 : (unspec:VI48F
29714 : 288 : [(match_operand:VI48F 1 "nonimmediate_operand" "v,m")
29715 : 288 : (match_operand:VI48F 2 "nonimm_or_0_operand" "0C,0C")
29716 : 288 : (match_operand:<avx512fmaskmode> 3 "register_operand" "Yk,Yk")]
29717 : 288 : UNSPEC_EXPAND))]
29718 : 1887 : "TARGET_AVX512F"
29719 : 288 : "v<sseintprefix>expand<ssemodesuffix>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
29720 : : [(set_attr "type" "ssemov")
29721 : 288 : (set_attr "prefix" "evex")
29722 : : (set_attr "memory" "none,load")
29723 : : (set_attr "mode" "<sseinsnmode>")])
29724 : :
29725 : : (define_insn "expand<mode>_mask"
29726 : : [(set (match_operand:VI12_AVX512VL 0 "register_operand" "=v,v")
29727 : : (unspec:VI12_AVX512VL
29728 : 288 : [(match_operand:VI12_AVX512VL 1 "nonimmediate_operand" "v,m")
29729 : 288 : (match_operand:VI12_AVX512VL 2 "nonimm_or_0_operand" "0C,0C")
29730 : 288 : (match_operand:<avx512fmaskmode> 3 "register_operand" "Yk,Yk")]
29731 : : UNSPEC_EXPAND))]
29732 : 775 : "TARGET_AVX512VBMI2"
29733 : : "v<sseintprefix>expand<ssemodesuffix>\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
29734 : : [(set_attr "type" "ssemov")
29735 : 48 : (set_attr "prefix" "evex")
29736 : 181 : (set_attr "memory" "none,load")
29737 : : (set_attr "mode" "<sseinsnmode>")])
29738 : 181 :
29739 : 181 : (define_insn_and_split "*expand<mode>_mask"
29740 : 0 : [(set (match_operand:VI12_VI48F_AVX512VL 0 "register_operand")
29741 : 229 : (unspec:VI12_VI48F_AVX512VL
29742 : 48 : [(match_operand:VI12_VI48F_AVX512VL 1 "nonimmediate_operand")
29743 : 48 : (match_operand:VI12_VI48F_AVX512VL 2 "nonimm_or_0_operand")
29744 : 48 : (match_operand 3 "const_int_operand")]
29745 : 48 : UNSPEC_EXPAND))]
29746 : 1745 : "ix86_pre_reload_split ()
29747 : 1731 : && (TARGET_AVX512VBMI2 || GET_MODE_SIZE (GET_MODE_INNER (<MODE>mode)) >= 4)"
29748 : : "#"
29749 : : "&& 1"
29750 : : [(const_int 0)]
29751 : 642 : {
29752 : 321 : unsigned HOST_WIDE_INT mask = INTVAL (operands[3]);
29753 : 624 : bool has_zero = false;
29754 : 728 : unsigned n = GET_MODE_NUNITS (<MODE>mode), i;
29755 : 321 : unsigned ones = 0;
29756 : :
29757 : : /* If all ones bits is in mask's lower part,
29758 : : get number of ones and assign it to ONES. */
29759 : 3682 : for (i = 0; i != n; i++)
29760 : : {
29761 : 11243 : if ((mask & HOST_WIDE_INT_1U << i) && has_zero)
29762 : 7786 : break;
29763 : :
29764 : : /* Record first zero bit. */
29765 : 3361 : if (!(mask & HOST_WIDE_INT_1U << i) && !has_zero)
29766 : : {
29767 : 248 : has_zero = true;
29768 : 248 : ones = i;
29769 : : }
29770 : 11981674 : }
29771 : :
29772 : 321 : if (!has_zero)
29773 : 73 : ones = n;
29774 : 11981674 :
29775 : 11981995 : if (i != n || (ones != 0 && ones != n))
29776 : 11981674 : {
29777 : 11981850 : rtx reg = gen_reg_rtx (<avx512fmaskmode>mode);
29778 : 11981850 : emit_move_insn (reg, operands[3]);
29779 : 11981850 : enum insn_code icode;
29780 : 11981850 : if (i == n)
29781 : 11981674 : /* For masks with all one bits in it's lower part,
29782 : 11981674 : we can transform v{,p}expand* to vmovdq* with
29783 : : mask operand. */
29784 : 4394542 : icode = CODE_FOR_<avx512>_load<mode>_mask;
29785 : 4394542 : else
29786 : 96 : icode = CODE_FOR_expand<mode>_mask;
29787 : 108204 : emit_insn (GEN_FCN (icode) (operands[0], operands[1], operands[2], reg));
29788 : 108204 : }
29789 : 108028 : else
29790 : : /* For ALL_MASK_ONES or CONST0_RTX mask, transform it to simple mov. */
29791 : 145 : emit_move_insn (operands[0], ones ? operands[1] : operands[2]);
29792 : 25812 : DONE;
29793 : 25491 : })
29794 : :
29795 : 25495 : (define_expand "expand<mode>_maskz"
29796 : : [(set (match_operand:VI12_AVX512VL 0 "register_operand")
29797 : : (unspec:VI12_AVX512VL
29798 : : [(match_operand:VI12_AVX512VL 1 "nonimmediate_operand")
29799 : : (match_operand:VI12_AVX512VL 2 "nonimm_or_0_operand")
29800 : : (match_operand:<avx512fmaskmode> 3 "register_operand")]
29801 : : UNSPEC_EXPAND))]
29802 : : "TARGET_AVX512VBMI2"
29803 : 144 : "operands[2] = CONST0_RTX (<MODE>mode);")
29804 : 96 :
29805 : 206 : (define_insn "avx512dq_rangep<mode><mask_name><round_saeonly_name>"
29806 : 144 : [(set (match_operand:VF_AVX512VL 0 "register_operand" "=v")
29807 : 350 : (unspec:VF_AVX512VL
29808 : 236 : [(match_operand:VF_AVX512VL 1 "register_operand" "v")
29809 : 144 : (match_operand:VF_AVX512VL 2 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")
29810 : 302 : (match_operand:SI 3 "const_0_to_15_operand")]
29811 : 144 : UNSPEC_RANGE))]
29812 : 382 : "TARGET_AVX512DQ && <round_saeonly_mode_condition>"
29813 : 414 : {
29814 : 366 : if (TARGET_DEST_FALSE_DEP_FOR_GLC
29815 : 160 : && <mask4_dest_false_dep_for_glc_cond>
29816 : 112 : && !reg_mentioned_p (operands[0], operands[1])
29817 : 19 : && !reg_mentioned_p (operands[0], operands[2]))
29818 : 555 : output_asm_insn ("vxorps\t%x0, %x0, %x0", operands);
29819 : 270 : return "vrange<ssemodesuffix>\t{%3, <round_saeonly_mask_op4>%2, %1, %0<mask_operand4>|%0<mask_operand4>, %1, %2<round_saeonly_mask_op4>, %3}";
29820 : : }
29821 : : [(set_attr "type" "sse")
29822 : 144 : (set_attr "prefix" "evex")
29823 : 144 : (set_attr "mode" "<MODE>")])
29824 : 1978 :
29825 : : (define_insn "avx512dq_ranges<mode><mask_scalar_name><round_saeonly_scalar_name>"
29826 : : [(set (match_operand:VF_128 0 "register_operand" "=v")
29827 : : (vec_merge:VF_128
29828 : : (unspec:VF_128
29829 : 100 : [(match_operand:VF_128 1 "register_operand" "v")
29830 : : (match_operand:VF_128 2 "<round_saeonly_scalar_nimm_predicate>" "<round_saeonly_scalar_constraint>")
29831 : : (match_operand:SI 3 "const_0_to_15_operand")]
29832 : : UNSPEC_RANGE)
29833 : : (match_dup 1)
29834 : 48 : (const_int 1)))]
29835 : 86 : "TARGET_AVX512DQ"
29836 : 142 : {
29837 : 190 : if (TARGET_DEST_FALSE_DEP_FOR_GLC
29838 : 104 : && <mask_scalar4_dest_false_dep_for_glc_cond>
29839 : 661 : && !reg_mentioned_p (operands[0], operands[1])
29840 : 663 : && !reg_mentioned_p (operands[0], operands[2]))
29841 : 78 : output_asm_insn ("vxorps\t%x0, %x0, %x0", operands);
29842 : 687 : return "vrange<ssescalarmodesuffix>\t{%3, <round_saeonly_scalar_mask_op4>%2, %1, %0<mask_scalar_operand4>|%0<mask_scalar_operand4>, %1, %<iptr>2<round_saeonly_scalar_mask_op4>, %3}";
29843 : 52 : }
29844 : : [(set_attr "type" "sse")
29845 : : (set_attr "prefix" "evex")
29846 : : (set_attr "mode" "<MODE>")])
29847 : 90 :
29848 : : (define_insn "avx512dq_fpclass<mode><mask_scalar_merge_name>"
29849 : : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
29850 : : (unspec:<avx512fmaskmode>
29851 : : [(match_operand:VFH_AVX512VL 1 "vector_operand" "vm")
29852 : : (match_operand 2 "const_0_to_255_operand")]
29853 : : UNSPEC_FPCLASS))]
29854 : 1592 : "TARGET_AVX512DQ || VALID_AVX512FP16_REG_MODE(<MODE>mode)"
29855 : : "vfpclass<ssemodesuffix><vecmemsuffix>\t{%2, %1, %0<mask_scalar_merge_operand3>|%0<mask_scalar_merge_operand3>, %1, %2}";
29856 : : [(set_attr "type" "sse")
29857 : : (set_attr "length_immediate" "1")
29858 : : (set_attr "prefix" "evex")
29859 : : (set_attr "mode" "<MODE>")])
29860 : :
29861 : : (define_insn "avx512dq_vmfpclass<mode><mask_scalar_merge_name>"
29862 : : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
29863 : : (and:<avx512fmaskmode>
29864 : : (unspec:<avx512fmaskmode>
29865 : : [(match_operand:VFH_128 1 "nonimmediate_operand" "vm")
29866 : : (match_operand 2 "const_0_to_255_operand")]
29867 : : UNSPEC_FPCLASS)
29868 : : (const_int 1)))]
29869 : 233 : "TARGET_AVX512DQ || VALID_AVX512FP16_REG_MODE(<MODE>mode)"
29870 : : "vfpclass<ssescalarmodesuffix>\t{%2, %1, %0<mask_scalar_merge_operand3>|%0<mask_scalar_merge_operand3>, %<iptr>1, %2}";
29871 : : [(set_attr "type" "sse")
29872 : : (set_attr "length_immediate" "1")
29873 : 159 : (set_attr "prefix" "evex")
29874 : 159 : (set_attr "mode" "<MODE>")])
29875 : 159 :
29876 : : (define_insn "<avx512>_getmant<mode><mask_name><round_saeonly_name>"
29877 : : [(set (match_operand:VFH_AVX512VL 0 "register_operand" "=v")
29878 : : (unspec:VFH_AVX512VL
29879 : : [(match_operand:VFH_AVX512VL 1 "nonimmediate_operand" "<round_saeonly_constraint>")
29880 : : (match_operand:SI 2 "const_0_to_15_operand")]
29881 : : UNSPEC_GETMANT))]
29882 : 802 : "TARGET_AVX512F && <round_saeonly_mode_condition>"
29883 : 445 : {
29884 : 2 : if (TARGET_DEST_FALSE_DEP_FOR_GLC
29885 : 16 : && <mask3_dest_false_dep_for_glc_cond>
29886 : 16 : && MEM_P (operands[1]))
29887 : 12 : output_asm_insn ("vxorps\t%x0, %x0, %x0", operands);
29888 : 1204 : return "vgetmant<ssemodesuffix>\t{%2, <round_saeonly_mask_op3>%1, %0<mask_operand3>|%0<mask_operand3>, %1<round_saeonly_mask_op3>, %2}";
29889 : : }
29890 : : [(set_attr "prefix" "evex")
29891 : : (set_attr "mode" "<MODE>")])
29892 : :
29893 : 457 : (define_insn "avx512f_vgetmant<mode><mask_scalar_name><round_saeonly_scalar_name>"
29894 : 2289 : [(set (match_operand:VFH_128 0 "register_operand" "=v")
29895 : : (vec_merge:VFH_128
29896 : : (unspec:VFH_128
29897 : : [(match_operand:VFH_128 1 "register_operand" "v")
29898 : : (match_operand:VFH_128 2 "<round_saeonly_scalar_nimm_predicate>" "<round_saeonly_scalar_constraint>")
29899 : : (match_operand:SI 3 "const_0_to_15_operand")]
29900 : : UNSPEC_GETMANT)
29901 : : (match_dup 1)
29902 : : (const_int 1)))]
29903 : 737 : "TARGET_AVX512F"
29904 : 416 : {
29905 : 416 : if (TARGET_DEST_FALSE_DEP_FOR_GLC
29906 : 10 : && <mask_scalar4_dest_false_dep_for_glc_cond>
29907 : 153 : && !reg_mentioned_p (operands[0], operands[1])
29908 : 167 : && !reg_mentioned_p (operands[0], operands[2]))
29909 : 10 : output_asm_insn ("vxorps\t%x0, %x0, %x0", operands);
29910 : 416 : return "vgetmant<ssescalarmodesuffix>\t{%3, <round_saeonly_scalar_mask_op4>%2, %1, %0<mask_scalar_operand4>|%0<mask_scalar_operand4>, %1, %<iptr>2<round_saeonly_scalar_mask_op4>, %3}";
29911 : : }
29912 : : [(set_attr "prefix" "evex")
29913 : : (set_attr "mode" "<ssescalarmode>")])
29914 : :
29915 : 402 : ;; The correct representation for this is absolutely enormous, and
29916 : : ;; surely not generally useful.
29917 : : (define_insn "<mask_codefor>avx512bw_dbpsadbw<mode><mask_name>"
29918 : : [(set (match_operand:VI2_AVX512VL 0 "register_operand" "=v")
29919 : : (unspec:VI2_AVX512VL
29920 : : [(match_operand:<dbpsadbwmode> 1 "register_operand" "v")
29921 : : (match_operand:<dbpsadbwmode> 2 "nonimmediate_operand" "vm")
29922 : : (match_operand:SI 3 "const_0_to_255_operand")]
29923 : : UNSPEC_DBPSADBW))]
29924 : 254 : "TARGET_AVX512BW"
29925 : : "vdbpsadbw\t{%3, %2, %1, %0<mask_operand4>|%0<mask_operand4>, %1, %2, %3}"
29926 : : [(set_attr "type" "sselog1")
29927 : : (set_attr "length_immediate" "1")
29928 : : (set_attr "prefix" "evex")
29929 : : (set_attr "mode" "<sseinsnmode>")])
29930 : :
29931 : : (define_insn "clz<mode>2<mask_name>"
29932 : : [(set (match_operand:VI48_AVX512VL 0 "register_operand" "=v")
29933 : : (clz:VI48_AVX512VL
29934 : : (match_operand:VI48_AVX512VL 1 "nonimmediate_operand" "vm")))]
29935 : 703 : "TARGET_AVX512CD"
29936 : : "vplzcnt<ssemodesuffix>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
29937 : : [(set_attr "type" "sse")
29938 : : (set_attr "prefix" "evex")
29939 : : (set_attr "mode" "<sseinsnmode>")])
29940 : :
29941 : : (define_insn "<mask_codefor>conflict<mode><mask_name>"
29942 : : [(set (match_operand:VI48_AVX512VL 0 "register_operand" "=v")
29943 : : (unspec:VI48_AVX512VL
29944 : : [(match_operand:VI48_AVX512VL 1 "nonimmediate_operand" "vm")]
29945 : : UNSPEC_CONFLICT))]
29946 : 533 : "TARGET_AVX512CD"
29947 : : "vpconflict<ssemodesuffix>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
29948 : : [(set_attr "type" "sse")
29949 : : (set_attr "prefix" "evex")
29950 : : (set_attr "mode" "<sseinsnmode>")])
29951 : :
29952 : : (define_insn "sha1msg1"
29953 : : [(set (match_operand:V4SI 0 "register_operand" "=x")
29954 : : (unspec:V4SI
29955 : : [(match_operand:V4SI 1 "register_operand" "0")
29956 : : (match_operand:V4SI 2 "vector_operand" "xja")]
29957 : : UNSPEC_SHA1MSG1))]
29958 : 100 : "TARGET_SHA"
29959 : : "sha1msg1\t{%2, %0|%0, %2}"
29960 : : [(set_attr "type" "sselog1")
29961 : : (set_attr "mode" "TI")])
29962 : 85 :
29963 : 85 : (define_insn "sha1msg2"
29964 : : [(set (match_operand:V4SI 0 "register_operand" "=x")
29965 : 85 : (unspec:V4SI
29966 : : [(match_operand:V4SI 1 "register_operand" "0")
29967 : : (match_operand:V4SI 2 "vector_operand" "xja")]
29968 : : UNSPEC_SHA1MSG2))]
29969 : 76 : "TARGET_SHA"
29970 : : "sha1msg2\t{%2, %0|%0, %2}"
29971 : : [(set_attr "type" "sselog1")
29972 : : (set_attr "mode" "TI")])
29973 : 85 :
29974 : 85 : (define_insn "sha1nexte"
29975 : : [(set (match_operand:V4SI 0 "register_operand" "=x")
29976 : 85 : (unspec:V4SI
29977 : : [(match_operand:V4SI 1 "register_operand" "0")
29978 : : (match_operand:V4SI 2 "vector_operand" "xja")]
29979 : : UNSPEC_SHA1NEXTE))]
29980 : 76 : "TARGET_SHA"
29981 : : "sha1nexte\t{%2, %0|%0, %2}"
29982 : : [(set_attr "type" "sselog1")
29983 : : (set_attr "mode" "TI")])
29984 : 85 :
29985 : 85 : (define_insn "sha1rnds4"
29986 : : [(set (match_operand:V4SI 0 "register_operand" "=x")
29987 : 85 : (unspec:V4SI
29988 : : [(match_operand:V4SI 1 "register_operand" "0")
29989 : : (match_operand:V4SI 2 "vector_operand" "xja")
29990 : : (match_operand:SI 3 "const_0_to_3_operand")]
29991 : : UNSPEC_SHA1RNDS4))]
29992 : 95 : "TARGET_SHA"
29993 : : "sha1rnds4\t{%3, %2, %0|%0, %2, %3}"
29994 : : [(set_attr "type" "sselog1")
29995 : : (set_attr "length_immediate" "1")
29996 : 108 : (set_attr "mode" "TI")])
29997 : 108 :
29998 : : (define_insn "sha256msg1"
29999 : : [(set (match_operand:V4SI 0 "register_operand" "=x")
30000 : 98 : (unspec:V4SI
30001 : 98 : [(match_operand:V4SI 1 "register_operand" "0")
30002 : 98 : (match_operand:V4SI 2 "vector_operand" "xja")]
30003 : 98 : UNSPEC_SHA256MSG1))]
30004 : 76 : "TARGET_SHA"
30005 : : "sha256msg1\t{%2, %0|%0, %2}"
30006 : : [(set_attr "type" "sselog1")
30007 : : (set_attr "mode" "TI")])
30008 : 85 :
30009 : 85 : (define_insn "sha256msg2"
30010 : : [(set (match_operand:V4SI 0 "register_operand" "=x")
30011 : 85 : (unspec:V4SI
30012 : : [(match_operand:V4SI 1 "register_operand" "0")
30013 : : (match_operand:V4SI 2 "vector_operand" "xja")]
30014 : : UNSPEC_SHA256MSG2))]
30015 : 76 : "TARGET_SHA"
30016 : : "sha256msg2\t{%2, %0|%0, %2}"
30017 : : [(set_attr "type" "sselog1")
30018 : : (set_attr "mode" "TI")])
30019 : 99 :
30020 : 99 : (define_insn "sha256rnds2"
30021 : : [(set (match_operand:V4SI 0 "register_operand" "=x")
30022 : : (unspec:V4SI
30023 : 99 : [(match_operand:V4SI 1 "register_operand" "0")
30024 : : (match_operand:V4SI 2 "vector_operand" "xja")
30025 : : (match_operand:V4SI 3 "register_operand" "Yz")]
30026 : : UNSPEC_SHA256RNDS2))]
30027 : 92 : "TARGET_SHA"
30028 : : "sha256rnds2\t{%3, %2, %0|%0, %2, %3}"
30029 : : [(set_attr "type" "sselog1")
30030 : : (set_attr "length_immediate" "1")
30031 : 100 : (set_attr "mode" "TI")])
30032 : 100 :
30033 : 100 : (define_insn "vsm3msg1"
30034 : : [(set (match_operand:V4SI 0 "register_operand" "=x")
30035 : : (unspec:V4SI
30036 : : [(match_operand:V4SI 1 "register_operand" "0")
30037 : : (match_operand:V4SI 2 "register_operand" "x")
30038 : : (match_operand:V4SI 3 "vector_operand" "xBm")]
30039 : : UNSPEC_SM3MSG1))]
30040 : 83 : "TARGET_SM3"
30041 : : "vsm3msg1\t{%3, %2, %0|%0, %2, %3}"
30042 : : [(set_attr "type" "other")
30043 : : (set_attr "mode" "TI")])
30044 : 99 :
30045 : 99 : (define_insn "vsm3msg2"
30046 : 99 : [(set (match_operand:V4SI 0 "register_operand" "=x")
30047 : : (unspec:V4SI
30048 : : [(match_operand:V4SI 1 "register_operand" "0")
30049 : : (match_operand:V4SI 2 "register_operand" "x")
30050 : : (match_operand:V4SI 3 "vector_operand" "xBm")]
30051 : : UNSPEC_SM3MSG2))]
30052 : 82 : "TARGET_SM3"
30053 : : "vsm3msg2\t{%3, %2, %0|%0, %2, %3}"
30054 : : [(set_attr "type" "other")
30055 : : (set_attr "mode" "TI")])
30056 : 109 :
30057 : 109 : (define_insn "vsm3rnds2"
30058 : : [(set (match_operand:V4SI 0 "register_operand" "=x")
30059 : : (unspec:V4SI
30060 : 84 : [(match_operand:V4SI 1 "register_operand" "0")
30061 : 84 : (match_operand:V4SI 2 "register_operand" "x")
30062 : 84 : (match_operand:V4SI 3 "vector_operand" "xBm")
30063 : 84 : (match_operand:SI 4 "const_0_to_255_operand" "n")]
30064 : : UNSPEC_SM3RNDS2))]
30065 : 90 : "TARGET_SM3"
30066 : : "vsm3rnds2\t{%4, %3, %2, %0|%0, %2, %3, %4}"
30067 : : [(set_attr "type" "other")
30068 : : (set_attr "mode" "TI")
30069 : : (set_attr "length_immediate" "1")])
30070 : :
30071 : : (define_insn "vsha512msg1"
30072 : : [(set (match_operand:V4DI 0 "register_operand" "=x")
30073 : : (unspec:V4DI
30074 : : [(match_operand:V4DI 1 "register_operand" "0")
30075 : 368319 : (match_operand:V2DI 2 "register_operand" "x")]
30076 : : UNSPEC_SHA512MSG1))]
30077 : 76 : "TARGET_SHA512"
30078 : : "vsha512msg1\t{%2, %0|%0, %2}"
30079 : 368319 : [(set_attr "type" "sselog1")
30080 : 368319 : (set_attr "mode" "OI")])
30081 : 368420 :
30082 : 368420 : (define_insn "vsha512msg2"
30083 : 368319 : [(set (match_operand:V4DI 0 "register_operand" "=x")
30084 : 368420 : (unspec:V4DI
30085 : : [(match_operand:V4DI 1 "register_operand" "0")
30086 : 220030 : (match_operand:V4DI 2 "register_operand" "x")]
30087 : 220030 : UNSPEC_SHA512MSG2))]
30088 : 220108 : "TARGET_SHA512"
30089 : 220030 : "vsha512msg2\t{%2, %0|%0, %2}"
30090 : 220030 : [(set_attr "type" "sselog1")
30091 : 220030 : (set_attr "mode" "OI")])
30092 : 220277 :
30093 : 220277 : (define_insn "vsha512rnds2"
30094 : : [(set (match_operand:V4DI 0 "register_operand" "=x")
30095 : 165275 : (unspec:V4DI
30096 : 165275 : [(match_operand:V4DI 1 "register_operand" "0")
30097 : 165211 : (match_operand:V4DI 2 "register_operand" "x")
30098 : 165211 : (match_operand:V2DI 3 "register_operand" "x")]
30099 : 165211 : UNSPEC_SHA512RNDS2))]
30100 : 79 : "TARGET_SHA512"
30101 : 1 : "vsha512rnds2\t{%3, %2, %0|%0, %2, %3}"
30102 : 1 : [(set_attr "type" "sselog1")
30103 : : (set_attr "mode" "OI")])
30104 : 410 :
30105 : 408 : (define_insn "vsm4key4_<mode>"
30106 : : [(set (match_operand:VI4_AVX10_2 0 "register_operand" "=x,v")
30107 : 73 : (unspec:VI4_AVX10_2
30108 : 146 : [(match_operand:VI4_AVX10_2 1 "register_operand" "x,v")
30109 : : (match_operand:VI4_AVX10_2 2 "vector_operand" "xBm,vBm")]
30110 : : UNSPEC_SM4KEY4))]
30111 : 81 : "TARGET_SM4"
30112 : : "vsm4key4\t{%2, %1, %0|%0, %1, %2}"
30113 : : [(set_attr "type" "other")
30114 : : (set_attr "prefix" "maybe_evex")
30115 : 82 : (set_attr "isa" "avx,avx10_2")
30116 : 82 : (set_attr "mode" "<sseinsnmode>")])
30117 : :
30118 : : (define_insn "vsm4rnds4_<mode>"
30119 : 246 : [(set (match_operand:VI4_AVX10_2 0 "register_operand" "=x,v")
30120 : 246 : (unspec:VI4_AVX10_2
30121 : : [(match_operand:VI4_AVX10_2 1 "register_operand" "x,v")
30122 : 64 : (match_operand:VI4_AVX10_2 2 "vector_operand" "xBm,vBm")]
30123 : 64 : UNSPEC_SM4RNDS4))]
30124 : 81 : "TARGET_SM4"
30125 : : "vsm4rnds4\t{%2, %1, %0|%0, %1, %2}"
30126 : : [(set_attr "type" "other")
30127 : : (set_attr "prefix" "maybe_evex")
30128 : 81 : (set_attr "isa" "avx,avx10_2")
30129 : 81 : (set_attr "mode" "<sseinsnmode>")])
30130 : :
30131 : : (define_insn_and_split "avx512f_<castmode><avxsizesuffix>_<castmode>"
30132 : 185 : [(set (match_operand:AVX512MODE2P 0 "nonimmediate_operand" "=x,m")
30133 : 185 : (vec_concat:AVX512MODE2P
30134 : 185 : (vec_concat:<ssehalfvecmode>
30135 : 185 : (match_operand:<ssequartermode> 1 "nonimmediate_operand" "xm,x")
30136 : 185 : (unspec:<ssequartermode> [(const_int 0)] UNSPEC_CAST))
30137 : 185 : (unspec:<ssehalfvecmode> [(const_int 0)] UNSPEC_CAST)))]
30138 : 483 : "TARGET_AVX512F && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
30139 : 185 : "#"
30140 : 22 : "&& reload_completed"
30141 : 62 : [(set (match_dup 0) (match_dup 1))]
30142 : 128 : {
30143 : 33 : if (REG_P (operands[0]))
30144 : 199 : operands[0] = gen_lowpart (<ssequartermode>mode, operands[0]);
30145 : 44 : else
30146 : 0 : operands[1] = lowpart_subreg (<MODE>mode, operands[1],
30147 : : <ssequartermode>mode);
30148 : : })
30149 : 88 :
30150 : : (define_insn_and_split "avx512f_<castmode><avxsizesuffix>_256<castmode>"
30151 : 33 : [(set (match_operand:AVX512MODE2P 0 "nonimmediate_operand" "=x,m")
30152 : 296432 : (vec_concat:AVX512MODE2P
30153 : 296432 : (match_operand:<ssehalfvecmode> 1 "nonimmediate_operand" "xm,x")
30154 : 296432 : (unspec:<ssehalfvecmode> [(const_int 0)] UNSPEC_CAST)))]
30155 : 327 : "TARGET_AVX512F && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
30156 : 113 : "#"
30157 : 168 : "&& reload_completed"
30158 : 146 : [(set (match_dup 0) (match_dup 1))]
30159 : 212 : {
30160 : 146 : if (REG_P (operands[0]))
30161 : 187 : operands[0] = gen_lowpart (<ssehalfvecmode>mode, operands[0]);
30162 : 157 : else
30163 : 116 : operands[1] = lowpart_subreg (<MODE>mode, operands[1],
30164 : 35 : <ssehalfvecmode>mode);
30165 : 89 : })
30166 : 1 :
30167 : 9 : (define_int_iterator VPMADD52
30168 : 35 : [UNSPEC_VPMADD52LUQ
30169 : 33 : UNSPEC_VPMADD52HUQ])
30170 : 59 :
30171 : 1800024 : (define_int_attr vpmadd52type
30172 : 59 : [(UNSPEC_VPMADD52LUQ "luq") (UNSPEC_VPMADD52HUQ "huq")])
30173 : 1799991 :
30174 : 1800035 : (define_expand "vpmadd52huq<mode>_maskz"
30175 : 1800024 : [(match_operand:VI8_AVX512VL 0 "register_operand")
30176 : 1800024 : (match_operand:VI8_AVX512VL 1 "register_operand")
30177 : 1800002 : (match_operand:VI8_AVX512VL 2 "register_operand")
30178 : 26 : (match_operand:VI8_AVX512VL 3 "nonimmediate_operand")
30179 : 1548090 : (match_operand:<avx512fmaskmode> 4 "register_operand")]
30180 : 1548090 : "TARGET_AVX512IFMA"
30181 : 60 : {
30182 : 47 : emit_insn (gen_vpmadd52huq<mode>_maskz_1 (
30183 : : operands[0], operands[1], operands[2], operands[3],
30184 : 24 : CONST0_RTX (<MODE>mode), operands[4]));
30185 : 41 : DONE;
30186 : : })
30187 : 1 :
30188 : : (define_expand "vpmadd52luq<mode>_maskz"
30189 : : [(match_operand:VI8_AVX512VL 0 "register_operand")
30190 : : (match_operand:VI8_AVX512VL 1 "register_operand")
30191 : 12 : (match_operand:VI8_AVX512VL 2 "register_operand")
30192 : : (match_operand:VI8_AVX512VL 3 "nonimmediate_operand")
30193 : : (match_operand:<avx512fmaskmode> 4 "register_operand")]
30194 : 24 : "TARGET_AVX512IFMA"
30195 : 39 : {
30196 : 39 : emit_insn (gen_vpmadd52luq<mode>_maskz_1 (
30197 : : operands[0], operands[1], operands[2], operands[3],
30198 : : CONST0_RTX (<MODE>mode), operands[4]));
30199 : 39 : DONE;
30200 : 12 : })
30201 : 26 :
30202 : 12 : (define_insn "vpmadd52<vpmadd52type>v8di"
30203 : 12 : [(set (match_operand:V8DI 0 "register_operand" "=v")
30204 : 14 : (unspec:V8DI
30205 : 12 : [(match_operand:V8DI 1 "register_operand" "0")
30206 : 12 : (match_operand:V8DI 2 "register_operand" "v")
30207 : 24 : (match_operand:V8DI 3 "nonimmediate_operand" "vm")]
30208 : 24 : VPMADD52))]
30209 : 85 : "TARGET_AVX512IFMA && TARGET_EVEX512"
30210 : 12 : "vpmadd52<vpmadd52type>\t{%3, %2, %0|%0, %2, %3}"
30211 : 36 : [(set_attr "type" "ssemuladd")
30212 : 48 : (set_attr "prefix" "evex")
30213 : 251 : (set_attr "mode" "XI")])
30214 : 251 :
30215 : 24 : (define_insn "vpmadd52<vpmadd52type><mode>"
30216 : : [(set (match_operand:VI8_AVX2 0 "register_operand" "=x,v")
30217 : 24 : (unspec:VI8_AVX2
30218 : 48 : [(match_operand:VI8_AVX2 1 "register_operand" "0,0")
30219 : 48 : (match_operand:VI8_AVX2 2 "register_operand" "x,v")
30220 : 48 : (match_operand:VI8_AVX2 3 "nonimmediate_operand" "xjm,vm")]
30221 : 48 : VPMADD52))]
30222 : 533 : "TARGET_AVXIFMA || (TARGET_AVX512IFMA && TARGET_AVX512VL)"
30223 : 48 : "@
30224 : 48 : %{vex%} vpmadd52<vpmadd52type>\t{%3, %2, %0|%0, %2, %3}
30225 : 48 : vpmadd52<vpmadd52type>\t{%3, %2, %0|%0, %2, %3}"
30226 : 60 : [(set_attr "isa" "avxifma,avx512ifmavl")
30227 : : (set_attr "type" "ssemuladd")
30228 : 12 : (set_attr "addr" "gpr16,*")
30229 : 12 : (set_attr "prefix" "vex,evex")
30230 : 729 : (set_attr "mode" "<sseinsnmode>")])
30231 : 729 :
30232 : 48 : (define_insn "vpmadd52<vpmadd52type><mode>_maskz_1"
30233 : 199 : [(set (match_operand:VI8_AVX512VL 0 "register_operand" "=v")
30234 : 199 : (vec_merge:VI8_AVX512VL
30235 : 48 : (unspec:VI8_AVX512VL
30236 : 48 : [(match_operand:VI8_AVX512VL 1 "register_operand" "0")
30237 : 36 : (match_operand:VI8_AVX512VL 2 "register_operand" "v")
30238 : 36 : (match_operand:VI8_AVX512VL 3 "nonimmediate_operand" "vm")]
30239 : 36 : VPMADD52)
30240 : 36 : (match_operand:VI8_AVX512VL 4 "const0_operand" "C")
30241 : : (match_operand:<avx512fmaskmode> 5 "register_operand" "Yk")))]
30242 : 218 : "TARGET_AVX512IFMA"
30243 : : "vpmadd52<vpmadd52type>\t{%3, %2, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %2, %3}"
30244 : : [(set_attr "type" "ssemuladd")
30245 : : (set_attr "prefix" "evex")
30246 : : (set_attr "mode" "<sseinsnmode>")])
30247 : :
30248 : : (define_insn "vpmadd52<vpmadd52type><mode>_mask"
30249 : : [(set (match_operand:VI8_AVX512VL 0 "register_operand" "=v")
30250 : : (vec_merge:VI8_AVX512VL
30251 : : (unspec:VI8_AVX512VL
30252 : : [(match_operand:VI8_AVX512VL 1 "register_operand" "0")
30253 : : (match_operand:VI8_AVX512VL 2 "register_operand" "v")
30254 : : (match_operand:VI8_AVX512VL 3 "nonimmediate_operand" "vm")]
30255 : : VPMADD52)
30256 : : (match_dup 1)
30257 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
30258 : 269 : "TARGET_AVX512IFMA"
30259 : : "vpmadd52<vpmadd52type>\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3}"
30260 : : [(set_attr "type" "ssemuladd")
30261 : : (set_attr "prefix" "evex")
30262 : : (set_attr "mode" "<sseinsnmode>")])
30263 : :
30264 : : (define_insn "vpmultishiftqb<mode><mask_name>"
30265 : : [(set (match_operand:VI1_AVX512VL 0 "register_operand" "=v")
30266 : : (unspec:VI1_AVX512VL
30267 : : [(match_operand:VI1_AVX512VL 1 "register_operand" "v")
30268 : : (match_operand:VI1_AVX512VL 2 "nonimmediate_operand" "vm")]
30269 : : UNSPEC_VPMULTISHIFT))]
30270 : 275 : "TARGET_AVX512VBMI"
30271 : : "vpmultishiftqb\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
30272 : : [(set_attr "type" "sselog")
30273 : : (set_attr "prefix" "evex")
30274 : : (set_attr "mode" "<sseinsnmode>")])
30275 : :
30276 : : (define_expand "popcount<mode>2"
30277 : : [(set (match_operand:VI48_AVX512VL 0 "register_operand")
30278 : : (popcount:VI48_AVX512VL
30279 : : (match_operand:VI48_AVX512VL 1 "nonimmediate_operand")))]
30280 : : "TARGET_AVX512VPOPCNTDQ")
30281 : :
30282 : : (define_insn "vpopcount<mode><mask_name>"
30283 : : [(set (match_operand:VI48_AVX512VL 0 "register_operand" "=v")
30284 : : (popcount:VI48_AVX512VL
30285 : : (match_operand:VI48_AVX512VL 1 "nonimmediate_operand" "vm")))]
30286 : 799 : "TARGET_AVX512VPOPCNTDQ"
30287 : : "vpopcnt<ssemodesuffix>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}")
30288 : :
30289 : : ;; Save multiple registers out-of-line.
30290 : : (define_insn "*save_multiple<mode>"
30291 : : [(match_parallel 0 "save_multiple"
30292 : : [(use (match_operand:P 1 "symbol_operand"))])]
30293 : 14090 : "TARGET_SSE && TARGET_64BIT"
30294 : : "call\t%P1")
30295 : :
30296 : : ;; Restore multiple registers out-of-line.
30297 : : (define_insn "*restore_multiple<mode>"
30298 : : [(match_parallel 0 "restore_multiple"
30299 : : [(use (match_operand:P 1 "symbol_operand"))])]
30300 : 5931 : "TARGET_SSE && TARGET_64BIT"
30301 : : "call\t%P1")
30302 : :
30303 : : ;; Restore multiple registers out-of-line and return.
30304 : : (define_insn "*restore_multiple_and_return<mode>"
30305 : : [(match_parallel 0 "restore_multiple"
30306 : : [(return)
30307 : : (use (match_operand:P 1 "symbol_operand"))
30308 : : (set (reg:DI SP_REG) (reg:DI R10_REG))
30309 : : ])]
30310 : 111 : "TARGET_SSE && TARGET_64BIT"
30311 : : "jmp\t%P1")
30312 : :
30313 : : ;; Restore multiple registers out-of-line when hard frame pointer is used,
30314 : : ;; perform the leave operation prior to returning (from the function).
30315 : : (define_insn "*restore_multiple_leave_return<mode>"
30316 : : [(match_parallel 0 "restore_multiple"
30317 : : [(return)
30318 : : (use (match_operand:P 1 "symbol_operand"))
30319 : : (set (reg:DI SP_REG) (plus:DI (reg:DI BP_REG) (const_int 8)))
30320 : : (set (reg:DI BP_REG) (mem:DI (reg:DI BP_REG)))
30321 : : (clobber (mem:BLK (scratch)))
30322 : : ])]
30323 : 1003 : "TARGET_SSE && TARGET_64BIT"
30324 : : "jmp\t%P1")
30325 : :
30326 : : (define_expand "popcount<mode>2"
30327 : : [(set (match_operand:VI12_AVX512VL 0 "register_operand" "=v")
30328 : : (popcount:VI12_AVX512VL
30329 : : (match_operand:VI12_AVX512VL 1 "nonimmediate_operand" "vm")))]
30330 : : "TARGET_AVX512BITALG")
30331 : :
30332 : : (define_insn "vpopcount<mode><mask_name>"
30333 : : [(set (match_operand:VI12_AVX512VL 0 "register_operand" "=v")
30334 : : (popcount:VI12_AVX512VL
30335 : : (match_operand:VI12_AVX512VL 1 "nonimmediate_operand" "vm")))]
30336 : 578 : "TARGET_AVX512BITALG"
30337 : : "vpopcnt<ssemodesuffix>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}")
30338 : :
30339 : : (define_insn "vgf2p8affineinvqb_<mode><mask_name>"
30340 : : [(set (match_operand:VI1_AVX512F 0 "register_operand" "=x,v")
30341 : : (unspec:VI1_AVX512F
30342 : : [(match_operand:VI1_AVX512F 1 "register_operand" "0,v")
30343 : : (match_operand:VI1_AVX512F 2 "vector_operand" "xja,vm")
30344 : : (match_operand 3 "const_0_to_255_operand")]
30345 : : UNSPEC_GF2P8AFFINEINV))]
30346 : 164 : "TARGET_GFNI"
30347 : : "@
30348 : : gf2p8affineinvqb\t{%3, %2, %0| %0, %2, %3}
30349 : : vgf2p8affineinvqb\t{%3, %2, %1, %0<mask_operand4>| %0<mask_operand4>, %1, %2, %3}"
30350 : : [(set_attr "isa" "noavx,avx")
30351 : : (set_attr "addr" "gpr16,*")
30352 : : (set_attr "prefix_extra" "1")
30353 : : (set_attr "prefix" "orig,maybe_evex")
30354 : 1055 : (set_attr "mode" "<sseinsnmode>")])
30355 : 1055 :
30356 : : (define_insn "vgf2p8affineqb_<mode><mask_name>"
30357 : 74 : [(set (match_operand:VI1_AVX512F 0 "register_operand" "=x,v")
30358 : 74 : (unspec:VI1_AVX512F
30359 : 189 : [(match_operand:VI1_AVX512F 1 "register_operand" "0,v")
30360 : : (match_operand:VI1_AVX512F 2 "vector_operand" "xja,vm")
30361 : : (match_operand 3 "const_0_to_255_operand")]
30362 : : UNSPEC_GF2P8AFFINE))]
30363 : 175 : "TARGET_GFNI"
30364 : : "@
30365 : : gf2p8affineqb\t{%3, %2, %0| %0, %2, %3}
30366 : : vgf2p8affineqb\t{%3, %2, %1, %0<mask_operand4>| %0<mask_operand4>, %1, %2, %3}"
30367 : : [(set_attr "isa" "noavx,avx")
30368 : : (set_attr "addr" "gpr16,*")
30369 : : (set_attr "prefix_extra" "1")
30370 : : (set_attr "prefix" "orig,maybe_evex")
30371 : 2970 : (set_attr "mode" "<sseinsnmode>")])
30372 : 2970 :
30373 : : (define_insn "vgf2p8mulb_<mode><mask_name>"
30374 : 2802 : [(set (match_operand:VI1_AVX512F 0 "register_operand" "=x,v")
30375 : 2802 : (unspec:VI1_AVX512F
30376 : : [(match_operand:VI1_AVX512F 1 "register_operand" "%0,v")
30377 : 3092 : (match_operand:VI1_AVX512F 2 "vector_operand" "xja,vm")]
30378 : 3092 : UNSPEC_GF2P8MUL))]
30379 : 163 : "TARGET_GFNI"
30380 : 3082 : "@
30381 : 3082 : gf2p8mulb\t{%2, %0| %0, %2}
30382 : : vgf2p8mulb\t{%2, %1, %0<mask_operand3>| %0<mask_operand3>, %1, %2}"
30383 : 1393 : [(set_attr "isa" "noavx,avx")
30384 : 1393 : (set_attr "addr" "gpr16,*")
30385 : : (set_attr "prefix_extra" "1")
30386 : 191 : (set_attr "prefix" "orig,maybe_evex")
30387 : 807 : (set_attr "mode" "<sseinsnmode>")])
30388 : 702 :
30389 : : (define_insn "vpshrd_<mode><mask_name>"
30390 : 248 : [(set (match_operand:VI248_AVX512VL 0 "register_operand" "=v")
30391 : 248 : (unspec:VI248_AVX512VL
30392 : : [(match_operand:VI248_AVX512VL 1 "register_operand" "v")
30393 : : (match_operand:VI248_AVX512VL 2 "nonimmediate_operand" "vm")
30394 : : (match_operand:SI 3 "const_0_to_255_operand")]
30395 : : UNSPEC_VPSHRD))]
30396 : 810 : "TARGET_AVX512VBMI2"
30397 : : "vpshrd<ssemodesuffix>\t{%3, %2, %1, %0<mask_operand4>|%0<mask_operand4>, %1, %2, %3 }"
30398 : : [(set_attr ("prefix") ("evex"))])
30399 : :
30400 : : (define_insn "vpshld_<mode><mask_name>"
30401 : : [(set (match_operand:VI248_AVX512VL 0 "register_operand" "=v")
30402 : : (unspec:VI248_AVX512VL
30403 : : [(match_operand:VI248_AVX512VL 1 "register_operand" "v")
30404 : : (match_operand:VI248_AVX512VL 2 "nonimmediate_operand" "vm")
30405 : : (match_operand:SI 3 "const_0_to_255_operand")]
30406 : : UNSPEC_VPSHLD))]
30407 : 845 : "TARGET_AVX512VBMI2"
30408 : : "vpshld<ssemodesuffix>\t{%3, %2, %1, %0<mask_operand4>|%0<mask_operand4>, %1, %2, %3 }"
30409 : : [(set_attr ("prefix") ("evex"))])
30410 : :
30411 : : (define_insn "vpshrdv_<mode>"
30412 : : [(set (match_operand:VI248_AVX512VL 0 "register_operand" "=v")
30413 : : (unspec:VI248_AVX512VL
30414 : : [(match_operand:VI248_AVX512VL 1 "register_operand" "0")
30415 : : (match_operand:VI248_AVX512VL 2 "register_operand" "v")
30416 : : (match_operand:VI248_AVX512VL 3 "nonimmediate_operand" "vm")]
30417 : : UNSPEC_VPSHRDV))]
30418 : 164 : "TARGET_AVX512VBMI2"
30419 : : "vpshrdv<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3 }"
30420 : : [(set_attr ("prefix") ("evex"))
30421 : : (set_attr "mode" "<sseinsnmode>")])
30422 : :
30423 : : (define_insn "vpshrdv_<mode>_mask"
30424 : : [(set (match_operand:VI248_AVX512VL 0 "register_operand" "=v")
30425 : : (vec_merge:VI248_AVX512VL
30426 : : (unspec:VI248_AVX512VL
30427 : : [(match_operand:VI248_AVX512VL 1 "register_operand" "0")
30428 : : (match_operand:VI248_AVX512VL 2 "register_operand" "v")
30429 : : (match_operand:VI248_AVX512VL 3 "nonimmediate_operand" "vm")]
30430 : : UNSPEC_VPSHRDV)
30431 : : (match_dup 1)
30432 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
30433 : 305 : "TARGET_AVX512VBMI2"
30434 : : "vpshrdv<ssemodesuffix>\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3 }"
30435 : : [(set_attr ("prefix") ("evex"))
30436 : : (set_attr "mode" "<sseinsnmode>")])
30437 : :
30438 : : (define_expand "vpshrdv_<mode>_maskz"
30439 : : [(match_operand:VI248_AVX512VL 0 "register_operand")
30440 : : (match_operand:VI248_AVX512VL 1 "register_operand")
30441 : : (match_operand:VI248_AVX512VL 2 "register_operand")
30442 : : (match_operand:VI248_AVX512VL 3 "nonimmediate_operand")
30443 : : (match_operand:<avx512fmaskmode> 4 "register_operand")]
30444 : : "TARGET_AVX512VBMI2"
30445 : 108 : {
30446 : 108 : emit_insn (gen_vpshrdv_<mode>_maskz_1 (operands[0], operands[1],
30447 : : operands[2], operands[3],
30448 : : CONST0_RTX (<MODE>mode),
30449 : : operands[4]));
30450 : 108 : DONE;
30451 : : })
30452 : :
30453 : : (define_insn "vpshrdv_<mode>_maskz_1"
30454 : : [(set (match_operand:VI248_AVX512VL 0 "register_operand" "=v")
30455 : : (vec_merge:VI248_AVX512VL
30456 : : (unspec:VI248_AVX512VL
30457 : : [(match_operand:VI248_AVX512VL 1 "register_operand" "0")
30458 : : (match_operand:VI248_AVX512VL 2 "register_operand" "v")
30459 : : (match_operand:VI248_AVX512VL 3 "nonimmediate_operand" "vm")]
30460 : : UNSPEC_VPSHRDV)
30461 : : (match_operand:VI248_AVX512VL 4 "const0_operand")
30462 : : (match_operand:<avx512fmaskmode> 5 "register_operand" "Yk")))]
30463 : 299 : "TARGET_AVX512VBMI2"
30464 : : "vpshrdv<ssemodesuffix>\t{%3, %2, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %2, %3 }"
30465 : : [(set_attr ("prefix") ("evex"))
30466 : : (set_attr "mode" "<sseinsnmode>")])
30467 : :
30468 : : (define_insn "vpshldv_<mode>"
30469 : : [(set (match_operand:VI248_AVX512VL 0 "register_operand" "=v")
30470 : : (unspec:VI248_AVX512VL
30471 : : [(match_operand:VI248_AVX512VL 1 "register_operand" "0")
30472 : : (match_operand:VI248_AVX512VL 2 "register_operand" "v")
30473 : : (match_operand:VI248_AVX512VL 3 "nonimmediate_operand" "vm")]
30474 : : UNSPEC_VPSHLDV))]
30475 : 247 : "TARGET_AVX512VBMI2"
30476 : : "vpshldv<ssemodesuffix>\t{%3, %2, %0|%0, %2, %3 }"
30477 : 96 : [(set_attr ("prefix") ("evex"))
30478 : : (set_attr "mode" "<sseinsnmode>")])
30479 : :
30480 : : (define_insn "vpshldv_<mode>_mask"
30481 : : [(set (match_operand:VI248_AVX512VL 0 "register_operand" "=v")
30482 : 0 : (vec_merge:VI248_AVX512VL
30483 : 96 : (unspec:VI248_AVX512VL
30484 : 96 : [(match_operand:VI248_AVX512VL 1 "register_operand" "0")
30485 : 96 : (match_operand:VI248_AVX512VL 2 "register_operand" "v")
30486 : 96 : (match_operand:VI248_AVX512VL 3 "nonimmediate_operand" "vm")]
30487 : 96 : UNSPEC_VPSHLDV)
30488 : 96 : (match_dup 1)
30489 : 96 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
30490 : 401 : "TARGET_AVX512VBMI2"
30491 : 96 : "vpshldv<ssemodesuffix>\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3 }"
30492 : : [(set_attr ("prefix") ("evex"))
30493 : : (set_attr "mode" "<sseinsnmode>")])
30494 : :
30495 : : (define_expand "vpshldv_<mode>_maskz"
30496 : : [(match_operand:VI248_AVX512VL 0 "register_operand")
30497 : : (match_operand:VI248_AVX512VL 1 "register_operand")
30498 : : (match_operand:VI248_AVX512VL 2 "register_operand")
30499 : : (match_operand:VI248_AVX512VL 3 "nonimmediate_operand")
30500 : : (match_operand:<avx512fmaskmode> 4 "register_operand")]
30501 : : "TARGET_AVX512VBMI2"
30502 : 108 : {
30503 : 108 : emit_insn (gen_vpshldv_<mode>_maskz_1 (operands[0], operands[1],
30504 : : operands[2], operands[3],
30505 : : CONST0_RTX (<MODE>mode),
30506 : : operands[4]));
30507 : 108 : DONE;
30508 : : })
30509 : :
30510 : : (define_insn "vpshldv_<mode>_maskz_1"
30511 : : [(set (match_operand:VI248_AVX512VL 0 "register_operand" "=v")
30512 : : (vec_merge:VI248_AVX512VL
30513 : : (unspec:VI248_AVX512VL
30514 : : [(match_operand:VI248_AVX512VL 1 "register_operand" "0")
30515 : : (match_operand:VI248_AVX512VL 2 "register_operand" "v")
30516 : : (match_operand:VI248_AVX512VL 3 "nonimmediate_operand" "vm")]
30517 : : UNSPEC_VPSHLDV)
30518 : : (match_operand:VI248_AVX512VL 4 "const0_operand")
30519 : : (match_operand:<avx512fmaskmode> 5 "register_operand" "Yk")))]
30520 : 299 : "TARGET_AVX512VBMI2"
30521 : : "vpshldv<ssemodesuffix>\t{%3, %2, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %2, %3 }"
30522 : : [(set_attr ("prefix") ("evex"))
30523 : : (set_attr "mode" "<sseinsnmode>")])
30524 : :
30525 : : (define_expand "usdot_prod<ssedvecmodelower><mode>"
30526 : : [(match_operand:<ssedvecmode> 0 "register_operand")
30527 : : (match_operand:VI1_AVX512 1 "register_operand")
30528 : : (match_operand:VI1_AVX512 2 "register_operand")
30529 : : (match_operand:<ssedvecmode> 3 "register_operand")]
30530 : : "TARGET_SSE2"
30531 : 30 : {
30532 : 30 : if (<MODE_SIZE> == 64
30533 : 0 : ? TARGET_AVX512VNNI
30534 : 112 : : ((TARGET_AVX512VNNI && TARGET_AVX512VL) || TARGET_AVXVNNI))
30535 : : {
30536 : 8 : operands[1] = lowpart_subreg (<ssedvecmode>mode,
30537 : : force_reg (<MODE>mode, operands[1]),
30538 : : <MODE>mode);
30539 : 8 : operands[2] = lowpart_subreg (<ssedvecmode>mode,
30540 : 118 : force_reg (<MODE>mode, operands[2]),
30541 : 118 : <MODE>mode);
30542 : 96 : emit_insn (gen_vpdpbusd_<ssedvecmodelower> (operands[0], operands[3],
30543 : 118 : operands[1], operands[2]));
30544 : 118 : }
30545 : 118 : else
30546 : 118 : {
30547 : 88 : /* Emulate with vpdpwssd. */
30548 : 110 : rtx op1_lo = gen_reg_rtx (<sseunpackmode>mode);
30549 : 22 : rtx op1_hi = gen_reg_rtx (<sseunpackmode>mode);
30550 : 22 : rtx op2_lo = gen_reg_rtx (<sseunpackmode>mode);
30551 : 22 : rtx op2_hi = gen_reg_rtx (<sseunpackmode>mode);
30552 : :
30553 : 22 : emit_insn (gen_vec_unpacku_lo_<mode> (op1_lo, operands[1]));
30554 : 22 : emit_insn (gen_vec_unpacks_lo_<mode> (op2_lo, operands[2]));
30555 : 22 : emit_insn (gen_vec_unpacku_hi_<mode> (op1_hi, operands[1]));
30556 : 22 : emit_insn (gen_vec_unpacks_hi_<mode> (op2_hi, operands[2]));
30557 : :
30558 : 22 : rtx res1 = gen_reg_rtx (<ssedvecmode>mode);
30559 : 22 : rtx res2 = gen_reg_rtx (<ssedvecmode>mode);
30560 : 22 : rtx sum = gen_reg_rtx (<ssedvecmode>mode);
30561 : :
30562 : 22 : emit_move_insn (sum, CONST0_RTX (<ssedvecmode>mode));
30563 : 22 : emit_insn (gen_sdot_prod<ssedvecmodelower><sseunpackmodelower> (res1,
30564 : : op1_lo, op2_lo, sum));
30565 : 22 : emit_insn (gen_sdot_prod<ssedvecmodelower><sseunpackmodelower> (res2,
30566 : : op1_hi, op2_hi,
30567 : : operands[3]));
30568 : 22 : emit_insn (gen_add<ssedvecmodelower>3 (operands[0], res1, res2));
30569 : : }
30570 : 30 : DONE;
30571 : : })
30572 : :
30573 : : (define_insn "vpdpbusd_v16si"
30574 : : [(set (match_operand:V16SI 0 "register_operand" "=v")
30575 : : (unspec:V16SI
30576 : : [(match_operand:V16SI 1 "register_operand" "0")
30577 : : (match_operand:V16SI 2 "register_operand" "v")
30578 : : (match_operand:V16SI 3 "nonimmediate_operand" "vm")]
30579 : : UNSPEC_VPDPBUSD))]
30580 : 86 : "TARGET_AVX512VNNI && TARGET_EVEX512"
30581 : : "vpdpbusd\t{%3, %2, %0|%0, %2, %3}"
30582 : : [(set_attr ("prefix") ("evex"))])
30583 : :
30584 : 161 : (define_insn "vpdpbusd_<mode>"
30585 : 161 : [(set (match_operand:VI4_AVX2 0 "register_operand" "=x,v")
30586 : : (unspec:VI4_AVX2
30587 : : [(match_operand:VI4_AVX2 1 "register_operand" "0,0")
30588 : : (match_operand:VI4_AVX2 2 "register_operand" "x,v")
30589 : : (match_operand:VI4_AVX2 3 "nonimmediate_operand" "xjm,vm")]
30590 : : UNSPEC_VPDPBUSD))]
30591 : 378 : "TARGET_AVXVNNI || (TARGET_AVX512VNNI && TARGET_AVX512VL)"
30592 : : "@
30593 : : %{vex%} vpdpbusd\t{%3, %2, %0|%0, %2, %3}
30594 : 18 : vpdpbusd\t{%3, %2, %0|%0, %2, %3}"
30595 : 6 : [(set_attr ("prefix") ("vex,evex"))
30596 : : (set_attr "addr" "gpr16,*")
30597 : 12 : (set_attr ("isa") ("avxvnni,avx512vnnivl"))])
30598 : 12 :
30599 : 416 : (define_insn "vpdpbusd_<mode>_mask"
30600 : 416 : [(set (match_operand:VI4_AVX512VL 0 "register_operand" "=v")
30601 : 24 : (vec_merge:VI4_AVX512VL
30602 : 106 : (unspec:VI4_AVX512VL
30603 : 176 : [(match_operand:VI4_AVX512VL 1 "register_operand" "0")
30604 : 18 : (match_operand:VI4_AVX512VL 2 "register_operand" "v")
30605 : 12 : (match_operand:VI4_AVX512VL 3 "nonimmediate_operand" "vm")]
30606 : 12 : UNSPEC_VPDPBUSD)
30607 : : (match_dup 1)
30608 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
30609 : 105 : "TARGET_AVX512VNNI"
30610 : : "vpdpbusd\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3 }"
30611 : : [(set_attr ("prefix") ("evex"))])
30612 : :
30613 : : (define_expand "vpdpbusd_<mode>_maskz"
30614 : : [(match_operand:VI4_AVX512VL 0 "register_operand")
30615 : : (match_operand:VI4_AVX512VL 1 "register_operand")
30616 : : (match_operand:VI4_AVX512VL 2 "register_operand")
30617 : : (match_operand:VI4_AVX512VL 3 "nonimmediate_operand")
30618 : : (match_operand:<avx512fmaskmode> 4 "register_operand")]
30619 : : "TARGET_AVX512VNNI"
30620 : 38 : {
30621 : 38 : emit_insn (gen_vpdpbusd_<mode>_maskz_1 (operands[0], operands[1],
30622 : : operands[2], operands[3],
30623 : : CONST0_RTX (<MODE>mode),
30624 : : operands[4]));
30625 : 38 : DONE;
30626 : : })
30627 : :
30628 : : (define_insn "vpdpbusd_<mode>_maskz_1"
30629 : : [(set (match_operand:VI4_AVX512VL 0 "register_operand" "=v")
30630 : : (vec_merge:VI4_AVX512VL
30631 : : (unspec:VI4_AVX512VL
30632 : : [(match_operand:VI4_AVX512VL 1 "register_operand" "0")
30633 : : (match_operand:VI4_AVX512VL 2 "register_operand" "v")
30634 : : (match_operand:VI4_AVX512VL 3 "nonimmediate_operand" "vm")
30635 : : ] UNSPEC_VPDPBUSD)
30636 : : (match_operand:VI4_AVX512VL 4 "const0_operand")
30637 : : (match_operand:<avx512fmaskmode> 5 "register_operand" "Yk")))]
30638 : 103 : "TARGET_AVX512VNNI"
30639 : : "vpdpbusd\t{%3, %2, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %2, %3 }"
30640 : : [(set_attr ("prefix") ("evex"))])
30641 : :
30642 : : (define_insn "vpdpbusds_v16si"
30643 : : [(set (match_operand:V16SI 0 "register_operand" "=v")
30644 : : (unspec:V16SI
30645 : : [(match_operand:V16SI 1 "register_operand" "0")
30646 : : (match_operand:V16SI 2 "register_operand" "v")
30647 : : (match_operand:V16SI 3 "nonimmediate_operand" "vm")]
30648 : : UNSPEC_VPDPBUSDS))]
30649 : 82 : "TARGET_AVX512VNNI && TARGET_EVEX512"
30650 : : "vpdpbusds\t{%3, %2, %0|%0, %2, %3}"
30651 : : [(set_attr ("prefix") ("evex"))])
30652 : 38 :
30653 : 135 : (define_insn "vpdpbusds_<mode>"
30654 : 135 : [(set (match_operand:VI4_AVX2 0 "register_operand" "=x,v")
30655 : : (unspec:VI4_AVX2
30656 : : [(match_operand:VI4_AVX2 1 "register_operand" "0,0")
30657 : : (match_operand:VI4_AVX2 2 "register_operand" "x,v")
30658 : 38 : (match_operand:VI4_AVX2 3 "nonimmediate_operand" "xjm,vm")]
30659 : 38 : UNSPEC_VPDPBUSDS))]
30660 : 308 : "TARGET_AVXVNNI || (TARGET_AVX512VNNI && TARGET_AVX512VL)"
30661 : 38 : "@
30662 : 38 : %{vex%} vpdpbusds\t{%3, %2, %0|%0, %2, %3}
30663 : 38 : vpdpbusds\t{%3, %2, %0|%0, %2, %3}"
30664 : 38 : [(set_attr ("prefix") ("vex,evex"))
30665 : 38 : (set_attr "addr" "gpr16,*")
30666 : 38 : (set_attr ("isa") ("avxvnni,avx512vnnivl"))])
30667 : :
30668 : 732 : (define_insn "vpdpbusds_<mode>_mask"
30669 : 732 : [(set (match_operand:VI4_AVX512VL 0 "register_operand" "=v")
30670 : : (vec_merge:VI4_AVX512VL
30671 : 80 : (unspec:VI4_AVX512VL
30672 : 160 : [(match_operand:VI4_AVX512VL 1 "register_operand" "0")
30673 : : (match_operand:VI4_AVX512VL 2 "register_operand" "v")
30674 : : (match_operand:VI4_AVX512VL 3 "nonimmediate_operand" "vm")]
30675 : : UNSPEC_VPDPBUSDS)
30676 : : (match_dup 1)
30677 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
30678 : 105 : "TARGET_AVX512VNNI"
30679 : : "vpdpbusds\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3 }"
30680 : : [(set_attr ("prefix") ("evex"))])
30681 : :
30682 : : (define_expand "vpdpbusds_<mode>_maskz"
30683 : : [(match_operand:VI4_AVX512VL 0 "register_operand")
30684 : : (match_operand:VI4_AVX512VL 1 "register_operand")
30685 : : (match_operand:VI4_AVX512VL 2 "register_operand")
30686 : : (match_operand:VI4_AVX512VL 3 "nonimmediate_operand")
30687 : : (match_operand:<avx512fmaskmode> 4 "register_operand")]
30688 : : "TARGET_AVX512VNNI"
30689 : 38 : {
30690 : 38 : emit_insn (gen_vpdpbusds_<mode>_maskz_1 (operands[0], operands[1],
30691 : : operands[2], operands[3],
30692 : : CONST0_RTX (<MODE>mode),
30693 : : operands[4]));
30694 : 38 : DONE;
30695 : : })
30696 : :
30697 : : (define_insn "vpdpbusds_<mode>_maskz_1"
30698 : : [(set (match_operand:VI4_AVX512VL 0 "register_operand" "=v")
30699 : : (vec_merge:VI4_AVX512VL
30700 : : (unspec:VI4_AVX512VL
30701 : : [(match_operand:VI4_AVX512VL 1 "register_operand" "0")
30702 : : (match_operand:VI4_AVX512VL 2 "register_operand" "v")
30703 : : (match_operand:VI4_AVX512VL 3 "nonimmediate_operand" "vm")]
30704 : : UNSPEC_VPDPBUSDS)
30705 : : (match_operand:VI4_AVX512VL 4 "const0_operand")
30706 : : (match_operand:<avx512fmaskmode> 5 "register_operand" "Yk")))]
30707 : 103 : "TARGET_AVX512VNNI"
30708 : : "vpdpbusds\t{%3, %2, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %2, %3 }"
30709 : : [(set_attr ("prefix") ("evex"))])
30710 : :
30711 : : (define_insn "vpdpwssd_v16si"
30712 : : [(set (match_operand:V16SI 0 "register_operand" "=v")
30713 : : (unspec:V16SI
30714 : : [(match_operand:V16SI 1 "register_operand" "0")
30715 : : (match_operand:V16SI 2 "register_operand" "v")
30716 : : (match_operand:V16SI 3 "nonimmediate_operand" "vm")]
30717 : : UNSPEC_VPDPWSSD))]
30718 : 80 : "TARGET_AVX512VNNI && TARGET_EVEX512"
30719 : : "vpdpwssd\t{%3, %2, %0|%0, %2, %3}"
30720 : : [(set_attr ("prefix") ("evex"))])
30721 : 56 :
30722 : 155 : (define_insn "vpdpwssd_<mode>"
30723 : 155 : [(set (match_operand:VI4_AVX2 0 "register_operand" "=x,v")
30724 : 30 : (unspec:VI4_AVX2
30725 : 30 : [(match_operand:VI4_AVX2 1 "register_operand" "0,0")
30726 : 30 : (match_operand:VI4_AVX2 2 "register_operand" "x,v")
30727 : 56 : (match_operand:VI4_AVX2 3 "nonimmediate_operand" "xjm,vm")]
30728 : 56 : UNSPEC_VPDPWSSD))]
30729 : 466 : "TARGET_AVXVNNI || (TARGET_AVX512VNNI && TARGET_AVX512VL)"
30730 : 26 : "@
30731 : 26 : %{vex%} vpdpwssd\t{%3, %2, %0|%0, %2, %3}
30732 : 26 : vpdpwssd\t{%3, %2, %0|%0, %2, %3}"
30733 : 26 : [(set_attr ("prefix") ("vex,evex"))
30734 : 26 : (set_attr "addr" "gpr16,*")
30735 : 26 : (set_attr ("isa") ("avxvnni,avx512vnnivl"))])
30736 : :
30737 : 392 : (define_insn "vpdpwssd_<mode>_mask"
30738 : 392 : [(set (match_operand:VI4_AVX512VL 0 "register_operand" "=v")
30739 : : (vec_merge:VI4_AVX512VL
30740 : 80 : (unspec:VI4_AVX512VL
30741 : 160 : [(match_operand:VI4_AVX512VL 1 "register_operand" "0")
30742 : : (match_operand:VI4_AVX512VL 2 "register_operand" "v")
30743 : : (match_operand:VI4_AVX512VL 3 "nonimmediate_operand" "vm")]
30744 : : UNSPEC_VPDPWSSD)
30745 : : (match_dup 1)
30746 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
30747 : 104 : "TARGET_AVX512VNNI"
30748 : : "vpdpwssd\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3 }"
30749 : : [(set_attr ("prefix") ("evex"))])
30750 : :
30751 : : (define_expand "vpdpwssd_<mode>_maskz"
30752 : : [(match_operand:VI4_AVX512VL 0 "register_operand")
30753 : : (match_operand:VI4_AVX512VL 1 "register_operand")
30754 : : (match_operand:VI4_AVX512VL 2 "register_operand")
30755 : : (match_operand:VI4_AVX512VL 3 "nonimmediate_operand")
30756 : : (match_operand:<avx512fmaskmode> 4 "register_operand")]
30757 : : "TARGET_AVX512VNNI"
30758 : 38 : {
30759 : 38 : emit_insn (gen_vpdpwssd_<mode>_maskz_1 (operands[0], operands[1],
30760 : : operands[2], operands[3],
30761 : : CONST0_RTX (<MODE>mode),
30762 : : operands[4]));
30763 : 38 : DONE;
30764 : : })
30765 : :
30766 : : (define_insn "vpdpwssd_<mode>_maskz_1"
30767 : : [(set (match_operand:VI4_AVX512VL 0 "register_operand" "=v")
30768 : : (vec_merge:VI4_AVX512VL
30769 : : (unspec:VI4_AVX512VL
30770 : : [(match_operand:VI4_AVX512VL 1 "register_operand" "0")
30771 : : (match_operand:VI4_AVX512VL 2 "register_operand" "v")
30772 : : (match_operand:VI4_AVX512VL 3 "nonimmediate_operand" "vm")]
30773 : : UNSPEC_VPDPWSSD)
30774 : : (match_operand:VI4_AVX512VL 4 "const0_operand")
30775 : : (match_operand:<avx512fmaskmode> 5 "register_operand" "Yk")))]
30776 : 102 : "TARGET_AVX512VNNI"
30777 : : "vpdpwssd\t{%3, %2, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %2, %3 }"
30778 : : [(set_attr ("prefix") ("evex"))])
30779 : :
30780 : : (define_insn "vpdpwssds_v16si"
30781 : : [(set (match_operand:V16SI 0 "register_operand" "=v")
30782 : : (unspec:V16SI
30783 : : [(match_operand:V16SI 1 "register_operand" "0")
30784 : : (match_operand:V16SI 2 "register_operand" "v")
30785 : : (match_operand:V16SI 3 "nonimmediate_operand" "vm")]
30786 : : UNSPEC_VPDPWSSDS))]
30787 : 80 : "TARGET_AVX512VNNI && TARGET_EVEX512"
30788 : : "vpdpwssds\t{%3, %2, %0|%0, %2, %3}"
30789 : : [(set_attr ("prefix") ("evex"))])
30790 : 23 :
30791 : 163 : (define_insn "vpdpwssds_<mode>"
30792 : 133 : [(set (match_operand:VI4_AVX2 0 "register_operand" "=x,v")
30793 : 53 : (unspec:VI4_AVX2
30794 : 53 : [(match_operand:VI4_AVX2 1 "register_operand" "0,0")
30795 : 53 : (match_operand:VI4_AVX2 2 "register_operand" "x,v")
30796 : 53 : (match_operand:VI4_AVX2 3 "nonimmediate_operand" "xjm,vm")]
30797 : 53 : UNSPEC_VPDPWSSDS))]
30798 : 319 : "TARGET_AVXVNNI || (TARGET_AVX512VNNI && TARGET_AVX512VL)"
30799 : 17 : "@
30800 : 30 : %{vex%} vpdpwssds\t{%3, %2, %0|%0, %2, %3}
30801 : : vpdpwssds\t{%3, %2, %0|%0, %2, %3}"
30802 : : [(set_attr ("prefix") ("vex,evex"))
30803 : : (set_attr "addr" "gpr16,*")
30804 : : (set_attr ("isa") ("avxvnni,avx512vnnivl"))])
30805 : :
30806 : 190 : (define_insn "vpdpwssds_<mode>_mask"
30807 : 190 : [(set (match_operand:VI4_AVX512VL 0 "register_operand" "=v")
30808 : 190 : (vec_merge:VI4_AVX512VL
30809 : 190 : (unspec:VI4_AVX512VL
30810 : 190 : [(match_operand:VI4_AVX512VL 1 "register_operand" "0")
30811 : 190 : (match_operand:VI4_AVX512VL 2 "register_operand" "v")
30812 : 190 : (match_operand:VI4_AVX512VL 3 "nonimmediate_operand" "vm")]
30813 : 190 : UNSPEC_VPDPWSSDS)
30814 : 190 : (match_dup 1)
30815 : 190 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
30816 : 104 : "TARGET_AVX512VNNI"
30817 : 190 : "vpdpwssds\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3 }"
30818 : : [(set_attr ("prefix") ("evex"))])
30819 : 90 :
30820 : 90 : (define_expand "vpdpwssds_<mode>_maskz"
30821 : : [(match_operand:VI4_AVX512VL 0 "register_operand")
30822 : 165 : (match_operand:VI4_AVX512VL 1 "register_operand")
30823 : : (match_operand:VI4_AVX512VL 2 "register_operand")
30824 : : (match_operand:VI4_AVX512VL 3 "nonimmediate_operand")
30825 : : (match_operand:<avx512fmaskmode> 4 "register_operand")]
30826 : : "TARGET_AVX512VNNI"
30827 : 38 : {
30828 : 38 : emit_insn (gen_vpdpwssds_<mode>_maskz_1 (operands[0], operands[1],
30829 : : operands[2], operands[3],
30830 : : CONST0_RTX (<MODE>mode),
30831 : : operands[4]));
30832 : 38 : DONE;
30833 : : })
30834 : :
30835 : : (define_insn "vpdpwssds_<mode>_maskz_1"
30836 : : [(set (match_operand:VI4_AVX512VL 0 "register_operand" "=v")
30837 : : (vec_merge:VI4_AVX512VL
30838 : : (unspec:VI4_AVX512VL
30839 : : [(match_operand:VI4_AVX512VL 1 "register_operand" "0")
30840 : : (match_operand:VI4_AVX512VL 2 "register_operand" "v")
30841 : : (match_operand:VI4_AVX512VL 3 "nonimmediate_operand" "vm")]
30842 : : UNSPEC_VPDPWSSDS)
30843 : : (match_operand:VI4_AVX512VL 4 "const0_operand")
30844 : : (match_operand:<avx512fmaskmode> 5 "register_operand" "Yk")))]
30845 : 102 : "TARGET_AVX512VNNI"
30846 : : "vpdpwssds\t{%3, %2, %0%{%5%}%{z%}|%0%{%5%}%{z%}, %2, %3 }"
30847 : : [(set_attr ("prefix") ("evex"))])
30848 : :
30849 : : (define_insn "vaesdec_<mode>"
30850 : : [(set (match_operand:VI1_AVX512VL_F 0 "register_operand" "=x,v")
30851 : : (unspec:VI1_AVX512VL_F
30852 : : [(match_operand:VI1_AVX512VL_F 1 "register_operand" "x,v")
30853 : : (match_operand:VI1_AVX512VL_F 2 "vector_operand" "xjm,vm")]
30854 : : UNSPEC_VAESDEC))]
30855 : 128 : "TARGET_VAES"
30856 : 22 : {
30857 : 22 : if (!TARGET_AES && <MODE>mode == V16QImode)
30858 : : return "%{evex%} vaesdec\t{%2, %1, %0|%0, %1, %2}";
30859 : 39 : else
30860 : 0 : return "vaesdec\t{%2, %1, %0|%0, %1, %2}";
30861 : : })
30862 : 4 :
30863 : 16 : (define_insn "vaesdeclast_<mode>"
30864 : 39 : [(set (match_operand:VI1_AVX512VL_F 0 "register_operand" "=x,v")
30865 : 61 : (unspec:VI1_AVX512VL_F
30866 : 39 : [(match_operand:VI1_AVX512VL_F 1 "register_operand" "x,v")
30867 : 39 : (match_operand:VI1_AVX512VL_F 2 "vector_operand" "xjm,vm")]
30868 : 35 : UNSPEC_VAESDECLAST))]
30869 : 163 : "TARGET_VAES"
30870 : 45 : {
30871 : 45 : if (!TARGET_AES && <MODE>mode == V16QImode)
30872 : : return "%{evex%} vaesdeclast\t{%2, %1, %0|%0, %1, %2}";
30873 : 0 : else
30874 : 0 : return "vaesdeclast\t{%2, %1, %0|%0, %1, %2}";
30875 : : })
30876 : :
30877 : : (define_insn "vaesenc_<mode>"
30878 : : [(set (match_operand:VI1_AVX512VL_F 0 "register_operand" "=x,v")
30879 : 22 : (unspec:VI1_AVX512VL_F
30880 : : [(match_operand:VI1_AVX512VL_F 1 "register_operand" "x,v")
30881 : : (match_operand:VI1_AVX512VL_F 2 "vector_operand" "xjm,vm")]
30882 : : UNSPEC_VAESENC))]
30883 : 128 : "TARGET_VAES"
30884 : 22 : {
30885 : 22 : if (!TARGET_AES && <MODE>mode == V16QImode)
30886 : : return "%{evex%} vaesenc\t{%2, %1, %0|%0, %1, %2}";
30887 : 0 : else
30888 : 0 : return "vaesenc\t{%2, %1, %0|%0, %1, %2}";
30889 : : })
30890 : :
30891 : : (define_insn "vaesenclast_<mode>"
30892 : : [(set (match_operand:VI1_AVX512VL_F 0 "register_operand" "=x,v")
30893 : 22 : (unspec:VI1_AVX512VL_F
30894 : : [(match_operand:VI1_AVX512VL_F 1 "register_operand" "x,v")
30895 : : (match_operand:VI1_AVX512VL_F 2 "vector_operand" "xjm,vm")]
30896 : : UNSPEC_VAESENCLAST))]
30897 : 128 : "TARGET_VAES"
30898 : 22 : {
30899 : 22 : if (!TARGET_AES && <MODE>mode == V16QImode)
30900 : : return "%{evex%} vaesenclast\t{%2, %1, %0|%0, %1, %2}";
30901 : 0 : else
30902 : 0 : return "vaesenclast\t{%2, %1, %0|%0, %1, %2}";
30903 : : })
30904 : :
30905 : : (define_insn "vpclmulqdq_<mode>"
30906 : : [(set (match_operand:VI8_FVL 0 "register_operand" "=v")
30907 : 11 : (unspec:VI8_FVL [(match_operand:VI8_FVL 1 "register_operand" "v")
30908 : : (match_operand:VI8_FVL 2 "vector_operand" "vm")
30909 : : (match_operand:SI 3 "const_0_to_255_operand")]
30910 : : UNSPEC_VPCLMULQDQ))]
30911 : 160 : "TARGET_VPCLMULQDQ"
30912 : : "vpclmulqdq\t{%3, %2, %1, %0|%0, %1, %2, %3}"
30913 : : [(set_attr "mode" "DI")])
30914 : :
30915 : 0 : (define_insn "avx512vl_vpshufbitqmb<mode><mask_scalar_merge_name>"
30916 : 0 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
30917 : : (unspec:<avx512fmaskmode>
30918 : 0 : [(match_operand:VI1_AVX512VL 1 "register_operand" "v")
30919 : : (match_operand:VI1_AVX512VL 2 "nonimmediate_operand" "vm")]
30920 : : UNSPEC_VPSHUFBIT))]
30921 : 192 : "TARGET_AVX512BITALG"
30922 : : "vpshufbitqmb\t{%2, %1, %0<mask_scalar_merge_operand3>|%0<mask_scalar_merge_operand3>, %1, %2}"
30923 : : [(set_attr "prefix" "evex")
30924 : : (set_attr "mode" "<sseinsnmode>")])
30925 : :
30926 : : (define_mode_iterator VI48_AVX512VP2VL
30927 : : [(V8DI "TARGET_EVEX512")
30928 : 13 : (V4DI "TARGET_AVX512VL") (V2DI "TARGET_AVX512VL")
30929 : 26 : (V8SI "TARGET_AVX512VL") (V4SI "TARGET_AVX512VL")])
30930 : 26 :
30931 : 79 : (define_mode_iterator MASK_DWI [P2QI P2HI])
30932 : 79 :
30933 : 217 : (define_expand "mov<mode>"
30934 : 342 : [(set (match_operand:MASK_DWI 0 "nonimmediate_operand")
30935 : 335 : (match_operand:MASK_DWI 1 "nonimmediate_operand"))]
30936 : 131 : "TARGET_AVX512VP2INTERSECT"
30937 : 118 : {
30938 : 118 : if (MEM_P (operands[0]) && MEM_P (operands[1]))
30939 : 0 : operands[1] = force_reg (<MODE>mode, operands[1]);
30940 : : })
30941 : 82 :
30942 : : (define_insn_and_split "*mov<mode>_internal"
30943 : 36 : [(set (match_operand:MASK_DWI 0 "nonimmediate_operand" "=k,o")
30944 : 36 : (match_operand:MASK_DWI 1 "nonimmediate_operand" "ko,k"))]
30945 : 104168 : "TARGET_AVX512VP2INTERSECT
30946 : 1704 : && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
30947 : 8289592 : "#"
30948 : 72 : "&& reload_completed"
30949 : 36 : [(set (match_dup 0) (match_dup 1))
30950 : 4146110 : (set (match_dup 2) (match_dup 3))]
30951 : 4146146 : {
30952 : 1722864 : split_double_mode (<MODE>mode, &operands[0], 2, &operands[0], &operands[2]);
30953 : 4250146 : })
30954 : 6 :
30955 : 87906136 : (define_insn "avx512vp2intersect_2intersect<mode>"
30956 : 338718 : [(set (match_operand:P2QI 0 "register_operand" "=k")
30957 : 983793 : (unspec:P2QI
30958 : 983769 : [(match_operand:VI48_AVX512VP2VL 1 "register_operand" "v")
30959 : 36 : (match_operand:VI48_AVX512VP2VL 2 "vector_operand" "vm")]
30960 : 483357 : UNSPEC_VP2INTERSECT))]
30961 : 144925 : "TARGET_AVX512VP2INTERSECT"
30962 : 483381 : "vp2intersect<ssemodesuffix>\t{%2, %1, %0|%0, %1, %2}"
30963 : 482555 : [(set_attr ("prefix") ("evex"))])
30964 : 339568 :
30965 : 339532 : (define_insn "avx512vp2intersect_2intersectv16si"
30966 : 339568 : [(set (match_operand:P2HI 0 "register_operand" "=k")
30967 : 339532 : (unspec:P2HI [(match_operand:V16SI 1 "register_operand" "v")
30968 : 338742 : (match_operand:V16SI 2 "vector_operand" "vm")]
30969 : 60 : UNSPEC_VP2INTERSECT))]
30970 : 128742 : "TARGET_AVX512VP2INTERSECT && TARGET_EVEX512"
30971 : 128706 : "vp2intersectd\t{%2, %1, %0|%0, %1, %2}"
30972 : : [(set_attr ("prefix") ("evex"))])
30973 : 128706 :
30974 : : (define_mode_iterator VF_AVX512BF16VL
30975 : 122663 : [(V32BF "TARGET_EVEX512") (V16BF "TARGET_AVX512VL") (V8BF "TARGET_AVX512VL")])
30976 : : ;; Converting from BF to SF
30977 : 22 : (define_mode_attr bf16_cvt_2sf
30978 : 22 : [(V32BF "V16SF") (V16BF "V8SF") (V8BF "V4SF")])
30979 : 623 : ;; Converting from SF to BF
30980 : 1313 : (define_mode_attr sf_cvt_bf16
30981 : 23 : [(V4SF "V4BF") (V8SF "V8BF") (V16SF "V16BF")])
30982 : 23 :
30983 : 23 : (define_mode_attr sf_cvt_bf16_lower
30984 : 987 : [(V4SF "v4bf") (V8SF "v8bf") (V16SF "v16bf")])
30985 : 1167 :
30986 : 690 : ;; Mapping from BF to SF
30987 : 690 : (define_mode_attr sf_bf16
30988 : 690 : [(V4SF "V8BF") (V8SF "V16BF") (V16SF "V32BF")])
30989 : 690 :
30990 : 690 : (define_expand "avx512f_cvtne2ps2bf16_<mode>_maskz"
30991 : 690 : [(match_operand:VF_AVX512BF16VL 0 "register_operand")
30992 : 690 : (match_operand:<bf16_cvt_2sf> 1 "register_operand")
30993 : 690 : (match_operand:<bf16_cvt_2sf> 2 "nonimmediate_operand")
30994 : 690 : (match_operand:<avx512fmaskmode> 3 "register_operand")]
30995 : : "TARGET_AVX512BF16"
30996 : 726 : {
30997 : 36 : emit_insn (gen_avx512f_cvtne2ps2bf16_<mode>_mask(operands[0], operands[1],
30998 : 160 : operands[2], CONST0_RTX(<MODE>mode), operands[3]));
30999 : 196 : DONE;
31000 : : })
31001 : :
31002 : 73 : (define_insn "avx512f_cvtne2ps2bf16_<mode><mask_name>"
31003 : 73 : [(set (match_operand:VF_AVX512BF16VL 0 "register_operand" "=v")
31004 : : (vec_concat:VF_AVX512BF16VL
31005 : : (float_truncate:<ssehalfvecmode>
31006 : : (match_operand:<bf16_cvt_2sf> 2 "nonimmediate_operand" "vm"))
31007 : : (float_truncate:<ssehalfvecmode>
31008 : : (match_operand:<bf16_cvt_2sf> 1 "register_operand" "v"))))]
31009 : 696 : "TARGET_AVX512BF16"
31010 : : "vcvtne2ps2bf16\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}")
31011 : :
31012 : : (define_expand "truncv4sfv4bf2"
31013 : : [(set (match_operand:V4BF 0 "register_operand")
31014 : : (float_truncate:V4BF
31015 : : (match_operand:V4SF 1 "nonimmediate_operand")))]
31016 : : "TARGET_SSSE3 && !HONOR_NANS (BFmode) && !flag_rounding_math
31017 : : && (flag_unsafe_math_optimizations
31018 : : || TARGET_AVXNECONVERT
31019 : : || (TARGET_AVX512BF16 && TARGET_AVX512VL))"
31020 : 6 : {
31021 : 6 : if (!TARGET_AVXNECONVERT
31022 : 6 : && !(TARGET_AVX512BF16 && TARGET_AVX512VL))
31023 : 12 : ix86_expand_vector_sf2bf_with_vec_perm (operands[0], operands[1]);
31024 : : else
31025 : : {
31026 : 10 : rtx dest = gen_reg_rtx (V8BFmode);
31027 : 10 : emit_insn (gen_vcvtneps2bf16_v4sf (dest, operands[1]));
31028 : 10 : emit_move_insn (operands[0], lowpart_subreg (V4BFmode, dest, V8BFmode));
31029 : 8 : }
31030 : 14 : DONE;
31031 : 8 : })
31032 : :
31033 : : (define_expand "vcvtneps2bf16_v4sf"
31034 : : [(set (match_operand:V8BF 0 "register_operand")
31035 : : (vec_concat:V8BF
31036 : : (float_truncate:V4BF
31037 : : (match_operand:V4SF 1 "nonimmediate_operand"))
31038 : : (match_dup 2)))]
31039 : : "TARGET_AVXNECONVERT || (TARGET_AVX512BF16 && TARGET_AVX512VL)"
31040 : 17 : "operands[2] = CONST0_RTX (V4BFmode);")
31041 : :
31042 : : (define_insn "*vcvtneps2bf16_v4sf"
31043 : 17 : [(set (match_operand:V8BF 0 "register_operand" "=x,v")
31044 : 17 : (vec_concat:V8BF
31045 : 17 : (float_truncate:V4BF
31046 : 17 : (match_operand:V4SF 1 "nonimmediate_operand" "xjm,vm"))
31047 : 17 : (match_operand:V4BF 2 "const0_operand")))]
31048 : 201 : "TARGET_AVXNECONVERT || (TARGET_AVX512BF16 && TARGET_AVX512VL)"
31049 : 11 : "@
31050 : 17 : %{vex%} vcvtneps2bf16{x}\t{%1, %0|%0, %1}
31051 : : vcvtneps2bf16{x}\t{%1, %0|%0, %1}"
31052 : : [(set_attr "isa" "avxneconvert,avx512bf16vl")
31053 : : (set_attr "addr" "gpr16,*")
31054 : : (set_attr "prefix" "vex,evex")])
31055 : 28 :
31056 : 442 : (define_expand "avx512f_cvtneps2bf16_v4sf_maskz"
31057 : 442 : [(match_operand:V8BF 0 "register_operand")
31058 : 425 : (match_operand:V4SF 1 "nonimmediate_operand")
31059 : 425 : (match_operand:QI 2 "register_operand")]
31060 : 425 : "TARGET_AVX512BF16 && TARGET_AVX512VL"
31061 : 437 : {
31062 : 27 : emit_insn (gen_avx512f_cvtneps2bf16_v4sf_mask_1(operands[0], operands[1],
31063 : 79 : CONST0_RTX(V8BFmode), operands[2], CONST0_RTX(V4BFmode)));
31064 : 80 : DONE;
31065 : 4 : })
31066 : 4 :
31067 : 4 : (define_expand "avx512f_cvtneps2bf16_v4sf_mask"
31068 : 72 : [(match_operand:V8BF 0 "register_operand")
31069 : 4 : (match_operand:V4SF 1 "nonimmediate_operand")
31070 : 4 : (match_operand:V8BF 2 "nonimm_or_0_operand")
31071 : : (match_operand:QI 3 "register_operand")]
31072 : : "TARGET_AVX512BF16 && TARGET_AVX512VL"
31073 : 23 : {
31074 : 23 : emit_insn (gen_avx512f_cvtneps2bf16_v4sf_mask_1(operands[0], operands[1],
31075 : : operands[2], operands[3], CONST0_RTX(V4BFmode)));
31076 : 23 : DONE;
31077 : : })
31078 : :
31079 : : (define_insn "avx512f_cvtneps2bf16_v4sf_mask_1"
31080 : : [(set (match_operand:V8BF 0 "register_operand" "=v")
31081 : : (vec_concat:V8BF
31082 : : (vec_merge:V4BF
31083 : : (float_truncate:V4BF
31084 : : (match_operand:V4SF 1 "nonimmediate_operand" "vm"))
31085 : 12 : (vec_select:V4BF
31086 : : (match_operand:V8BF 2 "nonimm_or_0_operand" "0C")
31087 : : (parallel [(const_int 0) (const_int 1)
31088 : 12 : (const_int 2) (const_int 3)]))
31089 : 12 : (match_operand:QI 3 "register_operand" "Yk"))
31090 : 12 : (match_operand:V4BF 4 "const0_operand")))]
31091 : 242 : "TARGET_AVX512BF16 && TARGET_AVX512VL"
31092 : 12 : "vcvtneps2bf16{x}\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}")
31093 : 12 :
31094 : 12 : (define_mode_iterator VF1_AVX512_256
31095 : 0 : [(V16SF "TARGET_EVEX512") (V8SF "TARGET_AVX512VL")])
31096 : 5 :
31097 : : (define_expand "avx512f_cvtneps2bf16_<mode>_maskz"
31098 : : [(match_operand:<sf_cvt_bf16> 0 "register_operand")
31099 : 628 : (match_operand:VF1_AVX512_256 1 "nonimmediate_operand")
31100 : 639 : (match_operand:<avx512fmaskmode> 2 "register_operand")]
31101 : 86 : "TARGET_AVX512BF16"
31102 : 120 : {
31103 : 31937 : emit_insn (gen_avx512f_cvtneps2bf16_<mode>_mask(operands[0], operands[1],
31104 : 31961 : CONST0_RTX(<sf_cvt_bf16>mode), operands[2]));
31105 : 2079301 : DONE;
31106 : 2683 : })
31107 : 2683 :
31108 : : (define_expand "truncv8sfv8bf2"
31109 : 2079570 : [(set (match_operand:V8BF 0 "register_operand")
31110 : 2079570 : (float_truncate:V8BF
31111 : 2079267 : (match_operand:V8SF 1 "nonimmediate_operand")))]
31112 : 2079267 : "TARGET_AVX2 && !HONOR_NANS (BFmode) && !flag_rounding_math
31113 : 2079267 : && (flag_unsafe_math_optimizations
31114 : 2079267 : || TARGET_AVXNECONVERT
31115 : 2079267 : || (TARGET_AVX512BF16 && TARGET_AVX512VL))"
31116 : 2079271 : {
31117 : 2079271 : if (!TARGET_AVXNECONVERT
31118 : 2079271 : && !(TARGET_AVX512BF16 && TARGET_AVX512VL))
31119 : : {
31120 : 1805017 : ix86_expand_vector_sf2bf_with_vec_perm (operands[0], operands[1]);
31121 : 1805452 : DONE;
31122 : 1805015 : }
31123 : 1805015 : })
31124 : 1805015 :
31125 : : (define_insn "vcvtneps2bf16_v8sf"
31126 : 1358779 : [(set (match_operand:V8BF 0 "register_operand" "=x,v")
31127 : 1358756 : (float_truncate:V8BF
31128 : 1358756 : (match_operand:V8SF 1 "nonimmediate_operand" "xjm,vm")))]
31129 : 120 : "TARGET_AVXNECONVERT || (TARGET_AVX512BF16 && TARGET_AVX512VL)"
31130 : 1358766 : "@
31131 : 14 : %{vex%} vcvtneps2bf16{y}\t{%1, %0|%0, %1}
31132 : 1358777 : vcvtneps2bf16{y}\t{%1, %0|%0, %1}"
31133 : 23 : [(set_attr "isa" "avxneconvert,avx512bf16vl")
31134 : 26207 : (set_attr "addr" "gpr16,*")
31135 : 26207 : (set_attr "prefix" "vex,evex")])
31136 : 13 :
31137 : 26193 : (define_expand "truncv16sfv16bf2"
31138 : 11 : [(set (match_operand:V16BF 0 "register_operand")
31139 : 11 : (float_truncate:V16BF
31140 : 11 : (match_operand:V16SF 1 "nonimmediate_operand")))]
31141 : 11 : "TARGET_AVX512BW && TARGET_EVEX512
31142 : : && !HONOR_NANS (BFmode) && !flag_rounding_math
31143 : : && (flag_unsafe_math_optimizations || TARGET_AVX512BF16)"
31144 : 4 : {
31145 : 4 : if (!TARGET_AVX512BF16)
31146 : : {
31147 : 13 : ix86_expand_vector_sf2bf_with_vec_perm (operands[0], operands[1]);
31148 : 13 : DONE;
31149 : 11 : }
31150 : 11 : })
31151 : 11 :
31152 : 11 : (define_expand "extend<sf_cvt_bf16_lower><mode>2"
31153 : 13 : [(set (match_operand:VF1_AVX512BW 0 "register_operand")
31154 : 13 : (float_extend:VF1_AVX512BW
31155 : 13 : (match_operand:<sf_cvt_bf16> 1 "nonimmediate_operand")))]
31156 : 2 : "TARGET_SSE2 && !HONOR_NANS (BFmode)"
31157 : 8 : {
31158 : 10 : ix86_expand_vector_bf2sf_with_vec_perm (operands[0], operands[1]);
31159 : 8 : DONE;
31160 : : })
31161 : 2 :
31162 : 2 :
31163 : 2 : (define_insn "avx512f_cvtneps2bf16_<mode><mask_name>"
31164 : : [(set (match_operand:<sf_cvt_bf16> 0 "register_operand" "=v")
31165 : : (float_truncate:<sf_cvt_bf16>
31166 : : (match_operand:VF1_AVX512_256 1 "nonimmediate_operand" "vm")))]
31167 : 390 : "TARGET_AVX512BF16"
31168 : 11 : "vcvtneps2bf16<qq2phsuff>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}")
31169 : :
31170 : 11 : (define_expand "avx512f_dpbf16ps_<mode>_maskz"
31171 : 11 : [(match_operand:VF1_AVX512VL 0 "register_operand")
31172 : 11 : (match_operand:VF1_AVX512VL 1 "register_operand")
31173 : 11 : (match_operand:<sf_bf16> 2 "register_operand")
31174 : 11 : (match_operand:<sf_bf16> 3 "register_operand")
31175 : 11 : (match_operand:<avx512fmaskhalfmode> 4 "register_operand")]
31176 : : "TARGET_AVX512BF16"
31177 : 33 : {
31178 : 83 : emit_insn (gen_avx512f_dpbf16ps_<mode>_maskz_1(operands[0], operands[1],
31179 : : operands[2], operands[3], CONST0_RTX(<MODE>mode), operands[4]));
31180 : 55 : DONE;
31181 : 50 : })
31182 : 50 :
31183 : 50 : (define_insn "avx512f_dpbf16ps_<mode><maskz_half_name>"
31184 : 50 : [(set (match_operand:VF1_AVX512VL 0 "register_operand" "=v")
31185 : 50 : (unspec:VF1_AVX512VL
31186 : 28 : [(match_operand:VF1_AVX512VL 1 "register_operand" "0")
31187 : : (match_operand:<sf_bf16> 2 "register_operand" "v")
31188 : : (match_operand:<sf_bf16> 3 "nonimmediate_operand" "vm")]
31189 : : UNSPEC_VDPBF16PS))]
31190 : 322 : "TARGET_AVX512BF16"
31191 : : "vdpbf16ps\t{%3, %2, %0<maskz_half_operand4>|%0<maskz_half_operand4>, %2, %3}")
31192 : :
31193 : : (define_insn "avx512f_dpbf16ps_<mode>_mask"
31194 : : [(set (match_operand:VF1_AVX512VL 0 "register_operand" "=v")
31195 : : (vec_merge:VF1_AVX512VL
31196 : : (unspec:VF1_AVX512VL
31197 : : [(match_operand:VF1_AVX512VL 1 "register_operand" "0")
31198 : : (match_operand:<sf_bf16> 2 "register_operand" "v")
31199 : : (match_operand:<sf_bf16> 3 "nonimmediate_operand" "vm")]
31200 : : UNSPEC_VDPBF16PS)
31201 : : (match_dup 1)
31202 : : (match_operand:<avx512fmaskhalfmode> 4 "register_operand" "Yk")))]
31203 : 182 : "TARGET_AVX512BF16"
31204 : : "vdpbf16ps\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3}")
31205 : :
31206 : : ;; KEYLOCKER
31207 : 752 : (define_insn "loadiwkey"
31208 : : [(unspec_volatile:V2DI [(match_operand:V2DI 0 "register_operand" "x")
31209 : : (match_operand:V2DI 1 "register_operand" "x")
31210 : 752 : (match_operand:V2DI 2 "register_operand" "Yz")
31211 : 752 : (match_operand:SI 3 "register_operand" "a")]
31212 : 752 : UNSPECV_LOADIWKEY)
31213 : 752 : (clobber (reg:CC FLAGS_REG))]
31214 : 799 : "TARGET_KL"
31215 : 752 : "loadiwkey\t{%0, %1|%1, %0}"
31216 : 6 : [(set_attr "type" "other")])
31217 : 6 :
31218 : : (define_expand "encodekey128u32"
31219 : : [(match_par_dup 2
31220 : : [(set (match_operand:SI 0 "register_operand")
31221 : : (unspec_volatile:SI
31222 : : [(match_operand:SI 1 "register_operand")
31223 : : (reg:V2DI XMM0_REG)]
31224 : 160481 : UNSPECV_ENCODEKEY128U32))])]
31225 : 16262521 : "TARGET_KL"
31226 : 160493 : {
31227 : 16423014 : rtx xmm_regs[7];
31228 : 16423014 : rtx tmp_unspec;
31229 : 16423014 : unsigned i;
31230 : 16423002 :
31231 : 16423002 : /* parallel rtx for encodekey128 predicate */
31232 : 160493 : operands[2] = gen_rtx_PARALLEL (VOIDmode, rtvec_alloc (8));
31233 : 16261571 :
31234 : 16391172 : for (i = 0; i < 7; i++)
31235 : 129589 : xmm_regs[i] = gen_rtx_REG (V2DImode, GET_SSE_REGNO (i));
31236 : 9101761 :
31237 : 9101773 : tmp_unspec
31238 : 8972268 : = gen_rtx_UNSPEC_VOLATILE (SImode,
31239 : 125408 : gen_rtvec (2, operands[1], xmm_regs[0]),
31240 : 9097664 : UNSPECV_ENCODEKEY128U32);
31241 : 9097480 :
31242 : 9096003 : XVECEXP (operands[2], 0, 0)
31243 : 17967514 : = gen_rtx_SET (operands[0], tmp_unspec);
31244 : 249753 :
31245 : 12 : tmp_unspec
31246 : 124357 : = gen_rtx_UNSPEC_VOLATILE (V2DImode,
31247 : : gen_rtvec (1, const0_rtx),
31248 : 63166 : UNSPECV_ENCODEKEY128U32);
31249 : 63166 :
31250 : 63214 : for (i = 0; i < 3; i++)
31251 : 63202 : XVECEXP (operands[2], 0, i + 1)
31252 : 127047 : = gen_rtx_SET (xmm_regs[i], tmp_unspec);
31253 : :
31254 : 48 : for (i = 4; i < 7; i++)
31255 : 36 : XVECEXP (operands[2], 0, i)
31256 : 36 : = gen_rtx_CLOBBER (VOIDmode, xmm_regs[i]);
31257 : :
31258 : 12 : XVECEXP (operands[2], 0, 7)
31259 : 12 : = gen_rtx_CLOBBER (VOIDmode, gen_rtx_REG (CCmode, FLAGS_REG));
31260 : : })
31261 : :
31262 : : (define_insn "*encodekey128u32"
31263 : 12 : [(match_parallel 2 "encodekey128_operation"
31264 : 12 : [(set (match_operand:SI 0 "register_operand" "=jr")
31265 : 12 : (unspec_volatile:SI
31266 : 12 : [(match_operand:SI 1 "register_operand" "jr")
31267 : 12 : (reg:V2DI XMM0_REG)]
31268 : 12 : UNSPECV_ENCODEKEY128U32))])]
31269 : 93 : "TARGET_KL"
31270 : 12 : "encodekey128\t{%1, %0|%0, %1}"
31271 : 12 : [(set_attr "type" "other")])
31272 : 12 :
31273 : 160 : (define_expand "encodekey256u32"
31274 : 148 : [(match_par_dup 2
31275 : : [(set (match_operand:SI 0 "register_operand")
31276 : : (unspec_volatile:SI
31277 : 134 : [(match_operand:SI 1 "register_operand")
31278 : 527 : (reg:V2DI XMM0_REG)
31279 : 132 : (reg:V2DI XMM1_REG)]
31280 : 254 : UNSPECV_ENCODEKEY256U32))])]
31281 : 393 : "TARGET_KL"
31282 : 525 : {
31283 : 525 : rtx xmm_regs[7];
31284 : 405 : rtx tmp_unspec;
31285 : 516 : unsigned i;
31286 : 504 :
31287 : 111 : /* parallel rtx for encodekey256 predicate */
31288 : 12 : operands[2] = gen_rtx_PARALLEL (VOIDmode, rtvec_alloc (9));
31289 : 111 :
31290 : 207 : for (i = 0; i < 7; i++)
31291 : 195 : xmm_regs[i] = gen_rtx_REG (V2DImode, GET_SSE_REGNO (i));
31292 : 111 :
31293 : 12 : tmp_unspec
31294 : 12 : = gen_rtx_UNSPEC_VOLATILE (SImode,
31295 : : gen_rtvec (3, operands[1],
31296 : : xmm_regs[0], xmm_regs[1]),
31297 : : UNSPECV_ENCODEKEY256U32);
31298 : :
31299 : 12 : XVECEXP (operands[2], 0, 0)
31300 : 12 : = gen_rtx_SET (operands[0], tmp_unspec);
31301 : :
31302 : 12 : tmp_unspec
31303 : 12 : = gen_rtx_UNSPEC_VOLATILE (V2DImode,
31304 : : gen_rtvec (1, const0_rtx),
31305 : : UNSPECV_ENCODEKEY256U32);
31306 : :
31307 : 60 : for (i = 0; i < 4; i++)
31308 : 48 : XVECEXP (operands[2], 0, i + 1)
31309 : 48 : = gen_rtx_SET (xmm_regs[i], tmp_unspec);
31310 : :
31311 : 48 : for (i = 4; i < 7; i++)
31312 : 36 : XVECEXP (operands[2], 0, i + 1)
31313 : 36 : = gen_rtx_CLOBBER (VOIDmode, xmm_regs[i]);
31314 : :
31315 : 12 : XVECEXP (operands[2], 0, 8)
31316 : 12 : = gen_rtx_CLOBBER (VOIDmode, gen_rtx_REG (CCmode, FLAGS_REG));
31317 : : })
31318 : :
31319 : : (define_insn "*encodekey256u32"
31320 : 12 : [(match_parallel 2 "encodekey256_operation"
31321 : 12 : [(set (match_operand:SI 0 "register_operand" "=jr")
31322 : 12 : (unspec_volatile:SI
31323 : 12 : [(match_operand:SI 1 "register_operand" "jr")
31324 : 12 : (reg:V2DI XMM0_REG)
31325 : 12 : (reg:V2DI XMM1_REG)]
31326 : : UNSPECV_ENCODEKEY256U32))])]
31327 : 120 : "TARGET_KL"
31328 : 12 : "encodekey256\t{%1, %0|%0, %1}"
31329 : 12 : [(set_attr "type" "other")])
31330 : 12 :
31331 : 847 : (define_int_iterator AESDECENCKL
31332 : 847 : [UNSPECV_AESDEC128KLU8 UNSPECV_AESDEC256KLU8
31333 : 847 : UNSPECV_AESENC128KLU8 UNSPECV_AESENC256KLU8])
31334 : 763 :
31335 : 1829 : (define_int_attr aesklvariant
31336 : : [(UNSPECV_AESDEC128KLU8 "dec128kl")
31337 : 660 : (UNSPECV_AESDEC256KLU8 "dec256kl")
31338 : 982 : (UNSPECV_AESENC128KLU8 "enc128kl")
31339 : 982 : (UNSPECV_AESENC256KLU8 "enc256kl")])
31340 : 322 :
31341 : 950 : (define_insn "aes<aesklvariant>u8"
31342 : 950 : [(set (match_operand:V2DI 0 "register_operand" "=x")
31343 : 950 : (unspec_volatile:V2DI [(match_operand:V2DI 1 "register_operand" "0")
31344 : : (match_operand:BLK 2 "memory_operand" "jm")]
31345 : 628 : AESDECENCKL))
31346 : : (set (reg:CCZ FLAGS_REG)
31347 : 157 : (unspec_volatile:CCZ [(match_dup 1) (match_dup 2)] AESDECENCKL))]
31348 : 223 : "TARGET_KL"
31349 : : "aes<aesklvariant>\t{%2, %0|%0, %2}"
31350 : : [(set_attr "type" "other")])
31351 : :
31352 : 266946 : (define_int_iterator AESDECENCWIDEKL
31353 : 210 : [UNSPECV_AESDECWIDE128KLU8 UNSPECV_AESDECWIDE256KLU8
31354 : 266736 : UNSPECV_AESENCWIDE128KLU8 UNSPECV_AESENCWIDE256KLU8])
31355 : 210 :
31356 : 266736 : (define_int_attr aeswideklvariant
31357 : 266736 : [(UNSPECV_AESDECWIDE128KLU8 "decwide128kl")
31358 : 266736 : (UNSPECV_AESDECWIDE256KLU8 "decwide256kl")
31359 : 266736 : (UNSPECV_AESENCWIDE128KLU8 "encwide128kl")
31360 : 266736 : (UNSPECV_AESENCWIDE256KLU8 "encwide256kl")])
31361 : :
31362 : 266736 : (define_int_attr AESWIDEKLVARIANT
31363 : 266736 : [(UNSPECV_AESDECWIDE128KLU8 "AESDECWIDE128KLU8")
31364 : : (UNSPECV_AESDECWIDE256KLU8 "AESDECWIDE256KLU8")
31365 : 266736 : (UNSPECV_AESENCWIDE128KLU8 "AESENCWIDE128KLU8")
31366 : 266736 : (UNSPECV_AESENCWIDE256KLU8 "AESENCWIDE256KLU8")])
31367 : :
31368 : 19794 : (define_expand "aes<aeswideklvariant>u8"
31369 : 19794 : [(match_par_dup 1
31370 : : [(set (reg:CCZ FLAGS_REG)
31371 : 19621 : (unspec_volatile:CCZ
31372 : 19621 : [(match_operand:BLK 0 "memory_operand")]
31373 : 19621 : AESDECENCWIDEKL))])]
31374 : 19621 : "TARGET_WIDEKL"
31375 : 44 : {
31376 : 18694 : rtx tmp_unspec;
31377 : 44 : unsigned i;
31378 : 1163 :
31379 : 1163 : /* parallel rtx for widekl predicate */
31380 : 44 : operands[1] = gen_rtx_PARALLEL (VOIDmode, rtvec_alloc (9));
31381 : 1163 :
31382 : 44 : tmp_unspec
31383 : 44 : = gen_rtx_UNSPEC_VOLATILE (CCZmode,
31384 : : gen_rtvec (1, operands[0]),
31385 : : UNSPECV_<AESWIDEKLVARIANT>);
31386 : :
31387 : 44 : XVECEXP (operands[1], 0, 0)
31388 : 44 : = gen_rtx_SET (gen_rtx_REG (CCZmode, FLAGS_REG),
31389 : : tmp_unspec);
31390 : :
31391 : 396 : for (i = 0; i < 8; i++)
31392 : : {
31393 : 352 : rtx xmm_reg = gen_rtx_REG (V2DImode, GET_SSE_REGNO (i));
31394 : :
31395 : 352 : tmp_unspec
31396 : 352 : = gen_rtx_UNSPEC_VOLATILE (V2DImode,
31397 : : gen_rtvec (1, xmm_reg),
31398 : : UNSPECV_<AESWIDEKLVARIANT>);
31399 : 352 : XVECEXP (operands[1], 0, i + 1)
31400 : 352 : = gen_rtx_SET (xmm_reg, tmp_unspec);
31401 : : }
31402 : : })
31403 : :
31404 : : (define_insn "*aes<aeswideklvariant>u8"
31405 : 44 : [(match_parallel 1 "aeswidekl_operation"
31406 : 44 : [(set (reg:CCZ FLAGS_REG)
31407 : 44 : (unspec_volatile:CCZ
31408 : 44 : [(match_operand:BLK 0 "memory_operand" "jm")]
31409 : : AESDECENCWIDEKL))])]
31410 : 201 : "TARGET_WIDEKL"
31411 : 44 : "aes<aeswideklvariant>\t%0"
31412 : 44 : [(set_attr "type" "other")])
31413 : 44 :
31414 : 471 : ;; Modes handled by broadcast patterns. NB: Allow V64QI and V32HI with
31415 : 471 : ;; TARGET_AVX512F since ix86_expand_vector_init_duplicate can expand
31416 : : ;; without TARGET_AVX512BW which is used by memset vector broadcast
31417 : : ;; expander to XI with:
31418 : 6702 : ;; vmovd %edi, %xmm15
31419 : : ;; vpbroadcastb %xmm15, %ymm15
31420 : : ;; vinserti64x4 $0x1, %ymm15, %zmm15, %zmm15
31421 : 6702 :
31422 : 6702 : (define_mode_iterator INT_BROADCAST_MODE
31423 : 6702 : [(V64QI "TARGET_AVX512F && TARGET_EVEX512") (V32QI "TARGET_AVX") V16QI
31424 : 6702 : (V32HI "TARGET_AVX512F && TARGET_EVEX512") (V16HI "TARGET_AVX") V8HI
31425 : 6702 : (V16SI "TARGET_AVX512F && TARGET_EVEX512") (V8SI "TARGET_AVX") V4SI
31426 : 6702 : (V8DI "TARGET_AVX512F && TARGET_EVEX512 && TARGET_64BIT")
31427 : : (V4DI "TARGET_AVX && TARGET_64BIT") (V2DI "TARGET_64BIT")])
31428 : 125298696 :
31429 : : ;; Broadcast from an integer. NB: Enable broadcast only if we can move
31430 : 125298696 : ;; from GPR to SSE register directly.
31431 : 125298696 : (define_expand "vec_duplicate<mode>"
31432 : 125298696 : [(set (match_operand:INT_BROADCAST_MODE 0 "register_operand")
31433 : 125298696 : (vec_duplicate:INT_BROADCAST_MODE
31434 : 125298696 : (match_operand:<ssescalarmode> 1 "nonimmediate_operand")))]
31435 : 125298696 : "TARGET_SSE2 && TARGET_INTER_UNIT_MOVES_TO_VEC"
31436 : 24342 : {
31437 : 39443876 : if (!ix86_expand_vector_init_duplicate (false,
31438 : 39427731 : GET_MODE (operands[0]),
31439 : : operands[0],
31440 : 1347223 : operands[1]))
31441 : 1347223 : gcc_unreachable ();
31442 : 1371565 : DONE;
31443 : : })
31444 : 620 :
31445 : : (define_int_iterator VPDOTPROD
31446 : : [UNSPEC_VPDPBSSD
31447 : : UNSPEC_VPDPBSSDS
31448 : : UNSPEC_VPDPBSUD
31449 : : UNSPEC_VPDPBSUDS
31450 : : UNSPEC_VPDPBUUD
31451 : : UNSPEC_VPDPBUUDS])
31452 : :
31453 : : (define_int_attr vpdotprodtype
31454 : : [(UNSPEC_VPDPBSSD "bssd") (UNSPEC_VPDPBSSDS "bssds")
31455 : : (UNSPEC_VPDPBSUD "bsud") (UNSPEC_VPDPBSUDS "bsuds")
31456 : : (UNSPEC_VPDPBUUD "buud") (UNSPEC_VPDPBUUDS "buuds")])
31457 : :
31458 : : (define_expand "sdot_prod<ssedvecmodelower><mode>"
31459 : : [(match_operand:<ssedvecmode> 0 "register_operand")
31460 : : (match_operand:VI1_AVX512VNNIBW 1 "register_operand")
31461 : 16277 : (match_operand:VI1_AVX512VNNIBW 2 "register_operand")
31462 : : (match_operand:<ssedvecmode> 3 "register_operand")]
31463 : : "TARGET_SSE2"
31464 : 16205 : {
31465 : 16205 : if ((<MODE_SIZE> == 64 && TARGET_AVX10_2_512)
31466 : 16289 : || (<MODE_SIZE> < 64 && (TARGET_AVXVNNIINT8 || TARGET_AVX10_2_256)))
31467 : 15873 : {
31468 : 16228 : operands[1] = lowpart_subreg (<ssedvecmode>mode,
31469 : 16277 : force_reg (<MODE>mode, operands[1]),
31470 : 132 : <MODE>mode);
31471 : 83 : operands[2] = lowpart_subreg (<ssedvecmode>mode,
31472 : 132 : force_reg (<MODE>mode, operands[2]),
31473 : 132 : <MODE>mode);
31474 : 55 : emit_insn (gen_vpdpbssd_<ssedvecmodelower> (operands[0], operands[3],
31475 : 44 : operands[1], operands[2]));
31476 : 44 : }
31477 : : else
31478 : : {
31479 : : /* Emulate with vpdpwssd. */
31480 : 49 : rtx op1_lo = gen_reg_rtx (<sseunpackmode>mode);
31481 : 49 : rtx op1_hi = gen_reg_rtx (<sseunpackmode>mode);
31482 : 49 : rtx op2_lo = gen_reg_rtx (<sseunpackmode>mode);
31483 : 49 : rtx op2_hi = gen_reg_rtx (<sseunpackmode>mode);
31484 : :
31485 : 49 : emit_insn (gen_vec_unpacks_lo_<mode> (op1_lo, operands[1]));
31486 : 49 : emit_insn (gen_vec_unpacks_lo_<mode> (op2_lo, operands[2]));
31487 : 49 : emit_insn (gen_vec_unpacks_hi_<mode> (op1_hi, operands[1]));
31488 : 49 : emit_insn (gen_vec_unpacks_hi_<mode> (op2_hi, operands[2]));
31489 : :
31490 : 49 : rtx res1 = gen_reg_rtx (<ssedvecmode>mode);
31491 : 49 : rtx res2 = gen_reg_rtx (<ssedvecmode>mode);
31492 : 49 : rtx sum = gen_reg_rtx (<ssedvecmode>mode);
31493 : :
31494 : 49 : emit_move_insn (sum, CONST0_RTX (<ssedvecmode>mode));
31495 : 49 : emit_insn (gen_sdot_prod<ssedvecmodelower><sseunpackmodelower> (res1,
31496 : : op1_lo, op2_lo, sum));
31497 : 49 : emit_insn (gen_sdot_prod<ssedvecmodelower><sseunpackmodelower> (res2,
31498 : : op1_hi, op2_hi,
31499 : : operands[3]));
31500 : 49 : emit_insn (gen_add<ssedvecmodelower>3 (operands[0], res1, res2));
31501 : : }
31502 : :
31503 : 60 : DONE;
31504 : : })
31505 : :
31506 : : (define_expand "udot_prod<ssedvecmodelower><mode>"
31507 : : [(match_operand:<ssedvecmode> 0 "register_operand")
31508 : : (match_operand:VI1_AVX512VNNIBW 1 "register_operand")
31509 : : (match_operand:VI1_AVX512VNNIBW 2 "register_operand")
31510 : : (match_operand:<ssedvecmode> 3 "register_operand")]
31511 : : "TARGET_SSE2"
31512 : 28 : {
31513 : 28 : if ((<MODE_SIZE> == 64 && TARGET_AVX10_2_512)
31514 : 28 : || (<MODE_SIZE> < 64 && (TARGET_AVXVNNIINT8 || TARGET_AVX10_2_256)))
31515 : : {
31516 : 11 : operands[1] = lowpart_subreg (<ssedvecmode>mode,
31517 : : force_reg (<MODE>mode, operands[1]),
31518 : : <MODE>mode);
31519 : 11 : operands[2] = lowpart_subreg (<ssedvecmode>mode,
31520 : : force_reg (<MODE>mode, operands[2]),
31521 : : <MODE>mode);
31522 : 11 : emit_insn (gen_vpdpbuud_<ssedvecmodelower> (operands[0], operands[3],
31523 : : operands[1], operands[2]));
31524 : : }
31525 : : else
31526 : : {
31527 : 33 : /* Emulate with vpdpwssd. */
31528 : 17 : rtx op1_lo = gen_reg_rtx (<sseunpackmode>mode);
31529 : 17 : rtx op1_hi = gen_reg_rtx (<sseunpackmode>mode);
31530 : 17 : rtx op2_lo = gen_reg_rtx (<sseunpackmode>mode);
31531 : 17 : rtx op2_hi = gen_reg_rtx (<sseunpackmode>mode);
31532 : :
31533 : 50 : emit_insn (gen_vec_unpacku_lo_<mode> (op1_lo, operands[1]));
31534 : 50 : emit_insn (gen_vec_unpacku_lo_<mode> (op2_lo, operands[2]));
31535 : 50 : emit_insn (gen_vec_unpacku_hi_<mode> (op1_hi, operands[1]));
31536 : 50 : emit_insn (gen_vec_unpacku_hi_<mode> (op2_hi, operands[2]));
31537 : 33 :
31538 : 50 : rtx res1 = gen_reg_rtx (<ssedvecmode>mode);
31539 : 50 : rtx res2 = gen_reg_rtx (<ssedvecmode>mode);
31540 : 50 : rtx sum = gen_reg_rtx (<ssedvecmode>mode);
31541 : 33 :
31542 : 50 : emit_move_insn (sum, CONST0_RTX (<ssedvecmode>mode));
31543 : 17 : emit_insn (gen_sdot_prod<ssedvecmodelower><sseunpackmodelower> (res1,
31544 : : op1_lo, op2_lo, sum));
31545 : 17 : emit_insn (gen_sdot_prod<ssedvecmodelower><sseunpackmodelower> (res2,
31546 : : op1_hi, op2_hi,
31547 : : operands[3]));
31548 : 17 : emit_insn (gen_add<ssedvecmodelower>3 (operands[0], res1, res2));
31549 : : }
31550 : :
31551 : 28 : DONE;
31552 : : })
31553 : :
31554 : : (define_insn "vpdp<vpdotprodtype>_<mode>"
31555 : : [(set (match_operand:VI4_AVX 0 "register_operand" "=v")
31556 : : (unspec:VI4_AVX
31557 : : [(match_operand:VI4_AVX 1 "register_operand" "0")
31558 : : (match_operand:VI4_AVX 2 "register_operand" "v")
31559 : : (match_operand:VI4_AVX 3 "nonimmediate_operand" "vm")]
31560 : : VPDOTPROD))]
31561 : 123 : "TARGET_AVXVNNIINT8 || TARGET_AVX10_2_256"
31562 : : "vpdp<vpdotprodtype>\t{%3, %2, %0|%0, %2, %3}"
31563 : : [(set_attr "prefix" "maybe_evex")])
31564 : :
31565 : 420 : (define_insn "vpdp<vpdotprodtype>_v16si"
31566 : 420 : [(set (match_operand:V16SI 0 "register_operand" "=v")
31567 : : (unspec:V16SI
31568 : : [(match_operand:V16SI 1 "register_operand" "0")
31569 : : (match_operand:V16SI 2 "register_operand" "v")
31570 : : (match_operand:V16SI 3 "nonimmediate_operand" "vm")]
31571 : : VPDOTPROD))]
31572 : 420 : "TARGET_AVX10_2_512"
31573 : : "vpdp<vpdotprodtype>\t{%3, %2, %0|%0, %2, %3}"
31574 : : [(set_attr "prefix" "evex")])
31575 : 33 :
31576 : : (define_insn "vpdp<vpdotprodtype>_<mode>_mask"
31577 : : [(set (match_operand:VI4_AVX10_2 0 "register_operand" "=v")
31578 : : (vec_merge:VI4_AVX10_2
31579 : : (unspec:VI4_AVX10_2
31580 : 2059 : [(match_operand:VI4_AVX10_2 1 "register_operand" "0")
31581 : 2092 : (match_operand:VI4_AVX10_2 2 "register_operand" "v")
31582 : 33 : (match_operand:VI4_AVX10_2 3 "nonimmediate_operand" "vm")]
31583 : 609 : VPDOTPROD)
31584 : 609 : (match_dup 1)
31585 : 33 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
31586 : 579 : "TARGET_AVX10_2_256"
31587 : 33 : "vpdp<vpdotprodtype>\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3}"
31588 : 33 : [(set_attr "prefix" "evex")])
31589 : 33 :
31590 : 1125 : (define_expand "vpdp<vpdotprodtype>_<mode>_maskz"
31591 : 1092 : [(set (match_operand:VI4_AVX10_2 0 "register_operand")
31592 : : (vec_merge:VI4_AVX10_2
31593 : : (unspec:VI4_AVX10_2
31594 : : [(match_operand:VI4_AVX10_2 1 "register_operand")
31595 : : (match_operand:VI4_AVX10_2 2 "register_operand")
31596 : : (match_operand:VI4_AVX10_2 3 "nonimmediate_operand")]
31597 : : VPDOTPROD)
31598 : : (match_dup 5)
31599 : : (match_operand:<avx512fmaskmode> 4 "register_operand")))]
31600 : : "TARGET_AVX10_2_256"
31601 : 198 : "operands[5] = CONST0_RTX (<MODE>mode);")
31602 : :
31603 : : (define_insn "*vpdp<vpdotprodtype>_<mode>_maskz"
31604 : 198 : [(set (match_operand:VI4_AVX10_2 0 "register_operand" "=v")
31605 : 198 : (vec_merge:VI4_AVX10_2
31606 : 198 : (unspec:VI4_AVX10_2
31607 : 198 : [(match_operand:VI4_AVX10_2 1 "register_operand" "0")
31608 : 198 : (match_operand:VI4_AVX10_2 2 "register_operand" "v")
31609 : 198 : (match_operand:VI4_AVX10_2 3 "nonimmediate_operand" "vm")]
31610 : 198 : VPDOTPROD)
31611 : 198 : (match_operand:VI4_AVX10_2 5 "const0_operand" "C")
31612 : 198 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
31613 : 744 : "TARGET_AVX10_2_256"
31614 : 198 : "vpdp<vpdotprodtype>\t{%3, %2, %0%{%4%}%N5|%0%{%4%}%N5, %2, %3}"
31615 : 198 : [(set_attr "prefix" "evex")])
31616 : :
31617 : 744 : (define_insn "vbcstnebf162ps_<mode>"
31618 : 546 : [(set (match_operand:VF1_128_256 0 "register_operand" "=x")
31619 : : (vec_duplicate:VF1_128_256
31620 : : (float_extend:SF
31621 : 3312 : (match_operand:BF 1 "memory_operand" "jm"))))]
31622 : 3419 : "TARGET_AVXNECONVERT"
31623 : : "vbcstnebf162ps\t{%1, %0|%0, %1}"
31624 : 546 : [(set_attr "prefix" "vex")
31625 : 546 : (set_attr "addr" "gpr16")
31626 : 53 : (set_attr "mode" "<sseinsnmode>")])
31627 : 251 :
31628 : 198 : (define_insn "vbcstnesh2ps_<mode>"
31629 : 198 : [(set (match_operand:VF1_128_256 0 "register_operand" "=x")
31630 : : (vec_duplicate:VF1_128_256
31631 : : (float_extend:SF
31632 : : (match_operand:HF 1 "memory_operand" "jm"))))]
31633 : 106 : "TARGET_AVXNECONVERT"
31634 : 220 : "vbcstnesh2ps\t{%1, %0|%0, %1}"
31635 : : [(set_attr "prefix" "vex")
31636 : : (set_attr "addr" "gpr16")
31637 : 0 : (set_attr "mode" "<sseinsnmode>")])
31638 : 44 :
31639 : 44 : (define_mode_attr bf16_ph
31640 : 220 : [(V8HF "ph") (V16HF "ph") (V32HF "ph")
31641 : 220 : (V8BF "bf16") (V16BF "bf16") (V32BF "bf16")])
31642 : 220 :
31643 : 220 : (define_insn "vcvtnee<bf16_ph>2ps_<mode>"
31644 : 220 : [(set (match_operand:V4SF 0 "register_operand" "=x")
31645 : 220 : (float_extend:V4SF
31646 : 176 : (vec_select:<ssehalfvecmode>
31647 : 176 : (match_operand:VHFBF_128 1 "memory_operand" "jm")
31648 : 176 : (parallel [(const_int 0) (const_int 2)
31649 : 132 : (const_int 4) (const_int 6)]))))]
31650 : 55 : "TARGET_AVXNECONVERT"
31651 : 1384259 : "vcvtnee<bf16_ph>2ps\t{%1, %0|%0, %1}"
31652 : : [(set_attr "prefix" "vex")
31653 : : (set_attr "addr" "gpr16")
31654 : 53 : (set_attr "mode" "<sseinsnmode>")])
31655 : 1384312 :
31656 : 1384259 : (define_insn "vcvtnee<bf16_ph>2ps_<mode>"
31657 : 1384259 : [(set (match_operand:V8SF 0 "register_operand" "=x")
31658 : 111 : (float_extend:V8SF
31659 : 1998 : (vec_select:<ssehalfvecmode>
31660 : 1887 : (match_operand:VHFBF_256 1 "memory_operand" "jm")
31661 : 1923 : (parallel [(const_int 0) (const_int 2)
31662 : 3684 : (const_int 4) (const_int 6)
31663 : : (const_int 8) (const_int 10)
31664 : : (const_int 12) (const_int 14)]))))]
31665 : 55 : "TARGET_AVXNECONVERT"
31666 : : "vcvtnee<bf16_ph>2ps\t{%1, %0|%0, %1}"
31667 : : [(set_attr "prefix" "vex")
31668 : : (set_attr "addr" "gpr16")
31669 : 53 : (set_attr "mode" "<sseinsnmode>")])
31670 : 53 :
31671 : : (define_insn "vcvtneo<bf16_ph>2ps_<mode>"
31672 : : [(set (match_operand:V4SF 0 "register_operand" "=x")
31673 : 113 : (float_extend:V4SF
31674 : 113 : (vec_select:<ssehalfvecmode>
31675 : 113 : (match_operand:VHFBF_128 1 "memory_operand" "jm")
31676 : : (parallel [(const_int 1) (const_int 3)
31677 : 113 : (const_int 5) (const_int 7)]))))]
31678 : 168 : "TARGET_AVXNECONVERT"
31679 : : "vcvtneo<bf16_ph>2ps\t{%1, %0|%0, %1}"
31680 : 113 : [(set_attr "prefix" "vex")
31681 : 113 : (set_attr "addr" "gpr16")
31682 : 53 : (set_attr "mode" "<sseinsnmode>")])
31683 : 53 :
31684 : 113 : (define_insn "vcvtneo<bf16_ph>2ps_<mode>"
31685 : : [(set (match_operand:V8SF 0 "register_operand" "=x")
31686 : 113 : (float_extend:V8SF
31687 : : (vec_select:<ssehalfvecmode>
31688 : 55 : (match_operand:VHFBF_256 1 "memory_operand" "jm")
31689 : 55 : (parallel [(const_int 1) (const_int 3)
31690 : 6776 : (const_int 5) (const_int 7)
31691 : 6776 : (const_int 9) (const_int 11)
31692 : 6776 : (const_int 13) (const_int 15)]))))]
31693 : 55 : "TARGET_AVXNECONVERT"
31694 : 6776 : "vcvtneo<bf16_ph>2ps\t{%1, %0|%0, %1}"
31695 : 6776 : [(set_attr "prefix" "vex")
31696 : 6776 : (set_attr "addr" "gpr16")
31697 : 13191 : (set_attr "mode" "<sseinsnmode>")])
31698 : 414 :
31699 : 6415 : (define_insn "avx10_2_cvt2ps2phx_<mode><mask_name><round_name>"
31700 : : [(set (match_operand:VHF_AVX10_2 0 "register_operand" "=v")
31701 : 83 : (vec_concat:VHF_AVX10_2
31702 : 83 : (float_truncate:<ssehalfvecmode>
31703 : 83 : (match_operand:<ssePSmode> 2 "<round_nimm_predicate>" "<round_constraint>"))
31704 : : (float_truncate:<ssehalfvecmode>
31705 : : (match_operand:<ssePSmode> 1 "register_operand" "v"))))]
31706 : 1030 : "TARGET_AVX10_2_256 && <round_mode_condition>"
31707 : : "vcvt2ps2phx\t{<round_mask_op3>%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2<round_mask_op3>}")
31708 : :
31709 : : (define_mode_attr ssebvecmode
31710 : 265 : [(V8HF "V16QI") (V16HF "V32QI") (V32HF "V64QI")])
31711 : 265 :
31712 : : (define_int_iterator UNSPEC_NECONVERTFP8_PACK
31713 : : [UNSPEC_VCVTNE2PH2BF8 UNSPEC_VCVTNE2PH2BF8S
31714 : : UNSPEC_VCVTNE2PH2HF8 UNSPEC_VCVTNE2PH2HF8S])
31715 : 224049 :
31716 : 208 : (define_int_attr neconvertfp8_pack
31717 : : [(UNSPEC_VCVTNE2PH2BF8 "ne2ph2bf8")
31718 : 1931 : (UNSPEC_VCVTNE2PH2BF8S "ne2ph2bf8s")
31719 : 225468 : (UNSPEC_VCVTNE2PH2HF8 "ne2ph2hf8")
31720 : 225909 : (UNSPEC_VCVTNE2PH2HF8S "ne2ph2hf8s")])
31721 : 223992 :
31722 : 223992 : (define_insn "vcvt<neconvertfp8_pack><mode><mask_name>"
31723 : 223992 : [(set (match_operand:<ssebvecmode> 0 "register_operand" "=v")
31724 : 225909 : (unspec:<ssebvecmode>
31725 : 225909 : [(match_operand:VHF_AVX10_2 1 "register_operand" "v")
31726 : 225909 : (match_operand:VHF_AVX10_2 2 "nonimmediate_operand" "vm")]
31727 : 1917 : UNSPEC_NECONVERTFP8_PACK))]
31728 : 89785 : "TARGET_AVX10_2_256"
31729 : 88653 : "vcvt<neconvertfp8_pack>\t{%2, %1, %0<mask_operand3>|%0<mask_operand2>, %1, %2}"
31730 : 88653 : [(set_attr "prefix" "evex")])
31731 : 88653 :
31732 : 130546 : (define_mode_attr ssebvecmode_2
31733 : 1841 : [(V8HF "V16QI") (V16HF "V16QI") (V32HF "V32QI")])
31734 : 1220 :
31735 : 1220 : (define_int_iterator UNSPEC_VCVTBIASPH2FP8_PACK
31736 : 168081 : [UNSPEC_VCVTBIASPH2BF8 UNSPEC_VCVTBIASPH2BF8S
31737 : 168206 : UNSPEC_VCVTBIASPH2HF8 UNSPEC_VCVTBIASPH2HF8S])
31738 : 43752 :
31739 : 166272 : (define_int_attr biasph2fp8_pack
31740 : 166272 : [(UNSPEC_VCVTBIASPH2BF8 "biasph2bf8")
31741 : 165300 : (UNSPEC_VCVTBIASPH2BF8S "biasph2bf8s")
31742 : 121673 : (UNSPEC_VCVTBIASPH2HF8 "biasph2hf8")
31743 : 42990 : (UNSPEC_VCVTBIASPH2HF8S "biasph2hf8s")])
31744 : 164663 :
31745 : 164461 : (define_expand "vcvt<biasph2fp8_pack>v8hf"
31746 : 42788 : [(set (match_operand:V16QI 0 "register_operand")
31747 : 164461 : (vec_concat:V16QI
31748 : 164600 : (unspec:V8QI
31749 : 121673 : [(match_operand:V16QI 1 "register_operand")
31750 : 79 : (match_operand:V8HF 2 "nonimmediate_operand")]
31751 : 121750 : UNSPEC_VCVTBIASPH2FP8_PACK)
31752 : 79 : (match_dup 3)))]
31753 : 76509 : "TARGET_AVX10_2_256"
31754 : 76547 : "operands[3] = CONST0_RTX (V8QImode);")
31755 : 76479 :
31756 : 76479 : (define_insn "*vcvt<biasph2fp8_pack>v8hf"
31757 : 76597 : [(set (match_operand:V16QI 0 "register_operand" "=v")
31758 : 44 : (vec_concat:V16QI
31759 : 44 : (unspec:V8QI
31760 : 44 : [(match_operand:V16QI 1 "register_operand" "v")
31761 : 44 : (match_operand:V8HF 2 "nonimmediate_operand" "vm")]
31762 : 44 : UNSPEC_VCVTBIASPH2FP8_PACK)
31763 : 44 : (match_operand:V8QI 3 "const0_operand")))]
31764 : 116 : "TARGET_AVX10_2_256"
31765 : : "vcvt<biasph2fp8_pack>\t{%2, %1, %0|%0, %1, %2}"
31766 : 44 : [(set_attr "prefix" "evex")
31767 : : (set_attr "mode" "HF")])
31768 : 216 :
31769 : 216 : (define_expand "vcvt<biasph2fp8_pack>v8hf_mask"
31770 : 216 : [(set (match_operand:V16QI 0 "register_operand")
31771 : : (vec_concat:V16QI
31772 : : (vec_merge:V8QI
31773 : : (unspec:V8QI
31774 : 44 : [(match_operand:V16QI 1 "register_operand")
31775 : 44 : (match_operand:V8HF 2 "nonimmediate_operand")]
31776 : 44 : UNSPEC_VCVTBIASPH2FP8_PACK)
31777 : : (vec_select:V8QI
31778 : 134757 : (match_operand:V16QI 3 "nonimm_or_0_operand")
31779 : : (parallel [(const_int 0) (const_int 1)
31780 : : (const_int 2) (const_int 3)
31781 : 66 : (const_int 4) (const_int 5)
31782 : 134757 : (const_int 6) (const_int 7)]))
31783 : 134757 : (match_operand:QI 4 "register_operand" "C"))
31784 : 134757 : (match_dup 5)))]
31785 : 134757 : "TARGET_AVX10_2_256"
31786 : 134911 : "operands[5] = CONST0_RTX (V8QImode);")
31787 : 134823 :
31788 : 134823 : (define_insn "*vcvt<biasph2fp8_pack>v8hf_mask"
31789 : 134911 : [(set (match_operand:V16QI 0 "register_operand" "=v")
31790 : 154 : (vec_concat:V16QI
31791 : 102350 : (vec_merge:V8QI
31792 : 102350 : (unspec:V8QI
31793 : 102350 : [(match_operand:V16QI 1 "register_operand" "v")
31794 : 102350 : (match_operand:V8HF 2 "nonimmediate_operand" "vm")]
31795 : 102284 : UNSPEC_VCVTBIASPH2FP8_PACK)
31796 : 102284 : (vec_select:V8QI
31797 : 88 : (match_operand:V16QI 3 "nonimm_or_0_operand" "0C")
31798 : 29766 : (parallel [(const_int 0) (const_int 1)
31799 : 29766 : (const_int 2) (const_int 3)
31800 : 29766 : (const_int 4) (const_int 5)
31801 : : (const_int 6) (const_int 7)]))
31802 : 29344 : (match_operand:QI 4 "register_operand" "Yk"))
31803 : 28973 : (match_operand:V8QI 5 "const0_operand")))]
31804 : 29637 : "TARGET_AVX10_2_256"
31805 : 58040 : "vcvt<biasph2fp8_pack>\t{%2, %1, %0%{%4%}%N3|%0%{%4%}%N3, %1, %2}"
31806 : : [(set_attr "prefix" "evex")])
31807 : :
31808 : 576 : (define_mode_iterator VHF_AVX10_2_2
31809 : 576 : [(V32HF "TARGET_AVX10_2_512") V16HF])
31810 : :
31811 : : (define_insn "vcvt<biasph2fp8_pack><mode><mask_name>"
31812 : : [(set (match_operand:<ssebvecmode_2> 0 "register_operand" "=v")
31813 : 1108 : (unspec:<ssebvecmode_2>
31814 : 1108 : [(match_operand:<ssebvecmode> 1 "register_operand" "v")
31815 : : (match_operand:VHF_AVX10_2_2 2 "nonimmediate_operand" "vm")]
31816 : 0 : UNSPEC_VCVTBIASPH2FP8_PACK))]
31817 : 1316 : "TARGET_AVX10_2_256"
31818 : : "vcvt<biasph2fp8_pack>\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
31819 : 0 : [(set_attr "prefix" "evex")])
31820 : 0 :
31821 : : (define_mode_iterator VHF_256_512
31822 : : [V16HF (V32HF "TARGET_AVX10_2_512")])
31823 : :
31824 : 88 : (define_mode_attr ph2fp8suff
31825 : 2598 : [(V32HF "") (V16HF "{y}") (V8HF "{x}")])
31826 : 1807 :
31827 : 791 : (define_int_iterator UNSPEC_NECONVERTPH2FP8
31828 : 1574 : [UNSPEC_VCVTNEPH2BF8 UNSPEC_VCVTNEPH2BF8S
31829 : 783 : UNSPEC_VCVTNEPH2HF8 UNSPEC_VCVTNEPH2HF8S])
31830 : 3127 :
31831 : 2387 : (define_int_attr neconvertph2fp8
31832 : 1546 : [(UNSPEC_VCVTNEPH2BF8 "neph2bf8")
31833 : 1951 : (UNSPEC_VCVTNEPH2BF8S "neph2bf8s")
31834 : 1414 : (UNSPEC_VCVTNEPH2HF8 "neph2hf8")
31835 : 730 : (UNSPEC_VCVTNEPH2HF8S "neph2hf8s")])
31836 : 242 :
31837 : 505 : (define_expand "vcvt<neconvertph2fp8>v8hf"
31838 : 252 : [(set (match_operand:V16QI 0 "register_operand")
31839 : 113 : (vec_concat:V16QI
31840 : 191 : (unspec:V8QI
31841 : 15 : [(match_operand:V8HF 1 "nonimmediate_operand")]
31842 : 205 : UNSPEC_NECONVERTPH2FP8)
31843 : 15 : (match_dup 2)))]
31844 : : "TARGET_AVX10_2_256"
31845 : 0 : "operands[2] = CONST0_RTX (V8QImode);")
31846 : :
31847 : : (define_insn "*vcvt<neconvertph2fp8>v8hf"
31848 : 0 : [(set (match_operand:V16QI 0 "register_operand" "=v")
31849 : 0 : (vec_concat:V16QI
31850 : 0 : (unspec:V8QI
31851 : 0 : [(match_operand:V8HF 1 "nonimmediate_operand" "vm")]
31852 : 0 : UNSPEC_NECONVERTPH2FP8)
31853 : 0 : (match_operand:V8QI 2 "const0_operand")))]
31854 : 47 : "TARGET_AVX10_2_256"
31855 : 8 : "vcvt<neconvertph2fp8>{x}\t{%1, %0|%0, %1}"
31856 : : [(set_attr "prefix" "evex")
31857 : : (set_attr "mode" "HF")])
31858 : 147 :
31859 : 147 : (define_expand "vcvt<neconvertph2fp8>v8hf_mask"
31860 : 147 : [(set (match_operand:V16QI 0 "register_operand")
31861 : : (vec_concat:V16QI
31862 : 807 : (vec_merge:V8QI
31863 : 807 : (unspec:V8QI
31864 : 288 : [(match_operand:V8HF 1 "nonimmediate_operand")]
31865 : 807 : UNSPEC_NECONVERTPH2FP8)
31866 : 807 : (vec_select:V8QI
31867 : 807 : (match_operand:V16QI 2 "nonimm_or_0_operand")
31868 : 807 : (parallel [(const_int 0) (const_int 1)
31869 : 876 : (const_int 2) (const_int 3)
31870 : : (const_int 4) (const_int 5)
31871 : 344 : (const_int 6) (const_int 7)]))
31872 : 344 : (match_operand:QI 3 "register_operand"))
31873 : 344 : (match_dup 4)))]
31874 : 413 : "TARGET_AVX10_2_256"
31875 : 545 : "operands[4] = CONST0_RTX (V8QImode);")
31876 : 273 :
31877 : 273 : (define_insn "*vcvt<neconvertph2fp8>v8hf_mask"
31878 : 683 : [(set (match_operand:V16QI 0 "register_operand" "=v")
31879 : 135 : (vec_concat:V16QI
31880 : 135 : (vec_merge:V8QI
31881 : 135 : (unspec:V8QI
31882 : 132 : [(match_operand:V8HF 1 "nonimmediate_operand" "vm")]
31883 : 132 : UNSPEC_NECONVERTPH2FP8)
31884 : 132 : (vec_select:V8QI
31885 : 132 : (match_operand:V16QI 2 "nonimm_or_0_operand" "0C")
31886 : 132 : (parallel [(const_int 0) (const_int 1)
31887 : 132 : (const_int 2) (const_int 3)
31888 : : (const_int 4) (const_int 5)
31889 : 132 : (const_int 6) (const_int 7)]))
31890 : : (match_operand:QI 3 "register_operand" "Yk"))
31891 : : (match_operand:V8QI 4 "const0_operand")))]
31892 : 206 : "TARGET_AVX10_2_256"
31893 : : "vcvt<neconvertph2fp8>{x}\t{%1, %0%{%3%}%N2|%0%{%3%}%N2, %1}"
31894 : : [(set_attr "prefix" "evex")])
31895 : :
31896 : 768 : (define_insn "vcvt<neconvertph2fp8><mode><mask_name>"
31897 : 768 : [(set (match_operand:<ssebvecmode_2> 0 "register_operand" "=v")
31898 : 768 : (unspec:<ssebvecmode_2>
31899 : : [(match_operand:VHF_256_512 1 "nonimmediate_operand" "vm")]
31900 : 1064 : UNSPEC_NECONVERTPH2FP8))]
31901 : 2100 : "TARGET_AVX10_2_256"
31902 : 1064 : "vcvt<neconvertph2fp8><ph2fp8suff>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
31903 : : [(set_attr "prefix" "evex")])
31904 : :
31905 : 972 : (define_insn "vcvthf82ph<mode><mask_name>"
31906 : 1740 : [(set (match_operand:VHF_AVX10_2 0 "register_operand" "=v")
31907 : 768 : (unspec:VHF_AVX10_2
31908 : 768 : [(match_operand:<ssebvecmode_2> 1 "nonimmediate_operand" "vm")]
31909 : : UNSPEC_VCVTHF82PH))]
31910 : 1323 : "TARGET_AVX10_2_256"
31911 : 908 : "vcvthf82ph\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
31912 : 132 : [(set_attr "prefix" "evex")])
31913 : 768 :
31914 : 1025 : (define_int_iterator VPDPWPROD
31915 : 1025 : [UNSPEC_VPDPWUSD
31916 : 47 : UNSPEC_VPDPWUSDS
31917 : 91 : UNSPEC_VPDPWSUD
31918 : 724 : UNSPEC_VPDPWSUDS
31919 : 976 : UNSPEC_VPDPWUUD
31920 : : UNSPEC_VPDPWUUDS])
31921 : 768 :
31922 : 768 : (define_int_attr vpdpwprodtype
31923 : 812 : [(UNSPEC_VPDPWUSD "wusd") (UNSPEC_VPDPWUSDS "wusds")
31924 : 1823 : (UNSPEC_VPDPWSUD "wsud") (UNSPEC_VPDPWSUDS "wsuds")
31925 : 287 : (UNSPEC_VPDPWUUD "wuud") (UNSPEC_VPDPWUUDS "wuuds")])
31926 : 812 :
31927 : 812 : (define_expand "usdot_prod<sseunpackmodelower><mode>"
31928 : 812 : [(match_operand:<sseunpackmode> 0 "register_operand")
31929 : 44 : (match_operand:VI2_AVX10_2 1 "register_operand")
31930 : 812 : (match_operand:VI2_AVX10_2 2 "register_operand")
31931 : 812 : (match_operand:<sseunpackmode> 3 "register_operand")]
31932 : 812 : "TARGET_AVXVNNIINT16 || TARGET_AVX10_2_256"
31933 : 9 : {
31934 : 777 : operands[1] = lowpart_subreg (<sseunpackmode>mode,
31935 : 768 : force_reg (<MODE>mode, operands[1]),
31936 : 768 : <MODE>mode);
31937 : 9 : operands[2] = lowpart_subreg (<sseunpackmode>mode,
31938 : 768 : force_reg (<MODE>mode, operands[2]),
31939 : 768 : <MODE>mode);
31940 : 777 : emit_insn (gen_vpdpwusd_<SDOT_VPDP_SUF> (operands[0], operands[3],
31941 : 768 : operands[1], operands[2]));
31942 : 9 : DONE;
31943 : 768 : })
31944 : :
31945 : 192 : (define_expand "udot_prod<sseunpackmodelower><mode>"
31946 : 192 : [(match_operand:<sseunpackmode> 0 "register_operand")
31947 : : (match_operand:VI2_AVX10_2 1 "register_operand")
31948 : : (match_operand:VI2_AVX10_2 2 "register_operand")
31949 : : (match_operand:<sseunpackmode> 3 "register_operand")]
31950 : : "TARGET_AVXVNNIINT16 || TARGET_AVX10_2_256"
31951 : 9 : {
31952 : 9 : operands[1] = lowpart_subreg (<sseunpackmode>mode,
31953 : : force_reg (<MODE>mode, operands[1]),
31954 : : <MODE>mode);
31955 : 9 : operands[2] = lowpart_subreg (<sseunpackmode>mode,
31956 : : force_reg (<MODE>mode, operands[2]),
31957 : : <MODE>mode);
31958 : 9 : emit_insn (gen_vpdpwuud_<SDOT_VPDP_SUF> (operands[0], operands[3],
31959 : : operands[1], operands[2]));
31960 : 9 : DONE;
31961 : : })
31962 : :
31963 : : (define_insn "vpdp<vpdpwprodtype>_<mode>"
31964 : : [(set (match_operand:VI4_AVX 0 "register_operand" "=v")
31965 : : (unspec:VI4_AVX
31966 : 33 : [(match_operand:VI4_AVX 1 "register_operand" "0")
31967 : : (match_operand:VI4_AVX 2 "register_operand" "v")
31968 : : (match_operand:VI4_AVX 3 "nonimmediate_operand" "vm")]
31969 : : VPDPWPROD))]
31970 : 123 : "TARGET_AVXVNNIINT16 || TARGET_AVX10_2_256"
31971 : : "vpdp<vpdpwprodtype>\t{%3, %2, %0|%0, %2, %3}"
31972 : 33 : [(set_attr "prefix" "maybe_evex")])
31973 : 33 :
31974 : 453 : (define_insn "vpdp<vpdpwprodtype>_v16si"
31975 : 453 : [(set (match_operand:V16SI 0 "register_operand" "=v")
31976 : 33 : (unspec:V16SI
31977 : 33 : [(match_operand:V16SI 1 "register_operand" "0")
31978 : 33 : (match_operand:V16SI 2 "register_operand" "v")
31979 : 33 : (match_operand:V16SI 3 "nonimmediate_operand" "vm")]
31980 : 33 : VPDPWPROD))]
31981 : 453 : "TARGET_AVX10_2_512"
31982 : : "vpdp<vpdpwprodtype>\t{%3, %2, %0|%0, %2, %3}"
31983 : : [(set_attr "prefix" "evex")])
31984 : 33 :
31985 : : (define_insn "vpdp<vpdpwprodtype>_<mode>_mask"
31986 : : [(set (match_operand:VI4_AVX10_2 0 "register_operand" "=v")
31987 : : (vec_merge:VI4_AVX10_2
31988 : : (unspec:VI4_AVX10_2
31989 : 1772 : [(match_operand:VI4_AVX10_2 1 "register_operand" "0")
31990 : 1613 : (match_operand:VI4_AVX10_2 2 "register_operand" "v")
31991 : 225 : (match_operand:VI4_AVX10_2 3 "nonimmediate_operand" "vm")]
31992 : 714 : VPDPWPROD)
31993 : 522 : (match_dup 1)
31994 : 225 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
31995 : 579 : "TARGET_AVX10_2_256"
31996 : 225 : "vpdp<vpdpwprodtype>\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3}"
31997 : 225 : [(set_attr "prefix" "evex")])
31998 : 225 :
31999 : 1125 : (define_expand "vpdp<vpdpwprodtype>_<mode>_maskz"
32000 : 1092 : [(set (match_operand:VI4_AVX10_2 0 "register_operand")
32001 : 64 : (vec_merge:VI4_AVX10_2
32002 : : (unspec:VI4_AVX10_2
32003 : 64 : [(match_operand:VI4_AVX10_2 1 "register_operand")
32004 : : (match_operand:VI4_AVX10_2 2 "register_operand")
32005 : : (match_operand:VI4_AVX10_2 3 "nonimmediate_operand")]
32006 : : VPDPWPROD)
32007 : : (match_dup 5)
32008 : : (match_operand:<avx512fmaskmode> 4 "register_operand")))]
32009 : : "TARGET_AVX10_2_256"
32010 : 198 : "operands[5] = CONST0_RTX (<MODE>mode);")
32011 : :
32012 : : (define_insn "*vpdp<vpdpwprodtype>_<mode>_maskz"
32013 : 198 : [(set (match_operand:VI4_AVX10_2 0 "register_operand" "=v")
32014 : 198 : (vec_merge:VI4_AVX10_2
32015 : 198 : (unspec:VI4_AVX10_2
32016 : 198 : [(match_operand:VI4_AVX10_2 1 "register_operand" "0")
32017 : 198 : (match_operand:VI4_AVX10_2 2 "register_operand" "v")
32018 : 198 : (match_operand:VI4_AVX10_2 3 "nonimmediate_operand" "vm")]
32019 : 198 : VPDPWPROD)
32020 : 198 : (match_operand:VI4_AVX10_2 5 "const0_operand" "C")
32021 : 198 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
32022 : 744 : "TARGET_AVX10_2_256"
32023 : 198 : "vpdp<vpdpwprodtype>\t{%3, %2, %0%{%4%}%N5|%0%{%4%}%N5, %2, %3}"
32024 : 198 : [(set_attr "prefix" "evex")])
32025 : :
32026 : 744 : (define_insn "vdpphps_<mode>"
32027 : 546 : [(set (match_operand:VF1_AVX10_2 0 "register_operand" "=v")
32028 : : (unspec:VF1_AVX10_2
32029 : : [(match_operand:VF1_AVX10_2 1 "register_operand" "0")
32030 : 3390 : (match_operand:VF1_AVX10_2 2 "register_operand" "v")
32031 : 3390 : (match_operand:VF1_AVX10_2 3 "nonimmediate_operand" "vm")]
32032 : : UNSPEC_VDPPHPS))]
32033 : 59 : "TARGET_AVX10_2_256"
32034 : 455 : "vdpphps\t{%3, %2, %0|%0, %2, %3}"
32035 : 605 : [(set_attr "prefix" "evex")])
32036 : 803 :
32037 : 867 : (define_insn "vdpphps_<mode>_mask"
32038 : 262 : [(set (match_operand:VF1_AVX10_2 0 "register_operand" "=v")
32039 : 605 : (vec_merge:VF1_AVX10_2
32040 : 669 : (unspec:VF1_AVX10_2
32041 : 174 : [(match_operand:VF1_AVX10_2 1 "register_operand" "0")
32042 : 779 : (match_operand:VF1_AVX10_2 2 "register_operand" "v")
32043 : 940 : (match_operand:VF1_AVX10_2 3 "nonimmediate_operand" "vm")]
32044 : 779 : UNSPEC_VDPPHPS)
32045 : 779 : (match_dup 1)
32046 : 605 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
32047 : 290 : "TARGET_AVX10_2_256"
32048 : 365 : "vdpphps\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3}"
32049 : 345 : [(set_attr "prefix" "evex")])
32050 : 284 :
32051 : 222 : (define_expand "vdpphps_<mode>_maskz"
32052 : 631 : [(match_operand:VF1_AVX10_2 0 "register_operand")
32053 : 154 : (match_operand:VF1_AVX10_2 1 "register_operand")
32054 : 212 : (match_operand:VF1_AVX10_2 2 "register_operand")
32055 : 358 : (match_operand:VF1_AVX10_2 3 "nonimmediate_operand")
32056 : 442 : (match_operand:<avx512fmaskmode> 4 "register_operand")]
32057 : 500 : "TARGET_AVX10_2_256"
32058 : 398 : {
32059 : 322 : emit_insn (gen_vdpphps_<mode>_maskz_1 (operands[0], operands[1],
32060 : 288 : operands[2], operands[3], CONST0_RTX(<MODE>mode), operands[4]));
32061 : 354 : DONE;
32062 : 33 : })
32063 : 129 :
32064 : 129 : (define_insn "vdpphps_<mode>_maskz_1"
32065 : 33 : [(set (match_operand:VF1_AVX10_2 0 "register_operand" "=v")
32066 : 33 : (vec_merge:VF1_AVX10_2
32067 : 131 : (unspec:VF1_AVX10_2
32068 : 33 : [(match_operand:VF1_AVX10_2 1 "register_operand" "0")
32069 : 33 : (match_operand:VF1_AVX10_2 2 "register_operand" "v")
32070 : : (match_operand:VF1_AVX10_2 3 "nonimmediate_operand" "vm")]
32071 : 2 : UNSPEC_VDPPHPS)
32072 : : (match_operand:VF1_AVX10_2 4 "const0_operand" "C")
32073 : : (match_operand:<avx512fmaskmode> 5 "register_operand" "Yk")))]
32074 : 91 : "TARGET_AVX10_2_256"
32075 : : "vdpphps\t{%3, %2, %0%{%5%}%N4|%0%{%5%}%N4, %2, %3}"
32076 : : [(set_attr "prefix" "evex")])
32077 : :
32078 : 96 : (define_insn "avx10_2_scalefpbf16_<mode><mask_name>"
32079 : 107 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v")
32080 : : (unspec:VBF_AVX10_2
32081 : : [(match_operand:VBF_AVX10_2 1 "register_operand" "v")
32082 : 96 : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm")]
32083 : : UNSPEC_VSCALEFPBF16))]
32084 : 420 : "TARGET_AVX10_2_256"
32085 : 11 : "vscalefpbf16\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
32086 : 11 : [(set_attr "prefix" "evex")])
32087 : 11 :
32088 : 53859 : (define_expand "<code><mode>3"
32089 : 280 : [(set (match_operand:VBF_AVX10_2 0 "register_operand")
32090 : 11 : (smaxmin:VBF_AVX10_2
32091 : 88 : (match_operand:VBF_AVX10_2 1 "register_operand")
32092 : 53908 : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand")))]
32093 : 54339 : "TARGET_AVX10_2_256")
32094 : 53579 :
32095 : 53813 : (define_insn "avx10_2_<code>pbf16_<mode><mask_name>"
32096 : 53813 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v")
32097 : 53579 : (smaxmin:VBF_AVX10_2
32098 : 53579 : (match_operand:VBF_AVX10_2 1 "register_operand" "v")
32099 : 53579 : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm")))]
32100 : 917 : "TARGET_AVX10_2_256"
32101 : 12393 : "v<maxmin_float>pbf16\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
32102 : 12393 : [(set_attr "prefix" "evex")
32103 : : (set_attr "mode" "<MODE>")])
32104 : 2256 :
32105 : 2256 : (define_insn "avx10_2_<insn>nepbf16_<mode><mask_name>"
32106 : 1724 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v")
32107 : 1724 : (plusminusmultdiv:VBF_AVX10_2
32108 : 1724 : (match_operand:VBF_AVX10_2 1 "register_operand" "v")
32109 : : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm")))]
32110 : 1732 : "TARGET_AVX10_2_256"
32111 : 331 : "v<insn>nepbf16\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
32112 : : [(set_attr "prefix" "evex")])
32113 : 99 :
32114 : 2399187 : (define_expand "avx10_2_fmaddnepbf16_<mode>_maskz"
32115 : 1196 : [(match_operand:VBF_AVX10_2 0 "register_operand")
32116 : 2398268 : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand")
32117 : 2347208 : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand")
32118 : 2720081 : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand")
32119 : 373363 : (match_operand:<avx512fmaskmode> 4 "register_operand")]
32120 : 2373483 : "TARGET_AVX10_2_256"
32121 : 2347041 : {
32122 : 4971 : emit_insn (gen_avx10_2_fmaddnepbf16_<mode>_maskz_1 (operands[0], operands[1],
32123 : 1219859 : operands[2], operands[3],
32124 : 1237233 : CONST0_RTX(<MODE>mode),
32125 : 1236550 : operands[4]));
32126 : 1236583 : DONE;
32127 : 1236550 : })
32128 : 27038 :
32129 : 27228 : (define_insn "avx10_2_fmaddnepbf16_<mode><sd_maskz_name>"
32130 : 27386 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v,v,v")
32131 : 27038 : (fma:VBF_AVX10_2
32132 : 27038 : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "%0,0,v")
32133 : 683 : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm,v,vm")
32134 : 18855 : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand" "v,vm,0")))]
32135 : 18343 : "TARGET_AVX10_2_256"
32136 : 75 : "@
32137 : 18247 : vfmadd132nepbf16\t{%2, %3, %0<sd_mask_op4>|%0<sd_mask_op4>, %3, %2}
32138 : 18229 : vfmadd213nepbf16\t{%3, %2, %0<sd_mask_op4>|%0<sd_mask_op4>, %2, %3}
32139 : 35688 : vfmadd231nepbf16\t{%2, %1, %0<sd_mask_op4>|%0<sd_mask_op4>, %1, %2}"
32140 : 566 : [(set_attr "prefix" "evex")
32141 : : (set_attr "type" "ssemuladd")
32142 : 328 : (set_attr "mode" "<sseinsnmode>")])
32143 : 9386 :
32144 : 9285 : (define_insn "avx10_2_fmaddnepbf16_<mode>_mask"
32145 : 9285 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v,v")
32146 : 9285 : (vec_merge:VBF_AVX10_2
32147 : : (fma:VBF_AVX10_2
32148 : 1167 : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "0,0")
32149 : 1167 : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm,v")
32150 : 1070 : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand" "v,vm"))
32151 : 2237 : (match_dup 1)
32152 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk,Yk")))]
32153 : 1348 : "TARGET_AVX10_2_256"
32154 : 1061 : "@
32155 : 1276 : vfmadd132nepbf16\t{%2, %3, %0%{%4%}|%0%{%4%}, %3, %2}
32156 : 2337 : vfmadd213nepbf16\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3}"
32157 : 14 : [(set_attr "prefix" "evex")
32158 : 14 : (set_attr "type" "ssemuladd")
32159 : 36 : (set_attr "mode" "<sseinsnmode>")])
32160 : 22 :
32161 : 22 : (define_insn "avx10_2_fmaddnepbf16_<mode>_mask3"
32162 : 22 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v")
32163 : 22 : (vec_merge:VBF_AVX10_2
32164 : 22 : (fma:VBF_AVX10_2
32165 : 22 : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "%v")
32166 : 22 : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm")
32167 : 22 : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand" "0"))
32168 : : (match_dup 3)
32169 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
32170 : 210 : "TARGET_AVX10_2_256"
32171 : : "vfmadd231nepbf16\t{%2, %1, %0%{%4%}|%0%{%4%}, %1, %2}"
32172 : : [(set_attr "prefix" "evex")
32173 : : (set_attr "type" "ssemuladd")
32174 : 381 : (set_attr "mode" "<sseinsnmode>")])
32175 : 381 :
32176 : : (define_expand "avx10_2_fnmaddnepbf16_<mode>_maskz"
32177 : 143 : [(match_operand:VBF_AVX10_2 0 "register_operand")
32178 : : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand")
32179 : 230 : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand")
32180 : 230 : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand")
32181 : 230 : (match_operand:<avx512fmaskmode> 4 "register_operand")]
32182 : : "TARGET_AVX10_2_256"
32183 : 33 : {
32184 : 33 : emit_insn (gen_avx10_2_fnmaddnepbf16_<mode>_maskz_1 (operands[0], operands[1],
32185 : : operands[2], operands[3],
32186 : : CONST0_RTX(<MODE>mode),
32187 : : operands[4]));
32188 : 33 : DONE;
32189 : : })
32190 : :
32191 : : (define_insn "avx10_2_fnmaddnepbf16_<mode><sd_maskz_name>"
32192 : : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v,v,v")
32193 : : (fma:VBF_AVX10_2
32194 : : (neg:VBF_AVX10_2
32195 : : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "%0,0,v"))
32196 : : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm,v,vm")
32197 : : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand" "v,vm,0")))]
32198 : 170 : "TARGET_AVX10_2_256"
32199 : : "@
32200 : : vfnmadd132nepbf16\t{%2, %3, %0<sd_mask_op4>|%0<sd_mask_op4>, %3, %2}
32201 : : vfnmadd213nepbf16\t{%3, %2, %0<sd_mask_op4>|%0<sd_mask_op4>, %2, %3}
32202 : 216 : vfnmadd231nepbf16\t{%2, %1, %0<sd_mask_op4>|%0<sd_mask_op4>, %1, %2}"
32203 : 216 : [(set_attr "prefix" "evex")
32204 : : (set_attr "type" "ssemuladd")
32205 : 115 : (set_attr "mode" "<sseinsnmode>")])
32206 : 3713 :
32207 : 3612 : (define_insn "avx10_2_fnmaddnepbf16_<mode>_mask"
32208 : 3612 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v,v")
32209 : 3612 : (vec_merge:VBF_AVX10_2
32210 : : (fma:VBF_AVX10_2
32211 : 438 : (neg:VBF_AVX10_2
32212 : 438 : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "0,0"))
32213 : : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm,v")
32214 : : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand" "v,vm"))
32215 : 1420 : (match_dup 1)
32216 : 427 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk,Yk")))]
32217 : 1652 : "TARGET_AVX10_2_256"
32218 : 1838 : "@
32219 : 1193 : vfnmadd132nepbf16\t{%2, %3, %0%{%4%}|%0%{%4%}, %3, %2}
32220 : 1193 : vfnmadd213nepbf16\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3}"
32221 : 983 : [(set_attr "prefix" "evex")
32222 : : (set_attr "type" "ssemuladd")
32223 : : (set_attr "mode" "<sseinsnmode>")])
32224 : :
32225 : : (define_insn "avx10_2_fnmaddnepbf16_<mode>_mask3"
32226 : : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v")
32227 : : (vec_merge:VBF_AVX10_2
32228 : : (fma:VBF_AVX10_2
32229 : : (neg:VBF_AVX10_2
32230 : : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "%v"))
32231 : : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm")
32232 : : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand" "0"))
32233 : : (match_dup 3)
32234 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
32235 : 210 : "TARGET_AVX10_2_256"
32236 : : "vfnmadd231nepbf16\t{%2, %1, %0%{%4%}|%0%{%4%}, %1, %2}"
32237 : : [(set_attr "prefix" "evex")
32238 : : (set_attr "type" "ssemuladd")
32239 : 281 : (set_attr "mode" "<sseinsnmode>")])
32240 : 281 :
32241 : : (define_expand "avx10_2_fmsubnepbf16_<mode>_maskz"
32242 : 43 : [(match_operand:VBF_AVX10_2 0 "register_operand")
32243 : : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand")
32244 : 230 : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand")
32245 : 230 : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand")
32246 : 230 : (match_operand:<avx512fmaskmode> 4 "register_operand")]
32247 : : "TARGET_AVX10_2_256"
32248 : 33 : {
32249 : 33 : emit_insn (gen_avx10_2_fmsubnepbf16_<mode>_maskz_1 (operands[0], operands[1],
32250 : : operands[2], operands[3],
32251 : : CONST0_RTX(<MODE>mode),
32252 : : operands[4]));
32253 : 33 : DONE;
32254 : : })
32255 : :
32256 : : (define_insn "avx10_2_fmsubnepbf16_<mode><sd_maskz_name>"
32257 : : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v,v,v")
32258 : : (fma:VBF_AVX10_2
32259 : : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "%0,0,v")
32260 : : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm,v,vm")
32261 : : (neg:VBF_AVX10_2
32262 : : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand" "v,vm,0"))))]
32263 : 170 : "TARGET_AVX10_2_256"
32264 : : "@
32265 : : vfmsub132nepbf16\t{%2, %3, %0<sd_mask_op4>|%0<sd_mask_op4>, %3, %2}
32266 : : vfmsub213nepbf16\t{%3, %2, %0<sd_mask_op4>|%0<sd_mask_op4>, %2, %3}
32267 : 221 : vfmsub231nepbf16\t{%2, %1, %0<sd_mask_op4>|%0<sd_mask_op4>, %1, %2}"
32268 : 221 : [(set_attr "prefix" "evex")
32269 : : (set_attr "type" "ssemuladd")
32270 : 120 : (set_attr "mode" "<sseinsnmode>")])
32271 : 101 :
32272 : : (define_insn "avx10_2_fmsubnepbf16_<mode>_mask"
32273 : : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v,v")
32274 : : (vec_merge:VBF_AVX10_2
32275 : : (fma:VBF_AVX10_2
32276 : : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "0,0")
32277 : 145150 : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm,v")
32278 : : (neg:VBF_AVX10_2
32279 : : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand" "v,vm")))
32280 : 42714 : (match_dup 1)
32281 : 145150 : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk,Yk")))]
32282 : 145392 : "TARGET_AVX10_2_256"
32283 : 145150 : "@
32284 : 188074 : vfmsub132nepbf16\t{%2, %3, %0%{%4%}|%0%{%4%}, %3, %2}
32285 : 188074 : vfmsub213nepbf16\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3}"
32286 : 187864 : [(set_attr "prefix" "evex")
32287 : 187864 : (set_attr "type" "ssemuladd")
32288 : 187864 : (set_attr "mode" "<sseinsnmode>")])
32289 : 42714 :
32290 : 187864 : (define_insn "avx10_2_fmsubnepbf16_<mode>_mask3"
32291 : 145150 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v")
32292 : : (vec_merge:VBF_AVX10_2
32293 : 1691 : (fma:VBF_AVX10_2
32294 : 1691 : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "%v")
32295 : 1691 : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm")
32296 : : (neg:VBF_AVX10_2
32297 : 133 : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand" "0")))
32298 : 133 : (match_dup 3)
32299 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
32300 : 339 : "TARGET_AVX10_2_256"
32301 : 129 : "vfmsub231nepbf16\t{%2, %1, %0%{%4%}|%0%{%4%}, %1, %2}"
32302 : 129 : [(set_attr "prefix" "evex")
32303 : 0 : (set_attr "type" "ssemuladd")
32304 : 402 : (set_attr "mode" "<sseinsnmode>")])
32305 : 402 :
32306 : : (define_expand "avx10_2_fnmsubnepbf16_<mode>_maskz"
32307 : 164 : [(match_operand:VBF_AVX10_2 0 "register_operand")
32308 : 129 : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand")
32309 : 230 : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand")
32310 : 359 : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand")
32311 : 359 : (match_operand:<avx512fmaskmode> 4 "register_operand")]
32312 : : "TARGET_AVX10_2_256"
32313 : 162 : {
32314 : 162 : emit_insn (gen_avx10_2_fnmsubnepbf16_<mode>_maskz_1 (operands[0], operands[1],
32315 : 129 : operands[2], operands[3],
32316 : 0 : CONST0_RTX(<MODE>mode),
32317 : 129 : operands[4]));
32318 : 33 : DONE;
32319 : 64 : })
32320 : 64 :
32321 : : (define_insn "avx10_2_fnmsubnepbf16_<mode><sd_maskz_name>"
32322 : : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v,v,v")
32323 : 64 : (fma:VBF_AVX10_2
32324 : : (neg:VBF_AVX10_2
32325 : : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "%0,0,v"))
32326 : : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm,v,vm")
32327 : : (neg:VBF_AVX10_2
32328 : : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand" "v,vm,0"))))]
32329 : 170 : "TARGET_AVX10_2_256"
32330 : : "@
32331 : : vfnmsub132nepbf16\t{%2, %3, %0<sd_mask_op4>|%0<sd_mask_op4>, %3, %2}
32332 : : vfnmsub213nepbf16\t{%3, %2, %0<sd_mask_op4>|%0<sd_mask_op4>, %2, %3}
32333 : 196 : vfnmsub231nepbf16\t{%2, %1, %0<sd_mask_op4>|%0<sd_mask_op4>, %1, %2}"
32334 : 196 : [(set_attr "prefix" "evex")
32335 : : (set_attr "type" "ssemuladd")
32336 : 95 : (set_attr "mode" "<sseinsnmode>")])
32337 : 101 :
32338 : 124 : (define_insn "avx10_2_fnmsubnepbf16_<mode>_mask"
32339 : : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v,v")
32340 : 10 : (vec_merge:VBF_AVX10_2
32341 : : (fma:VBF_AVX10_2
32342 : 5 : (neg:VBF_AVX10_2
32343 : 5 : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "0,0"))
32344 : : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm,v")
32345 : 31122 : (neg:VBF_AVX10_2
32346 : : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand" "v,vm")))
32347 : 1555695 : (match_dup 1)
32348 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk,Yk")))]
32349 : 31359 : "TARGET_AVX10_2_256"
32350 : 31117 : "@
32351 : 1587022 : vfnmsub132nepbf16\t{%2, %3, %0%{%4%}|%0%{%4%}, %3, %2}
32352 : 1587022 : vfnmsub213nepbf16\t{%3, %2, %0%{%4%}|%0%{%4%}, %2, %3}"
32353 : 1586812 : [(set_attr "prefix" "evex")
32354 : 31117 : (set_attr "type" "ssemuladd")
32355 : 32130 : (set_attr "mode" "<sseinsnmode>")])
32356 : 1013 :
32357 : 873 : (define_insn "avx10_2_fnmsubnepbf16_<mode>_mask3"
32358 : 1756 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v")
32359 : : (vec_merge:VBF_AVX10_2
32360 : : (fma:VBF_AVX10_2
32361 : : (neg:VBF_AVX10_2
32362 : : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "%v"))
32363 : : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm")
32364 : : (neg:VBF_AVX10_2
32365 : : (match_operand:VBF_AVX10_2 3 "nonimmediate_operand" "0")))
32366 : : (match_dup 3)
32367 : : (match_operand:<avx512fmaskmode> 4 "register_operand" "Yk")))]
32368 : 210 : "TARGET_AVX10_2_256"
32369 : : "vfnmsub231nepbf16\t{%2, %1, %0%{%4%}|%0%{%4%}, %1, %2}"
32370 : : [(set_attr "prefix" "evex")
32371 : : (set_attr "type" "ssemuladd")
32372 : 257 : (set_attr "mode" "<sseinsnmode>")])
32373 : 257 :
32374 : : (define_insn "avx10_2_rsqrtpbf16_<mode><mask_name>"
32375 : 19 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v")
32376 : : (unspec:VBF_AVX10_2
32377 : 230 : [(match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "vm")]
32378 : 230 : UNSPEC_RSQRT))]
32379 : 455 : "TARGET_AVX10_2_256"
32380 : 12 : "vrsqrtpbf16\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
32381 : : [(set_attr "prefix" "evex")])
32382 : :
32383 : 273 : (define_insn "avx10_2_sqrtnepbf16_<mode><mask_name>"
32384 : 273 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v")
32385 : 48 : (sqrt:VBF_AVX10_2
32386 : 48 : (match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "vm")))]
32387 : 777 : "TARGET_AVX10_2_256"
32388 : 339 : "vsqrtnepbf16\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
32389 : 5834 : [(set_attr "prefix" "evex")])
32390 : 99 :
32391 : 370 : (define_insn "avx10_2_rcppbf16_<mode><mask_name>"
32392 : 271 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v")
32393 : 5884 : (unspec:VBF_AVX10_2
32394 : 5884 : [(match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "vm")]
32395 : 6154 : UNSPEC_RCP))]
32396 : 7014 : "TARGET_AVX10_2_256"
32397 : 5846 : "vrcppbf16\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
32398 : 6236 : [(set_attr "prefix" "evex")])
32399 : :
32400 : 6145 : (define_insn "avx10_2_getexppbf16_<mode><mask_name>"
32401 : 6145 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v")
32402 : 5902 : (unspec:VBF_AVX10_2
32403 : 5920 : [(match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "vm")]
32404 : 360 : UNSPEC_GETEXP))]
32405 : 5461466 : "TARGET_AVX10_2_256"
32406 : 5476095 : "vgetexppbf16\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
32407 : 5461011 : [(set_attr "prefix" "evex")])
32408 : 5477 :
32409 : 2487670 : (define_int_iterator BF16IMMOP
32410 : 2485699 : [UNSPEC_VRNDSCALENEPBF16
32411 : 2482203 : UNSPEC_VREDUCENEPBF16
32412 : 16480 : UNSPEC_VGETMANTPBF16])
32413 : 16517 :
32414 : 16195 : (define_int_attr bf16immop
32415 : 2587936 : [(UNSPEC_VRNDSCALENEPBF16 "rndscalene")
32416 : 2553757 : (UNSPEC_VREDUCENEPBF16 "reducene")
32417 : 2538685 : (UNSPEC_VGETMANTPBF16 "getmant")])
32418 : 3214 :
32419 : 37393 : (define_insn "avx10_2_<bf16immop>pbf16_<mode><mask_name>"
32420 : 34179 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v")
32421 : 402957 : (unspec:VBF_AVX10_2
32422 : 402957 : [(match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "vm")
32423 : 402498 : (match_operand:SI 2 "const_0_to_255_operand")]
32424 : 34179 : BF16IMMOP))]
32425 : 35317 : "TARGET_AVX10_2_256"
32426 : 34179 : "v<bf16immop>pbf16\t{%2, %1, %0<mask_operand3>|%0<mask_operand3>, %1, %2}"
32427 : 103885 : [(set_attr "prefix" "evex")])
32428 : 103885 :
32429 : 76541 : (define_insn "avx10_2_fpclasspbf16_<mode><mask_scalar_merge_name>"
32430 : 28844 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
32431 : 33550 : (unspec:<avx512fmaskmode>
32432 : 33550 : [(match_operand:VBF_AVX10_2 1 "nonimmediate_operand" "vm")
32433 : 31136 : (match_operand 2 "const_0_to_255_operand")]
32434 : 7020 : UNSPEC_VFPCLASSPBF16))]
32435 : 10475 : "TARGET_AVX10_2_256"
32436 : 9181 : "vfpclasspbf16<vecmemsuffix>\t{%2, %1, %0<mask_scalar_merge_operand3>|%0<mask_scalar_merge_operand3>, %1, %2}"
32437 : 470 : [(set_attr "prefix" "evex")])
32438 : 4723 :
32439 : 435724 : (define_insn "avx10_2_cmppbf16_<mode><mask_scalar_merge_name>"
32440 : 2129 : [(set (match_operand:<avx512fmaskmode> 0 "register_operand" "=k")
32441 : 521 : (unspec:<avx512fmaskmode>
32442 : 1531 : [(match_operand:VBF_AVX10_2 1 "register_operand" "v")
32443 : 435785 : (match_operand:VBF_AVX10_2 2 "nonimmediate_operand" "vm")
32444 : 435899 : (match_operand 3 "const_0_to_31_operand" "n")]
32445 : 434509 : UNSPEC_PCMP))]
32446 : 397546 : "TARGET_AVX10_2_256"
32447 : 396926 : "vcmppbf16\t{%3, %2, %1, %0<mask_scalar_merge_operand4>|%0<mask_scalar_merge_operand4>, %1, %2, %3}"
32448 : 434433 : [(set_attr "prefix" "evex")])
32449 : 434433 :
32450 : 396546 : (define_insn "avx10_2_comsbf16_v8bf"
32451 : 86911 : [(set (reg:CCFP FLAGS_REG)
32452 : 88983 : (unspec:CCFP
32453 : 40013 : [(vec_select:BF
32454 : 23660 : (match_operand:V8BF 0 "register_operand" "v")
32455 : 102243 : (parallel [(const_int 0)]))
32456 : 47257 : (vec_select:BF
32457 : 18082 : (match_operand:V8BF 1 "nonimmediate_operand" "vm")
32458 : 54923 : (parallel [(const_int 0)]))]
32459 : 38607 : UNSPEC_VCOMSBF16))]
32460 : 38621 : "TARGET_AVX10_2_256"
32461 : 58505 : "vcomsbf16\t{%1, %0|%0, %1}"
32462 : 61926 : [(set_attr "prefix" "evex")])
32463 : 11622 :
32464 : 48701 : (define_int_iterator UNSPEC_CVTNE_BF16_IBS_ITER
32465 : 48643 : [UNSPEC_VCVTNEBF162IBS
32466 : 47379 : UNSPEC_VCVTNEBF162IUBS
32467 : 47612 : UNSPEC_VCVTTNEBF162IBS
32468 : 46689 : UNSPEC_VCVTTNEBF162IUBS])
32469 : 57536 :
32470 : 37210 : (define_int_attr sat_cvt_sign_prefix
32471 : 37210 : [(UNSPEC_VCVTNEBF162IBS "")
32472 : : (UNSPEC_VCVTNEBF162IUBS "u")
32473 : 37210 : (UNSPEC_VCVTTNEBF162IBS "")
32474 : 233 : (UNSPEC_VCVTTNEBF162IUBS "u")
32475 : 8543 : (UNSPEC_VCVTPH2IBS "")
32476 : 8310 : (UNSPEC_VCVTPH2IUBS "u")
32477 : 8272 : (UNSPEC_VCVTTPH2IBS "")
32478 : 16349 : (UNSPEC_VCVTTPH2IUBS "u")
32479 : 412 : (UNSPEC_VCVTPS2IBS "")
32480 : 75 : (UNSPEC_VCVTPS2IUBS "u")
32481 : 75 : (UNSPEC_VCVTTPS2IBS "")
32482 : 852 : (UNSPEC_VCVTTPS2IUBS "u")
32483 : 852 : (UNSPEC_SFIX_SATURATION "")
32484 : 788 : (UNSPEC_UFIX_SATURATION "u")])
32485 : 1640 :
32486 : 96 : (define_int_attr sat_cvt_trunc_prefix
32487 : : [(UNSPEC_VCVTNEBF162IBS "")
32488 : : (UNSPEC_VCVTNEBF162IUBS "")
32489 : : (UNSPEC_VCVTTNEBF162IBS "t")
32490 : : (UNSPEC_VCVTTNEBF162IUBS "t")])
32491 : :
32492 : : (define_insn "avx10_2_cvt<sat_cvt_trunc_prefix>nebf162i<sat_cvt_sign_prefix>bs<mode><mask_name>"
32493 : : [(set (match_operand:<sseintvecmode> 0 "register_operand" "=v")
32494 : : (unspec:<sseintvecmode>
32495 : : [(match_operand:VBF_AVX10_2 1 "vector_operand" "vm")]
32496 : : UNSPEC_CVTNE_BF16_IBS_ITER))]
32497 : 1232 : "TARGET_AVX10_2_256"
32498 : : "vcvt<sat_cvt_trunc_prefix>nebf162i<sat_cvt_sign_prefix>bs\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
32499 : 1067627 : [(set_attr "type" "ssecvt")
32500 : : (set_attr "prefix" "evex")
32501 : 1036 : (set_attr "mode" "<sseinsnmode>")])
32502 : 1036 :
32503 : 1067627 : (define_int_iterator UNSPEC_CVT_PH_IBS_ITER
32504 : 1067627 : [UNSPEC_VCVTPH2IBS
32505 : 1070215 : UNSPEC_VCVTPH2IUBS])
32506 : 1070215 :
32507 : 1067627 : (define_insn "avx10_2_cvtph2i<sat_cvt_sign_prefix>bs<mode><mask_name><round_name>"
32508 : 1067627 : [(set (match_operand:<sseintvecmode> 0 "register_operand" "=v")
32509 : 1067627 : (unspec:<sseintvecmode>
32510 : 1067627 : [(match_operand:VHF_AVX10_2 1 "<round_nimm_predicate>" "<round_constraint>")]
32511 : 736 : UNSPEC_CVT_PH_IBS_ITER))]
32512 : 931973 : "TARGET_AVX10_2_256 && <round_mode_condition>"
32513 : 930305 : "vcvtph2i<sat_cvt_sign_prefix>bs\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
32514 : 930305 : [(set_attr "type" "ssecvt")
32515 : 930305 : (set_attr "prefix" "evex")
32516 : 930823 : (set_attr "mode" "<sseinsnmode>")])
32517 : 518 :
32518 : 311481 : (define_int_iterator UNSPEC_CVTT_PH_IBS_ITER
32519 : 311481 : [UNSPEC_VCVTTPH2IBS
32520 : 556 : UNSPEC_VCVTTPH2IUBS])
32521 : 556 :
32522 : 1190 : (define_insn "avx10_2_cvttph2i<sat_cvt_sign_prefix>bs<mode><mask_name><round_saeonly_name>"
32523 : 1190 : [(set (match_operand:<sseintvecmode> 0 "register_operand" "=v")
32524 : 458 : (unspec:<sseintvecmode>
32525 : : [(match_operand:VHF_AVX10_2 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
32526 : 14 : UNSPEC_CVTT_PH_IBS_ITER))]
32527 : 916 : "TARGET_AVX10_2_256 && <round_saeonly_mode_condition>"
32528 : : "vcvttph2i<sat_cvt_sign_prefix>bs\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
32529 : : [(set_attr "type" "ssecvt")
32530 : : (set_attr "prefix" "evex")
32531 : 518 : (set_attr "mode" "<sseinsnmode>")])
32532 : 1470 :
32533 : 952 : (define_int_iterator UNSPEC_CVT_PS_IBS_ITER
32534 : : [UNSPEC_VCVTPS2IBS
32535 : 1508 : UNSPEC_VCVTPS2IUBS])
32536 : 556 :
32537 : 460 : (define_insn "avx10_2_cvtps2i<sat_cvt_sign_prefix>bs<mode><mask_name><round_name>"
32538 : 467 : [(set (match_operand:<sseintvecmode> 0 "register_operand" "=v")
32539 : 465 : (unspec:<sseintvecmode>
32540 : : [(match_operand:VF1_AVX10_2 1 "<round_nimm_predicate>" "<round_constraint>")]
32541 : 67 : UNSPEC_CVT_PS_IBS_ITER))]
32542 : 1343 : "TARGET_AVX10_2_256 && <round_mode_condition>"
32543 : : "vcvtps2i<sat_cvt_sign_prefix>bs\t{<round_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_mask_op2>}"
32544 : : [(set_attr "type" "ssecvt")
32545 : : (set_attr "prefix" "evex")
32546 : 518 : (set_attr "mode" "<sseinsnmode>")])
32547 : 1486 :
32548 : 968 : (define_int_iterator UNSPEC_CVTT_PS_IBS_ITER
32549 : : [UNSPEC_VCVTTPS2IBS
32550 : 1524 : UNSPEC_VCVTTPS2IUBS])
32551 : 556 :
32552 : 476 : (define_insn "avx10_2_cvttps2i<sat_cvt_sign_prefix>bs<mode><mask_name><round_saeonly_name>"
32553 : 490 : [(set (match_operand:<sseintvecmode> 0 "register_operand" "=v")
32554 : 504 : (unspec:<sseintvecmode>
32555 : : [(match_operand:VF1_AVX10_2 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
32556 : 60 : UNSPEC_CVTT_PS_IBS_ITER))]
32557 : 1352 : "TARGET_AVX10_2_256 && <round_saeonly_mode_condition>"
32558 : : "vcvttps2i<sat_cvt_sign_prefix>bs\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
32559 : : [(set_attr "type" "ssecvt")
32560 : : (set_attr "prefix" "evex")
32561 : 518 : (set_attr "mode" "<sseinsnmode>")])
32562 : 1502 :
32563 : 984 : (define_int_iterator UNSPEC_SAT_CVT_DS_SIGN_ITER
32564 : : [UNSPEC_SFIX_SATURATION
32565 : 2336 : UNSPEC_UFIX_SATURATION])
32566 : 1352 :
32567 : 492 : (define_mode_attr pd2dqssuff
32568 : 499 : [(V16SF "") (V8SF "") (V4SF "")
32569 : 497 : (V8DF "") (V4DF "{y}") (V2DF "{x}")])
32570 : :
32571 : 60 : (define_insn "avx10_2_vcvtt<castmode>2<sat_cvt_sign_prefix>dqs<mode><mask_name><round_saeonly_name>"
32572 : 432 : [(set (match_operand:<VEC_GATHER_IDXSI> 0 "register_operand" "=v")
32573 : : (unspec:<VEC_GATHER_IDXSI>
32574 : : [(match_operand:VF1_VF2_AVX10_2 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
32575 : : UNSPEC_SAT_CVT_DS_SIGN_ITER))]
32576 : 2400 : "TARGET_AVX10_2_256 && <round_saeonly_mode_condition>"
32577 : 2572 : "vcvtt<castmode>2<sat_cvt_sign_prefix>dqs<pd2dqssuff>\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
32578 : 2572 : [(set_attr "type" "ssecvt")
32579 : : (set_attr "prefix" "evex")
32580 : 1010 : (set_attr "mode" "<sseinsnmode>")])
32581 : 770 :
32582 : 246 : (define_insn "avx10_2_vcvttpd2<sat_cvt_sign_prefix>qqs<mode><mask_name><round_saeonly_name>"
32583 : 246 : [(set (match_operand:<VEC_GATHER_IDXDI> 0 "register_operand" "=v")
32584 : : (unspec:<VEC_GATHER_IDXDI>
32585 : : [(match_operand:VF2_AVX10_2 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
32586 : 30 : UNSPEC_SAT_CVT_DS_SIGN_ITER))]
32587 : 1116 : "TARGET_AVX10_2_256 && <round_saeonly_mode_condition>"
32588 : 1009 : "vcvttpd2<sat_cvt_sign_prefix>qqs\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
32589 : : [(set_attr "type" "ssecvt")
32590 : : (set_attr "prefix" "evex")
32591 : 518 : (set_attr "mode" "<sseinsnmode>")])
32592 : 1513 :
32593 : 995 : (define_insn "avx10_2_vcvttps2<sat_cvt_sign_prefix>qqs<mode><mask_name><round_saeonly_name>"
32594 : : [(set (match_operand:VI8_AVX10_2 0 "register_operand" "=v")
32595 : : (unspec:VI8_AVX10_2
32596 : : [(match_operand:<vpckfloat_temp_mode> 1 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")]
32597 : : UNSPEC_SAT_CVT_DS_SIGN_ITER))]
32598 : 1418 : "TARGET_AVX10_2_256 && <round_saeonly_mode_condition>"
32599 : 490 : "vcvttps2<sat_cvt_sign_prefix>qqs\t{<round_saeonly_mask_op2>%1, %0<mask_operand2>|%0<mask_operand2>, %1<round_saeonly_mask_op2>}"
32600 : : [(set_attr "type" "ssecvt")
32601 : : (set_attr "prefix" "evex")
32602 : 518 : (set_attr "mode" "<sseinsnmode>")])
32603 : 1008 :
32604 : 490 : (define_insn "avx10_2_vcvttsd2<sat_cvt_sign_prefix>sis<mode><round_saeonly_name>"
32605 : : [(set (match_operand:SWI48 0 "register_operand" "=r")
32606 : 3660 : (unspec:SWI48
32607 : 3660 : [(vec_select:DF
32608 : : (match_operand:V2DF 1 "<round_saeonly_nimm_scalar_predicate>" "<round_saeonly_constraint>")
32609 : 0 : (parallel [(const_int 0)]))]
32610 : 490 : UNSPEC_SAT_CVT_DS_SIGN_ITER))]
32611 : 242 : "TARGET_AVX10_2_256"
32612 : : "vcvttsd2<sat_cvt_sign_prefix>sis\t{<round_saeonly_op2>%1, %0|%0, %1<round_saeonly_op2>}"
32613 : 484478 : [(set_attr "type" "ssecvt")
32614 : 484478 : (set_attr "prefix" "evex")
32615 : 2595 : (set_attr "mode" "<MODE>")])
32616 : 249453 :
32617 : 249332 : (define_insn "avx10_2_vcvttss2<sat_cvt_sign_prefix>sis<mode><round_saeonly_name>"
32618 : 2079 : [(set (match_operand:SWI48 0 "register_operand" "=r")
32619 : 16287 : (unspec:SWI48
32620 : 14208 : [(vec_select:SF
32621 : 2726 : (match_operand:V4SF 1 "<round_saeonly_nimm_scalar_predicate>" "<round_saeonly_constraint>")
32622 : 2726 : (parallel [(const_int 0)]))]
32623 : 2474 : UNSPEC_SAT_CVT_DS_SIGN_ITER))]
32624 : 28832 : "TARGET_AVX10_2_256"
32625 : 2474 : "vcvttss2<sat_cvt_sign_prefix>sis\t{<round_saeonly_op2>%1, %0|%0, %1<round_saeonly_op2>}"
32626 : 2474 : [(set_attr "type" "ssecvt")
32627 : 2474 : (set_attr "prefix" "evex")
32628 : 1567830 : (set_attr "mode" "<MODE>")])
32629 : 28711 :
32630 : 28590 : (define_insn "avx10_2_minmaxnepbf16_<mode><mask_name>"
32631 : 28590 : [(set (match_operand:VBF_AVX10_2 0 "register_operand" "=v")
32632 : 1567709 : (unspec:VBF_AVX10_2
32633 : 1569729 : [(match_operand:VBF_AVX10_2 1 "register_operand" "v")
32634 : 1567709 : (match_operand:VBF_AVX10_2 2 "bcst_vector_operand" "vmBr")
32635 : 1556526 : (match_operand:SI 3 "const_0_to_255_operand")]
32636 : 1554494 : UNSPEC_MINMAXNEPBF16))]
32637 : 1566740 : "TARGET_AVX10_2_256"
32638 : 1566506 : "vminmaxnepbf16\t{%3, %2, %1, %0<mask_operand4>|%0<mask_operand4>, %1, %2, %3}"
32639 : 1553832 : [(set_attr "prefix" "evex")
32640 : 13010 : (set_attr "mode" "<sseinsnmode>")])
32641 : 4512 :
32642 : 8696 : (define_insn "avx10_2_minmaxp<mode><mask_name><round_saeonly_name>"
32643 : 5500 : [(set (match_operand:VFH_AVX10_2 0 "register_operand" "=v")
32644 : 1508684 : (unspec:VFH_AVX10_2
32645 : 1503911 : [(match_operand:VFH_AVX10_2 1 "register_operand" "v")
32646 : 1512094 : (match_operand:VFH_AVX10_2 2 "<round_saeonly_nimm_predicate>" "<round_saeonly_constraint>")
32647 : 1503507 : (match_operand:SI 3 "const_0_to_255_operand")]
32648 : 1503981 : UNSPEC_MINMAX))]
32649 : 2624 : "TARGET_AVX10_2_256"
32650 : 41883 : "vminmax<ssemodesuffix>\t{%3, <round_saeonly_mask_op4>%2, %1, %0<mask_operand4>|%0<mask_operand4>, %1, %2<round_saeonly_mask_op4>, %3}"
32651 : 42066 : [(set_attr "prefix" "evex")
32652 : 39584 : (set_attr "mode" "<MODE>")])
32653 : 83004 :
32654 : 83456 : (define_insn "avx10_2_minmaxs<mode><mask_scalar_name><round_saeonly_scalar_name>"
32655 : 39379 : [(set (match_operand:VFH_128 0 "register_operand" "=v")
32656 : 406 : (vec_merge:VFH_128
32657 : 1605 : (unspec:VFH_128
32658 : 79577 : [(match_operand:VFH_128 1 "register_operand" "v")
32659 : 80112 : (match_operand:VFH_128 2 "<round_saeonly_scalar_nimm_predicate>" "<round_saeonly_scalar_constraint>")
32660 : 79577 : (match_operand:SI 3 "const_0_to_255_operand")]
32661 : 83918 : UNSPEC_MINMAX)
32662 : 83992 : (match_dup 1)
32663 : 80217 : (const_int 1)))]
32664 : 78379 : "TARGET_AVX10_2_256"
32665 : 3644 : "vminmax<ssescalarmodesuffix>\t{%3, <round_saeonly_scalar_mask_op4>%2, %1, %0<mask_scalar_operand4>|%0<mask_scalar_operand4>, %1, %2<round_saeonly_scalar_mask_op4>, %3}"
32666 : 79232 : [(set_attr "prefix" "evex")
32667 : 77141 : (set_attr "mode" "<ssescalarmode>")])
32668 : 3346 :
32669 : 24422 : (define_insn "avx10_2_vmovrs<ssemodesuffix><mode><mask_name>"
32670 : 23911 : [(set (match_operand:VI1248_AVX10_2 0 "register_operand" "=v")
32671 : 21437 : (unspec:VI1248_AVX10_2
32672 : 2764 : [(match_operand:VI1248_AVX10_2 1 "memory_operand" "m")]
32673 : 23911 : UNSPEC_VMOVRS))]
32674 : 22296 : "TARGET_AVX10_2_256 && TARGET_MOVRS"
32675 : 2770 : "vmovrs<ssemodesuffix>\t{%1, %0<mask_operand2>|%0<mask_operand2>, %1}"
32676 : 23621 : [(set_attr "type" "ssemov")
32677 : 21437 : (set_attr "prefix" "evex")
32678 : 4278 : (set_attr "memory" "load")
32679 : 25425 : (set_attr "mode" "<sseinsnmode>")])
32680 : 21417 : /* /home/worker/buildworker/tiber-lcov/build/gcc/config/i386/sse.md not long enough */
32681 : 3034 : /* (content generated from line coverage data) */
32682 : 22929 : /* ... */
32683 : 22841 : /* ... */
32684 : 8636 : /* ... */
32685 : 21662 : /* ... */
32686 : 21662 : /* ... */
32687 : 569 : /* ... */
32688 : 9041 : /* ... */
32689 : 30188 : /* ... */
32690 : 8987 : /* ... */
32691 : 30134 : /* ... */
32692 : 9490 : /* ... */
32693 : 16422 : /* ... */
32694 : 16422 : /* ... */
32695 : 16089 : /* ... */
32696 : 16149 : /* ... */
32697 : 14906 : /* ... */
32698 : 5668 : /* ... */
32699 : 5668 : /* ... */
32700 : 5728 : /* /home/worker/buildworker/tiber-lcov/build/gcc/config/i386/sse.md not long enough */
32701 : 5612 : /* (content generated from line coverage data) */
32702 : 5612 : /* ... */
32703 : : /* ... */
32704 : 320 : /* ... */
32705 : 320 : /* ... */
32706 : : /* ... */
32707 : : /* ... */
32708 : 311 : /* ... */
32709 : 311 : /* ... */
32710 : 311 : /* ... */
32711 : 311 : /* ... */
32712 : 311 : /* ... */
32713 : 311 : /* ... */
32714 : 273 : /* ... */
32715 : 454 : /* ... */
|
