Branch data Line data Source code
1 : : // Copyright (C) 2020-2024 Free Software Foundation, Inc.
2 : :
3 : : // This file is part of GCC.
4 : :
5 : : // GCC is free software; you can redistribute it and/or modify it under
6 : : // the terms of the GNU General Public License as published by the Free
7 : : // Software Foundation; either version 3, or (at your option) any later
8 : : // version.
9 : :
10 : : // GCC is distributed in the hope that it will be useful, but WITHOUT ANY
11 : : // WARRANTY; without even the implied warranty of MERCHANTABILITY or
12 : : // FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License
13 : : // for more details.
14 : :
15 : : // You should have received a copy of the GNU General Public License
16 : : // along with GCC; see the file COPYING3. If not see
17 : : // <http://www.gnu.org/licenses/>.
18 : :
19 : : /* Template implementation for Rust::Parser. Previously in rust-parse.cc (before
20 : : * Parser was template). Separated from rust-parse.h for readability. */
21 : :
22 : : /* DO NOT INCLUDE ANYWHERE - this is automatically included with rust-parse.h
23 : : * This is also the reason why there are no include guards. */
24 : :
25 : : #include "rust-common.h"
26 : : #include "rust-expr.h"
27 : : #include "rust-item.h"
28 : : #include "rust-common.h"
29 : : #include "rust-token.h"
30 : : #define INCLUDE_ALGORITHM
31 : : #include "rust-diagnostics.h"
32 : : #include "rust-make-unique.h"
33 : : #include "rust-dir-owner.h"
34 : : #include "rust-attribute-values.h"
35 : : #include "rust-keyword-values.h"
36 : : #include "rust-session-manager.h"
37 : :
38 : : #include "optional.h"
39 : :
40 : : namespace Rust {
41 : : // Left binding powers of operations.
42 : : enum binding_powers
43 : : {
44 : : // Highest priority
45 : : LBP_HIGHEST = 100,
46 : :
47 : : LBP_PATH = 95,
48 : :
49 : : LBP_METHOD_CALL = 90,
50 : :
51 : : LBP_FIELD_EXPR = 85,
52 : :
53 : : LBP_FUNCTION_CALL = 80,
54 : : LBP_ARRAY_REF = LBP_FUNCTION_CALL,
55 : :
56 : : LBP_QUESTION_MARK = 75, // unary postfix - counts as left
57 : :
58 : : LBP_UNARY_PLUS = 70, // Used only when the null denotation is +
59 : : LBP_UNARY_MINUS = LBP_UNARY_PLUS, // Used only when the null denotation is -
60 : : LBP_UNARY_ASTERISK = LBP_UNARY_PLUS, // deref operator - unary prefix
61 : : LBP_UNARY_EXCLAM = LBP_UNARY_PLUS,
62 : : LBP_UNARY_AMP = LBP_UNARY_PLUS,
63 : : LBP_UNARY_AMP_MUT = LBP_UNARY_PLUS,
64 : :
65 : : LBP_AS = 65,
66 : :
67 : : LBP_MUL = 60,
68 : : LBP_DIV = LBP_MUL,
69 : : LBP_MOD = LBP_MUL,
70 : :
71 : : LBP_PLUS = 55,
72 : : LBP_MINUS = LBP_PLUS,
73 : :
74 : : LBP_L_SHIFT = 50,
75 : : LBP_R_SHIFT = LBP_L_SHIFT,
76 : :
77 : : LBP_AMP = 45,
78 : :
79 : : LBP_CARET = 40,
80 : :
81 : : LBP_PIPE = 35,
82 : :
83 : : LBP_EQUAL = 30,
84 : : LBP_NOT_EQUAL = LBP_EQUAL,
85 : : LBP_SMALLER_THAN = LBP_EQUAL,
86 : : LBP_SMALLER_EQUAL = LBP_EQUAL,
87 : : LBP_GREATER_THAN = LBP_EQUAL,
88 : : LBP_GREATER_EQUAL = LBP_EQUAL,
89 : :
90 : : LBP_LOGICAL_AND = 25,
91 : :
92 : : LBP_LOGICAL_OR = 20,
93 : :
94 : : LBP_DOT_DOT = 15,
95 : : LBP_DOT_DOT_EQ = LBP_DOT_DOT,
96 : :
97 : : // TODO: note all these assig operators are RIGHT associative!
98 : : LBP_ASSIG = 10,
99 : : LBP_PLUS_ASSIG = LBP_ASSIG,
100 : : LBP_MINUS_ASSIG = LBP_ASSIG,
101 : : LBP_MULT_ASSIG = LBP_ASSIG,
102 : : LBP_DIV_ASSIG = LBP_ASSIG,
103 : : LBP_MOD_ASSIG = LBP_ASSIG,
104 : : LBP_AMP_ASSIG = LBP_ASSIG,
105 : : LBP_PIPE_ASSIG = LBP_ASSIG,
106 : : LBP_CARET_ASSIG = LBP_ASSIG,
107 : : LBP_L_SHIFT_ASSIG = LBP_ASSIG,
108 : : LBP_R_SHIFT_ASSIG = LBP_ASSIG,
109 : :
110 : : // return, break, and closures as lowest priority?
111 : : LBP_RETURN = 5,
112 : : LBP_BREAK = LBP_RETURN,
113 : : LBP_CLOSURE = LBP_RETURN, // unary prefix operators
114 : :
115 : : #if 0
116 : : // rust precedences
117 : : // used for closures
118 : : PREC_CLOSURE = -40,
119 : : // used for break, continue, return, and yield
120 : : PREC_JUMP = -30,
121 : : // used for range (although weird comment in rustc about this)
122 : : PREC_RANGE = -10,
123 : : // used for binary operators mentioned below - also cast, colon (type),
124 : : // assign, assign_op
125 : : PREC_BINOP = FROM_ASSOC_OP,
126 : : // used for box, address_of, let, unary (again, weird comment on let)
127 : : PREC_PREFIX = 50,
128 : : // used for await, call, method call, field, index, try,
129 : : // inline asm, macro invocation
130 : : PREC_POSTFIX = 60,
131 : : // used for array, repeat, tuple, literal, path, paren, if,
132 : : // while, for, 'loop', match, block, try block, async, struct
133 : : PREC_PAREN = 99,
134 : : PREC_FORCE_PAREN = 100,
135 : : #endif
136 : :
137 : : // lowest priority
138 : : LBP_LOWEST = 0
139 : : };
140 : :
141 : : /* Returns whether the token can start a type (i.e. there is a valid type
142 : : * beginning with the token). */
143 : : inline bool
144 : 298 : can_tok_start_type (TokenId id)
145 : : {
146 : 298 : switch (id)
147 : : {
148 : : case EXCLAM:
149 : : case LEFT_SQUARE:
150 : : case LEFT_ANGLE:
151 : : case UNDERSCORE:
152 : : case ASTERISK:
153 : : case AMP:
154 : : case LIFETIME:
155 : : case IDENTIFIER:
156 : : case SUPER:
157 : : case SELF:
158 : : case SELF_ALIAS:
159 : : case CRATE:
160 : : case DOLLAR_SIGN:
161 : : case SCOPE_RESOLUTION:
162 : : case LEFT_PAREN:
163 : : case FOR:
164 : : case ASYNC:
165 : : case CONST:
166 : : case UNSAFE:
167 : : case EXTERN_KW:
168 : : case FN_KW:
169 : : case IMPL:
170 : : case DYN:
171 : : case QUESTION_MARK:
172 : : return true;
173 : 121 : default:
174 : 121 : return false;
175 : : }
176 : : }
177 : :
178 : : /* Returns whether the token id is (or is likely to be) a right angle bracket.
179 : : * i.e. '>', '>>', '>=' and '>>=' tokens. */
180 : : inline bool
181 : 12306 : is_right_angle_tok (TokenId id)
182 : : {
183 : 12306 : switch (id)
184 : : {
185 : : case RIGHT_ANGLE:
186 : : case RIGHT_SHIFT:
187 : : case GREATER_OR_EQUAL:
188 : : case RIGHT_SHIFT_EQ:
189 : : return true;
190 : 7484 : default:
191 : 3042 : return false;
192 : : }
193 : : }
194 : :
195 : : /* HACK-y special handling for skipping a right angle token at the end of
196 : : * generic arguments.
197 : : * Currently, this replaces the "current token" with one that is identical
198 : : * except has the leading '>' removed (e.g. '>>' becomes '>'). This is bad
199 : : * for several reasons - it modifies the token stream to something that
200 : : * actually doesn't make syntactic sense, it may not worked if the token
201 : : * has already been skipped, etc. It was done because it would not
202 : : * actually require inserting new items into the token stream (which I
203 : : * thought would take more work to not mess up) and because I wasn't sure
204 : : * if the "already seen right angle" flag in the parser would work
205 : : * correctly.
206 : : * Those two other approaches listed are in my opinion actually better
207 : : * long-term - insertion is probably best as it reflects syntactically
208 : : * what occurs. On the other hand, I need to do a code audit to make sure
209 : : * that insertion doesn't mess anything up. So that's a FIXME. */
210 : : template <typename ManagedTokenSource>
211 : : bool
212 : 4876 : Parser<ManagedTokenSource>::skip_generics_right_angle ()
213 : : {
214 : : /* OK, new great idea. Have a lexer method called
215 : : * "split_current_token(TokenType newLeft, TokenType newRight)", which is
216 : : * called here with whatever arguments are appropriate. That lexer method
217 : : * handles "replacing" the current token with the "newLeft" and "inserting"
218 : : * the next token with the "newRight" (and creating a location, etc. for it)
219 : : */
220 : :
221 : : /* HACK: special handling for right shift '>>', greater or equal '>=', and
222 : : * right shift assig */
223 : : // '>>='
224 : 4876 : const_TokenPtr tok = lexer.peek_token ();
225 : 4876 : switch (tok->get_id ())
226 : : {
227 : 4630 : case RIGHT_ANGLE:
228 : : // this is good - skip token
229 : 4630 : lexer.skip_token ();
230 : 4630 : return true;
231 : 237 : case RIGHT_SHIFT: {
232 : : // new implementation that should be better
233 : 237 : lexer.split_current_token (RIGHT_ANGLE, RIGHT_ANGLE);
234 : 237 : lexer.skip_token ();
235 : 237 : return true;
236 : : }
237 : 0 : case GREATER_OR_EQUAL: {
238 : : // new implementation that should be better
239 : 0 : lexer.split_current_token (RIGHT_ANGLE, EQUAL);
240 : 0 : lexer.skip_token ();
241 : 0 : return true;
242 : : }
243 : 0 : case RIGHT_SHIFT_EQ: {
244 : : // new implementation that should be better
245 : 0 : lexer.split_current_token (RIGHT_ANGLE, GREATER_OR_EQUAL);
246 : 0 : lexer.skip_token ();
247 : 0 : return true;
248 : : }
249 : 9 : default:
250 : 9 : add_error (Error (tok->get_locus (),
251 : : "expected %<>%> at end of generic argument - found %qs",
252 : : tok->get_token_description ()));
253 : 9 : return false;
254 : : }
255 : 4876 : }
256 : :
257 : : /* Gets left binding power for specified token.
258 : : * Not suitable for use at the moment or possibly ever because binding power
259 : : * cannot be purely determined from operator token with Rust grammar - e.g.
260 : : * method call and field access have
261 : : * different left binding powers but the same operator token. */
262 : : template <typename ManagedTokenSource>
263 : : int
264 : 60556 : Parser<ManagedTokenSource>::left_binding_power (const_TokenPtr token)
265 : : {
266 : : // HACK: called with "peek_token()", so lookahead is "peek_token(1)"
267 : 60556 : switch (token->get_id ())
268 : : {
269 : : /* TODO: issue here - distinguish between method calls and field access
270 : : * somehow? Also would have to distinguish between paths and function
271 : : * calls (:: operator), maybe more stuff. */
272 : : /* Current plan for tackling LBP - don't do it based on token, use
273 : : * lookahead. Or alternatively, only use Pratt parsing for OperatorExpr
274 : : * and handle other expressions without it. rustc only considers
275 : : * arithmetic, logical/relational, 'as',
276 : : * '?=', ranges, colons, and assignment to have operator precedence and
277 : : * associativity rules applicable. It then has
278 : : * a separate "ExprPrecedence" that also includes binary operators. */
279 : :
280 : : // TODO: handle operator overloading - have a function replace the
281 : : // operator?
282 : :
283 : : /*case DOT:
284 : : return LBP_DOT;*/
285 : :
286 : 0 : case SCOPE_RESOLUTION:
287 : 0 : rust_debug (
288 : : "possible error - looked up LBP of scope resolution operator. should "
289 : : "be handled elsewhere.");
290 : 0 : return LBP_PATH;
291 : :
292 : : /* Resolved by lookahead HACK that should work with current code. If next
293 : : * token is identifier and token after that isn't parenthesised expression
294 : : * list, it is a field reference. */
295 : 3197 : case DOT:
296 : 6394 : if (lexer.peek_token (1)->get_id () == IDENTIFIER
297 : 5621 : && lexer.peek_token (2)->get_id () != LEFT_PAREN)
298 : : {
299 : : return LBP_FIELD_EXPR;
300 : : }
301 : : return LBP_METHOD_CALL;
302 : :
303 : : case LEFT_PAREN:
304 : : return LBP_FUNCTION_CALL;
305 : :
306 : : case LEFT_SQUARE:
307 : : return LBP_ARRAY_REF;
308 : :
309 : : // postfix question mark (i.e. error propagation expression)
310 : 0 : case QUESTION_MARK:
311 : 0 : return LBP_QUESTION_MARK;
312 : :
313 : 3377 : case AS:
314 : 3377 : return LBP_AS;
315 : :
316 : : case ASTERISK:
317 : : return LBP_MUL;
318 : : case DIV:
319 : : return LBP_DIV;
320 : : case PERCENT:
321 : : return LBP_MOD;
322 : :
323 : : case PLUS:
324 : : return LBP_PLUS;
325 : : case MINUS:
326 : : return LBP_MINUS;
327 : :
328 : : case LEFT_SHIFT:
329 : : return LBP_L_SHIFT;
330 : : case RIGHT_SHIFT:
331 : : return LBP_R_SHIFT;
332 : :
333 : : // binary & operator
334 : 30 : case AMP:
335 : 30 : return LBP_AMP;
336 : :
337 : : // binary ^ operator
338 : 14 : case CARET:
339 : 14 : return LBP_CARET;
340 : :
341 : : // binary | operator
342 : 15 : case PIPE:
343 : 15 : return LBP_PIPE;
344 : :
345 : : case EQUAL_EQUAL:
346 : : return LBP_EQUAL;
347 : : case NOT_EQUAL:
348 : : return LBP_NOT_EQUAL;
349 : : case RIGHT_ANGLE:
350 : : return LBP_GREATER_THAN;
351 : : case GREATER_OR_EQUAL:
352 : : return LBP_GREATER_EQUAL;
353 : : case LEFT_ANGLE:
354 : : return LBP_SMALLER_THAN;
355 : : case LESS_OR_EQUAL:
356 : : return LBP_SMALLER_EQUAL;
357 : :
358 : 903 : case LOGICAL_AND:
359 : 903 : return LBP_LOGICAL_AND;
360 : :
361 : 91 : case OR:
362 : 91 : return LBP_LOGICAL_OR;
363 : :
364 : : case DOT_DOT:
365 : : return LBP_DOT_DOT;
366 : :
367 : : case DOT_DOT_EQ:
368 : : return LBP_DOT_DOT_EQ;
369 : :
370 : : case EQUAL:
371 : : return LBP_ASSIG;
372 : : case PLUS_EQ:
373 : : return LBP_PLUS_ASSIG;
374 : : case MINUS_EQ:
375 : : return LBP_MINUS_ASSIG;
376 : : case ASTERISK_EQ:
377 : : return LBP_MULT_ASSIG;
378 : : case DIV_EQ:
379 : : return LBP_DIV_ASSIG;
380 : : case PERCENT_EQ:
381 : : return LBP_MOD_ASSIG;
382 : : case AMP_EQ:
383 : : return LBP_AMP_ASSIG;
384 : : case PIPE_EQ:
385 : : return LBP_PIPE_ASSIG;
386 : : case CARET_EQ:
387 : : return LBP_CARET_ASSIG;
388 : : case LEFT_SHIFT_EQ:
389 : : return LBP_L_SHIFT_ASSIG;
390 : : case RIGHT_SHIFT_EQ:
391 : : return LBP_R_SHIFT_ASSIG;
392 : :
393 : : /* HACK: float literal due to lexer misidentifying a dot then an integer as
394 : : * a float */
395 : : case FLOAT_LITERAL:
396 : : return LBP_FIELD_EXPR;
397 : : // field expr is same as tuple expr in precedence, i imagine
398 : : // TODO: is this needed anymore? lexer shouldn't do that anymore
399 : :
400 : : // anything that can't appear in an infix position is given lowest priority
401 : 45395 : default:
402 : 45395 : return LBP_LOWEST;
403 : : }
404 : : }
405 : :
406 : : // Returns true when current token is EOF.
407 : : template <typename ManagedTokenSource>
408 : : bool
409 : : Parser<ManagedTokenSource>::done_end_of_file ()
410 : : {
411 : : return lexer.peek_token ()->get_id () == END_OF_FILE;
412 : : }
413 : :
414 : : // Parses a sequence of items within a module or the implicit top-level module
415 : : // in a crate
416 : : template <typename ManagedTokenSource>
417 : : std::vector<std::unique_ptr<AST::Item>>
418 : 3782 : Parser<ManagedTokenSource>::parse_items ()
419 : : {
420 : 3782 : std::vector<std::unique_ptr<AST::Item>> items;
421 : :
422 : 3782 : const_TokenPtr t = lexer.peek_token ();
423 : 16807 : while (t->get_id () != END_OF_FILE)
424 : : {
425 : 13077 : std::unique_ptr<AST::Item> item = parse_item (false);
426 : 13077 : if (item == nullptr)
427 : : {
428 : 52 : Error error (lexer.peek_token ()->get_locus (),
429 : : "failed to parse item in crate");
430 : 52 : add_error (std::move (error));
431 : :
432 : : // TODO: should all items be cleared?
433 : 52 : items = std::vector<std::unique_ptr<AST::Item>> ();
434 : : break;
435 : 52 : }
436 : :
437 : 13025 : items.push_back (std::move (item));
438 : :
439 : 13025 : t = lexer.peek_token ();
440 : : }
441 : :
442 : 3782 : return items;
443 : 3782 : }
444 : :
445 : : // Parses a crate (compilation unit) - entry point
446 : : template <typename ManagedTokenSource>
447 : : std::unique_ptr<AST::Crate>
448 : 3732 : Parser<ManagedTokenSource>::parse_crate ()
449 : : {
450 : : // parse inner attributes
451 : 3732 : AST::AttrVec inner_attrs = parse_inner_attributes ();
452 : :
453 : : // parse items
454 : 3732 : std::vector<std::unique_ptr<AST::Item>> items = parse_items ();
455 : :
456 : : // emit all errors
457 : 3949 : for (const auto &error : error_table)
458 : 217 : error.emit ();
459 : :
460 : : return std::unique_ptr<AST::Crate> (
461 : 3732 : new AST::Crate (std::move (items), std::move (inner_attrs)));
462 : 3732 : }
463 : :
464 : : // Parse a contiguous block of inner attributes.
465 : : template <typename ManagedTokenSource>
466 : : AST::AttrVec
467 : 32464 : Parser<ManagedTokenSource>::parse_inner_attributes ()
468 : : {
469 : 32464 : AST::AttrVec inner_attributes;
470 : :
471 : : // only try to parse it if it starts with "#!" not only "#"
472 : 28569 : while ((lexer.peek_token ()->get_id () == HASH
473 : 8667 : && lexer.peek_token (1)->get_id () == EXCLAM)
474 : 100561 : || lexer.peek_token ()->get_id () == INNER_DOC_COMMENT)
475 : : {
476 : 588 : AST::Attribute inner_attr = parse_inner_attribute ();
477 : :
478 : : /* Ensure only valid inner attributes are added to the inner_attributes
479 : : * list */
480 : 588 : if (!inner_attr.is_empty ())
481 : : {
482 : 588 : inner_attributes.push_back (std::move (inner_attr));
483 : : }
484 : : else
485 : : {
486 : : /* If no more valid inner attributes, break out of loop (only
487 : : * contiguous inner attributes parsed). */
488 : : break;
489 : : }
490 : : }
491 : :
492 : : inner_attributes.shrink_to_fit ();
493 : 32464 : return inner_attributes;
494 : : }
495 : :
496 : : // Parse a inner or outer doc comment into an doc attribute
497 : : template <typename ManagedTokenSource>
498 : : std::tuple<AST::SimplePath, std::unique_ptr<AST::AttrInput>, location_t>
499 : 440 : Parser<ManagedTokenSource>::parse_doc_comment ()
500 : : {
501 : 440 : const_TokenPtr token = lexer.peek_token ();
502 : 440 : location_t locus = token->get_locus ();
503 : 440 : AST::SimplePathSegment segment (Values::Attributes::DOC, locus);
504 : 440 : std::vector<AST::SimplePathSegment> segments;
505 : 440 : segments.push_back (std::move (segment));
506 : 440 : AST::SimplePath attr_path (std::move (segments), false, locus);
507 : 440 : AST::LiteralExpr lit_expr (token->get_str (), AST::Literal::STRING,
508 : : PrimitiveCoreType::CORETYPE_STR, {}, locus);
509 : 440 : std::unique_ptr<AST::AttrInput> attr_input (
510 : 440 : new AST::AttrInputLiteral (std::move (lit_expr)));
511 : 440 : lexer.skip_token ();
512 : 880 : return std::make_tuple (std::move (attr_path), std::move (attr_input), locus);
513 : 440 : }
514 : :
515 : : // Parse a single inner attribute.
516 : : template <typename ManagedTokenSource>
517 : : AST::Attribute
518 : 588 : Parser<ManagedTokenSource>::parse_inner_attribute ()
519 : : {
520 : 1176 : if (lexer.peek_token ()->get_id () == INNER_DOC_COMMENT)
521 : : {
522 : 133 : auto values = parse_doc_comment ();
523 : 133 : auto path = std::move (std::get<0> (values));
524 : 133 : auto input = std::move (std::get<1> (values));
525 : 133 : auto loc = std::get<2> (values);
526 : 133 : return AST::Attribute (std::move (path), std::move (input), loc, true);
527 : 266 : }
528 : :
529 : 910 : if (lexer.peek_token ()->get_id () != HASH)
530 : : {
531 : 0 : Error error (lexer.peek_token ()->get_locus (),
532 : : "BUG: token %<#%> is missing, but %<parse_inner_attribute%> "
533 : : "was invoked");
534 : 0 : add_error (std::move (error));
535 : :
536 : 0 : return AST::Attribute::create_empty ();
537 : 0 : }
538 : 455 : lexer.skip_token ();
539 : :
540 : 910 : if (lexer.peek_token ()->get_id () != EXCLAM)
541 : : {
542 : 0 : Error error (lexer.peek_token ()->get_locus (),
543 : : "expected %<!%> or %<[%> for inner attribute");
544 : 0 : add_error (std::move (error));
545 : :
546 : 0 : return AST::Attribute::create_empty ();
547 : 0 : }
548 : 455 : lexer.skip_token ();
549 : :
550 : 455 : if (!skip_token (LEFT_SQUARE))
551 : 0 : return AST::Attribute::create_empty ();
552 : :
553 : 455 : auto values = parse_attribute_body ();
554 : :
555 : 455 : auto path = std::move (std::get<0> (values));
556 : 455 : auto input = std::move (std::get<1> (values));
557 : 455 : auto loc = std::get<2> (values);
558 : 455 : auto actual_attribute
559 : 455 : = AST::Attribute (std::move (path), std::move (input), loc, true);
560 : :
561 : 455 : if (!skip_token (RIGHT_SQUARE))
562 : 0 : return AST::Attribute::create_empty ();
563 : :
564 : 455 : return actual_attribute;
565 : 910 : }
566 : :
567 : : // Parses the body of an attribute (inner or outer).
568 : : template <typename ManagedTokenSource>
569 : : std::tuple<AST::SimplePath, std::unique_ptr<AST::AttrInput>, location_t>
570 : 3290 : Parser<ManagedTokenSource>::parse_attribute_body ()
571 : : {
572 : 3290 : location_t locus = lexer.peek_token ()->get_locus ();
573 : :
574 : 3290 : AST::SimplePath attr_path = parse_simple_path ();
575 : : // ensure path is valid to parse attribute input
576 : 3290 : if (attr_path.is_empty ())
577 : : {
578 : 0 : Error error (lexer.peek_token ()->get_locus (),
579 : : "empty simple path in attribute");
580 : 0 : add_error (std::move (error));
581 : :
582 : : // Skip past potential further info in attribute (i.e. attr_input)
583 : 0 : skip_after_end_attribute ();
584 : 0 : return std::make_tuple (std::move (attr_path), nullptr, UNDEF_LOCATION);
585 : 0 : }
586 : :
587 : 3290 : std::unique_ptr<AST::AttrInput> attr_input = parse_attr_input ();
588 : : // AttrInput is allowed to be null, so no checks here
589 : :
590 : 3290 : return std::make_tuple (std::move (attr_path), std::move (attr_input), locus);
591 : 3290 : }
592 : :
593 : : /* Determines whether token is a valid simple path segment. This does not
594 : : * include scope resolution operators. */
595 : : inline bool
596 : 5766 : is_simple_path_segment (TokenId id)
597 : : {
598 : 5766 : switch (id)
599 : : {
600 : : case IDENTIFIER:
601 : : case SUPER:
602 : : case SELF:
603 : : case CRATE:
604 : : return true;
605 : : case DOLLAR_SIGN:
606 : : // assume that dollar sign leads to $crate
607 : : return true;
608 : 1967 : default:
609 : 1967 : return false;
610 : : }
611 : : }
612 : :
613 : : // Parses a SimplePath AST node, if it exists. Does nothing otherwise.
614 : : template <typename ManagedTokenSource>
615 : : AST::SimplePath
616 : 3840 : Parser<ManagedTokenSource>::parse_simple_path ()
617 : : {
618 : 3840 : bool has_opening_scope_resolution = false;
619 : 3840 : location_t locus = UNKNOWN_LOCATION;
620 : :
621 : : // don't parse anything if not a path upfront
622 : 7680 : if (!is_simple_path_segment (lexer.peek_token ()->get_id ())
623 : 3896 : && !is_simple_path_segment (lexer.peek_token (1)->get_id ()))
624 : 42 : return AST::SimplePath::create_empty ();
625 : :
626 : : /* Checks for opening scope resolution (i.e. global scope fully-qualified
627 : : * path) */
628 : 7596 : if (lexer.peek_token ()->get_id () == SCOPE_RESOLUTION)
629 : : {
630 : 0 : has_opening_scope_resolution = true;
631 : :
632 : 0 : locus = lexer.peek_token ()->get_locus ();
633 : :
634 : 0 : lexer.skip_token ();
635 : : }
636 : :
637 : : // Parse single required simple path segment
638 : 3798 : AST::SimplePathSegment segment = parse_simple_path_segment ();
639 : :
640 : : // get location if not gotten already
641 : 3798 : if (locus == UNKNOWN_LOCATION)
642 : 3798 : locus = segment.get_locus ();
643 : :
644 : 3798 : std::vector<AST::SimplePathSegment> segments;
645 : :
646 : : // Return empty vector if first, actually required segment is an error
647 : 3798 : if (segment.is_error ())
648 : 14 : return AST::SimplePath::create_empty ();
649 : :
650 : 3784 : segments.push_back (std::move (segment));
651 : :
652 : : // Parse all other simple path segments
653 : 7947 : while (lexer.peek_token ()->get_id () == SCOPE_RESOLUTION)
654 : : {
655 : : // Skip scope resolution operator
656 : 204 : lexer.skip_token ();
657 : :
658 : 204 : AST::SimplePathSegment new_segment = parse_simple_path_segment ();
659 : :
660 : : // Return path as currently constructed if segment in error state.
661 : 204 : if (new_segment.is_error ())
662 : : break;
663 : :
664 : 175 : segments.push_back (std::move (new_segment));
665 : : }
666 : :
667 : : // DEBUG: check for any empty segments
668 : 7743 : for (const auto &seg : segments)
669 : : {
670 : 3959 : if (seg.is_error ())
671 : : {
672 : 0 : rust_debug (
673 : : "when parsing simple path, somehow empty path segment was "
674 : : "not filtered out. Path begins with '%s'",
675 : : segments.at (0).as_string ().c_str ());
676 : : }
677 : : }
678 : :
679 : 3784 : return AST::SimplePath (std::move (segments), has_opening_scope_resolution,
680 : 3784 : locus);
681 : : /* TODO: now that is_simple_path_segment exists, could probably start
682 : : * actually making errors upon parse failure of segments and whatever */
683 : 3798 : }
684 : :
685 : : /* Parses a single SimplePathSegment (does not handle the scope resolution
686 : : * operators) */
687 : : template <typename ManagedTokenSource>
688 : : AST::SimplePathSegment
689 : 4002 : Parser<ManagedTokenSource>::parse_simple_path_segment ()
690 : : {
691 : : using namespace Values;
692 : 4002 : const_TokenPtr t = lexer.peek_token ();
693 : 4002 : switch (t->get_id ())
694 : : {
695 : 3844 : case IDENTIFIER:
696 : 3844 : lexer.skip_token ();
697 : :
698 : 3844 : return AST::SimplePathSegment (t->get_str (), t->get_locus ());
699 : 92 : case SUPER:
700 : 92 : lexer.skip_token ();
701 : :
702 : 92 : return AST::SimplePathSegment (Keywords::SUPER, t->get_locus ());
703 : 21 : case SELF:
704 : 21 : lexer.skip_token ();
705 : :
706 : 21 : return AST::SimplePathSegment (Keywords::SELF, t->get_locus ());
707 : 2 : case CRATE:
708 : 2 : lexer.skip_token ();
709 : :
710 : 2 : return AST::SimplePathSegment (Keywords::CRATE, t->get_locus ());
711 : 0 : case DOLLAR_SIGN:
712 : 0 : if (lexer.peek_token (1)->get_id () == CRATE)
713 : : {
714 : 0 : lexer.skip_token (1);
715 : :
716 : 0 : return AST::SimplePathSegment ("$crate", t->get_locus ());
717 : : }
718 : : gcc_fallthrough ();
719 : : default:
720 : : // do nothing but inactivates warning from gcc when compiling
721 : : /* could put the rust_error_at thing here but fallthrough (from failing
722 : : * $crate condition) isn't completely obvious if it is. */
723 : :
724 : : // test prevent error
725 : 43 : return AST::SimplePathSegment::create_error ();
726 : : }
727 : : rust_unreachable ();
728 : : /*rust_error_at(
729 : : t->get_locus(), "invalid token '%s' in simple path segment",
730 : : t->get_token_description());*/
731 : : // this is not necessarily an error, e.g. end of path
732 : : // return AST::SimplePathSegment::create_error();
733 : 4002 : }
734 : :
735 : : // Parses a PathIdentSegment - an identifier segment of a non-SimplePath path.
736 : : template <typename ManagedTokenSource>
737 : : AST::PathIdentSegment
738 : 60845 : Parser<ManagedTokenSource>::parse_path_ident_segment ()
739 : : {
740 : 60845 : const_TokenPtr t = lexer.peek_token ();
741 : 60845 : switch (t->get_id ())
742 : : {
743 : 56466 : case IDENTIFIER:
744 : 56466 : lexer.skip_token ();
745 : :
746 : 56466 : return AST::PathIdentSegment (t->get_str (), t->get_locus ());
747 : 8 : case SUPER:
748 : 8 : lexer.skip_token ();
749 : :
750 : 8 : return AST::PathIdentSegment (Values::Keywords::SUPER, t->get_locus ());
751 : 680 : case SELF:
752 : 680 : lexer.skip_token ();
753 : :
754 : 680 : return AST::PathIdentSegment (Values::Keywords::SELF, t->get_locus ());
755 : 3526 : case SELF_ALIAS:
756 : 3526 : lexer.skip_token ();
757 : :
758 : 7052 : return AST::PathIdentSegment (Values::Keywords::SELF_ALIAS,
759 : 7052 : t->get_locus ());
760 : 14 : case CRATE:
761 : 14 : lexer.skip_token ();
762 : :
763 : 14 : return AST::PathIdentSegment (Values::Keywords::CRATE, t->get_locus ());
764 : 2 : case DOLLAR_SIGN:
765 : 4 : if (lexer.peek_token (1)->get_id () == CRATE)
766 : : {
767 : 0 : lexer.skip_token (1);
768 : :
769 : 0 : return AST::PathIdentSegment ("$crate", t->get_locus ());
770 : : }
771 : : gcc_fallthrough ();
772 : : default:
773 : : /* do nothing but inactivates warning from gcc when compiling
774 : : * could put the error_at thing here but fallthrough (from failing $crate
775 : : * condition) isn't completely obvious if it is. */
776 : :
777 : : // test prevent error
778 : 151 : return AST::PathIdentSegment::create_error ();
779 : : }
780 : : rust_unreachable ();
781 : : // not necessarily an error
782 : 60845 : }
783 : :
784 : : // Parses an AttrInput AST node (polymorphic, as AttrInput is abstract)
785 : : template <typename ManagedTokenSource>
786 : : std::unique_ptr<AST::AttrInput>
787 : 3290 : Parser<ManagedTokenSource>::parse_attr_input ()
788 : : {
789 : 3290 : const_TokenPtr t = lexer.peek_token ();
790 : 3290 : switch (t->get_id ())
791 : : {
792 : 1097 : case LEFT_PAREN:
793 : : case LEFT_SQUARE:
794 : : case LEFT_CURLY: {
795 : : // must be a delimited token tree, so parse that
796 : 1097 : std::unique_ptr<AST::AttrInput> input_tree (
797 : 1097 : new AST::DelimTokenTree (parse_delim_token_tree ()));
798 : :
799 : : // TODO: potential checks on DelimTokenTree before returning
800 : :
801 : : return input_tree;
802 : : }
803 : 1870 : case EQUAL: {
804 : : // = LiteralExpr
805 : 1870 : lexer.skip_token ();
806 : :
807 : 1870 : t = lexer.peek_token ();
808 : :
809 : : // attempt to parse macro
810 : : // TODO: macros may/may not be allowed in attributes
811 : : // this is needed for "#[doc = include_str!(...)]"
812 : 1870 : if (is_simple_path_segment (t->get_id ()))
813 : : {
814 : 1 : std::unique_ptr<AST::MacroInvocation> invoke
815 : 1 : = parse_macro_invocation ({});
816 : :
817 : 1 : if (!invoke)
818 : 0 : return nullptr;
819 : :
820 : : return std::unique_ptr<AST::AttrInput> (
821 : 1 : new AST::AttrInputMacro (std::move (invoke)));
822 : 1 : }
823 : :
824 : : /* Ensure token is a "literal expression" (literally only a literal
825 : : * token of any type) */
826 : 1869 : if (!t->is_literal ())
827 : : {
828 : 0 : Error error (
829 : : t->get_locus (),
830 : : "unknown token %qs in attribute body - literal expected",
831 : : t->get_token_description ());
832 : 0 : add_error (std::move (error));
833 : :
834 : 0 : skip_after_end_attribute ();
835 : 0 : return nullptr;
836 : 0 : }
837 : :
838 : 1869 : AST::Literal::LitType lit_type = AST::Literal::STRING;
839 : : // Crappy mapping of token type to literal type
840 : 1869 : switch (t->get_id ())
841 : : {
842 : : case INT_LITERAL:
843 : : lit_type = AST::Literal::INT;
844 : : break;
845 : : case FLOAT_LITERAL:
846 : : lit_type = AST::Literal::FLOAT;
847 : : break;
848 : : case CHAR_LITERAL:
849 : : lit_type = AST::Literal::CHAR;
850 : : break;
851 : : case BYTE_CHAR_LITERAL:
852 : : lit_type = AST::Literal::BYTE;
853 : : break;
854 : : case BYTE_STRING_LITERAL:
855 : : lit_type = AST::Literal::BYTE_STRING;
856 : : break;
857 : : case STRING_LITERAL:
858 : : default:
859 : : lit_type = AST::Literal::STRING;
860 : : break; // TODO: raw string? don't eliminate it from lexer?
861 : : }
862 : :
863 : : // create actual LiteralExpr
864 : 3738 : AST::LiteralExpr lit_expr (t->get_str (), lit_type, t->get_type_hint (),
865 : : {}, t->get_locus ());
866 : 1869 : lexer.skip_token ();
867 : :
868 : 1869 : std::unique_ptr<AST::AttrInput> attr_input_lit (
869 : 1869 : new AST::AttrInputLiteral (std::move (lit_expr)));
870 : :
871 : : // do checks or whatever? none required, really
872 : :
873 : : // FIXME: shouldn't a skip token be required here?
874 : :
875 : 1869 : return attr_input_lit;
876 : 1869 : }
877 : : break;
878 : 323 : case RIGHT_SQUARE:
879 : : // means AttrInput is missing, which is allowed
880 : 323 : return nullptr;
881 : 0 : default:
882 : 0 : add_error (
883 : 0 : Error (t->get_locus (),
884 : : "unknown token %qs in attribute body - attribute input or "
885 : : "none expected",
886 : : t->get_token_description ()));
887 : :
888 : 0 : skip_after_end_attribute ();
889 : 0 : return nullptr;
890 : : }
891 : : rust_unreachable ();
892 : : // TODO: find out how to stop gcc error on "no return value"
893 : 3290 : }
894 : :
895 : : /* Returns true if the token id matches the delimiter type. Note that this only
896 : : * operates for END delimiter tokens. */
897 : : inline bool
898 : 42704 : token_id_matches_delims (TokenId token_id, AST::DelimType delim_type)
899 : : {
900 : 42704 : return ((token_id == RIGHT_PAREN && delim_type == AST::PARENS)
901 : 31038 : || (token_id == RIGHT_SQUARE && delim_type == AST::SQUARE)
902 : 73278 : || (token_id == RIGHT_CURLY && delim_type == AST::CURLY));
903 : : }
904 : :
905 : : /* Returns true if the likely result of parsing the next few tokens is a path.
906 : : * Not guaranteed, though, especially in the case of syntax errors. */
907 : : inline bool
908 : : is_likely_path_next (TokenId next_token_id)
909 : : {
910 : : switch (next_token_id)
911 : : {
912 : : case IDENTIFIER:
913 : : case SUPER:
914 : : case SELF:
915 : : case SELF_ALIAS:
916 : : case CRATE:
917 : : // maybe - maybe do extra check. But then requires another TokenId.
918 : : case DOLLAR_SIGN:
919 : : case SCOPE_RESOLUTION:
920 : : return true;
921 : : default:
922 : : return false;
923 : : }
924 : : }
925 : :
926 : : // Parses a delimited token tree
927 : : template <typename ManagedTokenSource>
928 : : AST::DelimTokenTree
929 : 6682 : Parser<ManagedTokenSource>::parse_delim_token_tree ()
930 : : {
931 : 6682 : const_TokenPtr t = lexer.peek_token ();
932 : 6682 : lexer.skip_token ();
933 : 6682 : location_t initial_loc = t->get_locus ();
934 : :
935 : : // save delim type to ensure it is reused later
936 : 6682 : AST::DelimType delim_type = AST::PARENS;
937 : :
938 : : // Map tokens to DelimType
939 : 6682 : switch (t->get_id ())
940 : : {
941 : : case LEFT_PAREN:
942 : : delim_type = AST::PARENS;
943 : : break;
944 : 213 : case LEFT_SQUARE:
945 : 213 : delim_type = AST::SQUARE;
946 : 213 : break;
947 : 1558 : case LEFT_CURLY:
948 : 1558 : delim_type = AST::CURLY;
949 : 1558 : break;
950 : 0 : default:
951 : 0 : add_error (Error (t->get_locus (),
952 : : "unexpected token %qs - expecting delimiters (for a "
953 : : "delimited token tree)",
954 : : t->get_token_description ()));
955 : :
956 : 0 : return AST::DelimTokenTree::create_empty ();
957 : : }
958 : :
959 : : // parse actual token tree vector - 0 or more
960 : 6682 : std::vector<std::unique_ptr<AST::TokenTree>> token_trees_in_tree;
961 : 6682 : auto delim_open
962 : 6682 : = std::unique_ptr<AST::Token> (new AST::Token (std::move (t)));
963 : 6682 : token_trees_in_tree.push_back (std::move (delim_open));
964 : :
965 : : // repeat loop until finding the matching delimiter
966 : 6682 : t = lexer.peek_token ();
967 : 29234 : while (!token_id_matches_delims (t->get_id (), delim_type)
968 : 29234 : && t->get_id () != END_OF_FILE)
969 : : {
970 : 22552 : std::unique_ptr<AST::TokenTree> tok_tree = parse_token_tree ();
971 : :
972 : 22552 : if (tok_tree == nullptr)
973 : : {
974 : : // TODO: is this error handling appropriate?
975 : 0 : Error error (
976 : : t->get_locus (),
977 : : "failed to parse token tree in delimited token tree - found %qs",
978 : : t->get_token_description ());
979 : 0 : add_error (std::move (error));
980 : :
981 : 0 : return AST::DelimTokenTree::create_empty ();
982 : 0 : }
983 : :
984 : 22552 : token_trees_in_tree.push_back (std::move (tok_tree));
985 : :
986 : : // lexer.skip_token();
987 : 22552 : t = lexer.peek_token ();
988 : : }
989 : 6682 : auto delim_close
990 : 6682 : = std::unique_ptr<AST::Token> (new AST::Token (std::move (t)));
991 : 6682 : token_trees_in_tree.push_back (std::move (delim_close));
992 : :
993 : 6682 : AST::DelimTokenTree token_tree (delim_type, std::move (token_trees_in_tree),
994 : : initial_loc);
995 : :
996 : : // parse end delimiters
997 : 6682 : t = lexer.peek_token ();
998 : :
999 : 6682 : if (token_id_matches_delims (t->get_id (), delim_type))
1000 : : {
1001 : : // tokens match opening delimiter, so skip.
1002 : 6675 : lexer.skip_token ();
1003 : :
1004 : : // DEBUG
1005 : 13350 : rust_debug ("finished parsing new delim token tree - peeked token is now "
1006 : : "'%s' while t is '%s'",
1007 : : lexer.peek_token ()->get_token_description (),
1008 : : t->get_token_description ());
1009 : :
1010 : 6675 : return token_tree;
1011 : : }
1012 : : else
1013 : : {
1014 : : // tokens don't match opening delimiters, so produce error
1015 : 7 : Error error (t->get_locus (),
1016 : : "unexpected token %qs - expecting closing delimiter %qs "
1017 : : "(for a delimited token tree)",
1018 : : t->get_token_description (),
1019 : : (delim_type == AST::PARENS
1020 : : ? ")"
1021 : : : (delim_type == AST::SQUARE ? "]" : "}")));
1022 : 7 : add_error (std::move (error));
1023 : :
1024 : : /* return empty token tree despite possibly parsing valid token tree -
1025 : : * TODO is this a good idea? */
1026 : 7 : return AST::DelimTokenTree::create_empty ();
1027 : 7 : }
1028 : 6682 : }
1029 : :
1030 : : // Parses an identifier/keyword as a Token
1031 : : template <typename ManagedTokenSource>
1032 : : std::unique_ptr<AST::Token>
1033 : 328 : Parser<ManagedTokenSource>::parse_identifier_or_keyword_token ()
1034 : : {
1035 : 328 : const_TokenPtr t = lexer.peek_token ();
1036 : :
1037 : 328 : if (t->get_id () == IDENTIFIER || token_id_is_keyword (t->get_id ()))
1038 : : {
1039 : 328 : lexer.skip_token ();
1040 : 328 : return std::unique_ptr<AST::Token> (new AST::Token (std::move (t)));
1041 : : }
1042 : : else
1043 : : {
1044 : 0 : return nullptr;
1045 : : }
1046 : 328 : }
1047 : :
1048 : : /* Parses a TokenTree syntactical production. This is either a delimited token
1049 : : * tree or a non-delimiter token. */
1050 : : template <typename ManagedTokenSource>
1051 : : std::unique_ptr<AST::TokenTree>
1052 : 25167 : Parser<ManagedTokenSource>::parse_token_tree ()
1053 : : {
1054 : 25167 : const_TokenPtr t = lexer.peek_token ();
1055 : :
1056 : 25167 : switch (t->get_id ())
1057 : : {
1058 : 2613 : case LEFT_PAREN:
1059 : : case LEFT_SQUARE:
1060 : : case LEFT_CURLY:
1061 : : // Parse delimited token tree
1062 : : // TODO: use move rather than copy constructor
1063 : 2613 : return std::unique_ptr<AST::DelimTokenTree> (
1064 : 2613 : new AST::DelimTokenTree (parse_delim_token_tree ()));
1065 : 1 : case RIGHT_PAREN:
1066 : : case RIGHT_SQUARE:
1067 : : case RIGHT_CURLY:
1068 : : // error - should not be called when this a token
1069 : 1 : add_error (
1070 : 1 : Error (t->get_locus (),
1071 : : "unexpected closing delimiter %qs - token tree requires "
1072 : : "either paired delimiters or non-delimiter tokens",
1073 : : t->get_token_description ()));
1074 : :
1075 : 1 : lexer.skip_token ();
1076 : 1 : return nullptr;
1077 : 22553 : default:
1078 : : // parse token itself as TokenTree
1079 : 22553 : lexer.skip_token ();
1080 : 22553 : return std::unique_ptr<AST::Token> (new AST::Token (std::move (t)));
1081 : : }
1082 : 25167 : }
1083 : :
1084 : : template <typename ManagedTokenSource>
1085 : : bool
1086 : 1092 : Parser<ManagedTokenSource>::is_macro_rules_def (const_TokenPtr t)
1087 : : {
1088 : 1092 : auto macro_name = lexer.peek_token (2)->get_id ();
1089 : :
1090 : 1092 : bool allowed_macro_name = (macro_name == IDENTIFIER || macro_name == TRY);
1091 : :
1092 : 1092 : return t->get_str () == Values::WeakKeywords::MACRO_RULES
1093 : 1747 : && lexer.peek_token (1)->get_id () == EXCLAM && allowed_macro_name;
1094 : : }
1095 : :
1096 : : // Parses a single item
1097 : : template <typename ManagedTokenSource>
1098 : : std::unique_ptr<AST::Item>
1099 : 15581 : Parser<ManagedTokenSource>::parse_item (bool called_from_statement)
1100 : : {
1101 : : // has a "called_from_statement" parameter for better error message handling
1102 : :
1103 : : // parse outer attributes for item
1104 : 15581 : AST::AttrVec outer_attrs = parse_outer_attributes ();
1105 : 15581 : const_TokenPtr t = lexer.peek_token ();
1106 : :
1107 : 15581 : switch (t->get_id ())
1108 : : {
1109 : 7 : case END_OF_FILE:
1110 : : // not necessarily an error, unless we just read outer
1111 : : // attributes which needs to be attached
1112 : 7 : if (!outer_attrs.empty ())
1113 : : {
1114 : 0 : Rust::AST::Attribute attr = outer_attrs.back ();
1115 : 0 : Error error (attr.get_locus (),
1116 : : "expected item after outer attribute or doc comment");
1117 : 0 : add_error (std::move (error));
1118 : 0 : }
1119 : 7 : return nullptr;
1120 : :
1121 : 14629 : case ASYNC:
1122 : : case PUB:
1123 : : case MOD:
1124 : : case EXTERN_KW:
1125 : : case USE:
1126 : : case FN_KW:
1127 : : case TYPE:
1128 : : case STRUCT_KW:
1129 : : case ENUM_KW:
1130 : : case CONST:
1131 : : case STATIC_KW:
1132 : : case AUTO:
1133 : : case TRAIT:
1134 : : case IMPL:
1135 : : case MACRO:
1136 : : /* TODO: implement union keyword but not really because of
1137 : : * context-dependence crappy hack way to parse a union written below to
1138 : : * separate it from the good code. */
1139 : : // case UNION:
1140 : : case UNSAFE: // maybe - unsafe traits are a thing
1141 : : // if any of these (should be all possible VisItem prefixes), parse a
1142 : : // VisItem
1143 : 14629 : return parse_vis_item (std::move (outer_attrs));
1144 : : break;
1145 : 3 : case SUPER:
1146 : : case SELF:
1147 : : case CRATE:
1148 : : case DOLLAR_SIGN:
1149 : : // almost certainly macro invocation semi
1150 : 6 : return parse_macro_invocation_semi (std::move (outer_attrs));
1151 : : break;
1152 : : // crappy hack to do union "keyword"
1153 : 937 : case IDENTIFIER:
1154 : : // TODO: ensure std::string and literal comparison works
1155 : 1815 : if (t->get_str () == Values::WeakKeywords::UNION
1156 : 997 : && lexer.peek_token (1)->get_id () == IDENTIFIER)
1157 : : {
1158 : 60 : return parse_vis_item (std::move (outer_attrs));
1159 : : // or should this go straight to parsing union?
1160 : : }
1161 : 1695 : else if (t->get_str () == Values::WeakKeywords::DEFAULT
1162 : 879 : && lexer.peek_token (1)->get_id () != EXCLAM)
1163 : : {
1164 : 1 : add_error (Error (t->get_locus (),
1165 : : "%qs is only allowed on items within %qs blocks",
1166 : : "default", "impl"));
1167 : 1 : return nullptr;
1168 : : }
1169 : 1752 : else if (is_macro_rules_def (t))
1170 : : {
1171 : : // macro_rules! macro item
1172 : 652 : return parse_macro_rules_def (std::move (outer_attrs));
1173 : : }
1174 : 448 : else if (lexer.peek_token (1)->get_id () == SCOPE_RESOLUTION
1175 : 447 : || lexer.peek_token (1)->get_id () == EXCLAM)
1176 : : {
1177 : : /* path (probably) or macro invocation, so probably a macro invocation
1178 : : * semi */
1179 : 442 : return parse_macro_invocation_semi (std::move (outer_attrs));
1180 : : }
1181 : : gcc_fallthrough ();
1182 : : default:
1183 : : // otherwise unrecognised
1184 : 16 : add_error (Error (t->get_locus (),
1185 : : "unrecognised token %qs for start of %s",
1186 : : t->get_token_description (),
1187 : : called_from_statement ? "statement" : "item"));
1188 : :
1189 : : // skip somewhere?
1190 : 8 : return nullptr;
1191 : : break;
1192 : : }
1193 : 15581 : }
1194 : :
1195 : : // Parses a contiguous block of outer attributes.
1196 : : template <typename ManagedTokenSource>
1197 : : AST::AttrVec
1198 : 59528 : Parser<ManagedTokenSource>::parse_outer_attributes ()
1199 : : {
1200 : 59528 : AST::AttrVec outer_attributes;
1201 : :
1202 : 57794 : while (lexer.peek_token ()->get_id ()
1203 : : == HASH /* Can also be #!, which catches errors. */
1204 : 122451 : || lexer.peek_token ()->get_id () == OUTER_DOC_COMMENT
1205 : 244595 : || lexer.peek_token ()->get_id ()
1206 : : == INNER_DOC_COMMENT) /* For error handling. */
1207 : : {
1208 : 3104 : AST::Attribute outer_attr = parse_outer_attribute ();
1209 : :
1210 : : /* Ensure only valid outer attributes are added to the outer_attributes
1211 : : * list */
1212 : 3104 : if (!outer_attr.is_empty ())
1213 : : {
1214 : 3095 : outer_attributes.push_back (std::move (outer_attr));
1215 : : }
1216 : : else
1217 : : {
1218 : : /* If no more valid outer attributes, break out of loop (only
1219 : : * contiguous outer attributes parsed). */
1220 : : break;
1221 : : }
1222 : : }
1223 : :
1224 : : outer_attributes.shrink_to_fit ();
1225 : 59528 : return outer_attributes;
1226 : :
1227 : : /* TODO: this shares basically all code with parse_inner_attributes except
1228 : : * function call - find way of making it more modular? function pointer? */
1229 : : }
1230 : :
1231 : : // Parse a single outer attribute.
1232 : : template <typename ManagedTokenSource>
1233 : : AST::Attribute
1234 : 6145 : Parser<ManagedTokenSource>::parse_outer_attribute ()
1235 : : {
1236 : 12290 : if (lexer.peek_token ()->get_id () == OUTER_DOC_COMMENT)
1237 : : {
1238 : 307 : auto values = parse_doc_comment ();
1239 : 307 : auto path = std::move (std::get<0> (values));
1240 : 307 : auto input = std::move (std::get<1> (values));
1241 : 307 : auto loc = std::get<2> (values);
1242 : 307 : return AST::Attribute (std::move (path), std::move (input), loc, false);
1243 : 614 : }
1244 : :
1245 : 11676 : if (lexer.peek_token ()->get_id () == INNER_DOC_COMMENT)
1246 : : {
1247 : 2 : Error error (
1248 : 2 : lexer.peek_token ()->get_locus (), ErrorCode::E0753,
1249 : : "expected outer doc comment, inner doc (%<//!%> or %</*!%>) only "
1250 : : "allowed at start of item "
1251 : : "and before any outer attribute or doc (%<#[%>, %<///%> or %</**%>)");
1252 : 2 : add_error (std::move (error));
1253 : 2 : lexer.skip_token ();
1254 : 2 : return AST::Attribute::create_empty ();
1255 : 2 : }
1256 : :
1257 : : /* OuterAttribute -> '#' '[' Attr ']' */
1258 : :
1259 : 11672 : if (lexer.peek_token ()->get_id () != HASH)
1260 : 3041 : return AST::Attribute::create_empty ();
1261 : :
1262 : 2795 : lexer.skip_token ();
1263 : :
1264 : 2795 : TokenId id = lexer.peek_token ()->get_id ();
1265 : 2795 : if (id != LEFT_SQUARE)
1266 : : {
1267 : 0 : if (id == EXCLAM)
1268 : : {
1269 : : // this is inner attribute syntax, so throw error
1270 : : // inner attributes were either already parsed or not allowed here.
1271 : 0 : Error error (
1272 : 0 : lexer.peek_token ()->get_locus (),
1273 : : "token %<!%> found, indicating inner attribute definition. Inner "
1274 : : "attributes are not possible at this location");
1275 : 0 : add_error (std::move (error));
1276 : 0 : }
1277 : 0 : return AST::Attribute::create_empty ();
1278 : : }
1279 : :
1280 : 2795 : lexer.skip_token ();
1281 : :
1282 : 2795 : auto values = parse_attribute_body ();
1283 : 2795 : auto path = std::move (std::get<0> (values));
1284 : 2795 : auto input = std::move (std::get<1> (values));
1285 : 2795 : auto loc = std::get<2> (values);
1286 : 2795 : auto actual_attribute
1287 : 2795 : = AST::Attribute (std::move (path), std::move (input), loc, false);
1288 : :
1289 : 5590 : if (lexer.peek_token ()->get_id () != RIGHT_SQUARE)
1290 : 7 : return AST::Attribute::create_empty ();
1291 : :
1292 : 2788 : lexer.skip_token ();
1293 : :
1294 : 2788 : return actual_attribute;
1295 : 5590 : }
1296 : :
1297 : : // Parses a VisItem (item that can have non-default visibility).
1298 : : template <typename ManagedTokenSource>
1299 : : std::unique_ptr<AST::VisItem>
1300 : 15137 : Parser<ManagedTokenSource>::parse_vis_item (AST::AttrVec outer_attrs)
1301 : : {
1302 : : // parse visibility, which may or may not exist
1303 : 15137 : AST::Visibility vis = parse_visibility ();
1304 : :
1305 : : // select VisItem to create depending on keyword
1306 : 15137 : const_TokenPtr t = lexer.peek_token ();
1307 : :
1308 : 15137 : switch (t->get_id ())
1309 : : {
1310 : 615 : case MOD:
1311 : 615 : return parse_module (std::move (vis), std::move (outer_attrs));
1312 : 1064 : case EXTERN_KW:
1313 : : // lookahead to resolve syntactical production
1314 : 1064 : t = lexer.peek_token (1);
1315 : :
1316 : 1064 : switch (t->get_id ())
1317 : : {
1318 : 27 : case CRATE:
1319 : 27 : return parse_extern_crate (std::move (vis), std::move (outer_attrs));
1320 : 0 : case FN_KW: // extern function
1321 : 0 : return parse_function (std::move (vis), std::move (outer_attrs));
1322 : 0 : case LEFT_CURLY: // extern block
1323 : 0 : return parse_extern_block (std::move (vis), std::move (outer_attrs));
1324 : 1037 : case STRING_LITERAL: // for specifying extern ABI
1325 : : // could be extern block or extern function, so more lookahead
1326 : 1037 : t = lexer.peek_token (2);
1327 : :
1328 : 1037 : switch (t->get_id ())
1329 : : {
1330 : 2 : case FN_KW:
1331 : 2 : return parse_function (std::move (vis), std::move (outer_attrs));
1332 : 1035 : case LEFT_CURLY:
1333 : 1035 : return parse_extern_block (std::move (vis),
1334 : 1035 : std::move (outer_attrs));
1335 : 0 : default:
1336 : 0 : add_error (
1337 : 0 : Error (t->get_locus (),
1338 : : "unexpected token %qs in some sort of extern production",
1339 : : t->get_token_description ()));
1340 : :
1341 : 0 : lexer.skip_token (2); // TODO: is this right thing to do?
1342 : 0 : return nullptr;
1343 : : }
1344 : 0 : default:
1345 : 0 : add_error (
1346 : 0 : Error (t->get_locus (),
1347 : : "unexpected token %qs in some sort of extern production",
1348 : : t->get_token_description ()));
1349 : :
1350 : 0 : lexer.skip_token (1); // TODO: is this right thing to do?
1351 : 0 : return nullptr;
1352 : : }
1353 : 157 : case USE:
1354 : 157 : return parse_use_decl (std::move (vis), std::move (outer_attrs));
1355 : 5128 : case FN_KW:
1356 : 5128 : return parse_function (std::move (vis), std::move (outer_attrs));
1357 : 42 : case TYPE:
1358 : 42 : return parse_type_alias (std::move (vis), std::move (outer_attrs));
1359 : 1936 : case STRUCT_KW:
1360 : 1936 : return parse_struct (std::move (vis), std::move (outer_attrs));
1361 : 191 : case ENUM_KW:
1362 : 191 : return parse_enum (std::move (vis), std::move (outer_attrs));
1363 : : // TODO: implement union keyword but not really because of
1364 : : // context-dependence case UNION: crappy hack to do union "keyword"
1365 : 97 : case IDENTIFIER:
1366 : 194 : if (t->get_str () == Values::WeakKeywords::UNION
1367 : 194 : && lexer.peek_token (1)->get_id () == IDENTIFIER)
1368 : : {
1369 : 97 : return parse_union (std::move (vis), std::move (outer_attrs));
1370 : : // or should item switch go straight to parsing union?
1371 : : }
1372 : : else
1373 : : {
1374 : : break;
1375 : : }
1376 : 511 : case CONST:
1377 : : // lookahead to resolve syntactical production
1378 : 511 : t = lexer.peek_token (1);
1379 : :
1380 : 511 : switch (t->get_id ())
1381 : : {
1382 : 437 : case IDENTIFIER:
1383 : : case UNDERSCORE:
1384 : 437 : return parse_const_item (std::move (vis), std::move (outer_attrs));
1385 : 1 : case ASYNC:
1386 : 1 : return parse_async_item (std::move (vis), std::move (outer_attrs));
1387 : 73 : case UNSAFE:
1388 : : case EXTERN_KW:
1389 : : case FN_KW:
1390 : 73 : return parse_function (std::move (vis), std::move (outer_attrs));
1391 : 0 : default:
1392 : 0 : add_error (
1393 : 0 : Error (t->get_locus (),
1394 : : "unexpected token %qs in some sort of const production",
1395 : : t->get_token_description ()));
1396 : :
1397 : 0 : lexer.skip_token (1); // TODO: is this right thing to do?
1398 : 0 : return nullptr;
1399 : : }
1400 : : // for async functions
1401 : 2 : case ASYNC:
1402 : 2 : return parse_async_item (std::move (vis), std::move (outer_attrs));
1403 : :
1404 : 45 : case STATIC_KW:
1405 : 45 : return parse_static_item (std::move (vis), std::move (outer_attrs));
1406 : 2076 : case AUTO:
1407 : : case TRAIT:
1408 : 2076 : return parse_trait (std::move (vis), std::move (outer_attrs));
1409 : 3033 : case IMPL:
1410 : 3033 : return parse_impl (std::move (vis), std::move (outer_attrs));
1411 : 196 : case UNSAFE: // unsafe traits, unsafe functions, unsafe impls (trait impls),
1412 : : // lookahead to resolve syntactical production
1413 : 196 : t = lexer.peek_token (1);
1414 : :
1415 : 196 : switch (t->get_id ())
1416 : : {
1417 : 44 : case AUTO:
1418 : : case TRAIT:
1419 : 44 : return parse_trait (std::move (vis), std::move (outer_attrs));
1420 : 88 : case EXTERN_KW:
1421 : : case FN_KW:
1422 : 88 : return parse_function (std::move (vis), std::move (outer_attrs));
1423 : 63 : case IMPL:
1424 : 63 : return parse_impl (std::move (vis), std::move (outer_attrs));
1425 : 1 : case MOD:
1426 : 1 : return parse_module (std::move (vis), std::move (outer_attrs));
1427 : 0 : default:
1428 : 0 : add_error (
1429 : 0 : Error (t->get_locus (),
1430 : : "unexpected token %qs in some sort of unsafe production",
1431 : : t->get_token_description ()));
1432 : :
1433 : 0 : lexer.skip_token (1); // TODO: is this right thing to do?
1434 : 0 : return nullptr;
1435 : : }
1436 : 44 : case MACRO:
1437 : 44 : return parse_decl_macro_def (std::move (vis), std::move (outer_attrs));
1438 : : default:
1439 : : // otherwise vis item clearly doesn't exist, which is not an error
1440 : : // has a catch-all post-switch return to allow other breaks to occur
1441 : : break;
1442 : : }
1443 : 0 : return nullptr;
1444 : 15137 : }
1445 : :
1446 : : template <typename ManagedTokenSource>
1447 : : std::unique_ptr<AST::Function>
1448 : 4 : Parser<ManagedTokenSource>::parse_async_item (AST::Visibility vis,
1449 : : AST::AttrVec outer_attrs)
1450 : : {
1451 : 7 : auto offset = (lexer.peek_token ()->get_id () == CONST) ? 1 : 0;
1452 : 4 : const_TokenPtr t = lexer.peek_token (offset);
1453 : :
1454 : 4 : if (Session::get_instance ().options.get_edition ()
1455 : 4 : == CompileOptions::Edition::E2015)
1456 : : {
1457 : 1 : add_error (Error (t->get_locus (), ErrorCode::E0670,
1458 : : "%<async fn%> is not permitted in Rust 2015"));
1459 : 1 : add_error (
1460 : 2 : Error::Hint (t->get_locus (),
1461 : : "to use %<async fn%>, switch to Rust 2018 or later"));
1462 : : }
1463 : :
1464 : 4 : t = lexer.peek_token (offset + 1);
1465 : :
1466 : 4 : switch (t->get_id ())
1467 : : {
1468 : 4 : case UNSAFE:
1469 : : case FN_KW:
1470 : 4 : return parse_function (std::move (vis), std::move (outer_attrs));
1471 : :
1472 : 0 : default:
1473 : 0 : add_error (
1474 : 0 : Error (t->get_locus (), "expected item, found keyword %<async%>"));
1475 : :
1476 : 0 : lexer.skip_token (1);
1477 : 0 : return nullptr;
1478 : : }
1479 : 4 : }
1480 : :
1481 : : // Parses a macro rules definition syntax extension whatever thing.
1482 : : template <typename ManagedTokenSource>
1483 : : std::unique_ptr<AST::MacroRulesDefinition>
1484 : 658 : Parser<ManagedTokenSource>::parse_macro_rules_def (AST::AttrVec outer_attrs)
1485 : : {
1486 : : // ensure that first token is identifier saying "macro_rules"
1487 : 658 : const_TokenPtr t = lexer.peek_token ();
1488 : 658 : if (t->get_id () != IDENTIFIER
1489 : 658 : || t->get_str () != Values::WeakKeywords::MACRO_RULES)
1490 : : {
1491 : 0 : Error error (
1492 : : t->get_locus (),
1493 : : "macro rules definition does not start with %<macro_rules%>");
1494 : 0 : add_error (std::move (error));
1495 : :
1496 : : // skip after somewhere?
1497 : 0 : return nullptr;
1498 : 0 : }
1499 : 658 : lexer.skip_token ();
1500 : 658 : location_t macro_locus = t->get_locus ();
1501 : :
1502 : 658 : if (!skip_token (EXCLAM))
1503 : : {
1504 : : // skip after somewhere?
1505 : 0 : return nullptr;
1506 : : }
1507 : :
1508 : : // parse macro name
1509 : 658 : const_TokenPtr ident_tok = expect_token (IDENTIFIER);
1510 : 658 : if (ident_tok == nullptr)
1511 : : {
1512 : 1 : return nullptr;
1513 : : }
1514 : 657 : Identifier rule_name{ident_tok};
1515 : :
1516 : : // DEBUG
1517 : 657 : rust_debug ("in macro rules def, about to parse parens.");
1518 : :
1519 : : // save delim type to ensure it is reused later
1520 : 657 : AST::DelimType delim_type = AST::PARENS;
1521 : :
1522 : : // Map tokens to DelimType
1523 : 657 : t = lexer.peek_token ();
1524 : 657 : switch (t->get_id ())
1525 : : {
1526 : : case LEFT_PAREN:
1527 : : delim_type = AST::PARENS;
1528 : : break;
1529 : 0 : case LEFT_SQUARE:
1530 : 0 : delim_type = AST::SQUARE;
1531 : 0 : break;
1532 : 657 : case LEFT_CURLY:
1533 : 657 : delim_type = AST::CURLY;
1534 : 657 : break;
1535 : 0 : default:
1536 : 0 : add_error (Error (t->get_locus (),
1537 : : "unexpected token %qs - expecting delimiters (for a "
1538 : : "macro rules definition)",
1539 : : t->get_token_description ()));
1540 : :
1541 : 0 : return nullptr;
1542 : : }
1543 : 657 : lexer.skip_token ();
1544 : :
1545 : : // parse actual macro rules
1546 : 657 : std::vector<AST::MacroRule> macro_rules;
1547 : :
1548 : : // must be at least one macro rule, so parse it
1549 : 657 : AST::MacroRule initial_rule = parse_macro_rule ();
1550 : 657 : if (initial_rule.is_error ())
1551 : : {
1552 : 12 : Error error (lexer.peek_token ()->get_locus (),
1553 : : "required first macro rule in macro rules definition "
1554 : : "could not be parsed");
1555 : 12 : add_error (std::move (error));
1556 : :
1557 : : // skip after somewhere?
1558 : 12 : return nullptr;
1559 : 12 : }
1560 : 645 : macro_rules.push_back (std::move (initial_rule));
1561 : :
1562 : : // DEBUG
1563 : 645 : rust_debug ("successfully pushed back initial macro rule");
1564 : :
1565 : 645 : t = lexer.peek_token ();
1566 : : // parse macro rules
1567 : 761 : while (t->get_id () == SEMICOLON)
1568 : : {
1569 : : // skip semicolon
1570 : 524 : lexer.skip_token ();
1571 : :
1572 : : // don't parse if end of macro rules
1573 : 1048 : if (token_id_matches_delims (lexer.peek_token ()->get_id (), delim_type))
1574 : : {
1575 : : // DEBUG
1576 : 408 : rust_debug (
1577 : : "broke out of parsing macro rules loop due to finding delim");
1578 : :
1579 : 408 : break;
1580 : : }
1581 : :
1582 : : // try to parse next rule
1583 : 116 : AST::MacroRule rule = parse_macro_rule ();
1584 : 116 : if (rule.is_error ())
1585 : : {
1586 : 0 : Error error (lexer.peek_token ()->get_locus (),
1587 : : "failed to parse macro rule in macro rules definition");
1588 : 0 : add_error (std::move (error));
1589 : :
1590 : 0 : return nullptr;
1591 : 0 : }
1592 : :
1593 : 116 : macro_rules.push_back (std::move (rule));
1594 : :
1595 : : // DEBUG
1596 : 116 : rust_debug ("successfully pushed back another macro rule");
1597 : :
1598 : 116 : t = lexer.peek_token ();
1599 : : }
1600 : :
1601 : : // parse end delimiters
1602 : 645 : t = lexer.peek_token ();
1603 : 645 : if (token_id_matches_delims (t->get_id (), delim_type))
1604 : : {
1605 : : // tokens match opening delimiter, so skip.
1606 : 645 : lexer.skip_token ();
1607 : :
1608 : 645 : if (delim_type != AST::CURLY)
1609 : : {
1610 : : // skip semicolon at end of non-curly macro definitions
1611 : 0 : if (!skip_token (SEMICOLON))
1612 : : {
1613 : : // as this is the end, allow recovery (probably) - may change
1614 : : return std::unique_ptr<AST::MacroRulesDefinition> (
1615 : 0 : AST::MacroRulesDefinition::mbe (
1616 : : std::move (rule_name), delim_type, std::move (macro_rules),
1617 : 0 : std::move (outer_attrs), macro_locus));
1618 : : }
1619 : : }
1620 : :
1621 : : return std::unique_ptr<AST::MacroRulesDefinition> (
1622 : 1290 : AST::MacroRulesDefinition::mbe (std::move (rule_name), delim_type,
1623 : : std::move (macro_rules),
1624 : 645 : std::move (outer_attrs), macro_locus));
1625 : : }
1626 : : else
1627 : : {
1628 : : // tokens don't match opening delimiters, so produce error
1629 : 0 : Error error (t->get_locus (),
1630 : : "unexpected token %qs - expecting closing delimiter %qs "
1631 : : "(for a macro rules definition)",
1632 : : t->get_token_description (),
1633 : : (delim_type == AST::PARENS
1634 : : ? ")"
1635 : : : (delim_type == AST::SQUARE ? "]" : "}")));
1636 : 0 : add_error (std::move (error));
1637 : :
1638 : : /* return empty macro definiton despite possibly parsing mostly valid one
1639 : : * - TODO is this a good idea? */
1640 : 0 : return nullptr;
1641 : 0 : }
1642 : 1972 : }
1643 : :
1644 : : // Parses a declarative macro 2.0 definition.
1645 : : template <typename ManagedTokenSource>
1646 : : std::unique_ptr<AST::MacroRulesDefinition>
1647 : 44 : Parser<ManagedTokenSource>::parse_decl_macro_def (AST::Visibility vis,
1648 : : AST::AttrVec outer_attrs)
1649 : : {
1650 : : // ensure that first token is identifier saying "macro"
1651 : 44 : const_TokenPtr t = lexer.peek_token ();
1652 : 44 : if (t->get_id () != MACRO)
1653 : : {
1654 : 0 : Error error (
1655 : : t->get_locus (),
1656 : : "declarative macro definition does not start with %<macro%>");
1657 : 0 : add_error (std::move (error));
1658 : :
1659 : : // skip after somewhere?
1660 : 0 : return nullptr;
1661 : 0 : }
1662 : 44 : lexer.skip_token ();
1663 : 44 : location_t macro_locus = t->get_locus ();
1664 : :
1665 : : // parse macro name
1666 : 44 : const_TokenPtr ident_tok = expect_token (IDENTIFIER);
1667 : 44 : if (ident_tok == nullptr)
1668 : : {
1669 : 0 : return nullptr;
1670 : : }
1671 : 44 : Identifier rule_name{ident_tok};
1672 : :
1673 : 44 : t = lexer.peek_token ();
1674 : 44 : if (t->get_id () == LEFT_PAREN)
1675 : : {
1676 : : // single definiton of macro rule
1677 : : // e.g. `macro foo($e:expr) {}`
1678 : :
1679 : : // parse macro matcher
1680 : 19 : location_t locus = lexer.peek_token ()->get_locus ();
1681 : 19 : AST::MacroMatcher matcher = parse_macro_matcher ();
1682 : 19 : if (matcher.is_error ())
1683 : 0 : return nullptr;
1684 : :
1685 : : // check delimiter of macro matcher
1686 : 19 : if (matcher.get_delim_type () != AST::DelimType::PARENS)
1687 : : {
1688 : 0 : Error error (locus, "only parenthesis can be used for a macro "
1689 : : "matcher in declarative macro definition");
1690 : 0 : add_error (std::move (error));
1691 : 0 : return nullptr;
1692 : 0 : }
1693 : :
1694 : 19 : location_t transcriber_loc = lexer.peek_token ()->get_locus ();
1695 : 19 : AST::DelimTokenTree delim_tok_tree = parse_delim_token_tree ();
1696 : 19 : AST::MacroTranscriber transcriber (delim_tok_tree, transcriber_loc);
1697 : :
1698 : 19 : if (transcriber.get_token_tree ().get_delim_type ()
1699 : : != AST::DelimType::CURLY)
1700 : : {
1701 : 1 : Error error (transcriber_loc,
1702 : : "only braces can be used for a macro transcriber "
1703 : : "in declarative macro definition");
1704 : 1 : add_error (std::move (error));
1705 : 1 : return nullptr;
1706 : 1 : }
1707 : :
1708 : 18 : AST::MacroRule macro_rule
1709 : 36 : = AST::MacroRule (std::move (matcher), std::move (transcriber), locus);
1710 : 18 : std::vector<AST::MacroRule> macro_rules;
1711 : 18 : macro_rules.push_back (macro_rule);
1712 : :
1713 : : return std::unique_ptr<AST::MacroRulesDefinition> (
1714 : 36 : AST::MacroRulesDefinition::decl_macro (std::move (rule_name),
1715 : : macro_rules,
1716 : : std::move (outer_attrs),
1717 : 18 : macro_locus, vis));
1718 : 56 : }
1719 : 25 : else if (t->get_id () == LEFT_CURLY)
1720 : : {
1721 : : // multiple definitions of macro rule separated by comma
1722 : : // e.g. `macro foo { () => {}, ($e:expr) => {}, }`
1723 : :
1724 : : // parse left curly
1725 : 25 : const_TokenPtr left_curly = expect_token (LEFT_CURLY);
1726 : 25 : if (left_curly == nullptr)
1727 : : {
1728 : 0 : return nullptr;
1729 : : }
1730 : :
1731 : : // parse actual macro rules
1732 : 25 : std::vector<AST::MacroRule> macro_rules;
1733 : :
1734 : : // must be at least one macro rule, so parse it
1735 : 25 : AST::MacroRule initial_rule = parse_macro_rule ();
1736 : 25 : if (initial_rule.is_error ())
1737 : : {
1738 : 1 : Error error (
1739 : 1 : lexer.peek_token ()->get_locus (),
1740 : : "required first macro rule in declarative macro definition "
1741 : : "could not be parsed");
1742 : 1 : add_error (std::move (error));
1743 : :
1744 : : // skip after somewhere?
1745 : 1 : return nullptr;
1746 : 1 : }
1747 : 24 : macro_rules.push_back (std::move (initial_rule));
1748 : :
1749 : 24 : t = lexer.peek_token ();
1750 : : // parse macro rules
1751 : 40 : while (t->get_id () == COMMA)
1752 : : {
1753 : : // skip comma
1754 : 32 : lexer.skip_token ();
1755 : :
1756 : : // don't parse if end of macro rules
1757 : 64 : if (token_id_matches_delims (lexer.peek_token ()->get_id (),
1758 : : AST::CURLY))
1759 : : {
1760 : : break;
1761 : : }
1762 : :
1763 : : // try to parse next rule
1764 : 16 : AST::MacroRule rule = parse_macro_rule ();
1765 : 16 : if (rule.is_error ())
1766 : : {
1767 : 0 : Error error (
1768 : 0 : lexer.peek_token ()->get_locus (),
1769 : : "failed to parse macro rule in declarative macro definition");
1770 : 0 : add_error (std::move (error));
1771 : :
1772 : 0 : return nullptr;
1773 : 0 : }
1774 : :
1775 : 16 : macro_rules.push_back (std::move (rule));
1776 : :
1777 : 16 : t = lexer.peek_token ();
1778 : : }
1779 : :
1780 : : // parse right curly
1781 : 24 : const_TokenPtr right_curly = expect_token (RIGHT_CURLY);
1782 : 24 : if (right_curly == nullptr)
1783 : : {
1784 : 0 : return nullptr;
1785 : : }
1786 : :
1787 : : return std::unique_ptr<AST::MacroRulesDefinition> (
1788 : 48 : AST::MacroRulesDefinition::decl_macro (std::move (rule_name),
1789 : : std::move (macro_rules),
1790 : : std::move (outer_attrs),
1791 : 24 : macro_locus, vis));
1792 : 50 : }
1793 : : else
1794 : : {
1795 : 0 : add_error (Error (t->get_locus (),
1796 : : "unexpected token %qs - expecting delimiters "
1797 : : "(for a declarative macro definiton)",
1798 : : t->get_token_description ()));
1799 : 0 : return nullptr;
1800 : : }
1801 : 88 : }
1802 : :
1803 : : // Parses a semi-coloned (except for full block) macro invocation item.
1804 : : template <typename ManagedTokenSource>
1805 : : std::unique_ptr<AST::MacroInvocation>
1806 : 243 : Parser<ManagedTokenSource>::parse_macro_invocation_semi (
1807 : : AST::AttrVec outer_attrs)
1808 : : {
1809 : 243 : location_t macro_locus = lexer.peek_token ()->get_locus ();
1810 : 243 : AST::SimplePath path = parse_simple_path ();
1811 : :
1812 : 243 : if (!skip_token (EXCLAM))
1813 : : {
1814 : : // skip after somewhere?
1815 : 0 : return nullptr;
1816 : : }
1817 : :
1818 : : // save delim type to ensure it is reused later
1819 : 243 : AST::DelimType delim_type = AST::PARENS;
1820 : :
1821 : : // Map tokens to DelimType
1822 : 243 : const_TokenPtr t = lexer.peek_token ();
1823 : 243 : switch (t->get_id ())
1824 : : {
1825 : : case LEFT_PAREN:
1826 : : delim_type = AST::PARENS;
1827 : : break;
1828 : 0 : case LEFT_SQUARE:
1829 : 0 : delim_type = AST::SQUARE;
1830 : 0 : break;
1831 : 149 : case LEFT_CURLY:
1832 : 149 : delim_type = AST::CURLY;
1833 : 149 : break;
1834 : 0 : default:
1835 : 0 : add_error (Error (t->get_locus (),
1836 : : "unexpected token %qs - expecting delimiters (for a "
1837 : : "macro invocation semi body)",
1838 : : t->get_token_description ()));
1839 : :
1840 : 0 : return nullptr;
1841 : : }
1842 : 243 : location_t tok_tree_locus = t->get_locus ();
1843 : 243 : lexer.skip_token ();
1844 : :
1845 : : // parse actual token trees
1846 : 243 : std::vector<std::unique_ptr<AST::TokenTree>> token_trees;
1847 : 243 : auto delim_open
1848 : 243 : = std::unique_ptr<AST::Token> (new AST::Token (std::move (t)));
1849 : 243 : token_trees.push_back (std::move (delim_open));
1850 : :
1851 : 243 : t = lexer.peek_token ();
1852 : : // parse token trees until the initial delimiter token is found again
1853 : 2584 : while (!token_id_matches_delims (t->get_id (), delim_type))
1854 : : {
1855 : 2341 : std::unique_ptr<AST::TokenTree> tree = parse_token_tree ();
1856 : :
1857 : 2341 : if (tree == nullptr)
1858 : : {
1859 : 0 : Error error (t->get_locus (),
1860 : : "failed to parse token tree for macro invocation semi "
1861 : : "- found %qs",
1862 : : t->get_token_description ());
1863 : 0 : add_error (std::move (error));
1864 : :
1865 : 0 : return nullptr;
1866 : 0 : }
1867 : :
1868 : 2341 : token_trees.push_back (std::move (tree));
1869 : :
1870 : 2341 : t = lexer.peek_token ();
1871 : : }
1872 : 243 : auto delim_close
1873 : 243 : = std::unique_ptr<AST::Token> (new AST::Token (std::move (t)));
1874 : 243 : token_trees.push_back (std::move (delim_close));
1875 : :
1876 : 243 : AST::DelimTokenTree delim_tok_tree (delim_type, std::move (token_trees),
1877 : : tok_tree_locus);
1878 : 243 : AST::MacroInvocData invoc_data (std::move (path), std::move (delim_tok_tree));
1879 : :
1880 : : // parse end delimiters
1881 : 243 : t = lexer.peek_token ();
1882 : 243 : if (token_id_matches_delims (t->get_id (), delim_type))
1883 : : {
1884 : : // tokens match opening delimiter, so skip.
1885 : 243 : lexer.skip_token ();
1886 : :
1887 : 243 : if (delim_type != AST::CURLY)
1888 : : {
1889 : : // skip semicolon at end of non-curly macro invocation semis
1890 : 94 : if (!skip_token (SEMICOLON))
1891 : : {
1892 : : // as this is the end, allow recovery (probably) - may change
1893 : :
1894 : 0 : return AST::MacroInvocation::Regular (std::move (invoc_data),
1895 : : std::move (outer_attrs),
1896 : 0 : macro_locus, true);
1897 : : }
1898 : : }
1899 : :
1900 : : // DEBUG:
1901 : 486 : rust_debug ("skipped token is '%s', next token (current peek) is '%s'",
1902 : : t->get_token_description (),
1903 : : lexer.peek_token ()->get_token_description ());
1904 : :
1905 : 486 : return AST::MacroInvocation::Regular (std::move (invoc_data),
1906 : : std::move (outer_attrs),
1907 : 243 : macro_locus, true);
1908 : : }
1909 : : else
1910 : : {
1911 : : // tokens don't match opening delimiters, so produce error
1912 : 0 : Error error (t->get_locus (),
1913 : : "unexpected token %qs - expecting closing delimiter %qs "
1914 : : "(for a macro invocation semi)",
1915 : : t->get_token_description (),
1916 : : (delim_type == AST::PARENS
1917 : : ? ")"
1918 : : : (delim_type == AST::SQUARE ? "]" : "}")));
1919 : 0 : add_error (std::move (error));
1920 : :
1921 : : /* return empty macro invocation despite possibly parsing mostly valid one
1922 : : * - TODO is this a good idea? */
1923 : 0 : return nullptr;
1924 : 0 : }
1925 : 486 : }
1926 : :
1927 : : // Parses a non-semicoloned macro invocation (i.e. as pattern or expression).
1928 : : template <typename ManagedTokenSource>
1929 : : std::unique_ptr<AST::MacroInvocation>
1930 : 69 : Parser<ManagedTokenSource>::parse_macro_invocation (AST::AttrVec outer_attrs)
1931 : : {
1932 : : // parse macro path
1933 : 69 : AST::SimplePath macro_path = parse_simple_path ();
1934 : 69 : if (macro_path.is_empty ())
1935 : : {
1936 : 56 : Error error (lexer.peek_token ()->get_locus (),
1937 : : "failed to parse macro invocation path");
1938 : 56 : add_error (std::move (error));
1939 : :
1940 : : // skip?
1941 : 56 : return nullptr;
1942 : 56 : }
1943 : :
1944 : 13 : if (!skip_token (EXCLAM))
1945 : : {
1946 : : // skip after somewhere?
1947 : 3 : return nullptr;
1948 : : }
1949 : :
1950 : : // parse internal delim token tree
1951 : 10 : AST::DelimTokenTree delim_tok_tree = parse_delim_token_tree ();
1952 : :
1953 : 10 : location_t macro_locus = macro_path.get_locus ();
1954 : :
1955 : 20 : return AST::MacroInvocation::Regular (
1956 : 20 : AST::MacroInvocData (std::move (macro_path), std::move (delim_tok_tree)),
1957 : 10 : std::move (outer_attrs), macro_locus);
1958 : 10 : }
1959 : :
1960 : : // Parses a macro rule definition - does not parse semicolons.
1961 : : template <typename ManagedTokenSource>
1962 : : AST::MacroRule
1963 : 814 : Parser<ManagedTokenSource>::parse_macro_rule ()
1964 : : {
1965 : 814 : location_t locus = lexer.peek_token ()->get_locus ();
1966 : :
1967 : : // parse macro matcher
1968 : 814 : AST::MacroMatcher matcher = parse_macro_matcher ();
1969 : :
1970 : 814 : if (matcher.is_error ())
1971 : 13 : return AST::MacroRule::create_error (locus);
1972 : :
1973 : 801 : if (!skip_token (MATCH_ARROW))
1974 : : {
1975 : : // skip after somewhere?
1976 : 0 : return AST::MacroRule::create_error (locus);
1977 : : }
1978 : :
1979 : : // parse transcriber (this is just a delim token tree)
1980 : 801 : location_t token_tree_loc = lexer.peek_token ()->get_locus ();
1981 : 801 : AST::MacroTranscriber transcriber (parse_delim_token_tree (), token_tree_loc);
1982 : :
1983 : 801 : return AST::MacroRule (std::move (matcher), std::move (transcriber), locus);
1984 : 801 : }
1985 : :
1986 : : // Parses a macro matcher (part of a macro rule definition).
1987 : : template <typename ManagedTokenSource>
1988 : : AST::MacroMatcher
1989 : 880 : Parser<ManagedTokenSource>::parse_macro_matcher ()
1990 : : {
1991 : : // save delim type to ensure it is reused later
1992 : 880 : AST::DelimType delim_type = AST::PARENS;
1993 : :
1994 : : // DEBUG
1995 : 880 : rust_debug ("begun parsing macro matcher");
1996 : :
1997 : : // Map tokens to DelimType
1998 : 880 : const_TokenPtr t = lexer.peek_token ();
1999 : 880 : location_t locus = t->get_locus ();
2000 : 880 : switch (t->get_id ())
2001 : : {
2002 : : case LEFT_PAREN:
2003 : : delim_type = AST::PARENS;
2004 : : break;
2005 : 19 : case LEFT_SQUARE:
2006 : 19 : delim_type = AST::SQUARE;
2007 : 19 : break;
2008 : 12 : case LEFT_CURLY:
2009 : 12 : delim_type = AST::CURLY;
2010 : 12 : break;
2011 : 1 : default:
2012 : 1 : add_error (Error (
2013 : : t->get_locus (),
2014 : : "unexpected token %qs - expecting delimiters (for a macro matcher)",
2015 : : t->get_token_description ()));
2016 : :
2017 : 1 : return AST::MacroMatcher::create_error (t->get_locus ());
2018 : : }
2019 : 879 : lexer.skip_token ();
2020 : :
2021 : : // parse actual macro matches
2022 : 879 : std::vector<std::unique_ptr<AST::MacroMatch>> matches;
2023 : : // Set of possible preceding macro matches to make sure follow-set
2024 : : // restrictions are respected.
2025 : : // TODO: Consider using std::reference_wrapper instead of raw pointers?
2026 : 879 : std::vector<const AST::MacroMatch *> last_matches;
2027 : :
2028 : 879 : t = lexer.peek_token ();
2029 : : // parse token trees until the initial delimiter token is found again
2030 : 1939 : while (!token_id_matches_delims (t->get_id (), delim_type))
2031 : : {
2032 : 1060 : std::unique_ptr<AST::MacroMatch> match = parse_macro_match ();
2033 : :
2034 : 1060 : if (match == nullptr)
2035 : : {
2036 : 1 : Error error (
2037 : : t->get_locus (),
2038 : : "failed to parse macro match for macro matcher - found %qs",
2039 : : t->get_token_description ());
2040 : 1 : add_error (std::move (error));
2041 : :
2042 : 1 : return AST::MacroMatcher::create_error (t->get_locus ());
2043 : 1 : }
2044 : :
2045 : 1059 : if (matches.size () > 0)
2046 : : {
2047 : 436 : const auto *last_match = matches.back ().get ();
2048 : :
2049 : : // We want to check if we are dealing with a zeroable repetition
2050 : 436 : bool zeroable = false;
2051 : 436 : if (last_match->get_macro_match_type ()
2052 : : == AST::MacroMatch::MacroMatchType::Repetition)
2053 : : {
2054 : 23 : auto repetition
2055 : : = static_cast<const AST::MacroMatchRepetition *> (last_match);
2056 : :
2057 : 23 : if (repetition->get_op ()
2058 : : != AST::MacroMatchRepetition::MacroRepOp::ONE_OR_MORE)
2059 : : zeroable = true;
2060 : : }
2061 : :
2062 : : if (!zeroable)
2063 : 436 : last_matches.clear ();
2064 : :
2065 : 436 : last_matches.emplace_back (last_match);
2066 : :
2067 : 863 : for (auto last : last_matches)
2068 : 439 : if (!is_match_compatible (*last, *match))
2069 : : return AST::MacroMatcher::create_error (
2070 : 12 : match->get_match_locus ());
2071 : : }
2072 : :
2073 : 1047 : matches.push_back (std::move (match));
2074 : :
2075 : : // DEBUG
2076 : 1047 : rust_debug ("pushed back a match in macro matcher");
2077 : :
2078 : 1047 : t = lexer.peek_token ();
2079 : : }
2080 : :
2081 : : // parse end delimiters
2082 : 866 : t = lexer.peek_token ();
2083 : 866 : if (token_id_matches_delims (t->get_id (), delim_type))
2084 : : {
2085 : : // tokens match opening delimiter, so skip.
2086 : 866 : lexer.skip_token ();
2087 : :
2088 : 866 : return AST::MacroMatcher (delim_type, std::move (matches), locus);
2089 : : }
2090 : : else
2091 : : {
2092 : : // tokens don't match opening delimiters, so produce error
2093 : 0 : Error error (t->get_locus (),
2094 : : "unexpected token %qs - expecting closing delimiter %qs "
2095 : : "(for a macro matcher)",
2096 : : t->get_token_description (),
2097 : : (delim_type == AST::PARENS
2098 : : ? ")"
2099 : : : (delim_type == AST::SQUARE ? "]" : "}")));
2100 : 0 : add_error (std::move (error));
2101 : :
2102 : : /* return error macro matcher despite possibly parsing mostly correct one?
2103 : : * TODO is this the best idea? */
2104 : 0 : return AST::MacroMatcher::create_error (t->get_locus ());
2105 : 0 : }
2106 : 879 : }
2107 : :
2108 : : // Parses a macro match (syntax match inside a matcher in a macro rule).
2109 : : template <typename ManagedTokenSource>
2110 : : std::unique_ptr<AST::MacroMatch>
2111 : 1468 : Parser<ManagedTokenSource>::parse_macro_match ()
2112 : : {
2113 : : // branch based on token available
2114 : 1468 : const_TokenPtr t = lexer.peek_token ();
2115 : 1468 : switch (t->get_id ())
2116 : : {
2117 : 47 : case LEFT_PAREN:
2118 : : case LEFT_SQUARE:
2119 : : case LEFT_CURLY: {
2120 : : // must be macro matcher as delimited
2121 : 47 : AST::MacroMatcher matcher = parse_macro_matcher ();
2122 : 47 : if (matcher.is_error ())
2123 : : {
2124 : 1 : Error error (lexer.peek_token ()->get_locus (),
2125 : : "failed to parse macro matcher in macro match");
2126 : 1 : add_error (std::move (error));
2127 : :
2128 : 1 : return nullptr;
2129 : 1 : }
2130 : 46 : return std::unique_ptr<AST::MacroMatcher> (
2131 : 46 : new AST::MacroMatcher (std::move (matcher)));
2132 : 47 : }
2133 : 1027 : case DOLLAR_SIGN: {
2134 : : // have to do more lookahead to determine if fragment or repetition
2135 : 1027 : const_TokenPtr t2 = lexer.peek_token (1);
2136 : 1027 : switch (t2->get_id ())
2137 : : {
2138 : 675 : case IDENTIFIER:
2139 : : case UNDERSCORE:
2140 : : // macro fragment
2141 : 675 : return parse_macro_match_fragment ();
2142 : 351 : case LEFT_PAREN:
2143 : : // macro repetition
2144 : 351 : return parse_macro_match_repetition ();
2145 : 1 : default:
2146 : 1 : if (token_id_is_keyword (t2->get_id ()) && t2->get_id () != CRATE)
2147 : : {
2148 : : // keyword as macro fragment
2149 : 1 : return parse_macro_match_fragment ();
2150 : : }
2151 : : else
2152 : : {
2153 : : // error: unrecognised
2154 : 0 : add_error (Error (
2155 : : t2->get_locus (),
2156 : : "unrecognised token combination %<$%s%> at start of "
2157 : : "macro match - did you mean %<$identifier%> or %<$(%>?",
2158 : : t2->get_token_description ()));
2159 : :
2160 : : // skip somewhere?
2161 : 0 : return nullptr;
2162 : : }
2163 : : }
2164 : 1027 : }
2165 : 0 : case RIGHT_PAREN:
2166 : : case RIGHT_SQUARE:
2167 : : case RIGHT_CURLY:
2168 : : // not allowed
2169 : 0 : add_error (Error (
2170 : : t->get_locus (),
2171 : : "closing delimiters like %qs are not allowed at the start of a macro "
2172 : : "match",
2173 : : t->get_token_description ()));
2174 : :
2175 : : // skip somewhere?
2176 : 0 : return nullptr;
2177 : 394 : default:
2178 : : // just the token
2179 : 394 : lexer.skip_token ();
2180 : 394 : return std::unique_ptr<AST::Token> (new AST::Token (std::move (t)));
2181 : : }
2182 : 1468 : }
2183 : :
2184 : : // Parses a fragment macro match.
2185 : : template <typename ManagedTokenSource>
2186 : : std::unique_ptr<AST::MacroMatchFragment>
2187 : 676 : Parser<ManagedTokenSource>::parse_macro_match_fragment ()
2188 : : {
2189 : 676 : location_t fragment_locus = lexer.peek_token ()->get_locus ();
2190 : 676 : skip_token (DOLLAR_SIGN);
2191 : :
2192 : 676 : Identifier ident;
2193 : 676 : auto identifier = lexer.peek_token ();
2194 : 676 : if (identifier->get_id () == UNDERSCORE)
2195 : 2 : ident = {Values::Keywords::UNDERSCORE, identifier->get_locus ()};
2196 : : else
2197 : 1348 : ident = {identifier};
2198 : :
2199 : 676 : if (ident.empty ())
2200 : : {
2201 : 0 : Error error (lexer.peek_token ()->get_locus (),
2202 : : "missing identifier in macro match fragment");
2203 : 0 : add_error (std::move (error));
2204 : :
2205 : 0 : return nullptr;
2206 : 0 : }
2207 : 676 : skip_token (identifier->get_id ());
2208 : :
2209 : 676 : if (!skip_token (COLON))
2210 : : {
2211 : : // skip after somewhere?
2212 : 0 : return nullptr;
2213 : : }
2214 : :
2215 : : // get MacroFragSpec for macro
2216 : 676 : const_TokenPtr t = expect_token (IDENTIFIER);
2217 : 676 : if (t == nullptr)
2218 : 0 : return nullptr;
2219 : :
2220 : : AST::MacroFragSpec frag
2221 : 676 : = AST::MacroFragSpec::get_frag_spec_from_str (t->get_str ());
2222 : 676 : if (frag.is_error ())
2223 : : {
2224 : 0 : Error error (t->get_locus (),
2225 : : "invalid fragment specifier %qs in fragment macro match",
2226 : 0 : t->get_str ().c_str ());
2227 : 0 : add_error (std::move (error));
2228 : :
2229 : 0 : return nullptr;
2230 : 0 : }
2231 : :
2232 : : return std::unique_ptr<AST::MacroMatchFragment> (
2233 : 676 : new AST::MacroMatchFragment (std::move (ident), frag, fragment_locus));
2234 : 1352 : }
2235 : :
2236 : : // Parses a repetition macro match.
2237 : : template <typename ManagedTokenSource>
2238 : : std::unique_ptr<AST::MacroMatchRepetition>
2239 : 351 : Parser<ManagedTokenSource>::parse_macro_match_repetition ()
2240 : : {
2241 : 351 : skip_token (DOLLAR_SIGN);
2242 : 351 : skip_token (LEFT_PAREN);
2243 : :
2244 : 351 : std::vector<std::unique_ptr<AST::MacroMatch>> matches;
2245 : :
2246 : : // parse required first macro match
2247 : 351 : std::unique_ptr<AST::MacroMatch> initial_match = parse_macro_match ();
2248 : 351 : if (initial_match == nullptr)
2249 : : {
2250 : 0 : Error error (
2251 : 0 : lexer.peek_token ()->get_locus (),
2252 : : "could not parse required first macro match in macro match repetition");
2253 : 0 : add_error (std::move (error));
2254 : :
2255 : : // skip after somewhere?
2256 : 0 : return nullptr;
2257 : 0 : }
2258 : 351 : matches.push_back (std::move (initial_match));
2259 : :
2260 : : // parse optional later macro matches
2261 : 351 : const_TokenPtr t = lexer.peek_token ();
2262 : 408 : while (t->get_id () != RIGHT_PAREN)
2263 : : {
2264 : 57 : std::unique_ptr<AST::MacroMatch> match = parse_macro_match ();
2265 : :
2266 : 57 : if (match == nullptr)
2267 : : {
2268 : 0 : Error error (lexer.peek_token ()->get_locus (),
2269 : : "failed to parse macro match in macro match repetition");
2270 : 0 : add_error (std::move (error));
2271 : :
2272 : 0 : return nullptr;
2273 : 0 : }
2274 : :
2275 : 57 : matches.push_back (std::move (match));
2276 : :
2277 : 57 : t = lexer.peek_token ();
2278 : : }
2279 : :
2280 : 351 : if (!skip_token (RIGHT_PAREN))
2281 : : {
2282 : : // skip after somewhere?
2283 : 0 : return nullptr;
2284 : : }
2285 : :
2286 : 351 : t = lexer.peek_token ();
2287 : : // see if separator token exists
2288 : 351 : std::unique_ptr<AST::Token> separator = nullptr;
2289 : 351 : switch (t->get_id ())
2290 : : {
2291 : : // repetition operators
2292 : : case ASTERISK:
2293 : : case PLUS:
2294 : : case QUESTION_MARK:
2295 : : // delimiters
2296 : : case LEFT_PAREN:
2297 : : case LEFT_CURLY:
2298 : : case LEFT_SQUARE:
2299 : : case RIGHT_PAREN:
2300 : : case RIGHT_CURLY:
2301 : : case RIGHT_SQUARE:
2302 : : // separator does not exist, so still null and don't skip token
2303 : : break;
2304 : 106 : default:
2305 : : // separator does exist
2306 : 106 : separator = std::unique_ptr<AST::Token> (new AST::Token (std::move (t)));
2307 : 106 : lexer.skip_token ();
2308 : : break;
2309 : : }
2310 : :
2311 : : // parse repetition operator
2312 : 351 : t = lexer.peek_token ();
2313 : 351 : AST::MacroMatchRepetition::MacroRepOp op = AST::MacroMatchRepetition::NONE;
2314 : 351 : switch (t->get_id ())
2315 : : {
2316 : 288 : case ASTERISK:
2317 : 288 : op = AST::MacroMatchRepetition::ANY;
2318 : 288 : lexer.skip_token ();
2319 : : break;
2320 : 35 : case PLUS:
2321 : 35 : op = AST::MacroMatchRepetition::ONE_OR_MORE;
2322 : 35 : lexer.skip_token ();
2323 : : break;
2324 : 28 : case QUESTION_MARK:
2325 : 28 : op = AST::MacroMatchRepetition::ZERO_OR_ONE;
2326 : 28 : lexer.skip_token ();
2327 : :
2328 : 28 : if (separator != nullptr)
2329 : : {
2330 : 1 : add_error (
2331 : 2 : Error (separator->get_locus (),
2332 : : "the %<?%> macro repetition operator does not take a "
2333 : : "separator"));
2334 : 1 : separator = nullptr;
2335 : : }
2336 : :
2337 : : break;
2338 : 0 : default:
2339 : 0 : add_error (
2340 : 0 : Error (t->get_locus (),
2341 : : "expected macro repetition operator (%<*%>, %<+%>, or %<?%>) in "
2342 : : "macro match - found %qs",
2343 : : t->get_token_description ()));
2344 : :
2345 : : // skip after somewhere?
2346 : 0 : return nullptr;
2347 : : }
2348 : :
2349 : : return std::unique_ptr<AST::MacroMatchRepetition> (
2350 : 351 : new AST::MacroMatchRepetition (std::move (matches), op,
2351 : 351 : std::move (separator), t->get_locus ()));
2352 : 702 : }
2353 : :
2354 : : /* Parses a visibility syntactical production (i.e. creating a non-default
2355 : : * visibility) */
2356 : : template <typename ManagedTokenSource>
2357 : : AST::Visibility
2358 : 23140 : Parser<ManagedTokenSource>::parse_visibility ()
2359 : : {
2360 : : // check for no visibility
2361 : 46280 : if (lexer.peek_token ()->get_id () != PUB)
2362 : : {
2363 : 18296 : return AST::Visibility::create_private ();
2364 : : }
2365 : :
2366 : 4844 : auto vis_loc = lexer.peek_token ()->get_locus ();
2367 : 4844 : lexer.skip_token ();
2368 : :
2369 : : // create simple pub visibility if
2370 : : // - found no parentheses
2371 : : // - found unit type `()`
2372 : 9688 : if (lexer.peek_token ()->get_id () != LEFT_PAREN
2373 : 4857 : || lexer.peek_token (1)->get_id () == RIGHT_PAREN)
2374 : : {
2375 : 4832 : return AST::Visibility::create_public (vis_loc);
2376 : : // or whatever
2377 : : }
2378 : :
2379 : 12 : lexer.skip_token ();
2380 : :
2381 : 12 : const_TokenPtr t = lexer.peek_token ();
2382 : 12 : auto path_loc = t->get_locus ();
2383 : :
2384 : 12 : switch (t->get_id ())
2385 : : {
2386 : 1 : case CRATE:
2387 : 1 : lexer.skip_token ();
2388 : :
2389 : 1 : skip_token (RIGHT_PAREN);
2390 : :
2391 : 1 : return AST::Visibility::create_crate (path_loc, vis_loc);
2392 : 0 : case SELF:
2393 : 0 : lexer.skip_token ();
2394 : :
2395 : 0 : skip_token (RIGHT_PAREN);
2396 : :
2397 : 0 : return AST::Visibility::create_self (path_loc, vis_loc);
2398 : 0 : case SUPER:
2399 : 0 : lexer.skip_token ();
2400 : :
2401 : 0 : skip_token (RIGHT_PAREN);
2402 : :
2403 : 0 : return AST::Visibility::create_super (path_loc, vis_loc);
2404 : 11 : case IN: {
2405 : 11 : lexer.skip_token ();
2406 : :
2407 : : // parse the "in" path as well
2408 : 11 : AST::SimplePath path = parse_simple_path ();
2409 : 11 : if (path.is_empty ())
2410 : : {
2411 : 0 : Error error (lexer.peek_token ()->get_locus (),
2412 : : "missing path in pub(in path) visibility");
2413 : 0 : add_error (std::move (error));
2414 : :
2415 : : // skip after somewhere?
2416 : 0 : return AST::Visibility::create_error ();
2417 : 0 : }
2418 : :
2419 : 11 : skip_token (RIGHT_PAREN);
2420 : :
2421 : 11 : return AST::Visibility::create_in_path (std::move (path), vis_loc);
2422 : 11 : }
2423 : 0 : default:
2424 : 0 : add_error (Error (t->get_locus (), "unexpected token %qs in visibility",
2425 : : t->get_token_description ()));
2426 : :
2427 : 0 : lexer.skip_token ();
2428 : 0 : return AST::Visibility::create_error ();
2429 : : }
2430 : 12 : }
2431 : :
2432 : : // Parses a module - either a bodied module or a module defined in another file.
2433 : : template <typename ManagedTokenSource>
2434 : : std::unique_ptr<AST::Module>
2435 : 616 : Parser<ManagedTokenSource>::parse_module (AST::Visibility vis,
2436 : : AST::AttrVec outer_attrs)
2437 : : {
2438 : 616 : location_t locus = lexer.peek_token ()->get_locus ();
2439 : :
2440 : 616 : Unsafety safety = Unsafety::Normal;
2441 : 1232 : if (lexer.peek_token ()->get_id () == UNSAFE)
2442 : : {
2443 : 1 : safety = Unsafety::Unsafe;
2444 : 1 : skip_token (UNSAFE);
2445 : : }
2446 : :
2447 : 616 : skip_token (MOD);
2448 : :
2449 : 616 : const_TokenPtr module_name = expect_token (IDENTIFIER);
2450 : 616 : if (module_name == nullptr)
2451 : : {
2452 : 0 : return nullptr;
2453 : : }
2454 : 616 : Identifier name{module_name};
2455 : :
2456 : 616 : const_TokenPtr t = lexer.peek_token ();
2457 : :
2458 : 616 : switch (t->get_id ())
2459 : : {
2460 : 63 : case SEMICOLON:
2461 : 63 : lexer.skip_token ();
2462 : :
2463 : : // Construct an external module
2464 : : return std::unique_ptr<AST::Module> (
2465 : 189 : new AST::Module (std::move (name), std::move (vis),
2466 : : std::move (outer_attrs), locus, safety,
2467 : 189 : lexer.get_filename (), inline_module_stack));
2468 : 553 : case LEFT_CURLY: {
2469 : 553 : lexer.skip_token ();
2470 : :
2471 : : // parse inner attributes
2472 : 553 : AST::AttrVec inner_attrs = parse_inner_attributes ();
2473 : :
2474 : 553 : std::string default_path = name.as_string ();
2475 : :
2476 : 553 : if (inline_module_stack.empty ())
2477 : : {
2478 : 397 : std::string filename = lexer.get_filename ();
2479 : 397 : auto slash_idx = filename.rfind (file_separator);
2480 : 397 : if (slash_idx == std::string::npos)
2481 : : slash_idx = 0;
2482 : : else
2483 : 397 : slash_idx++;
2484 : 397 : filename = filename.substr (slash_idx);
2485 : :
2486 : 397 : std::string subdir;
2487 : 397 : if (get_file_subdir (filename, subdir))
2488 : 397 : default_path = subdir + file_separator + name.as_string ();
2489 : 397 : }
2490 : :
2491 : 553 : std::string module_path_name
2492 : : = extract_module_path (inner_attrs, outer_attrs, default_path);
2493 : 553 : InlineModuleStackScope scope (*this, std::move (module_path_name));
2494 : :
2495 : : // parse items
2496 : 553 : std::vector<std::unique_ptr<AST::Item>> items;
2497 : 553 : const_TokenPtr tok = lexer.peek_token ();
2498 : 1422 : while (tok->get_id () != RIGHT_CURLY)
2499 : : {
2500 : 869 : std::unique_ptr<AST::Item> item = parse_item (false);
2501 : 869 : if (item == nullptr)
2502 : : {
2503 : 0 : Error error (tok->get_locus (),
2504 : : "failed to parse item in module");
2505 : 0 : add_error (std::move (error));
2506 : :
2507 : 0 : return nullptr;
2508 : 0 : }
2509 : :
2510 : 869 : items.push_back (std::move (item));
2511 : :
2512 : 869 : tok = lexer.peek_token ();
2513 : : }
2514 : :
2515 : 553 : if (!skip_token (RIGHT_CURLY))
2516 : : {
2517 : : // skip somewhere?
2518 : 0 : return nullptr;
2519 : : }
2520 : :
2521 : : return std::unique_ptr<AST::Module> (
2522 : 553 : new AST::Module (std::move (name), locus, std::move (items),
2523 : : std::move (vis), safety, std::move (inner_attrs),
2524 : 553 : std::move (outer_attrs))); // module name?
2525 : 553 : }
2526 : 0 : default:
2527 : 0 : add_error (
2528 : 0 : Error (t->get_locus (),
2529 : : "unexpected token %qs in module declaration/definition item",
2530 : : t->get_token_description ()));
2531 : :
2532 : 0 : lexer.skip_token ();
2533 : 0 : return nullptr;
2534 : : }
2535 : 616 : }
2536 : :
2537 : : // Parses an extern crate declaration (dependency on external crate)
2538 : : template <typename ManagedTokenSource>
2539 : : std::unique_ptr<AST::ExternCrate>
2540 : 27 : Parser<ManagedTokenSource>::parse_extern_crate (AST::Visibility vis,
2541 : : AST::AttrVec outer_attrs)
2542 : : {
2543 : 27 : location_t locus = lexer.peek_token ()->get_locus ();
2544 : 27 : if (!skip_token (EXTERN_KW))
2545 : : {
2546 : 0 : skip_after_semicolon ();
2547 : 0 : return nullptr;
2548 : : }
2549 : :
2550 : 27 : if (!skip_token (CRATE))
2551 : : {
2552 : 0 : skip_after_semicolon ();
2553 : 0 : return nullptr;
2554 : : }
2555 : :
2556 : : /* parse crate reference name - this has its own syntactical rule in reference
2557 : : * but seems to not be used elsewhere, so i'm putting it here */
2558 : 27 : const_TokenPtr crate_name_tok = lexer.peek_token ();
2559 : 27 : std::string crate_name;
2560 : :
2561 : 27 : switch (crate_name_tok->get_id ())
2562 : : {
2563 : 27 : case IDENTIFIER:
2564 : 27 : crate_name = crate_name_tok->get_str ();
2565 : 27 : lexer.skip_token ();
2566 : : break;
2567 : 0 : case SELF:
2568 : 0 : crate_name = Values::Keywords::SELF;
2569 : 0 : lexer.skip_token ();
2570 : : break;
2571 : 0 : default:
2572 : 0 : add_error (
2573 : 0 : Error (crate_name_tok->get_locus (),
2574 : : "expecting crate name (identifier or %<self%>), found %qs",
2575 : : crate_name_tok->get_token_description ()));
2576 : :
2577 : 0 : skip_after_semicolon ();
2578 : 0 : return nullptr;
2579 : : }
2580 : :
2581 : : // don't parse as clause if it doesn't exist
2582 : 54 : if (lexer.peek_token ()->get_id () == SEMICOLON)
2583 : : {
2584 : 27 : lexer.skip_token ();
2585 : :
2586 : : return std::unique_ptr<AST::ExternCrate> (
2587 : 27 : new AST::ExternCrate (std::move (crate_name), std::move (vis),
2588 : 27 : std::move (outer_attrs), locus));
2589 : : }
2590 : :
2591 : : /* parse as clause - this also has its own syntactical rule in reference and
2592 : : * also seems to not be used elsewhere, so including here again. */
2593 : 0 : if (!skip_token (AS))
2594 : : {
2595 : 0 : skip_after_semicolon ();
2596 : 0 : return nullptr;
2597 : : }
2598 : :
2599 : 0 : const_TokenPtr as_name_tok = lexer.peek_token ();
2600 : 0 : std::string as_name;
2601 : :
2602 : 0 : switch (as_name_tok->get_id ())
2603 : : {
2604 : 0 : case IDENTIFIER:
2605 : 0 : as_name = as_name_tok->get_str ();
2606 : 0 : lexer.skip_token ();
2607 : : break;
2608 : 0 : case UNDERSCORE:
2609 : 0 : as_name = Values::Keywords::UNDERSCORE;
2610 : 0 : lexer.skip_token ();
2611 : : break;
2612 : 0 : default:
2613 : 0 : add_error (
2614 : 0 : Error (as_name_tok->get_locus (),
2615 : : "expecting as clause name (identifier or %<_%>), found %qs",
2616 : : as_name_tok->get_token_description ()));
2617 : :
2618 : 0 : skip_after_semicolon ();
2619 : 0 : return nullptr;
2620 : : }
2621 : :
2622 : 0 : if (!skip_token (SEMICOLON))
2623 : : {
2624 : 0 : skip_after_semicolon ();
2625 : 0 : return nullptr;
2626 : : }
2627 : :
2628 : : return std::unique_ptr<AST::ExternCrate> (
2629 : 0 : new AST::ExternCrate (std::move (crate_name), std::move (vis),
2630 : 0 : std::move (outer_attrs), locus, std::move (as_name)));
2631 : 54 : }
2632 : :
2633 : : // Parses a use declaration.
2634 : : template <typename ManagedTokenSource>
2635 : : std::unique_ptr<AST::UseDeclaration>
2636 : 157 : Parser<ManagedTokenSource>::parse_use_decl (AST::Visibility vis,
2637 : : AST::AttrVec outer_attrs)
2638 : : {
2639 : 157 : location_t locus = lexer.peek_token ()->get_locus ();
2640 : 157 : if (!skip_token (USE))
2641 : : {
2642 : 0 : skip_after_semicolon ();
2643 : 0 : return nullptr;
2644 : : }
2645 : :
2646 : : // parse use tree, which is required
2647 : 157 : std::unique_ptr<AST::UseTree> use_tree = parse_use_tree ();
2648 : 157 : if (use_tree == nullptr)
2649 : : {
2650 : 0 : Error error (lexer.peek_token ()->get_locus (),
2651 : : "could not parse use tree in use declaration");
2652 : 0 : add_error (std::move (error));
2653 : :
2654 : 0 : skip_after_semicolon ();
2655 : 0 : return nullptr;
2656 : 0 : }
2657 : :
2658 : 157 : if (!skip_token (SEMICOLON))
2659 : : {
2660 : 0 : skip_after_semicolon ();
2661 : 0 : return nullptr;
2662 : : }
2663 : :
2664 : : return std::unique_ptr<AST::UseDeclaration> (
2665 : 157 : new AST::UseDeclaration (std::move (use_tree), std::move (vis),
2666 : 157 : std::move (outer_attrs), locus));
2667 : 157 : }
2668 : :
2669 : : // Parses a use tree (which can be recursive and is actually a base class).
2670 : : template <typename ManagedTokenSource>
2671 : : std::unique_ptr<AST::UseTree>
2672 : 227 : Parser<ManagedTokenSource>::parse_use_tree ()
2673 : : {
2674 : : /* potential syntax definitions in attempt to get algorithm:
2675 : : * Glob:
2676 : : * <- SimplePath :: *
2677 : : * <- :: *
2678 : : * <- *
2679 : : * Nested tree thing:
2680 : : * <- SimplePath :: { COMPLICATED_INNER_TREE_THING }
2681 : : * <- :: COMPLICATED_INNER_TREE_THING }
2682 : : * <- { COMPLICATED_INNER_TREE_THING }
2683 : : * Rebind thing:
2684 : : * <- SimplePath as IDENTIFIER
2685 : : * <- SimplePath as _
2686 : : * <- SimplePath
2687 : : */
2688 : :
2689 : : /* current plan of attack: try to parse SimplePath first - if fails, one of
2690 : : * top two then try parse :: - if fails, one of top two. Next is deciding
2691 : : * character for top two. */
2692 : :
2693 : : /* Thus, parsing smaller parts of use tree may require feeding into function
2694 : : * via parameters (or could handle all in this single function because other
2695 : : * use tree types aren't recognised as separate in the spec) */
2696 : :
2697 : : // TODO: I think this function is too complex, probably should split it
2698 : :
2699 : 227 : location_t locus = lexer.peek_token ()->get_locus ();
2700 : :
2701 : : // bool has_path = false;
2702 : 227 : AST::SimplePath path = parse_simple_path ();
2703 : :
2704 : 227 : if (path.is_empty ())
2705 : : {
2706 : : // has no path, so must be glob or nested tree UseTree type
2707 : :
2708 : 0 : bool is_global = false;
2709 : :
2710 : : // check for global scope resolution operator
2711 : 0 : if (lexer.peek_token ()->get_id () == SCOPE_RESOLUTION)
2712 : : {
2713 : 0 : lexer.skip_token ();
2714 : 0 : is_global = true;
2715 : : }
2716 : :
2717 : 0 : const_TokenPtr t = lexer.peek_token ();
2718 : 0 : switch (t->get_id ())
2719 : : {
2720 : 0 : case ASTERISK:
2721 : : // glob UseTree type
2722 : 0 : lexer.skip_token ();
2723 : :
2724 : 0 : if (is_global)
2725 : 0 : return std::unique_ptr<AST::UseTreeGlob> (
2726 : 0 : new AST::UseTreeGlob (AST::UseTreeGlob::GLOBAL,
2727 : 0 : AST::SimplePath::create_empty (), locus));
2728 : : else
2729 : 0 : return std::unique_ptr<AST::UseTreeGlob> (
2730 : 0 : new AST::UseTreeGlob (AST::UseTreeGlob::NO_PATH,
2731 : 0 : AST::SimplePath::create_empty (), locus));
2732 : 0 : case LEFT_CURLY: {
2733 : : // nested tree UseTree type
2734 : 0 : lexer.skip_token ();
2735 : :
2736 : 0 : std::vector<std::unique_ptr<AST::UseTree>> use_trees;
2737 : :
2738 : 0 : const_TokenPtr t = lexer.peek_token ();
2739 : 0 : while (t->get_id () != RIGHT_CURLY)
2740 : : {
2741 : 0 : std::unique_ptr<AST::UseTree> use_tree = parse_use_tree ();
2742 : 0 : if (use_tree == nullptr)
2743 : : {
2744 : : break;
2745 : : }
2746 : :
2747 : 0 : use_trees.push_back (std::move (use_tree));
2748 : :
2749 : 0 : if (lexer.peek_token ()->get_id () != COMMA)
2750 : : break;
2751 : :
2752 : 0 : lexer.skip_token ();
2753 : 0 : t = lexer.peek_token ();
2754 : : }
2755 : :
2756 : : // skip end curly delimiter
2757 : 0 : if (!skip_token (RIGHT_CURLY))
2758 : : {
2759 : : // skip after somewhere?
2760 : 0 : return nullptr;
2761 : : }
2762 : :
2763 : 0 : if (is_global)
2764 : 0 : return std::unique_ptr<AST::UseTreeList> (
2765 : 0 : new AST::UseTreeList (AST::UseTreeList::GLOBAL,
2766 : 0 : AST::SimplePath::create_empty (),
2767 : 0 : std::move (use_trees), locus));
2768 : : else
2769 : 0 : return std::unique_ptr<AST::UseTreeList> (
2770 : 0 : new AST::UseTreeList (AST::UseTreeList::NO_PATH,
2771 : 0 : AST::SimplePath::create_empty (),
2772 : 0 : std::move (use_trees), locus));
2773 : 0 : }
2774 : 0 : case AS:
2775 : : // this is not allowed
2776 : 0 : add_error (Error (
2777 : : t->get_locus (),
2778 : : "use declaration with rebind %<as%> requires a valid simple path - "
2779 : : "none found"));
2780 : :
2781 : 0 : skip_after_semicolon ();
2782 : 0 : return nullptr;
2783 : 0 : default:
2784 : 0 : add_error (Error (t->get_locus (),
2785 : : "unexpected token %qs in use tree with "
2786 : : "no valid simple path (i.e. list"
2787 : : " or glob use tree)",
2788 : : t->get_token_description ()));
2789 : :
2790 : 0 : skip_after_semicolon ();
2791 : 0 : return nullptr;
2792 : : }
2793 : 0 : }
2794 : : else
2795 : : {
2796 : : /* Due to aforementioned implementation issues, the trailing :: token is
2797 : : * consumed by the path, so it can not be used as a disambiguator.
2798 : : * NOPE, not true anymore - TODO what are the consequences of this? */
2799 : :
2800 : 227 : const_TokenPtr t = lexer.peek_token ();
2801 : 227 : switch (t->get_id ())
2802 : : {
2803 : 5 : case ASTERISK:
2804 : : // glob UseTree type
2805 : 5 : lexer.skip_token ();
2806 : :
2807 : 5 : return std::unique_ptr<AST::UseTreeGlob> (
2808 : 10 : new AST::UseTreeGlob (AST::UseTreeGlob::PATH_PREFIXED,
2809 : 5 : std::move (path), locus));
2810 : 24 : case LEFT_CURLY: {
2811 : : // nested tree UseTree type
2812 : 24 : lexer.skip_token ();
2813 : :
2814 : 24 : std::vector<std::unique_ptr<AST::UseTree>> use_trees;
2815 : :
2816 : : // TODO: think of better control structure
2817 : 24 : const_TokenPtr t = lexer.peek_token ();
2818 : 94 : while (t->get_id () != RIGHT_CURLY)
2819 : : {
2820 : 70 : std::unique_ptr<AST::UseTree> use_tree = parse_use_tree ();
2821 : 70 : if (use_tree == nullptr)
2822 : : {
2823 : : break;
2824 : : }
2825 : :
2826 : 70 : use_trees.push_back (std::move (use_tree));
2827 : :
2828 : 140 : if (lexer.peek_token ()->get_id () != COMMA)
2829 : : break;
2830 : :
2831 : 46 : lexer.skip_token ();
2832 : 46 : t = lexer.peek_token ();
2833 : : }
2834 : :
2835 : : // skip end curly delimiter
2836 : 24 : if (!skip_token (RIGHT_CURLY))
2837 : : {
2838 : : // skip after somewhere?
2839 : 0 : return nullptr;
2840 : : }
2841 : :
2842 : 24 : return std::unique_ptr<AST::UseTreeList> (
2843 : 48 : new AST::UseTreeList (AST::UseTreeList::PATH_PREFIXED,
2844 : : std::move (path), std::move (use_trees),
2845 : 24 : locus));
2846 : 24 : }
2847 : 2 : case AS: {
2848 : : // rebind UseTree type
2849 : 2 : lexer.skip_token ();
2850 : :
2851 : 2 : const_TokenPtr t = lexer.peek_token ();
2852 : 2 : switch (t->get_id ())
2853 : : {
2854 : 2 : case IDENTIFIER:
2855 : : // skip lexer token
2856 : 2 : lexer.skip_token ();
2857 : :
2858 : 2 : return std::unique_ptr<AST::UseTreeRebind> (
2859 : 8 : new AST::UseTreeRebind (AST::UseTreeRebind::IDENTIFIER,
2860 : 2 : std::move (path), locus, t));
2861 : 0 : case UNDERSCORE:
2862 : : // skip lexer token
2863 : 0 : lexer.skip_token ();
2864 : :
2865 : 0 : return std::unique_ptr<AST::UseTreeRebind> (
2866 : 0 : new AST::UseTreeRebind (AST::UseTreeRebind::WILDCARD,
2867 : : std::move (path), locus,
2868 : : {Values::Keywords::UNDERSCORE,
2869 : 0 : t->get_locus ()}));
2870 : 0 : default:
2871 : 0 : add_error (Error (
2872 : : t->get_locus (),
2873 : : "unexpected token %qs in use tree with as clause - expected "
2874 : : "identifier or %<_%>",
2875 : : t->get_token_description ()));
2876 : :
2877 : 0 : skip_after_semicolon ();
2878 : 0 : return nullptr;
2879 : : }
2880 : 2 : }
2881 : 126 : case SEMICOLON:
2882 : : // rebind UseTree type without rebinding - path only
2883 : :
2884 : : // don't skip semicolon - handled in parse_use_tree
2885 : : // lexer.skip_token();
2886 : :
2887 : 126 : return std::unique_ptr<AST::UseTreeRebind> (
2888 : 252 : new AST::UseTreeRebind (AST::UseTreeRebind::NONE, std::move (path),
2889 : 126 : locus));
2890 : 70 : case COMMA:
2891 : : case RIGHT_CURLY:
2892 : : // this may occur in recursive calls - assume it is ok and ignore it
2893 : 70 : return std::unique_ptr<AST::UseTreeRebind> (
2894 : 140 : new AST::UseTreeRebind (AST::UseTreeRebind::NONE, std::move (path),
2895 : 70 : locus));
2896 : 0 : default:
2897 : 0 : add_error (Error (t->get_locus (),
2898 : : "unexpected token %qs in use tree with valid path",
2899 : : t->get_token_description ()));
2900 : :
2901 : : // skip_after_semicolon();
2902 : 0 : return nullptr;
2903 : : }
2904 : 227 : }
2905 : 227 : }
2906 : :
2907 : : // Parses a function (not a method).
2908 : : template <typename ManagedTokenSource>
2909 : : std::unique_ptr<AST::Function>
2910 : 7926 : Parser<ManagedTokenSource>::parse_function (AST::Visibility vis,
2911 : : AST::AttrVec outer_attrs,
2912 : : bool is_external)
2913 : : {
2914 : 7926 : location_t locus = lexer.peek_token ()->get_locus ();
2915 : : // Get qualifiers for function if they exist
2916 : 7926 : AST::FunctionQualifiers qualifiers = parse_function_qualifiers ();
2917 : :
2918 : 7926 : skip_token (FN_KW);
2919 : :
2920 : : // Save function name token
2921 : 7926 : const_TokenPtr function_name_tok = expect_token (IDENTIFIER);
2922 : 7926 : if (function_name_tok == nullptr)
2923 : : {
2924 : 0 : skip_after_next_block ();
2925 : 0 : return nullptr;
2926 : : }
2927 : 7926 : Identifier function_name{function_name_tok};
2928 : :
2929 : : // parse generic params - if exist
2930 : 7926 : std::vector<std::unique_ptr<AST::GenericParam>> generic_params
2931 : : = parse_generic_params_in_angles ();
2932 : :
2933 : 7926 : if (!skip_token (LEFT_PAREN))
2934 : : {
2935 : 0 : Error error (lexer.peek_token ()->get_locus (),
2936 : : "function declaration missing opening parentheses before "
2937 : : "parameter list");
2938 : 0 : add_error (std::move (error));
2939 : :
2940 : 0 : skip_after_next_block ();
2941 : 0 : return nullptr;
2942 : 0 : }
2943 : :
2944 : 7926 : auto initial_param = parse_self_param ();
2945 : :
2946 : 7926 : if (!initial_param.has_value ()
2947 : 7926 : && initial_param.error () != ParseSelfError::NOT_SELF)
2948 : 0 : return nullptr;
2949 : :
2950 : 8754 : if (initial_param.has_value () && lexer.peek_token ()->get_id () == COMMA)
2951 : 392 : skip_token ();
2952 : :
2953 : : // parse function parameters (only if next token isn't right paren)
2954 : 7926 : std::vector<std::unique_ptr<AST::Param>> function_params;
2955 : :
2956 : 15852 : if (lexer.peek_token ()->get_id () != RIGHT_PAREN)
2957 : : function_params
2958 : 3004 : = parse_function_params ([] (TokenId id) { return id == RIGHT_PAREN; });
2959 : :
2960 : 7926 : if (initial_param.has_value ())
2961 : 828 : function_params.insert (function_params.begin (),
2962 : 828 : std::move (*initial_param));
2963 : :
2964 : 7926 : if (!skip_token (RIGHT_PAREN))
2965 : : {
2966 : 0 : Error error (lexer.peek_token ()->get_locus (),
2967 : : "function declaration missing closing parentheses after "
2968 : : "parameter list");
2969 : 0 : add_error (std::move (error));
2970 : :
2971 : 0 : skip_after_next_block ();
2972 : 0 : return nullptr;
2973 : 0 : }
2974 : :
2975 : : // parse function return type - if exists
2976 : 7926 : std::unique_ptr<AST::Type> return_type = parse_function_return_type ();
2977 : :
2978 : : // parse where clause - if exists
2979 : 7926 : AST::WhereClause where_clause = parse_where_clause ();
2980 : :
2981 : 7926 : tl::optional<std::unique_ptr<AST::BlockExpr>> body = tl::nullopt;
2982 : 15852 : if (lexer.peek_token ()->get_id () == SEMICOLON)
2983 : 2457 : lexer.skip_token ();
2984 : : else
2985 : : {
2986 : 5469 : std::unique_ptr<AST::BlockExpr> block_expr = parse_block_expr ();
2987 : 5469 : if (block_expr != nullptr)
2988 : 5450 : body = std::move (block_expr);
2989 : 5469 : }
2990 : :
2991 : : return std::unique_ptr<AST::Function> (
2992 : 21302 : new AST::Function (std::move (function_name), std::move (qualifiers),
2993 : : std::move (generic_params), std::move (function_params),
2994 : : std::move (return_type), std::move (where_clause),
2995 : : std::move (body), std::move (vis),
2996 : 7926 : std::move (outer_attrs), locus, false, is_external));
2997 : 23778 : }
2998 : :
2999 : : // Parses function or method qualifiers (i.e. const, unsafe, and extern).
3000 : : template <typename ManagedTokenSource>
3001 : : AST::FunctionQualifiers
3002 : 11419 : Parser<ManagedTokenSource>::parse_function_qualifiers ()
3003 : : {
3004 : 11419 : Async async_status = Async::No;
3005 : 11419 : Const const_status = Const::No;
3006 : 11419 : Unsafety unsafe_status = Unsafety::Normal;
3007 : 11419 : bool has_extern = false;
3008 : 11419 : std::string abi;
3009 : :
3010 : 11419 : const_TokenPtr t;
3011 : : location_t locus;
3012 : : // Check in order of const, unsafe, then extern
3013 : 34257 : for (int i = 0; i < 2; i++)
3014 : : {
3015 : 22838 : t = lexer.peek_token ();
3016 : 22838 : locus = t->get_locus ();
3017 : :
3018 : 22838 : switch (t->get_id ())
3019 : : {
3020 : 613 : case CONST:
3021 : 613 : lexer.skip_token ();
3022 : 613 : const_status = Const::Yes;
3023 : 613 : break;
3024 : 8 : case ASYNC:
3025 : 8 : lexer.skip_token ();
3026 : 8 : async_status = Async::Yes;
3027 : 8 : break;
3028 : : default:
3029 : : // const status is still none
3030 : : break;
3031 : : }
3032 : : }
3033 : :
3034 : 22838 : if (lexer.peek_token ()->get_id () == UNSAFE)
3035 : : {
3036 : 331 : lexer.skip_token ();
3037 : 331 : unsafe_status = Unsafety::Unsafe;
3038 : : }
3039 : :
3040 : 22838 : if (lexer.peek_token ()->get_id () == EXTERN_KW)
3041 : : {
3042 : 50 : lexer.skip_token ();
3043 : 50 : has_extern = true;
3044 : :
3045 : : // detect optional abi name
3046 : 50 : const_TokenPtr next_tok = lexer.peek_token ();
3047 : 50 : if (next_tok->get_id () == STRING_LITERAL)
3048 : : {
3049 : 50 : lexer.skip_token ();
3050 : 50 : abi = next_tok->get_str ();
3051 : : }
3052 : 50 : }
3053 : :
3054 : 22838 : return AST::FunctionQualifiers (locus, async_status, const_status,
3055 : 11419 : unsafe_status, has_extern, std::move (abi));
3056 : 11419 : }
3057 : :
3058 : : // Parses generic (lifetime or type) params inside angle brackets (optional).
3059 : : template <typename ManagedTokenSource>
3060 : : std::vector<std::unique_ptr<AST::GenericParam>>
3061 : 19633 : Parser<ManagedTokenSource>::parse_generic_params_in_angles ()
3062 : : {
3063 : 39266 : if (lexer.peek_token ()->get_id () != LEFT_ANGLE)
3064 : : {
3065 : : // seems to be no generic params, so exit with empty vector
3066 : 16900 : return std::vector<std::unique_ptr<AST::GenericParam>> ();
3067 : : }
3068 : 2733 : lexer.skip_token ();
3069 : :
3070 : : // DEBUG:
3071 : 2733 : rust_debug ("skipped left angle in generic param");
3072 : :
3073 : 2733 : std::vector<std::unique_ptr<AST::GenericParam>> generic_params
3074 : : = parse_generic_params (is_right_angle_tok);
3075 : :
3076 : : // DEBUG:
3077 : 2733 : rust_debug ("finished parsing actual generic params (i.e. inside angles)");
3078 : :
3079 : 2733 : if (!skip_generics_right_angle ())
3080 : : {
3081 : : // DEBUG
3082 : 9 : rust_debug ("failed to skip generics right angle - returning empty "
3083 : : "generic params");
3084 : :
3085 : 9 : return std::vector<std::unique_ptr<AST::GenericParam>> ();
3086 : : }
3087 : :
3088 : 2724 : return generic_params;
3089 : 2733 : }
3090 : :
3091 : : template <typename ManagedTokenSource>
3092 : : template <typename EndTokenPred>
3093 : : std::unique_ptr<AST::GenericParam>
3094 : 3016 : Parser<ManagedTokenSource>::parse_generic_param (EndTokenPred is_end_token)
3095 : : {
3096 : 3016 : auto token = lexer.peek_token ();
3097 : 3016 : auto outer_attrs = parse_outer_attribute ();
3098 : 3016 : std::unique_ptr<AST::GenericParam> param;
3099 : :
3100 : 3016 : switch (token->get_id ())
3101 : : {
3102 : 193 : case LIFETIME: {
3103 : 193 : auto lifetime = parse_lifetime (false);
3104 : 193 : if (lifetime.is_error ())
3105 : : {
3106 : 0 : rust_error_at (
3107 : : token->get_locus (),
3108 : : "failed to parse lifetime in generic parameter list");
3109 : 0 : return nullptr;
3110 : : }
3111 : :
3112 : 193 : std::vector<AST::Lifetime> lifetime_bounds;
3113 : 386 : if (lexer.peek_token ()->get_id () == COLON)
3114 : : {
3115 : 1 : lexer.skip_token ();
3116 : : // parse required bounds
3117 : : lifetime_bounds
3118 : 1 : = parse_lifetime_bounds ([is_end_token] (TokenId id) {
3119 : 1 : return is_end_token (id) || id == COMMA;
3120 : : });
3121 : : }
3122 : :
3123 : 193 : param = std::unique_ptr<AST::LifetimeParam> (new AST::LifetimeParam (
3124 : : std::move (lifetime), std::move (lifetime_bounds),
3125 : 193 : std::move (outer_attrs), token->get_locus ()));
3126 : : break;
3127 : 193 : }
3128 : 2783 : case IDENTIFIER: {
3129 : 2783 : auto type_ident = token->get_str ();
3130 : 2783 : lexer.skip_token ();
3131 : :
3132 : 2783 : std::vector<std::unique_ptr<AST::TypeParamBound>> type_param_bounds;
3133 : 5566 : if (lexer.peek_token ()->get_id () == COLON)
3134 : : {
3135 : 254 : lexer.skip_token ();
3136 : :
3137 : : // parse optional type param bounds
3138 : 254 : type_param_bounds = parse_type_param_bounds ();
3139 : : }
3140 : :
3141 : 2783 : std::unique_ptr<AST::Type> type = nullptr;
3142 : 5566 : if (lexer.peek_token ()->get_id () == EQUAL)
3143 : : {
3144 : 106 : lexer.skip_token ();
3145 : :
3146 : : // parse required type
3147 : 106 : type = parse_type ();
3148 : 106 : if (!type)
3149 : : {
3150 : 0 : rust_error_at (
3151 : 0 : lexer.peek_token ()->get_locus (),
3152 : : "failed to parse type in type param in generic params");
3153 : 0 : return nullptr;
3154 : : }
3155 : : }
3156 : :
3157 : 2783 : param = std::unique_ptr<AST::TypeParam> (
3158 : 5566 : new AST::TypeParam (std::move (type_ident), token->get_locus (),
3159 : : std::move (type_param_bounds), std::move (type),
3160 : 2783 : std::move (outer_attrs)));
3161 : : break;
3162 : 2783 : }
3163 : 31 : case CONST: {
3164 : 31 : lexer.skip_token ();
3165 : :
3166 : 31 : auto name_token = expect_token (IDENTIFIER);
3167 : :
3168 : 62 : if (!name_token || !expect_token (COLON))
3169 : 1 : return nullptr;
3170 : :
3171 : 30 : auto type = parse_type ();
3172 : 30 : if (!type)
3173 : 1 : return nullptr;
3174 : :
3175 : : // optional default value
3176 : 29 : auto default_expr = AST::GenericArg::create_error ();
3177 : 58 : if (lexer.peek_token ()->get_id () == EQUAL)
3178 : : {
3179 : 17 : lexer.skip_token ();
3180 : 17 : auto tok = lexer.peek_token ();
3181 : 17 : default_expr = parse_generic_arg ();
3182 : :
3183 : 17 : if (default_expr.is_error ())
3184 : 1 : rust_error_at (tok->get_locus (),
3185 : : "invalid token for start of default value for "
3186 : : "const generic parameter: expected %<block%>, "
3187 : : "%<identifier%> or %<literal%>, got %qs",
3188 : : token_id_to_str (tok->get_id ()));
3189 : :
3190 : : // At this point, we *know* that we are parsing a const
3191 : : // expression
3192 : 17 : if (default_expr.get_kind () == AST::GenericArg::Kind::Either)
3193 : 1 : default_expr = default_expr.disambiguate_to_const ();
3194 : 17 : }
3195 : :
3196 : 29 : param = std::unique_ptr<AST::ConstGenericParam> (
3197 : 58 : new AST::ConstGenericParam (name_token->get_str (), std::move (type),
3198 : : default_expr, std::move (outer_attrs),
3199 : 29 : token->get_locus ()));
3200 : :
3201 : : break;
3202 : 61 : }
3203 : 9 : default:
3204 : : // FIXME: Can we clean this last call with a method call?
3205 : 9 : rust_error_at (token->get_locus (),
3206 : : "unexpected token when parsing generic parameters: %qs",
3207 : 18 : token->as_string ().c_str ());
3208 : 9 : return nullptr;
3209 : : }
3210 : :
3211 : 3005 : return param;
3212 : 6032 : }
3213 : :
3214 : : /* Parse generic (lifetime or type) params NOT INSIDE ANGLE BRACKETS!!! Almost
3215 : : * always parse_generic_params_in_angles is what is wanted. */
3216 : : template <typename ManagedTokenSource>
3217 : : template <typename EndTokenPred>
3218 : : std::vector<std::unique_ptr<AST::GenericParam>>
3219 : 2733 : Parser<ManagedTokenSource>::parse_generic_params (EndTokenPred is_end_token)
3220 : : {
3221 : 2733 : std::vector<std::unique_ptr<AST::GenericParam>> generic_params;
3222 : :
3223 : : /* can't parse lifetime and type params separately due to lookahead issues
3224 : : * thus, parse them all here */
3225 : :
3226 : : /* HACK: used to retain attribute data if a lifetime param is tentatively
3227 : : * parsed but it turns out to be type param */
3228 : 2733 : AST::Attribute parsed_outer_attr = AST::Attribute::create_empty ();
3229 : :
3230 : : // Did we parse a generic type param yet
3231 : 2733 : auto type_seen = false;
3232 : : // Did the user write a lifetime parameter after a type one
3233 : 2733 : auto order_error = false;
3234 : :
3235 : : // parse lifetime params
3236 : 14492 : while (!is_end_token (lexer.peek_token ()->get_id ()))
3237 : : {
3238 : 3016 : auto param = parse_generic_param (is_end_token);
3239 : 3016 : if (param)
3240 : : {
3241 : : // TODO: Handle `Const` here as well if necessary
3242 : 3005 : if (param->get_kind () == AST::GenericParam::Kind::Type)
3243 : : type_seen = true;
3244 : 222 : else if (param->get_kind () == AST::GenericParam::Kind::Lifetime
3245 : 222 : && type_seen)
3246 : : order_error = true;
3247 : :
3248 : 3005 : generic_params.emplace_back (std::move (param));
3249 : 3005 : maybe_skip_token (COMMA);
3250 : : }
3251 : : else
3252 : : break;
3253 : : }
3254 : :
3255 : : // FIXME: Add reordering hint
3256 : 2733 : if (order_error)
3257 : : {
3258 : 1 : Error error (generic_params.front ()->get_locus (),
3259 : : "invalid order for generic parameters: lifetime parameters "
3260 : : "must be declared prior to type and const parameters");
3261 : 1 : add_error (std::move (error));
3262 : 1 : }
3263 : :
3264 : : generic_params.shrink_to_fit ();
3265 : 2733 : return generic_params;
3266 : 2733 : }
3267 : :
3268 : : /* Parses lifetime generic parameters (pointers). Will also consume any
3269 : : * trailing comma. No extra checks for end token. */
3270 : : template <typename ManagedTokenSource>
3271 : : std::vector<std::unique_ptr<AST::LifetimeParam>>
3272 : 0 : Parser<ManagedTokenSource>::parse_lifetime_params ()
3273 : : {
3274 : 0 : std::vector<std::unique_ptr<AST::LifetimeParam>> lifetime_params;
3275 : :
3276 : 0 : while (lexer.peek_token ()->get_id () != END_OF_FILE)
3277 : : {
3278 : 0 : AST::LifetimeParam lifetime_param = parse_lifetime_param ();
3279 : :
3280 : 0 : if (lifetime_param.is_error ())
3281 : : {
3282 : : // can't treat as error as only way to get out with trailing comma
3283 : : break;
3284 : : }
3285 : :
3286 : 0 : lifetime_params.push_back (std::unique_ptr<AST::LifetimeParam> (
3287 : 0 : new AST::LifetimeParam (std::move (lifetime_param))));
3288 : :
3289 : 0 : if (lexer.peek_token ()->get_id () != COMMA)
3290 : : break;
3291 : :
3292 : : // skip commas, including trailing commas
3293 : 0 : lexer.skip_token ();
3294 : : }
3295 : :
3296 : : lifetime_params.shrink_to_fit ();
3297 : :
3298 : 0 : return lifetime_params;
3299 : : }
3300 : :
3301 : : /* Parses lifetime generic parameters (pointers). Will also consume any
3302 : : * trailing comma. Has extra is_end_token predicate checking. */
3303 : : template <typename ManagedTokenSource>
3304 : : template <typename EndTokenPred>
3305 : : std::vector<std::unique_ptr<AST::LifetimeParam>>
3306 : : Parser<ManagedTokenSource>::parse_lifetime_params (EndTokenPred is_end_token)
3307 : : {
3308 : : std::vector<std::unique_ptr<AST::LifetimeParam>> lifetime_params;
3309 : :
3310 : : // if end_token is not specified, it defaults to EOF, so should work fine
3311 : : while (!is_end_token (lexer.peek_token ()->get_id ()))
3312 : : {
3313 : : AST::LifetimeParam lifetime_param = parse_lifetime_param ();
3314 : :
3315 : : if (lifetime_param.is_error ())
3316 : : {
3317 : : /* TODO: is it worth throwing away all lifetime params just because
3318 : : * one failed? */
3319 : : Error error (lexer.peek_token ()->get_locus (),
3320 : : "failed to parse lifetime param in lifetime params");
3321 : : add_error (std::move (error));
3322 : :
3323 : : return {};
3324 : : }
3325 : :
3326 : : lifetime_params.push_back (std::unique_ptr<AST::LifetimeParam> (
3327 : : new AST::LifetimeParam (std::move (lifetime_param))));
3328 : :
3329 : : if (lexer.peek_token ()->get_id () != COMMA)
3330 : : break;
3331 : :
3332 : : // skip commas, including trailing commas
3333 : : lexer.skip_token ();
3334 : : }
3335 : :
3336 : : lifetime_params.shrink_to_fit ();
3337 : :
3338 : : return lifetime_params;
3339 : : }
3340 : :
3341 : : /* Parses lifetime generic parameters (objects). Will also consume any
3342 : : * trailing comma. No extra checks for end token.
3343 : : * TODO: is this best solution? implements most of the same algorithm. */
3344 : : template <typename ManagedTokenSource>
3345 : : std::vector<AST::LifetimeParam>
3346 : : Parser<ManagedTokenSource>::parse_lifetime_params_objs ()
3347 : : {
3348 : : std::vector<AST::LifetimeParam> lifetime_params;
3349 : :
3350 : : // bad control structure as end token cannot be guaranteed
3351 : : while (true)
3352 : : {
3353 : : AST::LifetimeParam lifetime_param = parse_lifetime_param ();
3354 : :
3355 : : if (lifetime_param.is_error ())
3356 : : {
3357 : : // not an error as only way to exit if trailing comma
3358 : : break;
3359 : : }
3360 : :
3361 : : lifetime_params.push_back (std::move (lifetime_param));
3362 : :
3363 : : if (lexer.peek_token ()->get_id () != COMMA)
3364 : : break;
3365 : :
3366 : : // skip commas, including trailing commas
3367 : : lexer.skip_token ();
3368 : : }
3369 : :
3370 : : lifetime_params.shrink_to_fit ();
3371 : :
3372 : : return lifetime_params;
3373 : : }
3374 : :
3375 : : /* Parses lifetime generic parameters (objects). Will also consume any
3376 : : * trailing comma. Has extra is_end_token predicate checking.
3377 : : * TODO: is this best solution? implements most of the same algorithm. */
3378 : : template <typename ManagedTokenSource>
3379 : : template <typename EndTokenPred>
3380 : : std::vector<AST::LifetimeParam>
3381 : 25 : Parser<ManagedTokenSource>::parse_lifetime_params_objs (
3382 : : EndTokenPred is_end_token)
3383 : : {
3384 : 25 : std::vector<AST::LifetimeParam> lifetime_params;
3385 : :
3386 : 75 : while (!is_end_token (lexer.peek_token ()->get_id ()))
3387 : : {
3388 : 25 : AST::LifetimeParam lifetime_param = parse_lifetime_param ();
3389 : :
3390 : 25 : if (lifetime_param.is_error ())
3391 : : {
3392 : : /* TODO: is it worth throwing away all lifetime params just because
3393 : : * one failed? */
3394 : 0 : Error error (lexer.peek_token ()->get_locus (),
3395 : : "failed to parse lifetime param in lifetime params");
3396 : 0 : add_error (std::move (error));
3397 : :
3398 : 0 : return {};
3399 : 0 : }
3400 : :
3401 : 25 : lifetime_params.push_back (std::move (lifetime_param));
3402 : :
3403 : 50 : if (lexer.peek_token ()->get_id () != COMMA)
3404 : : break;
3405 : :
3406 : : // skip commas, including trailing commas
3407 : 0 : lexer.skip_token ();
3408 : : }
3409 : :
3410 : 25 : lifetime_params.shrink_to_fit ();
3411 : :
3412 : 25 : return lifetime_params;
3413 : 25 : }
3414 : :
3415 : : /* Parses a sequence of a certain grammar rule in object form (not pointer or
3416 : : * smart pointer), delimited by commas and ending when 'is_end_token' is
3417 : : * satisfied (templated). Will also consume any trailing comma.
3418 : : * FIXME: this cannot be used due to member function pointer problems (i.e.
3419 : : * parsing_function cannot be specified properly) */
3420 : : template <typename ManagedTokenSource>
3421 : : template <typename ParseFunction, typename EndTokenPred>
3422 : : auto
3423 : : Parser<ManagedTokenSource>::parse_non_ptr_sequence (
3424 : : ParseFunction parsing_function, EndTokenPred is_end_token,
3425 : : std::string error_msg) -> std::vector<decltype (parsing_function ())>
3426 : : {
3427 : : std::vector<decltype (parsing_function ())> params;
3428 : :
3429 : : while (!is_end_token (lexer.peek_token ()->get_id ()))
3430 : : {
3431 : : auto param = parsing_function ();
3432 : :
3433 : : if (param.is_error ())
3434 : : {
3435 : : // TODO: is it worth throwing away all params just because one
3436 : : // failed?
3437 : : Error error (lexer.peek_token ()->get_locus (),
3438 : : std::move (error_msg));
3439 : : add_error (std::move (error));
3440 : :
3441 : : return {};
3442 : : }
3443 : :
3444 : : params.push_back (std::move (param));
3445 : :
3446 : : if (lexer.peek_token ()->get_id () != COMMA)
3447 : : break;
3448 : :
3449 : : // skip commas, including trailing commas
3450 : : lexer.skip_token ();
3451 : : }
3452 : :
3453 : : params.shrink_to_fit ();
3454 : :
3455 : : return params;
3456 : : }
3457 : :
3458 : : /* Parses a single lifetime generic parameter (not including comma). */
3459 : : template <typename ManagedTokenSource>
3460 : : AST::LifetimeParam
3461 : 25 : Parser<ManagedTokenSource>::parse_lifetime_param ()
3462 : : {
3463 : : // parse outer attribute, which is optional and may not exist
3464 : 25 : AST::Attribute outer_attr = parse_outer_attribute ();
3465 : :
3466 : : // save lifetime token - required
3467 : 25 : const_TokenPtr lifetime_tok = lexer.peek_token ();
3468 : 25 : if (lifetime_tok->get_id () != LIFETIME)
3469 : : {
3470 : : // if lifetime is missing, must not be a lifetime param, so return null
3471 : 0 : return AST::LifetimeParam::create_error ();
3472 : : }
3473 : 25 : lexer.skip_token ();
3474 : 25 : AST::Lifetime lifetime (AST::Lifetime::NAMED, lifetime_tok->get_str (),
3475 : : lifetime_tok->get_locus ());
3476 : :
3477 : : // parse lifetime bounds, if it exists
3478 : 25 : std::vector<AST::Lifetime> lifetime_bounds;
3479 : 50 : if (lexer.peek_token ()->get_id () == COLON)
3480 : : {
3481 : : // parse lifetime bounds
3482 : 0 : lifetime_bounds = parse_lifetime_bounds ();
3483 : : // TODO: have end token passed in?
3484 : : }
3485 : :
3486 : 50 : return AST::LifetimeParam (std::move (lifetime), std::move (lifetime_bounds),
3487 : : std::move (outer_attr),
3488 : 50 : lifetime_tok->get_locus ());
3489 : 50 : }
3490 : :
3491 : : // Parses type generic parameters. Will also consume any trailing comma.
3492 : : template <typename ManagedTokenSource>
3493 : : std::vector<std::unique_ptr<AST::TypeParam>>
3494 : : Parser<ManagedTokenSource>::parse_type_params ()
3495 : : {
3496 : : std::vector<std::unique_ptr<AST::TypeParam>> type_params;
3497 : :
3498 : : // infinite loop with break on failure as no info on ending token
3499 : : while (true)
3500 : : {
3501 : : std::unique_ptr<AST::TypeParam> type_param = parse_type_param ();
3502 : :
3503 : : if (type_param == nullptr)
3504 : : {
3505 : : // break if fails to parse
3506 : : break;
3507 : : }
3508 : :
3509 : : type_params.push_back (std::move (type_param));
3510 : :
3511 : : if (lexer.peek_token ()->get_id () != COMMA)
3512 : : break;
3513 : :
3514 : : // skip commas, including trailing commas
3515 : : lexer.skip_token ();
3516 : : }
3517 : :
3518 : : type_params.shrink_to_fit ();
3519 : : return type_params;
3520 : : }
3521 : :
3522 : : // Parses type generic parameters. Will also consume any trailing comma.
3523 : : template <typename ManagedTokenSource>
3524 : : template <typename EndTokenPred>
3525 : : std::vector<std::unique_ptr<AST::TypeParam>>
3526 : : Parser<ManagedTokenSource>::parse_type_params (EndTokenPred is_end_token)
3527 : : {
3528 : : std::vector<std::unique_ptr<AST::TypeParam>> type_params;
3529 : :
3530 : : while (!is_end_token (lexer.peek_token ()->get_id ()))
3531 : : {
3532 : : std::unique_ptr<AST::TypeParam> type_param = parse_type_param ();
3533 : :
3534 : : if (type_param == nullptr)
3535 : : {
3536 : : Error error (lexer.peek_token ()->get_locus (),
3537 : : "failed to parse type param in type params");
3538 : : add_error (std::move (error));
3539 : :
3540 : : return {};
3541 : : }
3542 : :
3543 : : type_params.push_back (std::move (type_param));
3544 : :
3545 : : if (lexer.peek_token ()->get_id () != COMMA)
3546 : : break;
3547 : :
3548 : : // skip commas, including trailing commas
3549 : : lexer.skip_token ();
3550 : : }
3551 : :
3552 : : type_params.shrink_to_fit ();
3553 : : return type_params;
3554 : : /* TODO: this shares most code with parse_lifetime_params - good place to
3555 : : * use template (i.e. parse_non_ptr_sequence if doable) */
3556 : : }
3557 : :
3558 : : /* Parses a single type (generic) parameter, not including commas. May change
3559 : : * to return value. */
3560 : : template <typename ManagedTokenSource>
3561 : : std::unique_ptr<AST::TypeParam>
3562 : : Parser<ManagedTokenSource>::parse_type_param ()
3563 : : {
3564 : : // parse outer attribute, which is optional and may not exist
3565 : : AST::Attribute outer_attr = parse_outer_attribute ();
3566 : :
3567 : : const_TokenPtr identifier_tok = lexer.peek_token ();
3568 : : if (identifier_tok->get_id () != IDENTIFIER)
3569 : : {
3570 : : // return null as type param can't exist without this required
3571 : : // identifier
3572 : : return nullptr;
3573 : : }
3574 : : Identifier ident{identifier_tok};
3575 : : lexer.skip_token ();
3576 : :
3577 : : // parse type param bounds (if they exist)
3578 : : std::vector<std::unique_ptr<AST::TypeParamBound>> type_param_bounds;
3579 : : if (lexer.peek_token ()->get_id () == COLON)
3580 : : {
3581 : : lexer.skip_token ();
3582 : :
3583 : : // parse type param bounds, which may or may not exist
3584 : : type_param_bounds = parse_type_param_bounds ();
3585 : : }
3586 : :
3587 : : // parse type (if it exists)
3588 : : std::unique_ptr<AST::Type> type = nullptr;
3589 : : if (lexer.peek_token ()->get_id () == EQUAL)
3590 : : {
3591 : : lexer.skip_token ();
3592 : :
3593 : : // parse type (now required)
3594 : : type = parse_type ();
3595 : : if (type == nullptr)
3596 : : {
3597 : : Error error (lexer.peek_token ()->get_locus (),
3598 : : "failed to parse type in type param");
3599 : : add_error (std::move (error));
3600 : :
3601 : : return nullptr;
3602 : : }
3603 : : }
3604 : :
3605 : : return std::unique_ptr<AST::TypeParam> (
3606 : : new AST::TypeParam (std::move (ident), identifier_tok->get_locus (),
3607 : : std::move (type_param_bounds), std::move (type),
3608 : : std::move (outer_attr)));
3609 : : }
3610 : :
3611 : : /* Parses regular (i.e. non-generic) parameters in functions or methods. Also
3612 : : * has end token handling. */
3613 : : template <typename ManagedTokenSource>
3614 : : template <typename EndTokenPred>
3615 : : std::vector<std::unique_ptr<AST::Param>>
3616 : 5298 : Parser<ManagedTokenSource>::parse_function_params (EndTokenPred is_end_token)
3617 : : {
3618 : 5298 : std::vector<std::unique_ptr<AST::Param>> params;
3619 : :
3620 : 10596 : if (is_end_token (lexer.peek_token ()->get_id ()))
3621 : 637 : return params;
3622 : :
3623 : 4661 : auto initial_param = parse_function_param ();
3624 : :
3625 : : // Return empty parameter list if no parameter there
3626 : 4661 : if (initial_param == nullptr)
3627 : : {
3628 : : // TODO: is this an error?
3629 : 0 : return params;
3630 : : }
3631 : :
3632 : 4661 : params.push_back (std::move (initial_param));
3633 : :
3634 : : // maybe think of a better control structure here - do-while with an initial
3635 : : // error state? basically, loop through parameter list until can't find any
3636 : : // more params
3637 : 4661 : const_TokenPtr t = lexer.peek_token ();
3638 : 6276 : while (t->get_id () == COMMA)
3639 : : {
3640 : : // skip comma if applies
3641 : 1615 : lexer.skip_token ();
3642 : :
3643 : : // TODO: strictly speaking, shouldn't there be no trailing comma?
3644 : 3230 : if (is_end_token (lexer.peek_token ()->get_id ()))
3645 : : break;
3646 : :
3647 : : // now, as right paren would break, function param is required
3648 : 1615 : auto param = parse_function_param ();
3649 : 1615 : if (param == nullptr)
3650 : : {
3651 : 0 : Error error (lexer.peek_token ()->get_locus (),
3652 : : "failed to parse function param (in function params)");
3653 : 0 : add_error (std::move (error));
3654 : :
3655 : : // skip somewhere?
3656 : 0 : return std::vector<std::unique_ptr<AST::Param>> ();
3657 : 0 : }
3658 : :
3659 : 1615 : params.push_back (std::move (param));
3660 : :
3661 : 1615 : t = lexer.peek_token ();
3662 : : }
3663 : :
3664 : 4661 : params.shrink_to_fit ();
3665 : 4661 : return params;
3666 : 5298 : }
3667 : :
3668 : : /* Parses a single regular (i.e. non-generic) parameter in a function or
3669 : : * method, i.e. the "name: type" bit. Also handles it not existing. */
3670 : : template <typename ManagedTokenSource>
3671 : : std::unique_ptr<AST::Param>
3672 : 6276 : Parser<ManagedTokenSource>::parse_function_param ()
3673 : : {
3674 : : // parse outer attributes if they exist
3675 : 6276 : AST::AttrVec outer_attrs = parse_outer_attributes ();
3676 : :
3677 : : // TODO: should saved location be at start of outer attributes or pattern?
3678 : 6276 : location_t locus = lexer.peek_token ()->get_locus ();
3679 : :
3680 : 12552 : if (lexer.peek_token ()->get_id () == ELLIPSIS) // Unnamed variadic
3681 : : {
3682 : 699 : lexer.skip_token (); // Skip ellipsis
3683 : 699 : return Rust::make_unique<AST::VariadicParam> (
3684 : 1398 : AST::VariadicParam (std::move (outer_attrs), locus));
3685 : : }
3686 : :
3687 : 5577 : std::unique_ptr<AST::Pattern> param_pattern = parse_pattern ();
3688 : :
3689 : : // create error function param if it doesn't exist
3690 : 5577 : if (param_pattern == nullptr)
3691 : : {
3692 : : // skip after something
3693 : 0 : return nullptr;
3694 : : }
3695 : :
3696 : 5577 : if (!skip_token (COLON))
3697 : : {
3698 : : // skip after something
3699 : 0 : return nullptr;
3700 : : }
3701 : :
3702 : 11154 : if (lexer.peek_token ()->get_id () == ELLIPSIS) // Named variadic
3703 : : {
3704 : 11 : lexer.skip_token (); // Skip ellipsis
3705 : 11 : return Rust::make_unique<AST::VariadicParam> (
3706 : 22 : AST::VariadicParam (std::move (param_pattern), std::move (outer_attrs),
3707 : 11 : locus));
3708 : : }
3709 : : else
3710 : : {
3711 : 5566 : std::unique_ptr<AST::Type> param_type = parse_type ();
3712 : 5566 : if (param_type == nullptr)
3713 : : {
3714 : 0 : return nullptr;
3715 : : }
3716 : 5566 : return Rust::make_unique<AST::FunctionParam> (
3717 : 11132 : AST::FunctionParam (std::move (param_pattern), std::move (param_type),
3718 : 5566 : std::move (outer_attrs), locus));
3719 : 5566 : }
3720 : 6276 : }
3721 : :
3722 : : /* Parses a function or method return type syntactical construction. Also
3723 : : * handles a function return type not existing. */
3724 : : template <typename ManagedTokenSource>
3725 : : std::unique_ptr<AST::Type>
3726 : 11390 : Parser<ManagedTokenSource>::parse_function_return_type ()
3727 : : {
3728 : 22780 : if (lexer.peek_token ()->get_id () != RETURN_TYPE)
3729 : 4277 : return nullptr;
3730 : :
3731 : : // skip return type, as it now obviously exists
3732 : 7113 : lexer.skip_token ();
3733 : :
3734 : 7113 : std::unique_ptr<AST::Type> type = parse_type ();
3735 : :
3736 : 7113 : return type;
3737 : 7113 : }
3738 : :
3739 : : /* Parses a "where clause" (in a function, struct, method, etc.). Also handles
3740 : : * a where clause not existing, in which it will return
3741 : : * WhereClause::create_empty(), which can be checked via
3742 : : * WhereClause::is_empty(). */
3743 : : template <typename ManagedTokenSource>
3744 : : AST::WhereClause
3745 : 19629 : Parser<ManagedTokenSource>::parse_where_clause ()
3746 : : {
3747 : 19629 : const_TokenPtr where_tok = lexer.peek_token ();
3748 : 19629 : if (where_tok->get_id () != WHERE)
3749 : : {
3750 : : // where clause doesn't exist, so create empty one
3751 : 19545 : return AST::WhereClause::create_empty ();
3752 : : }
3753 : :
3754 : 84 : lexer.skip_token ();
3755 : :
3756 : : /* parse where clause items - this is not a separate rule in the reference
3757 : : * so won't be here */
3758 : 84 : std::vector<std::unique_ptr<AST::WhereClauseItem>> where_clause_items;
3759 : :
3760 : 84 : std::vector<AST::LifetimeParam> for_lifetimes;
3761 : 168 : if (lexer.peek_token ()->get_id () == FOR)
3762 : 1 : for_lifetimes = parse_for_lifetimes ();
3763 : :
3764 : : /* HACK: where clauses end with a right curly or semicolon or equals in all
3765 : : * uses currently */
3766 : 84 : const_TokenPtr t = lexer.peek_token ();
3767 : 171 : while (t->get_id () != LEFT_CURLY && t->get_id () != SEMICOLON
3768 : 166 : && t->get_id () != EQUAL)
3769 : : {
3770 : 87 : std::unique_ptr<AST::WhereClauseItem> where_clause_item
3771 : : = parse_where_clause_item (for_lifetimes);
3772 : :
3773 : 87 : if (where_clause_item == nullptr)
3774 : : {
3775 : 0 : Error error (t->get_locus (), "failed to parse where clause item");
3776 : 0 : add_error (std::move (error));
3777 : :
3778 : 0 : return AST::WhereClause::create_empty ();
3779 : 0 : }
3780 : :
3781 : 87 : where_clause_items.push_back (std::move (where_clause_item));
3782 : :
3783 : : // also skip comma if it exists
3784 : 174 : if (lexer.peek_token ()->get_id () != COMMA)
3785 : : break;
3786 : :
3787 : 82 : lexer.skip_token ();
3788 : 82 : t = lexer.peek_token ();
3789 : : }
3790 : :
3791 : 84 : where_clause_items.shrink_to_fit ();
3792 : 84 : return AST::WhereClause (std::move (where_clause_items));
3793 : 84 : }
3794 : :
3795 : : /* Parses a where clause item (lifetime or type bound). Does not parse any
3796 : : * commas. */
3797 : : template <typename ManagedTokenSource>
3798 : : std::unique_ptr<AST::WhereClauseItem>
3799 : 87 : Parser<ManagedTokenSource>::parse_where_clause_item (
3800 : : const std::vector<AST::LifetimeParam> &outer_for_lifetimes)
3801 : : {
3802 : : // shitty cheat way of determining lifetime or type bound - test for
3803 : : // lifetime
3804 : 87 : const_TokenPtr t = lexer.peek_token ();
3805 : :
3806 : 87 : if (t->get_id () == LIFETIME)
3807 : 0 : return parse_lifetime_where_clause_item ();
3808 : : else
3809 : 87 : return parse_type_bound_where_clause_item (outer_for_lifetimes);
3810 : 87 : }
3811 : :
3812 : : // Parses a lifetime where clause item.
3813 : : template <typename ManagedTokenSource>
3814 : : std::unique_ptr<AST::LifetimeWhereClauseItem>
3815 : 0 : Parser<ManagedTokenSource>::parse_lifetime_where_clause_item ()
3816 : : {
3817 : 0 : AST::Lifetime lifetime = parse_lifetime (false);
3818 : 0 : if (lifetime.is_error ())
3819 : : {
3820 : : // TODO: error here?
3821 : 0 : return nullptr;
3822 : : }
3823 : :
3824 : 0 : if (!skip_token (COLON))
3825 : : {
3826 : : // TODO: skip after somewhere
3827 : 0 : return nullptr;
3828 : : }
3829 : :
3830 : 0 : std::vector<AST::Lifetime> lifetime_bounds = parse_lifetime_bounds ();
3831 : : // TODO: have end token passed in?
3832 : :
3833 : 0 : location_t locus = lifetime.get_locus ();
3834 : :
3835 : : return std::unique_ptr<AST::LifetimeWhereClauseItem> (
3836 : 0 : new AST::LifetimeWhereClauseItem (std::move (lifetime),
3837 : 0 : std::move (lifetime_bounds), locus));
3838 : 0 : }
3839 : :
3840 : : // Parses a type bound where clause item.
3841 : : template <typename ManagedTokenSource>
3842 : : std::unique_ptr<AST::TypeBoundWhereClauseItem>
3843 : 87 : Parser<ManagedTokenSource>::parse_type_bound_where_clause_item (
3844 : : const std::vector<AST::LifetimeParam> &outer_for_lifetimes)
3845 : : {
3846 : 87 : std::vector<AST::LifetimeParam> for_lifetimes = outer_for_lifetimes;
3847 : :
3848 : 87 : std::unique_ptr<AST::Type> type = parse_type ();
3849 : 87 : if (type == nullptr)
3850 : : {
3851 : 0 : return nullptr;
3852 : : }
3853 : :
3854 : 87 : if (!skip_token (COLON))
3855 : : {
3856 : : // TODO: skip after somewhere
3857 : 0 : return nullptr;
3858 : : }
3859 : :
3860 : 174 : if (lexer.peek_token ()->get_id () == FOR)
3861 : : {
3862 : 8 : auto for_lifetimes_inner = parse_for_lifetimes ();
3863 : 8 : for_lifetimes.insert (for_lifetimes.end (), for_lifetimes_inner.begin (),
3864 : : for_lifetimes_inner.end ());
3865 : 8 : }
3866 : :
3867 : : // parse type param bounds if they exist
3868 : 87 : std::vector<std::unique_ptr<AST::TypeParamBound>> type_param_bounds
3869 : : = parse_type_param_bounds ();
3870 : :
3871 : 87 : location_t locus = lexer.peek_token ()->get_locus ();
3872 : :
3873 : : return std::unique_ptr<AST::TypeBoundWhereClauseItem> (
3874 : 87 : new AST::TypeBoundWhereClauseItem (std::move (for_lifetimes),
3875 : : std::move (type),
3876 : 87 : std::move (type_param_bounds), locus));
3877 : 87 : }
3878 : :
3879 : : // Parses a for lifetimes clause, including the for keyword and angle
3880 : : // brackets.
3881 : : template <typename ManagedTokenSource>
3882 : : std::vector<AST::LifetimeParam>
3883 : 25 : Parser<ManagedTokenSource>::parse_for_lifetimes ()
3884 : : {
3885 : 25 : std::vector<AST::LifetimeParam> params;
3886 : :
3887 : 25 : if (!skip_token (FOR))
3888 : : {
3889 : : // skip after somewhere?
3890 : : return params;
3891 : : }
3892 : :
3893 : 25 : if (!skip_token (LEFT_ANGLE))
3894 : : {
3895 : : // skip after somewhere?
3896 : : return params;
3897 : : }
3898 : :
3899 : : /* cannot specify end token due to parsing problems with '>' tokens being
3900 : : * nested */
3901 : 25 : params = parse_lifetime_params_objs (is_right_angle_tok);
3902 : :
3903 : 25 : if (!skip_generics_right_angle ())
3904 : : {
3905 : : // DEBUG
3906 : 0 : rust_debug ("failed to skip generics right angle after (supposedly) "
3907 : : "finished parsing where clause items");
3908 : : // ok, well this gets called.
3909 : :
3910 : : // skip after somewhere?
3911 : 0 : return params;
3912 : : }
3913 : :
3914 : : return params;
3915 : : }
3916 : :
3917 : : // Parses type parameter bounds in where clause or generic arguments.
3918 : : template <typename ManagedTokenSource>
3919 : : std::vector<std::unique_ptr<AST::TypeParamBound>>
3920 : 342 : Parser<ManagedTokenSource>::parse_type_param_bounds ()
3921 : : {
3922 : 342 : std::vector<std::unique_ptr<AST::TypeParamBound>> type_param_bounds;
3923 : :
3924 : 342 : std::unique_ptr<AST::TypeParamBound> initial_bound
3925 : : = parse_type_param_bound ();
3926 : :
3927 : : // quick exit if null
3928 : 342 : if (initial_bound == nullptr)
3929 : : {
3930 : : /* error? type param bounds must have at least one term, but are bounds
3931 : : * optional? */
3932 : : return type_param_bounds;
3933 : : }
3934 : 342 : type_param_bounds.push_back (std::move (initial_bound));
3935 : :
3936 : 688 : while (lexer.peek_token ()->get_id () == PLUS)
3937 : : {
3938 : 2 : lexer.skip_token ();
3939 : :
3940 : 2 : std::unique_ptr<AST::TypeParamBound> bound = parse_type_param_bound ();
3941 : 2 : if (bound == nullptr)
3942 : : {
3943 : : /* not an error: bound is allowed to be null as trailing plus is
3944 : : * allowed */
3945 : : return type_param_bounds;
3946 : : }
3947 : :
3948 : 2 : type_param_bounds.push_back (std::move (bound));
3949 : : }
3950 : :
3951 : : type_param_bounds.shrink_to_fit ();
3952 : : return type_param_bounds;
3953 : 342 : }
3954 : :
3955 : : /* Parses type parameter bounds in where clause or generic arguments, with end
3956 : : * token handling. */
3957 : : template <typename ManagedTokenSource>
3958 : : template <typename EndTokenPred>
3959 : : std::vector<std::unique_ptr<AST::TypeParamBound>>
3960 : 165 : Parser<ManagedTokenSource>::parse_type_param_bounds (EndTokenPred is_end_token)
3961 : : {
3962 : 165 : std::vector<std::unique_ptr<AST::TypeParamBound>> type_param_bounds;
3963 : :
3964 : 165 : std::unique_ptr<AST::TypeParamBound> initial_bound
3965 : : = parse_type_param_bound ();
3966 : :
3967 : : // quick exit if null
3968 : 165 : if (initial_bound == nullptr)
3969 : : {
3970 : : /* error? type param bounds must have at least one term, but are bounds
3971 : : * optional? */
3972 : 0 : return type_param_bounds;
3973 : : }
3974 : 165 : type_param_bounds.push_back (std::move (initial_bound));
3975 : :
3976 : 330 : while (lexer.peek_token ()->get_id () == PLUS)
3977 : : {
3978 : 0 : lexer.skip_token ();
3979 : :
3980 : : // break if end token character
3981 : 0 : if (is_end_token (lexer.peek_token ()->get_id ()))
3982 : : break;
3983 : :
3984 : 0 : std::unique_ptr<AST::TypeParamBound> bound = parse_type_param_bound ();
3985 : 0 : if (bound == nullptr)
3986 : : {
3987 : : // TODO how wise is it to ditch all bounds if only one failed?
3988 : 0 : Error error (lexer.peek_token ()->get_locus (),
3989 : : "failed to parse type param bound in type param bounds");
3990 : 0 : add_error (std::move (error));
3991 : :
3992 : 0 : return {};
3993 : 0 : }
3994 : :
3995 : 0 : type_param_bounds.push_back (std::move (bound));
3996 : : }
3997 : :
3998 : 165 : type_param_bounds.shrink_to_fit ();
3999 : 165 : return type_param_bounds;
4000 : 165 : }
4001 : :
4002 : : /* Parses a single type parameter bound in a where clause or generic argument.
4003 : : * Does not parse the '+' between arguments. */
4004 : : template <typename ManagedTokenSource>
4005 : : std::unique_ptr<AST::TypeParamBound>
4006 : 516 : Parser<ManagedTokenSource>::parse_type_param_bound ()
4007 : : {
4008 : : // shitty cheat way of determining lifetime or trait bound - test for
4009 : : // lifetime
4010 : 516 : const_TokenPtr t = lexer.peek_token ();
4011 : 516 : switch (t->get_id ())
4012 : : {
4013 : 12 : case LIFETIME:
4014 : 12 : return std::unique_ptr<AST::Lifetime> (
4015 : 12 : new AST::Lifetime (parse_lifetime (false)));
4016 : 504 : case LEFT_PAREN:
4017 : : case QUESTION_MARK:
4018 : : case FOR:
4019 : : case IDENTIFIER:
4020 : : case SUPER:
4021 : : case SELF:
4022 : : case SELF_ALIAS:
4023 : : case CRATE:
4024 : : case DOLLAR_SIGN:
4025 : : case SCOPE_RESOLUTION:
4026 : 504 : return parse_trait_bound ();
4027 : 0 : default:
4028 : : // don't error - assume this is fine TODO
4029 : 0 : return nullptr;
4030 : : }
4031 : 516 : }
4032 : :
4033 : : // Parses a trait bound type param bound.
4034 : : template <typename ManagedTokenSource>
4035 : : std::unique_ptr<AST::TraitBound>
4036 : 614 : Parser<ManagedTokenSource>::parse_trait_bound ()
4037 : : {
4038 : 614 : bool has_parens = false;
4039 : 614 : bool has_question_mark = false;
4040 : :
4041 : 1228 : location_t locus = lexer.peek_token ()->get_locus ();
4042 : :
4043 : : /* parse optional `for lifetimes`. */
4044 : 614 : std::vector<AST::LifetimeParam> for_lifetimes;
4045 : 1228 : if (lexer.peek_token ()->get_id () == FOR)
4046 : 14 : for_lifetimes = parse_for_lifetimes ();
4047 : :
4048 : : // handle trait bound being in parentheses
4049 : 1228 : if (lexer.peek_token ()->get_id () == LEFT_PAREN)
4050 : : {
4051 : 0 : has_parens = true;
4052 : 0 : lexer.skip_token ();
4053 : : }
4054 : :
4055 : : // handle having question mark (optional)
4056 : 1228 : if (lexer.peek_token ()->get_id () == QUESTION_MARK)
4057 : : {
4058 : 1 : has_question_mark = true;
4059 : 1 : lexer.skip_token ();
4060 : : }
4061 : :
4062 : : // handle TypePath
4063 : 614 : AST::TypePath type_path = parse_type_path ();
4064 : :
4065 : : // handle closing parentheses
4066 : 614 : if (has_parens)
4067 : : {
4068 : 0 : if (!skip_token (RIGHT_PAREN))
4069 : : {
4070 : 0 : return nullptr;
4071 : : }
4072 : : }
4073 : :
4074 : : return std::unique_ptr<AST::TraitBound> (
4075 : 614 : new AST::TraitBound (std::move (type_path), locus, has_parens,
4076 : 614 : has_question_mark, std::move (for_lifetimes)));
4077 : 614 : }
4078 : :
4079 : : // Parses lifetime bounds.
4080 : : template <typename ManagedTokenSource>
4081 : : std::vector<AST::Lifetime>
4082 : 0 : Parser<ManagedTokenSource>::parse_lifetime_bounds ()
4083 : : {
4084 : 0 : std::vector<AST::Lifetime> lifetime_bounds;
4085 : :
4086 : 0 : while (true)
4087 : : {
4088 : 0 : AST::Lifetime lifetime = parse_lifetime (false);
4089 : :
4090 : : // quick exit for parsing failure
4091 : 0 : if (lifetime.is_error ())
4092 : : break;
4093 : :
4094 : 0 : lifetime_bounds.push_back (std::move (lifetime));
4095 : :
4096 : : /* plus is maybe not allowed at end - spec defines it weirdly, so
4097 : : * assuming allowed at end */
4098 : 0 : if (lexer.peek_token ()->get_id () != PLUS)
4099 : : break;
4100 : :
4101 : 0 : lexer.skip_token ();
4102 : : }
4103 : :
4104 : : lifetime_bounds.shrink_to_fit ();
4105 : 0 : return lifetime_bounds;
4106 : : }
4107 : :
4108 : : // Parses lifetime bounds, with added check for ending token.
4109 : : template <typename ManagedTokenSource>
4110 : : template <typename EndTokenPred>
4111 : : std::vector<AST::Lifetime>
4112 : 1 : Parser<ManagedTokenSource>::parse_lifetime_bounds (EndTokenPred is_end_token)
4113 : : {
4114 : 1 : std::vector<AST::Lifetime> lifetime_bounds;
4115 : :
4116 : 4 : while (!is_end_token (lexer.peek_token ()->get_id ()))
4117 : : {
4118 : 1 : AST::Lifetime lifetime = parse_lifetime (false);
4119 : :
4120 : 1 : if (lifetime.is_error ())
4121 : : {
4122 : : /* TODO: is it worth throwing away all lifetime bound info just
4123 : : * because one failed? */
4124 : 0 : Error error (lexer.peek_token ()->get_locus (),
4125 : : "failed to parse lifetime in lifetime bounds");
4126 : 0 : add_error (std::move (error));
4127 : :
4128 : 0 : return {};
4129 : 0 : }
4130 : :
4131 : 1 : lifetime_bounds.push_back (std::move (lifetime));
4132 : :
4133 : : /* plus is maybe not allowed at end - spec defines it weirdly, so
4134 : : * assuming allowed at end */
4135 : 2 : if (lexer.peek_token ()->get_id () != PLUS)
4136 : : break;
4137 : :
4138 : 0 : lexer.skip_token ();
4139 : : }
4140 : :
4141 : 1 : lifetime_bounds.shrink_to_fit ();
4142 : 1 : return lifetime_bounds;
4143 : 1 : }
4144 : :
4145 : : /* Parses a lifetime token (named, 'static, or '_). Also handles lifetime not
4146 : : * existing. */
4147 : : template <typename ManagedTokenSource>
4148 : : AST::Lifetime
4149 : 2659 : Parser<ManagedTokenSource>::parse_lifetime (bool allow_elided)
4150 : : {
4151 : 2659 : const_TokenPtr lifetime_tok = lexer.peek_token ();
4152 : 2659 : if (lifetime_tok->get_id () != LIFETIME)
4153 : : {
4154 : 2100 : return (allow_elided) ? AST::Lifetime::elided ()
4155 : 2100 : : AST::Lifetime::error ();
4156 : : }
4157 : 559 : lexer.skip_token ();
4158 : :
4159 : 1118 : return lifetime_from_token (lifetime_tok);
4160 : 2659 : }
4161 : :
4162 : : template <typename ManagedTokenSource>
4163 : : AST::Lifetime
4164 : 592 : Parser<ManagedTokenSource>::lifetime_from_token (const_TokenPtr tok)
4165 : : {
4166 : 592 : location_t locus = tok->get_locus ();
4167 : 592 : std::string lifetime_ident = tok->get_str ();
4168 : :
4169 : 592 : if (lifetime_ident == "static")
4170 : : {
4171 : 11 : return AST::Lifetime (AST::Lifetime::STATIC, "", locus);
4172 : : }
4173 : 581 : else if (lifetime_ident == "_")
4174 : : {
4175 : : // Explicitly and implicitly elided lifetimes follow the same rules.
4176 : 5 : return AST::Lifetime (AST::Lifetime::WILDCARD, "", locus);
4177 : : }
4178 : : else
4179 : : {
4180 : 1152 : return AST::Lifetime (AST::Lifetime::NAMED, std::move (lifetime_ident),
4181 : 576 : locus);
4182 : : }
4183 : 592 : }
4184 : :
4185 : : template <typename ManagedTokenSource>
4186 : : std::unique_ptr<AST::ExternalTypeItem>
4187 : 4 : Parser<ManagedTokenSource>::parse_external_type_item (AST::Visibility vis,
4188 : : AST::AttrVec outer_attrs)
4189 : : {
4190 : 4 : location_t locus = lexer.peek_token ()->get_locus ();
4191 : 4 : skip_token (TYPE);
4192 : :
4193 : 4 : const_TokenPtr alias_name_tok = expect_token (IDENTIFIER);
4194 : 4 : if (alias_name_tok == nullptr)
4195 : : {
4196 : 0 : Error error (lexer.peek_token ()->get_locus (),
4197 : : "could not parse identifier in external opaque type");
4198 : 0 : add_error (std::move (error));
4199 : :
4200 : 0 : skip_after_semicolon ();
4201 : 0 : return nullptr;
4202 : 0 : }
4203 : :
4204 : 4 : if (!skip_token (SEMICOLON))
4205 : 1 : return nullptr;
4206 : :
4207 : : return std::unique_ptr<AST::ExternalTypeItem> (
4208 : 3 : new AST::ExternalTypeItem (alias_name_tok->get_str (), std::move (vis),
4209 : 3 : std::move (outer_attrs), std::move (locus)));
4210 : 4 : }
4211 : :
4212 : : // Parses a "type alias" (typedef) item.
4213 : : template <typename ManagedTokenSource>
4214 : : std::unique_ptr<AST::TypeAlias>
4215 : 819 : Parser<ManagedTokenSource>::parse_type_alias (AST::Visibility vis,
4216 : : AST::AttrVec outer_attrs)
4217 : : {
4218 : 819 : location_t locus = lexer.peek_token ()->get_locus ();
4219 : 819 : skip_token (TYPE);
4220 : :
4221 : : // TODO: use this token for identifier when finished that
4222 : 819 : const_TokenPtr alias_name_tok = expect_token (IDENTIFIER);
4223 : 819 : if (alias_name_tok == nullptr)
4224 : : {
4225 : 0 : Error error (lexer.peek_token ()->get_locus (),
4226 : : "could not parse identifier in type alias");
4227 : 0 : add_error (std::move (error));
4228 : :
4229 : 0 : skip_after_semicolon ();
4230 : 0 : return nullptr;
4231 : 0 : }
4232 : 819 : Identifier alias_name{alias_name_tok};
4233 : :
4234 : : // parse generic params, which may not exist
4235 : 819 : std::vector<std::unique_ptr<AST::GenericParam>> generic_params
4236 : : = parse_generic_params_in_angles ();
4237 : :
4238 : : // parse where clause, which may not exist
4239 : 819 : AST::WhereClause where_clause = parse_where_clause ();
4240 : :
4241 : 819 : if (!skip_token (EQUAL))
4242 : : {
4243 : 0 : skip_after_semicolon ();
4244 : 0 : return nullptr;
4245 : : }
4246 : :
4247 : 819 : std::unique_ptr<AST::Type> type_to_alias = parse_type ();
4248 : :
4249 : 819 : if (!skip_token (SEMICOLON))
4250 : : {
4251 : : // should be skipping past this, not the next line
4252 : 0 : return nullptr;
4253 : : }
4254 : :
4255 : : return std::unique_ptr<AST::TypeAlias> (
4256 : 819 : new AST::TypeAlias (std::move (alias_name), std::move (generic_params),
4257 : : std::move (where_clause), std::move (type_to_alias),
4258 : 819 : std::move (vis), std::move (outer_attrs), locus));
4259 : 1638 : }
4260 : :
4261 : : // Parse a struct item AST node.
4262 : : template <typename ManagedTokenSource>
4263 : : std::unique_ptr<AST::Struct>
4264 : 1936 : Parser<ManagedTokenSource>::parse_struct (AST::Visibility vis,
4265 : : AST::AttrVec outer_attrs)
4266 : : {
4267 : : /* TODO: determine best way to parse the proper struct vs tuple struct -
4268 : : * share most of initial constructs so lookahead might be impossible, and if
4269 : : * not probably too expensive. Best way is probably unified parsing for the
4270 : : * initial parts and then pass them in as params to more derived functions.
4271 : : * Alternatively, just parse everything in this one function - do this if
4272 : : * function not too long. */
4273 : :
4274 : : /* Proper struct <- 'struct' IDENTIFIER generic_params? where_clause? ( '{'
4275 : : * struct_fields? '}' | ';' ) */
4276 : : /* Tuple struct <- 'struct' IDENTIFIER generic_params? '(' tuple_fields? ')'
4277 : : * where_clause? ';' */
4278 : 1936 : location_t locus = lexer.peek_token ()->get_locus ();
4279 : 1936 : skip_token (STRUCT_KW);
4280 : :
4281 : : // parse struct name
4282 : 1936 : const_TokenPtr name_tok = expect_token (IDENTIFIER);
4283 : 1936 : if (name_tok == nullptr)
4284 : : {
4285 : 0 : Error error (lexer.peek_token ()->get_locus (),
4286 : : "could not parse struct or tuple struct identifier");
4287 : 0 : add_error (std::move (error));
4288 : :
4289 : : // skip after somewhere?
4290 : 0 : return nullptr;
4291 : 0 : }
4292 : 1936 : Identifier struct_name{name_tok};
4293 : :
4294 : : // parse generic params, which may or may not exist
4295 : 1936 : std::vector<std::unique_ptr<AST::GenericParam>> generic_params
4296 : : = parse_generic_params_in_angles ();
4297 : :
4298 : : // branch on next token - determines whether proper struct or tuple struct
4299 : 3872 : if (lexer.peek_token ()->get_id () == LEFT_PAREN)
4300 : : {
4301 : : // tuple struct
4302 : :
4303 : : // skip left parenthesis
4304 : 794 : lexer.skip_token ();
4305 : :
4306 : : // parse tuple fields
4307 : 794 : std::vector<AST::TupleField> tuple_fields;
4308 : : // Might be empty tuple for unit tuple struct.
4309 : 1588 : if (lexer.peek_token ()->get_id () == RIGHT_PAREN)
4310 : 22 : tuple_fields = std::vector<AST::TupleField> ();
4311 : : else
4312 : 772 : tuple_fields = parse_tuple_fields ();
4313 : :
4314 : : // tuple parameters must have closing parenthesis
4315 : 794 : if (!skip_token (RIGHT_PAREN))
4316 : : {
4317 : 0 : skip_after_semicolon ();
4318 : 0 : return nullptr;
4319 : : }
4320 : :
4321 : : // parse where clause, which is optional
4322 : 794 : AST::WhereClause where_clause = parse_where_clause ();
4323 : :
4324 : 794 : if (!skip_token (SEMICOLON))
4325 : : {
4326 : : // can't skip after semicolon because it's meant to be here
4327 : 0 : return nullptr;
4328 : : }
4329 : :
4330 : 794 : return std::unique_ptr<AST::TupleStruct> (
4331 : 794 : new AST::TupleStruct (std::move (tuple_fields), std::move (struct_name),
4332 : : std::move (generic_params),
4333 : : std::move (where_clause), std::move (vis),
4334 : 794 : std::move (outer_attrs), locus));
4335 : 794 : }
4336 : :
4337 : : // assume it is a proper struct being parsed and continue outside of switch
4338 : : // - label only here to suppress warning
4339 : :
4340 : : // parse where clause, which is optional
4341 : 1142 : AST::WhereClause where_clause = parse_where_clause ();
4342 : :
4343 : : // branch on next token - determines whether struct is a unit struct
4344 : 1142 : const_TokenPtr t = lexer.peek_token ();
4345 : 1142 : switch (t->get_id ())
4346 : : {
4347 : 637 : case LEFT_CURLY: {
4348 : : // struct with body
4349 : :
4350 : : // skip curly bracket
4351 : 637 : lexer.skip_token ();
4352 : :
4353 : : // parse struct fields, if any
4354 : 637 : std::vector<AST::StructField> struct_fields
4355 : : = parse_struct_fields ([] (TokenId id) { return id == RIGHT_CURLY; });
4356 : :
4357 : 637 : if (!skip_token (RIGHT_CURLY))
4358 : : {
4359 : : // skip somewhere?
4360 : 0 : return nullptr;
4361 : : }
4362 : :
4363 : 637 : return std::unique_ptr<AST::StructStruct> (new AST::StructStruct (
4364 : : std::move (struct_fields), std::move (struct_name),
4365 : : std::move (generic_params), std::move (where_clause), false,
4366 : 637 : std::move (vis), std::move (outer_attrs), locus));
4367 : 637 : }
4368 : 504 : case SEMICOLON:
4369 : : // unit struct declaration
4370 : :
4371 : 504 : lexer.skip_token ();
4372 : :
4373 : 504 : return std::unique_ptr<AST::StructStruct> (
4374 : 1008 : new AST::StructStruct (std::move (struct_name),
4375 : : std::move (generic_params),
4376 : : std::move (where_clause), std::move (vis),
4377 : 504 : std::move (outer_attrs), locus));
4378 : 1 : default:
4379 : 1 : add_error (Error (t->get_locus (),
4380 : : "unexpected token %qs in struct declaration",
4381 : : t->get_token_description ()));
4382 : :
4383 : : // skip somewhere?
4384 : 1 : return nullptr;
4385 : : }
4386 : 1936 : }
4387 : :
4388 : : // Parses struct fields in struct declarations.
4389 : : template <typename ManagedTokenSource>
4390 : : std::vector<AST::StructField>
4391 : : Parser<ManagedTokenSource>::parse_struct_fields ()
4392 : : {
4393 : : std::vector<AST::StructField> fields;
4394 : :
4395 : : AST::StructField initial_field = parse_struct_field ();
4396 : :
4397 : : // Return empty field list if no field there
4398 : : if (initial_field.is_error ())
4399 : : return fields;
4400 : :
4401 : : fields.push_back (std::move (initial_field));
4402 : :
4403 : : while (lexer.peek_token ()->get_id () == COMMA)
4404 : : {
4405 : : lexer.skip_token ();
4406 : :
4407 : : AST::StructField field = parse_struct_field ();
4408 : :
4409 : : if (field.is_error ())
4410 : : {
4411 : : // would occur with trailing comma, so allowed
4412 : : break;
4413 : : }
4414 : :
4415 : : fields.push_back (std::move (field));
4416 : : }
4417 : :
4418 : : fields.shrink_to_fit ();
4419 : : return fields;
4420 : : // TODO: template if possible (parse_non_ptr_seq)
4421 : : }
4422 : :
4423 : : // Parses struct fields in struct declarations.
4424 : : template <typename ManagedTokenSource>
4425 : : template <typename EndTokenPred>
4426 : : std::vector<AST::StructField>
4427 : 784 : Parser<ManagedTokenSource>::parse_struct_fields (EndTokenPred is_end_tok)
4428 : : {
4429 : 784 : std::vector<AST::StructField> fields;
4430 : :
4431 : 784 : AST::StructField initial_field = parse_struct_field ();
4432 : :
4433 : : // Return empty field list if no field there
4434 : 784 : if (initial_field.is_error ())
4435 : 39 : return fields;
4436 : :
4437 : 745 : fields.push_back (std::move (initial_field));
4438 : :
4439 : 3378 : while (lexer.peek_token ()->get_id () == COMMA)
4440 : : {
4441 : 1568 : lexer.skip_token ();
4442 : :
4443 : 3136 : if (is_end_tok (lexer.peek_token ()->get_id ()))
4444 : : break;
4445 : :
4446 : 944 : AST::StructField field = parse_struct_field ();
4447 : 944 : if (field.is_error ())
4448 : : {
4449 : : /* TODO: should every field be ditched just because one couldn't be
4450 : : * parsed? */
4451 : 0 : Error error (lexer.peek_token ()->get_locus (),
4452 : : "failed to parse struct field in struct fields");
4453 : 0 : add_error (std::move (error));
4454 : :
4455 : 0 : return {};
4456 : 0 : }
4457 : :
4458 : 944 : fields.push_back (std::move (field));
4459 : : }
4460 : :
4461 : 745 : fields.shrink_to_fit ();
4462 : 745 : return fields;
4463 : : // TODO: template if possible (parse_non_ptr_seq)
4464 : 784 : }
4465 : :
4466 : : // Parses a single struct field (in a struct definition). Does not parse
4467 : : // commas.
4468 : : template <typename ManagedTokenSource>
4469 : : AST::StructField
4470 : 1728 : Parser<ManagedTokenSource>::parse_struct_field ()
4471 : : {
4472 : : // parse outer attributes, if they exist
4473 : 1728 : AST::AttrVec outer_attrs = parse_outer_attributes ();
4474 : :
4475 : : // parse visibility, if it exists
4476 : 1728 : AST::Visibility vis = parse_visibility ();
4477 : :
4478 : 1728 : location_t locus = lexer.peek_token ()->get_locus ();
4479 : :
4480 : : // parse field name
4481 : 1728 : const_TokenPtr field_name_tok = lexer.peek_token ();
4482 : 1728 : if (field_name_tok->get_id () != IDENTIFIER)
4483 : : {
4484 : : // if not identifier, assumes there is no struct field and exits - not
4485 : : // necessarily error
4486 : 39 : return AST::StructField::create_error ();
4487 : : }
4488 : 1689 : Identifier field_name{field_name_tok};
4489 : 1689 : lexer.skip_token ();
4490 : :
4491 : 1689 : if (!skip_token (COLON))
4492 : : {
4493 : : // skip after somewhere?
4494 : 0 : return AST::StructField::create_error ();
4495 : : }
4496 : :
4497 : : // parse field type - this is required
4498 : 1689 : std::unique_ptr<AST::Type> field_type = parse_type ();
4499 : 1689 : if (field_type == nullptr)
4500 : : {
4501 : 0 : Error error (lexer.peek_token ()->get_locus (),
4502 : : "could not parse type in struct field definition");
4503 : 0 : add_error (std::move (error));
4504 : :
4505 : : // skip after somewhere
4506 : 0 : return AST::StructField::create_error ();
4507 : 0 : }
4508 : :
4509 : 3378 : return AST::StructField (std::move (field_name), std::move (field_type),
4510 : 1689 : std::move (vis), locus, std::move (outer_attrs));
4511 : 5106 : }
4512 : :
4513 : : // Parses tuple fields in tuple/tuple struct declarations.
4514 : : template <typename ManagedTokenSource>
4515 : : std::vector<AST::TupleField>
4516 : 959 : Parser<ManagedTokenSource>::parse_tuple_fields ()
4517 : : {
4518 : 959 : std::vector<AST::TupleField> fields;
4519 : :
4520 : 959 : AST::TupleField initial_field = parse_tuple_field ();
4521 : :
4522 : : // Return empty field list if no field there
4523 : 959 : if (initial_field.is_error ())
4524 : : {
4525 : 0 : return fields;
4526 : : }
4527 : :
4528 : 959 : fields.push_back (std::move (initial_field));
4529 : :
4530 : : // maybe think of a better control structure here - do-while with an initial
4531 : : // error state? basically, loop through field list until can't find any more
4532 : : // params HACK: all current syntax uses of tuple fields have them ending
4533 : : // with a right paren token
4534 : 959 : const_TokenPtr t = lexer.peek_token ();
4535 : 1526 : while (t->get_id () == COMMA)
4536 : : {
4537 : : // skip comma if applies - e.g. trailing comma
4538 : 567 : lexer.skip_token ();
4539 : :
4540 : : // break out due to right paren if it exists
4541 : 1134 : if (lexer.peek_token ()->get_id () == RIGHT_PAREN)
4542 : : {
4543 : : break;
4544 : : }
4545 : :
4546 : 567 : AST::TupleField field = parse_tuple_field ();
4547 : 567 : if (field.is_error ())
4548 : : {
4549 : 0 : Error error (lexer.peek_token ()->get_locus (),
4550 : : "failed to parse tuple field in tuple fields");
4551 : 0 : add_error (std::move (error));
4552 : :
4553 : 0 : return std::vector<AST::TupleField> ();
4554 : 0 : }
4555 : :
4556 : 567 : fields.push_back (std::move (field));
4557 : :
4558 : 567 : t = lexer.peek_token ();
4559 : : }
4560 : :
4561 : 959 : fields.shrink_to_fit ();
4562 : 959 : return fields;
4563 : :
4564 : : // TODO: this shares basically all code with function params and struct
4565 : : // fields
4566 : : // - templates?
4567 : 959 : }
4568 : :
4569 : : /* Parses a single tuple struct field in a tuple struct definition. Does not
4570 : : * parse commas. */
4571 : : template <typename ManagedTokenSource>
4572 : : AST::TupleField
4573 : 1526 : Parser<ManagedTokenSource>::parse_tuple_field ()
4574 : : {
4575 : : // parse outer attributes if they exist
4576 : 1526 : AST::AttrVec outer_attrs = parse_outer_attributes ();
4577 : :
4578 : : // parse visibility if it exists
4579 : 1526 : AST::Visibility vis = parse_visibility ();
4580 : :
4581 : 1526 : location_t locus = lexer.peek_token ()->get_locus ();
4582 : :
4583 : : // parse type, which is required
4584 : 1526 : std::unique_ptr<AST::Type> field_type = parse_type ();
4585 : 1526 : if (field_type == nullptr)
4586 : : {
4587 : : // error if null
4588 : 0 : Error error (lexer.peek_token ()->get_locus (),
4589 : : "could not parse type in tuple struct field");
4590 : 0 : add_error (std::move (error));
4591 : :
4592 : : // skip after something
4593 : 0 : return AST::TupleField::create_error ();
4594 : 0 : }
4595 : :
4596 : 1526 : return AST::TupleField (std::move (field_type), std::move (vis), locus,
4597 : 1526 : std::move (outer_attrs));
4598 : 1526 : }
4599 : :
4600 : : // Parses a Rust "enum" tagged union item definition.
4601 : : template <typename ManagedTokenSource>
4602 : : std::unique_ptr<AST::Enum>
4603 : 191 : Parser<ManagedTokenSource>::parse_enum (AST::Visibility vis,
4604 : : AST::AttrVec outer_attrs)
4605 : : {
4606 : 191 : location_t locus = lexer.peek_token ()->get_locus ();
4607 : 191 : skip_token (ENUM_KW);
4608 : :
4609 : : // parse enum name
4610 : 191 : const_TokenPtr enum_name_tok = expect_token (IDENTIFIER);
4611 : 191 : if (enum_name_tok == nullptr)
4612 : 0 : return nullptr;
4613 : :
4614 : 191 : Identifier enum_name = {enum_name_tok};
4615 : :
4616 : : // parse generic params (of enum container, not enum variants) if they exist
4617 : 191 : std::vector<std::unique_ptr<AST::GenericParam>> generic_params
4618 : : = parse_generic_params_in_angles ();
4619 : :
4620 : : // parse where clause if it exists
4621 : 191 : AST::WhereClause where_clause = parse_where_clause ();
4622 : :
4623 : 191 : if (!skip_token (LEFT_CURLY))
4624 : : {
4625 : 0 : skip_after_end_block ();
4626 : 0 : return nullptr;
4627 : : }
4628 : :
4629 : : // parse actual enum variant definitions
4630 : 191 : std::vector<std::unique_ptr<AST::EnumItem>> enum_items
4631 : : = parse_enum_items ([] (TokenId id) { return id == RIGHT_CURLY; });
4632 : :
4633 : 191 : if (!skip_token (RIGHT_CURLY))
4634 : : {
4635 : 0 : skip_after_end_block ();
4636 : 0 : return nullptr;
4637 : : }
4638 : :
4639 : : return std::unique_ptr<AST::Enum> (
4640 : 191 : new AST::Enum (std::move (enum_name), std::move (vis),
4641 : : std::move (generic_params), std::move (where_clause),
4642 : 191 : std::move (enum_items), std::move (outer_attrs), locus));
4643 : 382 : }
4644 : :
4645 : : // Parses the enum variants inside an enum definiton.
4646 : : template <typename ManagedTokenSource>
4647 : : std::vector<std::unique_ptr<AST::EnumItem>>
4648 : : Parser<ManagedTokenSource>::parse_enum_items ()
4649 : : {
4650 : : std::vector<std::unique_ptr<AST::EnumItem>> items;
4651 : :
4652 : : std::unique_ptr<AST::EnumItem> initial_item = parse_enum_item ();
4653 : :
4654 : : // Return empty item list if no field there
4655 : : if (initial_item == nullptr)
4656 : : return items;
4657 : :
4658 : : items.push_back (std::move (initial_item));
4659 : :
4660 : : while (lexer.peek_token ()->get_id () == COMMA)
4661 : : {
4662 : : lexer.skip_token ();
4663 : :
4664 : : std::unique_ptr<AST::EnumItem> item = parse_enum_item ();
4665 : : if (item == nullptr)
4666 : : {
4667 : : // this would occur with a trailing comma, which is allowed
4668 : : break;
4669 : : }
4670 : :
4671 : : items.push_back (std::move (item));
4672 : : }
4673 : :
4674 : : items.shrink_to_fit ();
4675 : : return items;
4676 : :
4677 : : /* TODO: use template if doable (parse_non_ptr_sequence) */
4678 : : }
4679 : :
4680 : : // Parses the enum variants inside an enum definiton.
4681 : : template <typename ManagedTokenSource>
4682 : : template <typename EndTokenPred>
4683 : : std::vector<std::unique_ptr<AST::EnumItem>>
4684 : 191 : Parser<ManagedTokenSource>::parse_enum_items (EndTokenPred is_end_tok)
4685 : : {
4686 : 191 : std::vector<std::unique_ptr<AST::EnumItem>> items;
4687 : :
4688 : 191 : std::unique_ptr<AST::EnumItem> initial_item = parse_enum_item ();
4689 : :
4690 : : // Return empty item list if no field there
4691 : 191 : if (initial_item == nullptr)
4692 : 6 : return items;
4693 : :
4694 : 185 : items.push_back (std::move (initial_item));
4695 : :
4696 : 932 : while (lexer.peek_token ()->get_id () == COMMA)
4697 : : {
4698 : 458 : lexer.skip_token ();
4699 : :
4700 : 916 : if (is_end_tok (lexer.peek_token ()->get_id ()))
4701 : : break;
4702 : :
4703 : 281 : std::unique_ptr<AST::EnumItem> item = parse_enum_item ();
4704 : 281 : if (item == nullptr)
4705 : : {
4706 : : /* TODO should this ignore all successfully parsed enum items just
4707 : : * because one failed? */
4708 : 0 : Error error (lexer.peek_token ()->get_locus (),
4709 : : "failed to parse enum item in enum items");
4710 : 0 : add_error (std::move (error));
4711 : :
4712 : 0 : return {};
4713 : 0 : }
4714 : :
4715 : 281 : items.push_back (std::move (item));
4716 : : }
4717 : :
4718 : 185 : items.shrink_to_fit ();
4719 : 185 : return items;
4720 : :
4721 : : /* TODO: use template if doable (parse_non_ptr_sequence) */
4722 : 191 : }
4723 : :
4724 : : /* Parses a single enum variant item in an enum definition. Does not parse
4725 : : * commas. */
4726 : : template <typename ManagedTokenSource>
4727 : : std::unique_ptr<AST::EnumItem>
4728 : 472 : Parser<ManagedTokenSource>::parse_enum_item ()
4729 : : {
4730 : : // parse outer attributes if they exist
4731 : 472 : AST::AttrVec outer_attrs = parse_outer_attributes ();
4732 : :
4733 : : // parse visibility, which may or may not exist
4734 : 472 : AST::Visibility vis = parse_visibility ();
4735 : :
4736 : : // parse name for enum item, which is required
4737 : 472 : const_TokenPtr item_name_tok = lexer.peek_token ();
4738 : 472 : if (item_name_tok->get_id () != IDENTIFIER)
4739 : : {
4740 : : // this may not be an error but it means there is no enum item here
4741 : 6 : return nullptr;
4742 : : }
4743 : 466 : lexer.skip_token ();
4744 : 466 : Identifier item_name{item_name_tok};
4745 : :
4746 : : // branch based on next token
4747 : 466 : const_TokenPtr t = lexer.peek_token ();
4748 : 466 : switch (t->get_id ())
4749 : : {
4750 : 194 : case LEFT_PAREN: {
4751 : : // tuple enum item
4752 : 194 : lexer.skip_token ();
4753 : :
4754 : 194 : std::vector<AST::TupleField> tuple_fields;
4755 : : // Might be empty tuple for unit tuple enum variant.
4756 : 388 : if (lexer.peek_token ()->get_id () == RIGHT_PAREN)
4757 : 7 : tuple_fields = std::vector<AST::TupleField> ();
4758 : : else
4759 : 187 : tuple_fields = parse_tuple_fields ();
4760 : :
4761 : 194 : if (!skip_token (RIGHT_PAREN))
4762 : : {
4763 : : // skip after somewhere
4764 : 0 : return nullptr;
4765 : : }
4766 : :
4767 : 194 : return std::unique_ptr<AST::EnumItemTuple> (new AST::EnumItemTuple (
4768 : : std::move (item_name), std::move (vis), std::move (tuple_fields),
4769 : 194 : std::move (outer_attrs), item_name_tok->get_locus ()));
4770 : 194 : }
4771 : 50 : case LEFT_CURLY: {
4772 : : // struct enum item
4773 : 50 : lexer.skip_token ();
4774 : :
4775 : 50 : std::vector<AST::StructField> struct_fields
4776 : : = parse_struct_fields ([] (TokenId id) { return id == RIGHT_CURLY; });
4777 : :
4778 : 50 : if (!skip_token (RIGHT_CURLY))
4779 : : {
4780 : : // skip after somewhere
4781 : 0 : return nullptr;
4782 : : }
4783 : :
4784 : 50 : return std::unique_ptr<AST::EnumItemStruct> (new AST::EnumItemStruct (
4785 : : std::move (item_name), std::move (vis), std::move (struct_fields),
4786 : 50 : std::move (outer_attrs), item_name_tok->get_locus ()));
4787 : 50 : }
4788 : 10 : case EQUAL: {
4789 : : // discriminant enum item
4790 : 10 : lexer.skip_token ();
4791 : :
4792 : 10 : std::unique_ptr<AST::Expr> discriminant_expr = parse_expr ();
4793 : :
4794 : 10 : return std::unique_ptr<AST::EnumItemDiscriminant> (
4795 : 20 : new AST::EnumItemDiscriminant (std::move (item_name), std::move (vis),
4796 : : std::move (discriminant_expr),
4797 : : std::move (outer_attrs),
4798 : 10 : item_name_tok->get_locus ()));
4799 : 10 : }
4800 : 212 : default:
4801 : : // regular enum with just an identifier
4802 : : return std::unique_ptr<AST::EnumItem> (
4803 : 212 : new AST::EnumItem (std::move (item_name), std::move (vis),
4804 : : std::move (outer_attrs),
4805 : 212 : item_name_tok->get_locus ()));
4806 : : }
4807 : 938 : }
4808 : :
4809 : : // Parses a C-style (and C-compat) untagged union declaration.
4810 : : template <typename ManagedTokenSource>
4811 : : std::unique_ptr<AST::Union>
4812 : 97 : Parser<ManagedTokenSource>::parse_union (AST::Visibility vis,
4813 : : AST::AttrVec outer_attrs)
4814 : : {
4815 : : /* hack - "weak keyword" by finding identifier called "union" (lookahead in
4816 : : * item switch) */
4817 : 97 : const_TokenPtr union_keyword = expect_token (IDENTIFIER);
4818 : 97 : rust_assert (union_keyword->get_str () == Values::WeakKeywords::UNION);
4819 : 97 : location_t locus = union_keyword->get_locus ();
4820 : :
4821 : : // parse actual union name
4822 : 97 : const_TokenPtr union_name_tok = expect_token (IDENTIFIER);
4823 : 97 : if (union_name_tok == nullptr)
4824 : : {
4825 : 0 : skip_after_next_block ();
4826 : 0 : return nullptr;
4827 : : }
4828 : 97 : Identifier union_name{union_name_tok};
4829 : :
4830 : : // parse optional generic parameters
4831 : 97 : std::vector<std::unique_ptr<AST::GenericParam>> generic_params
4832 : : = parse_generic_params_in_angles ();
4833 : :
4834 : : // parse optional where clause
4835 : 97 : AST::WhereClause where_clause = parse_where_clause ();
4836 : :
4837 : 97 : if (!skip_token (LEFT_CURLY))
4838 : : {
4839 : 0 : skip_after_end_block ();
4840 : 0 : return nullptr;
4841 : : }
4842 : :
4843 : : /* parse union inner items as "struct fields" because hey, syntax reuse.
4844 : : * Spec said so. */
4845 : 97 : std::vector<AST::StructField> union_fields
4846 : : = parse_struct_fields ([] (TokenId id) { return id == RIGHT_CURLY; });
4847 : :
4848 : 97 : if (!skip_token (RIGHT_CURLY))
4849 : : {
4850 : : // skip after somewhere
4851 : 0 : return nullptr;
4852 : : }
4853 : :
4854 : : return std::unique_ptr<AST::Union> (
4855 : 97 : new AST::Union (std::move (union_name), std::move (vis),
4856 : : std::move (generic_params), std::move (where_clause),
4857 : 97 : std::move (union_fields), std::move (outer_attrs), locus));
4858 : 291 : }
4859 : :
4860 : : /* Parses a "constant item" (compile-time constant to maybe "inline"
4861 : : * throughout the program - like constexpr). */
4862 : : template <typename ManagedTokenSource>
4863 : : std::unique_ptr<AST::ConstantItem>
4864 : 480 : Parser<ManagedTokenSource>::parse_const_item (AST::Visibility vis,
4865 : : AST::AttrVec outer_attrs)
4866 : : {
4867 : 480 : location_t locus = lexer.peek_token ()->get_locus ();
4868 : 480 : skip_token (CONST);
4869 : :
4870 : : /* get constant identifier - this is either a proper identifier or the _
4871 : : * wildcard */
4872 : 480 : const_TokenPtr ident_tok = lexer.peek_token ();
4873 : : // make default identifier the underscore wildcard one
4874 : 480 : std::string ident (Values::Keywords::UNDERSCORE);
4875 : 480 : switch (ident_tok->get_id ())
4876 : : {
4877 : 480 : case IDENTIFIER:
4878 : 480 : ident = ident_tok->get_str ();
4879 : 480 : lexer.skip_token ();
4880 : : break;
4881 : 0 : case UNDERSCORE:
4882 : : // do nothing - identifier is already "_"
4883 : 0 : lexer.skip_token ();
4884 : : break;
4885 : 0 : default:
4886 : 0 : add_error (
4887 : 0 : Error (ident_tok->get_locus (),
4888 : : "expected item name (identifier or %<_%>) in constant item "
4889 : : "declaration - found %qs",
4890 : : ident_tok->get_token_description ()));
4891 : :
4892 : 0 : skip_after_semicolon ();
4893 : 0 : return nullptr;
4894 : : }
4895 : :
4896 : 480 : if (!skip_token (COLON))
4897 : : {
4898 : 0 : skip_after_semicolon ();
4899 : 0 : return nullptr;
4900 : : }
4901 : :
4902 : : // parse constant type (required)
4903 : 480 : std::unique_ptr<AST::Type> type = parse_type ();
4904 : :
4905 : : // A const with no given expression value
4906 : 960 : if (lexer.peek_token ()->get_id () == SEMICOLON)
4907 : : {
4908 : 2 : lexer.skip_token ();
4909 : : return std::unique_ptr<AST::ConstantItem> (
4910 : 2 : new AST::ConstantItem (std::move (ident), std::move (vis),
4911 : : std::move (type), std::move (outer_attrs),
4912 : 2 : locus));
4913 : : }
4914 : :
4915 : 478 : if (!skip_token (EQUAL))
4916 : : {
4917 : 0 : skip_after_semicolon ();
4918 : 0 : return nullptr;
4919 : : }
4920 : :
4921 : : // parse constant expression (required)
4922 : 478 : std::unique_ptr<AST::Expr> expr = parse_expr ();
4923 : :
4924 : 478 : if (!skip_token (SEMICOLON))
4925 : : {
4926 : : // skip somewhere?
4927 : 0 : return nullptr;
4928 : : }
4929 : :
4930 : : return std::unique_ptr<AST::ConstantItem> (
4931 : 478 : new AST::ConstantItem (std::move (ident), std::move (vis), std::move (type),
4932 : 478 : std::move (expr), std::move (outer_attrs), locus));
4933 : 960 : }
4934 : :
4935 : : // Parses a "static item" (static storage item, with 'static lifetime).
4936 : : template <typename ManagedTokenSource>
4937 : : std::unique_ptr<AST::StaticItem>
4938 : 45 : Parser<ManagedTokenSource>::parse_static_item (AST::Visibility vis,
4939 : : AST::AttrVec outer_attrs)
4940 : : {
4941 : 45 : location_t locus = lexer.peek_token ()->get_locus ();
4942 : 45 : skip_token (STATIC_KW);
4943 : :
4944 : : // determine whether static item is mutable
4945 : 45 : bool is_mut = false;
4946 : 90 : if (lexer.peek_token ()->get_id () == MUT)
4947 : : {
4948 : 2 : is_mut = true;
4949 : 2 : lexer.skip_token ();
4950 : : }
4951 : :
4952 : 45 : const_TokenPtr ident_tok = expect_token (IDENTIFIER);
4953 : 45 : if (ident_tok == nullptr)
4954 : 0 : return nullptr;
4955 : :
4956 : 45 : Identifier ident{ident_tok};
4957 : :
4958 : 45 : if (!skip_token (COLON))
4959 : : {
4960 : 1 : skip_after_semicolon ();
4961 : 1 : return nullptr;
4962 : : }
4963 : :
4964 : : // parse static item type (required)
4965 : 44 : std::unique_ptr<AST::Type> type = parse_type ();
4966 : :
4967 : 44 : if (!skip_token (EQUAL))
4968 : : {
4969 : 0 : skip_after_semicolon ();
4970 : 0 : return nullptr;
4971 : : }
4972 : :
4973 : : // parse static item expression (required)
4974 : 44 : std::unique_ptr<AST::Expr> expr = parse_expr ();
4975 : :
4976 : 44 : if (!skip_token (SEMICOLON))
4977 : : {
4978 : : // skip after somewhere
4979 : 0 : return nullptr;
4980 : : }
4981 : :
4982 : : return std::unique_ptr<AST::StaticItem> (
4983 : 44 : new AST::StaticItem (std::move (ident), is_mut, std::move (type),
4984 : : std::move (expr), std::move (vis),
4985 : 44 : std::move (outer_attrs), locus));
4986 : 89 : }
4987 : :
4988 : : // Parses a trait definition item, including unsafe ones.
4989 : : template <typename ManagedTokenSource>
4990 : : std::unique_ptr<AST::Trait>
4991 : 2120 : Parser<ManagedTokenSource>::parse_trait (AST::Visibility vis,
4992 : : AST::AttrVec outer_attrs)
4993 : : {
4994 : 2120 : location_t locus = lexer.peek_token ()->get_locus ();
4995 : 2120 : bool is_unsafe = false;
4996 : 2120 : bool is_auto_trait = false;
4997 : :
4998 : 4240 : if (lexer.peek_token ()->get_id () == UNSAFE)
4999 : : {
5000 : 44 : is_unsafe = true;
5001 : 44 : lexer.skip_token ();
5002 : : }
5003 : :
5004 : 4240 : if (lexer.peek_token ()->get_id () == AUTO)
5005 : : {
5006 : 7 : is_auto_trait = true;
5007 : 7 : lexer.skip_token ();
5008 : : }
5009 : :
5010 : 2120 : skip_token (TRAIT);
5011 : :
5012 : : // parse trait name
5013 : 2120 : const_TokenPtr ident_tok = expect_token (IDENTIFIER);
5014 : 2120 : if (ident_tok == nullptr)
5015 : 0 : return nullptr;
5016 : :
5017 : 2120 : Identifier ident{ident_tok};
5018 : :
5019 : : // parse generic parameters (if they exist)
5020 : 2120 : std::vector<std::unique_ptr<AST::GenericParam>> generic_params
5021 : : = parse_generic_params_in_angles ();
5022 : :
5023 : : // create placeholder type param bounds in case they don't exist
5024 : 2120 : std::vector<std::unique_ptr<AST::TypeParamBound>> type_param_bounds;
5025 : :
5026 : : // parse type param bounds (if they exist)
5027 : 4240 : if (lexer.peek_token ()->get_id () == COLON)
5028 : : {
5029 : 148 : lexer.skip_token ();
5030 : :
5031 : 148 : type_param_bounds = parse_type_param_bounds (
5032 : 0 : [] (TokenId id) { return id == WHERE || id == LEFT_CURLY; });
5033 : : // type_param_bounds = parse_type_param_bounds ();
5034 : : }
5035 : :
5036 : : // parse where clause (if it exists)
5037 : 2120 : AST::WhereClause where_clause = parse_where_clause ();
5038 : :
5039 : 2120 : if (!skip_token (LEFT_CURLY))
5040 : : {
5041 : 8 : skip_after_end_block ();
5042 : 8 : return nullptr;
5043 : : }
5044 : :
5045 : : // parse inner attrs (if they exist)
5046 : 2112 : AST::AttrVec inner_attrs = parse_inner_attributes ();
5047 : :
5048 : : // parse trait items
5049 : 2112 : std::vector<std::unique_ptr<AST::AssociatedItem>> trait_items;
5050 : :
5051 : 2112 : const_TokenPtr t = lexer.peek_token ();
5052 : 3661 : while (t->get_id () != RIGHT_CURLY)
5053 : : {
5054 : 1549 : std::unique_ptr<AST::AssociatedItem> trait_item = parse_trait_item ();
5055 : :
5056 : 1549 : if (trait_item == nullptr)
5057 : : {
5058 : 0 : Error error (lexer.peek_token ()->get_locus (),
5059 : : "failed to parse trait item in trait");
5060 : 0 : add_error (std::move (error));
5061 : :
5062 : 0 : return nullptr;
5063 : 0 : }
5064 : 1549 : trait_items.push_back (std::move (trait_item));
5065 : :
5066 : 1549 : t = lexer.peek_token ();
5067 : : }
5068 : :
5069 : 2112 : if (!skip_token (RIGHT_CURLY))
5070 : : {
5071 : : // skip after something
5072 : 0 : return nullptr;
5073 : : }
5074 : :
5075 : : trait_items.shrink_to_fit ();
5076 : : return std::unique_ptr<AST::Trait> (
5077 : 2112 : new AST::Trait (std::move (ident), is_unsafe, is_auto_trait,
5078 : : std::move (generic_params), std::move (type_param_bounds),
5079 : : std::move (where_clause), std::move (trait_items),
5080 : : std::move (vis), std::move (outer_attrs),
5081 : 2112 : std::move (inner_attrs), locus));
5082 : 4232 : }
5083 : :
5084 : : // Parses a trait item used inside traits (not trait, the Item).
5085 : : template <typename ManagedTokenSource>
5086 : : std::unique_ptr<AST::AssociatedItem>
5087 : 1551 : Parser<ManagedTokenSource>::parse_trait_item ()
5088 : : {
5089 : : // parse outer attributes (if they exist)
5090 : 1551 : AST::AttrVec outer_attrs = parse_outer_attributes ();
5091 : :
5092 : 1551 : AST::Visibility vis = parse_visibility ();
5093 : :
5094 : : // lookahead to determine what type of trait item to parse
5095 : 1551 : const_TokenPtr tok = lexer.peek_token ();
5096 : 1551 : switch (tok->get_id ())
5097 : : {
5098 : 0 : case SUPER:
5099 : : case SELF:
5100 : : case CRATE:
5101 : : case DOLLAR_SIGN:
5102 : : // these seem to be SimplePath tokens, so this is a macro invocation
5103 : : // semi
5104 : 0 : return parse_macro_invocation_semi (std::move (outer_attrs));
5105 : 1 : case IDENTIFIER:
5106 : 2 : if (lexer.peek_token ()->get_str () == Values::WeakKeywords::DEFAULT)
5107 : 0 : return parse_function (std::move (vis), std::move (outer_attrs));
5108 : : else
5109 : 2 : return parse_macro_invocation_semi (std::move (outer_attrs));
5110 : 480 : case TYPE:
5111 : 480 : return parse_trait_type (std::move (outer_attrs), vis);
5112 : 37 : case CONST:
5113 : : // disambiguate with function qualifier
5114 : 74 : if (lexer.peek_token (1)->get_id () == IDENTIFIER)
5115 : : {
5116 : 36 : return parse_trait_const (std::move (outer_attrs));
5117 : : }
5118 : : // else, fallthrough to function
5119 : : // TODO: find out how to disable gcc "implicit fallthrough" error
5120 : : gcc_fallthrough ();
5121 : : case ASYNC:
5122 : : case UNSAFE:
5123 : : case EXTERN_KW:
5124 : : case FN_KW:
5125 : 2068 : return parse_function (std::move (vis), std::move (outer_attrs));
5126 : : default:
5127 : : break;
5128 : : }
5129 : 0 : add_error (Error (tok->get_locus (),
5130 : : "unrecognised token %qs for item in trait",
5131 : : tok->get_token_description ()));
5132 : : // skip?
5133 : 0 : return nullptr;
5134 : 1551 : }
5135 : :
5136 : : // Parse a typedef trait item.
5137 : : template <typename ManagedTokenSource>
5138 : : std::unique_ptr<AST::TraitItemType>
5139 : 480 : Parser<ManagedTokenSource>::parse_trait_type (AST::AttrVec outer_attrs,
5140 : : AST::Visibility vis)
5141 : : {
5142 : 480 : location_t locus = lexer.peek_token ()->get_locus ();
5143 : 480 : skip_token (TYPE);
5144 : :
5145 : 480 : const_TokenPtr ident_tok = expect_token (IDENTIFIER);
5146 : 480 : if (ident_tok == nullptr)
5147 : 0 : return nullptr;
5148 : :
5149 : 960 : Identifier ident{ident_tok};
5150 : :
5151 : 480 : std::vector<std::unique_ptr<AST::TypeParamBound>> bounds;
5152 : :
5153 : : // parse optional colon
5154 : 960 : if (lexer.peek_token ()->get_id () == COLON)
5155 : : {
5156 : 17 : lexer.skip_token ();
5157 : :
5158 : : // parse optional type param bounds
5159 : : bounds
5160 : 17 : = parse_type_param_bounds ([] (TokenId id) { return id == SEMICOLON; });
5161 : : // bounds = parse_type_param_bounds ();
5162 : : }
5163 : :
5164 : 480 : if (!skip_token (SEMICOLON))
5165 : : {
5166 : : // skip?
5167 : 0 : return nullptr;
5168 : : }
5169 : :
5170 : : return std::unique_ptr<AST::TraitItemType> (
5171 : 480 : new AST::TraitItemType (std::move (ident), std::move (bounds),
5172 : 480 : std::move (outer_attrs), vis, locus));
5173 : 480 : }
5174 : :
5175 : : // Parses a constant trait item.
5176 : : template <typename ManagedTokenSource>
5177 : : std::unique_ptr<AST::TraitItemConst>
5178 : 36 : Parser<ManagedTokenSource>::parse_trait_const (AST::AttrVec outer_attrs)
5179 : : {
5180 : 36 : location_t locus = lexer.peek_token ()->get_locus ();
5181 : 36 : skip_token (CONST);
5182 : :
5183 : : // parse constant item name
5184 : 36 : const_TokenPtr ident_tok = expect_token (IDENTIFIER);
5185 : 36 : if (ident_tok == nullptr)
5186 : 0 : return nullptr;
5187 : :
5188 : 36 : Identifier ident{ident_tok};
5189 : :
5190 : 36 : if (!skip_token (COLON))
5191 : : {
5192 : 0 : skip_after_semicolon ();
5193 : 0 : return nullptr;
5194 : : }
5195 : :
5196 : : // parse constant trait item type
5197 : 36 : std::unique_ptr<AST::Type> type = parse_type ();
5198 : :
5199 : : // parse constant trait body expression, if it exists
5200 : 36 : std::unique_ptr<AST::Expr> const_body = nullptr;
5201 : 72 : if (lexer.peek_token ()->get_id () == EQUAL)
5202 : : {
5203 : 10 : lexer.skip_token ();
5204 : :
5205 : : // expression must exist, so parse it
5206 : 10 : const_body = parse_expr ();
5207 : : }
5208 : :
5209 : 36 : if (!skip_token (SEMICOLON))
5210 : : {
5211 : : // skip after something?
5212 : 0 : return nullptr;
5213 : : }
5214 : :
5215 : : return std::unique_ptr<AST::TraitItemConst> (
5216 : 36 : new AST::TraitItemConst (std::move (ident), std::move (type),
5217 : : std::move (const_body), std::move (outer_attrs),
5218 : 36 : locus));
5219 : 72 : }
5220 : :
5221 : : /* Parses a struct "impl" item (both inherent impl and trait impl can be
5222 : : * parsed here), */
5223 : : template <typename ManagedTokenSource>
5224 : : std::unique_ptr<AST::Impl>
5225 : 3096 : Parser<ManagedTokenSource>::parse_impl (AST::Visibility vis,
5226 : : AST::AttrVec outer_attrs)
5227 : : {
5228 : : /* Note that only trait impls are allowed to be unsafe. So if unsafe, it
5229 : : * must be a trait impl. However, this isn't enough for full disambiguation,
5230 : : * so don't branch here. */
5231 : 3096 : location_t locus = lexer.peek_token ()->get_locus ();
5232 : 3096 : bool is_unsafe = false;
5233 : 6192 : if (lexer.peek_token ()->get_id () == UNSAFE)
5234 : : {
5235 : 63 : lexer.skip_token ();
5236 : 63 : is_unsafe = true;
5237 : : }
5238 : :
5239 : 3096 : if (!skip_token (IMPL))
5240 : : {
5241 : 0 : skip_after_next_block ();
5242 : 0 : return nullptr;
5243 : : }
5244 : :
5245 : : // parse generic params (shared by trait and inherent impls)
5246 : 3096 : std::vector<std::unique_ptr<AST::GenericParam>> generic_params
5247 : : = parse_generic_params_in_angles ();
5248 : :
5249 : : // Again, trait impl-only feature, but optional one, so can be used for
5250 : : // branching yet.
5251 : 3096 : bool has_exclam = false;
5252 : 6192 : if (lexer.peek_token ()->get_id () == EXCLAM)
5253 : : {
5254 : 0 : lexer.skip_token ();
5255 : 0 : has_exclam = true;
5256 : : }
5257 : :
5258 : : /* FIXME: code that doesn't look shit for TypePath. Also, make sure this
5259 : : * doesn't parse too much and not work. */
5260 : 3096 : AST::TypePath type_path = parse_type_path ();
5261 : 6043 : if (type_path.is_error () || lexer.peek_token ()->get_id () != FOR)
5262 : : {
5263 : : /* cannot parse type path (or not for token next, at least), so must be
5264 : : * inherent impl */
5265 : :
5266 : : // hacky conversion of TypePath stack object to Type pointer
5267 : 724 : std::unique_ptr<AST::Type> type = nullptr;
5268 : 724 : if (!type_path.is_error ())
5269 : 575 : type = std::unique_ptr<AST::TypePath> (
5270 : 575 : new AST::TypePath (std::move (type_path)));
5271 : : else
5272 : 149 : type = parse_type ();
5273 : :
5274 : : // Type is required, so error if null
5275 : 724 : if (type == nullptr)
5276 : : {
5277 : 1 : Error error (lexer.peek_token ()->get_locus (),
5278 : : "could not parse type in inherent impl");
5279 : 1 : add_error (std::move (error));
5280 : :
5281 : 1 : skip_after_next_block ();
5282 : 1 : return nullptr;
5283 : 1 : }
5284 : :
5285 : : // parse optional where clause
5286 : 723 : AST::WhereClause where_clause = parse_where_clause ();
5287 : :
5288 : 723 : if (!skip_token (LEFT_CURLY))
5289 : : {
5290 : : // TODO: does this still skip properly?
5291 : 0 : skip_after_end_block ();
5292 : 0 : return nullptr;
5293 : : }
5294 : :
5295 : : // parse inner attributes (optional)
5296 : 723 : AST::AttrVec inner_attrs = parse_inner_attributes ();
5297 : :
5298 : : // parse inherent impl items
5299 : 723 : std::vector<std::unique_ptr<AST::AssociatedItem>> impl_items;
5300 : :
5301 : 723 : const_TokenPtr t = lexer.peek_token ();
5302 : 2406 : while (t->get_id () != RIGHT_CURLY)
5303 : : {
5304 : 1693 : std::unique_ptr<AST::AssociatedItem> impl_item
5305 : : = parse_inherent_impl_item ();
5306 : :
5307 : 1693 : if (impl_item == nullptr)
5308 : : {
5309 : 10 : Error error (
5310 : 10 : lexer.peek_token ()->get_locus (),
5311 : : "failed to parse inherent impl item in inherent impl");
5312 : 10 : add_error (std::move (error));
5313 : :
5314 : 10 : return nullptr;
5315 : 10 : }
5316 : :
5317 : 1683 : impl_items.push_back (std::move (impl_item));
5318 : :
5319 : 1683 : t = lexer.peek_token ();
5320 : : }
5321 : :
5322 : 713 : if (!skip_token (RIGHT_CURLY))
5323 : : {
5324 : : // skip somewhere
5325 : 0 : return nullptr;
5326 : : }
5327 : :
5328 : : // DEBUG
5329 : 713 : rust_debug ("successfully parsed inherent impl");
5330 : :
5331 : : impl_items.shrink_to_fit ();
5332 : :
5333 : 713 : return std::unique_ptr<AST::InherentImpl> (new AST::InherentImpl (
5334 : : std::move (impl_items), std::move (generic_params), std::move (type),
5335 : : std::move (where_clause), std::move (vis), std::move (inner_attrs),
5336 : 713 : std::move (outer_attrs), locus));
5337 : 1447 : }
5338 : : else
5339 : : {
5340 : : // type path must both be valid and next token is for, so trait impl
5341 : 2372 : if (!skip_token (FOR))
5342 : : {
5343 : 0 : skip_after_next_block ();
5344 : 0 : return nullptr;
5345 : : }
5346 : :
5347 : : // parse type
5348 : 2372 : std::unique_ptr<AST::Type> type = parse_type ();
5349 : : // ensure type is included as it is required
5350 : 2372 : if (type == nullptr)
5351 : : {
5352 : 0 : Error error (lexer.peek_token ()->get_locus (),
5353 : : "could not parse type in trait impl");
5354 : 0 : add_error (std::move (error));
5355 : :
5356 : 0 : skip_after_next_block ();
5357 : 0 : return nullptr;
5358 : 0 : }
5359 : :
5360 : : // parse optional where clause
5361 : 2372 : AST::WhereClause where_clause = parse_where_clause ();
5362 : :
5363 : 2372 : if (!skip_token (LEFT_CURLY))
5364 : : {
5365 : : // TODO: does this still skip properly?
5366 : 0 : skip_after_end_block ();
5367 : 0 : return nullptr;
5368 : : }
5369 : :
5370 : : // parse inner attributes (optional)
5371 : 2372 : AST::AttrVec inner_attrs = parse_inner_attributes ();
5372 : :
5373 : : // parse trait impl items
5374 : 2372 : std::vector<std::unique_ptr<AST::AssociatedItem>> impl_items;
5375 : :
5376 : 2372 : const_TokenPtr t = lexer.peek_token ();
5377 : 7488 : while (t->get_id () != RIGHT_CURLY)
5378 : : {
5379 : 2558 : std::unique_ptr<AST::AssociatedItem> impl_item
5380 : : = parse_trait_impl_item ();
5381 : :
5382 : 2558 : if (impl_item == nullptr)
5383 : : {
5384 : 0 : Error error (lexer.peek_token ()->get_locus (),
5385 : : "failed to parse trait impl item in trait impl");
5386 : 0 : add_error (std::move (error));
5387 : :
5388 : 0 : return nullptr;
5389 : 0 : }
5390 : :
5391 : 2558 : impl_items.push_back (std::move (impl_item));
5392 : :
5393 : 2558 : t = lexer.peek_token ();
5394 : :
5395 : : // DEBUG
5396 : 2558 : rust_debug ("successfully parsed a trait impl item");
5397 : : }
5398 : : // DEBUG
5399 : 2372 : rust_debug ("successfully finished trait impl items");
5400 : :
5401 : 2372 : if (!skip_token (RIGHT_CURLY))
5402 : : {
5403 : : // skip somewhere
5404 : 0 : return nullptr;
5405 : : }
5406 : :
5407 : : // DEBUG
5408 : 2372 : rust_debug ("successfully parsed trait impl");
5409 : :
5410 : : impl_items.shrink_to_fit ();
5411 : :
5412 : 2372 : return std::unique_ptr<AST::TraitImpl> (
5413 : 4744 : new AST::TraitImpl (std::move (type_path), is_unsafe, has_exclam,
5414 : : std::move (impl_items), std::move (generic_params),
5415 : : std::move (type), std::move (where_clause),
5416 : : std::move (vis), std::move (inner_attrs),
5417 : 2372 : std::move (outer_attrs), locus));
5418 : 4744 : }
5419 : 3096 : }
5420 : :
5421 : : // Parses a single inherent impl item (item inside an inherent impl block).
5422 : : template <typename ManagedTokenSource>
5423 : : std::unique_ptr<AST::AssociatedItem>
5424 : 1695 : Parser<ManagedTokenSource>::parse_inherent_impl_item ()
5425 : : {
5426 : : // parse outer attributes (if they exist)
5427 : 1695 : AST::AttrVec outer_attrs = parse_outer_attributes ();
5428 : :
5429 : : // TODO: cleanup - currently an unreadable mess
5430 : :
5431 : : // branch on next token:
5432 : 1695 : const_TokenPtr t = lexer.peek_token ();
5433 : 1695 : switch (t->get_id ())
5434 : : {
5435 : 1 : case IDENTIFIER:
5436 : : // FIXME: Arthur: Do we need to some lookahead here?
5437 : 2 : return parse_macro_invocation_semi (outer_attrs);
5438 : 1122 : case SUPER:
5439 : : case SELF:
5440 : : case CRATE:
5441 : : case PUB: {
5442 : : // visibility, so not a macro invocation semi - must be constant,
5443 : : // function, or method
5444 : 1122 : AST::Visibility vis = parse_visibility ();
5445 : :
5446 : : // TODO: is a recursive call to parse_inherent_impl_item better?
5447 : 2244 : switch (lexer.peek_token ()->get_id ())
5448 : : {
5449 : 584 : case EXTERN_KW:
5450 : : case UNSAFE:
5451 : : case FN_KW:
5452 : : // function or method
5453 : 1168 : return parse_inherent_impl_function_or_method (std::move (vis),
5454 : : std::move (
5455 : 584 : outer_attrs));
5456 : 538 : case CONST:
5457 : : // lookahead to resolve production - could be function/method or
5458 : : // const item
5459 : 538 : t = lexer.peek_token (1);
5460 : :
5461 : 538 : switch (t->get_id ())
5462 : : {
5463 : 1 : case IDENTIFIER:
5464 : : case UNDERSCORE:
5465 : 2 : return parse_const_item (std::move (vis),
5466 : 1 : std::move (outer_attrs));
5467 : 537 : case UNSAFE:
5468 : : case EXTERN_KW:
5469 : : case FN_KW:
5470 : 1074 : return parse_inherent_impl_function_or_method (std::move (vis),
5471 : : std::move (
5472 : 537 : outer_attrs));
5473 : 0 : default:
5474 : 0 : add_error (Error (t->get_locus (),
5475 : : "unexpected token %qs in some sort of const "
5476 : : "item in inherent impl",
5477 : : t->get_token_description ()));
5478 : :
5479 : 0 : lexer.skip_token (1); // TODO: is this right thing to do?
5480 : 0 : return nullptr;
5481 : : }
5482 : 0 : default:
5483 : 0 : add_error (
5484 : 0 : Error (t->get_locus (),
5485 : : "unrecognised token %qs for item in inherent impl",
5486 : : t->get_token_description ()));
5487 : : // skip?
5488 : 0 : return nullptr;
5489 : : }
5490 : 1122 : }
5491 : 560 : case ASYNC:
5492 : : case EXTERN_KW:
5493 : : case UNSAFE:
5494 : : case FN_KW:
5495 : : // function or method
5496 : 560 : return parse_inherent_impl_function_or_method (
5497 : 560 : AST::Visibility::create_private (), std::move (outer_attrs));
5498 : 12 : case CONST:
5499 : : /* lookahead to resolve production - could be function/method or const
5500 : : * item */
5501 : 12 : t = lexer.peek_token (1);
5502 : :
5503 : 12 : switch (t->get_id ())
5504 : : {
5505 : 12 : case IDENTIFIER:
5506 : : case UNDERSCORE:
5507 : 24 : return parse_const_item (AST::Visibility::create_private (),
5508 : 12 : std::move (outer_attrs));
5509 : 0 : case UNSAFE:
5510 : : case EXTERN_KW:
5511 : : case FN_KW:
5512 : 0 : return parse_inherent_impl_function_or_method (
5513 : 0 : AST::Visibility::create_private (), std::move (outer_attrs));
5514 : 0 : default:
5515 : 0 : add_error (Error (t->get_locus (),
5516 : : "unexpected token %qs in some sort of const item "
5517 : : "in inherent impl",
5518 : : t->get_token_description ()));
5519 : :
5520 : 0 : lexer.skip_token (1); // TODO: is this right thing to do?
5521 : 0 : return nullptr;
5522 : : }
5523 : : rust_unreachable ();
5524 : 0 : default:
5525 : 0 : add_error (Error (t->get_locus (),
5526 : : "unrecognised token %qs for item in inherent impl",
5527 : : t->get_token_description ()));
5528 : :
5529 : : // skip?
5530 : 0 : return nullptr;
5531 : : }
5532 : 1695 : }
5533 : :
5534 : : /* For internal use only by parse_inherent_impl_item() - splits giant method
5535 : : * into smaller ones and prevents duplication of logic. Strictly, this parses
5536 : : * a function or method item inside an inherent impl item block. */
5537 : : // TODO: make this a templated function with "return type" as type param -
5538 : : // InherentImplItem is this specialisation of the template while TraitImplItem
5539 : : // will be the other.
5540 : : template <typename ManagedTokenSource>
5541 : : std::unique_ptr<AST::AssociatedItem>
5542 : 1681 : Parser<ManagedTokenSource>::parse_inherent_impl_function_or_method (
5543 : : AST::Visibility vis, AST::AttrVec outer_attrs)
5544 : : {
5545 : 1681 : location_t locus = lexer.peek_token ()->get_locus ();
5546 : : // parse function or method qualifiers
5547 : 1681 : AST::FunctionQualifiers qualifiers = parse_function_qualifiers ();
5548 : :
5549 : 1681 : skip_token (FN_KW);
5550 : :
5551 : : // parse function or method name
5552 : 1681 : const_TokenPtr ident_tok = expect_token (IDENTIFIER);
5553 : 1681 : if (ident_tok == nullptr)
5554 : 7 : return nullptr;
5555 : :
5556 : 1674 : Identifier ident{ident_tok};
5557 : :
5558 : : // parse generic params
5559 : 1674 : std::vector<std::unique_ptr<AST::GenericParam>> generic_params
5560 : : = parse_generic_params_in_angles ();
5561 : :
5562 : 1674 : if (!skip_token (LEFT_PAREN))
5563 : : {
5564 : : // skip after somewhere?
5565 : 0 : return nullptr;
5566 : : }
5567 : :
5568 : : // now for function vs method disambiguation - method has opening "self"
5569 : : // param
5570 : 1674 : auto initial_param = parse_self_param ();
5571 : :
5572 : 1674 : if (!initial_param.has_value () && initial_param.error () != NOT_SELF)
5573 : 3 : return nullptr;
5574 : :
5575 : : /* FIXME: ensure that self param doesn't accidently consume tokens for a
5576 : : * function one idea is to lookahead up to 4 tokens to see whether self is
5577 : : * one of them */
5578 : 1671 : bool is_method = false;
5579 : 1671 : if (initial_param.has_value ())
5580 : : {
5581 : 1058 : if ((*initial_param)->is_self ())
5582 : : is_method = true;
5583 : :
5584 : : /* skip comma so function and method regular params can be parsed in
5585 : : * same way */
5586 : 2116 : if (lexer.peek_token ()->get_id () == COMMA)
5587 : 574 : lexer.skip_token ();
5588 : : }
5589 : :
5590 : : // parse trait function params
5591 : 1671 : std::vector<std::unique_ptr<AST::Param>> function_params
5592 : : = parse_function_params ([] (TokenId id) { return id == RIGHT_PAREN; });
5593 : :
5594 : 1671 : if (initial_param.has_value ())
5595 : 1058 : function_params.insert (function_params.begin (),
5596 : 1058 : std::move (*initial_param));
5597 : :
5598 : 1671 : if (!skip_token (RIGHT_PAREN))
5599 : : {
5600 : 0 : skip_after_end_block ();
5601 : 0 : return nullptr;
5602 : : }
5603 : :
5604 : : // parse return type (optional)
5605 : 1671 : std::unique_ptr<AST::Type> return_type = parse_function_return_type ();
5606 : :
5607 : : // parse where clause (optional)
5608 : 1671 : AST::WhereClause where_clause = parse_where_clause ();
5609 : :
5610 : 1671 : tl::optional<std::unique_ptr<AST::BlockExpr>> body = tl::nullopt;
5611 : 3342 : if (lexer.peek_token ()->get_id () == SEMICOLON)
5612 : 2 : lexer.skip_token ();
5613 : : else
5614 : : {
5615 : 1669 : auto result = parse_block_expr ();
5616 : :
5617 : 1669 : if (result == nullptr)
5618 : : {
5619 : 0 : Error error (
5620 : 0 : lexer.peek_token ()->get_locus (),
5621 : : "could not parse definition in inherent impl %s definition",
5622 : : is_method ? "method" : "function");
5623 : 0 : add_error (std::move (error));
5624 : :
5625 : 0 : skip_after_end_block ();
5626 : 0 : return nullptr;
5627 : 0 : }
5628 : 1669 : body = std::move (result);
5629 : 1669 : }
5630 : :
5631 : 1671 : return std::unique_ptr<AST::Function> (
5632 : 6682 : new AST::Function (std::move (ident), std::move (qualifiers),
5633 : : std::move (generic_params), std::move (function_params),
5634 : : std::move (return_type), std::move (where_clause),
5635 : : std::move (body), std::move (vis),
5636 : 1671 : std::move (outer_attrs), locus));
5637 : 5026 : }
5638 : :
5639 : : // Parses a single trait impl item (item inside a trait impl block).
5640 : : template <typename ManagedTokenSource>
5641 : : std::unique_ptr<AST::AssociatedItem>
5642 : 2597 : Parser<ManagedTokenSource>::parse_trait_impl_item ()
5643 : : {
5644 : : // parse outer attributes (if they exist)
5645 : 2597 : AST::AttrVec outer_attrs = parse_outer_attributes ();
5646 : :
5647 : 2597 : auto visibility = AST::Visibility::create_private ();
5648 : 5194 : if (lexer.peek_token ()->get_id () == PUB)
5649 : 0 : visibility = parse_visibility ();
5650 : :
5651 : : // branch on next token:
5652 : 2597 : const_TokenPtr t = lexer.peek_token ();
5653 : 2597 : switch (t->get_id ())
5654 : : {
5655 : 0 : case SUPER:
5656 : : case SELF:
5657 : : case CRATE:
5658 : : case DOLLAR_SIGN:
5659 : : // these seem to be SimplePath tokens, so this is a macro invocation
5660 : : // semi
5661 : 0 : return parse_macro_invocation_semi (std::move (outer_attrs));
5662 : 17 : case IDENTIFIER:
5663 : 34 : if (lexer.peek_token ()->get_str () == Values::WeakKeywords::DEFAULT)
5664 : 4 : return parse_trait_impl_function_or_method (visibility,
5665 : 2 : std::move (outer_attrs));
5666 : : else
5667 : 30 : return parse_macro_invocation_semi (std::move (outer_attrs));
5668 : 777 : case TYPE:
5669 : 1554 : return parse_type_alias (visibility, std::move (outer_attrs));
5670 : 1771 : case EXTERN_KW:
5671 : : case UNSAFE:
5672 : : case FN_KW:
5673 : : // function or method
5674 : 3542 : return parse_trait_impl_function_or_method (visibility,
5675 : 1771 : std::move (outer_attrs));
5676 : 1 : case ASYNC:
5677 : 2 : return parse_async_item (visibility, std::move (outer_attrs));
5678 : 31 : case CONST:
5679 : : // lookahead to resolve production - could be function/method or const
5680 : : // item
5681 : 31 : t = lexer.peek_token (1);
5682 : :
5683 : 31 : switch (t->get_id ())
5684 : : {
5685 : 30 : case IDENTIFIER:
5686 : : case UNDERSCORE:
5687 : 60 : return parse_const_item (visibility, std::move (outer_attrs));
5688 : 1 : case UNSAFE:
5689 : : case EXTERN_KW:
5690 : : case FN_KW:
5691 : 2 : return parse_trait_impl_function_or_method (visibility,
5692 : 1 : std::move (outer_attrs));
5693 : 0 : default:
5694 : 0 : add_error (Error (
5695 : : t->get_locus (),
5696 : : "unexpected token %qs in some sort of const item in trait impl",
5697 : : t->get_token_description ()));
5698 : :
5699 : 0 : lexer.skip_token (1); // TODO: is this right thing to do?
5700 : 0 : return nullptr;
5701 : : }
5702 : : rust_unreachable ();
5703 : : default:
5704 : : break;
5705 : : }
5706 : 0 : add_error (Error (t->get_locus (),
5707 : : "unrecognised token %qs for item in trait impl",
5708 : : t->get_token_description ()));
5709 : :
5710 : : // skip?
5711 : 0 : return nullptr;
5712 : 2597 : }
5713 : :
5714 : : /* For internal use only by parse_trait_impl_item() - splits giant method into
5715 : : * smaller ones and prevents duplication of logic. Strictly, this parses a
5716 : : * function or method item inside a trait impl item block. */
5717 : : template <typename ManagedTokenSource>
5718 : : std::unique_ptr<AST::AssociatedItem>
5719 : 1774 : Parser<ManagedTokenSource>::parse_trait_impl_function_or_method (
5720 : : AST::Visibility vis, AST::AttrVec outer_attrs)
5721 : : {
5722 : : // this shares virtually all logic with
5723 : : // parse_inherent_impl_function_or_method
5724 : : // - template?
5725 : 1774 : location_t locus = lexer.peek_token ()->get_locus ();
5726 : :
5727 : 1774 : auto is_default = false;
5728 : 1774 : auto t = lexer.peek_token ();
5729 : 1774 : if (t->get_id () == IDENTIFIER
5730 : 1774 : && t->get_str () == Values::WeakKeywords::DEFAULT)
5731 : : {
5732 : 2 : is_default = true;
5733 : 2 : lexer.skip_token ();
5734 : : }
5735 : :
5736 : : // parse function or method qualifiers
5737 : 1774 : AST::FunctionQualifiers qualifiers = parse_function_qualifiers ();
5738 : :
5739 : 1774 : skip_token (FN_KW);
5740 : :
5741 : : // parse function or method name
5742 : 1774 : const_TokenPtr ident_tok = expect_token (IDENTIFIER);
5743 : 1774 : if (ident_tok == nullptr)
5744 : : {
5745 : 0 : return nullptr;
5746 : : }
5747 : 1774 : Identifier ident{ident_tok};
5748 : :
5749 : : // DEBUG:
5750 : 1774 : rust_debug (
5751 : : "about to start parsing generic params in trait impl function or method");
5752 : :
5753 : : // parse generic params
5754 : 1774 : std::vector<std::unique_ptr<AST::GenericParam>> generic_params
5755 : : = parse_generic_params_in_angles ();
5756 : :
5757 : : // DEBUG:
5758 : 1774 : rust_debug (
5759 : : "finished parsing generic params in trait impl function or method");
5760 : :
5761 : 1774 : if (!skip_token (LEFT_PAREN))
5762 : : {
5763 : : // skip after somewhere?
5764 : 0 : return nullptr;
5765 : : }
5766 : :
5767 : : // now for function vs method disambiguation - method has opening "self"
5768 : : // param
5769 : 1774 : auto initial_param = parse_self_param ();
5770 : :
5771 : 1774 : if (!initial_param.has_value () && initial_param.error () != NOT_SELF)
5772 : 0 : return nullptr;
5773 : :
5774 : : // FIXME: ensure that self param doesn't accidently consume tokens for a
5775 : : // function
5776 : 1774 : bool is_method = false;
5777 : 1774 : if (initial_param.has_value ())
5778 : : {
5779 : 1661 : if ((*initial_param)->is_self ())
5780 : : is_method = true;
5781 : :
5782 : : // skip comma so function and method regular params can be parsed in
5783 : : // same way
5784 : 3322 : if (lexer.peek_token ()->get_id () == COMMA)
5785 : : {
5786 : 573 : lexer.skip_token ();
5787 : : }
5788 : :
5789 : : // DEBUG
5790 : 1661 : rust_debug ("successfully parsed self param in method trait impl item");
5791 : : }
5792 : :
5793 : : // DEBUG
5794 : 1774 : rust_debug (
5795 : : "started to parse function params in function or method trait impl item");
5796 : :
5797 : : // parse trait function params (only if next token isn't right paren)
5798 : 1774 : std::vector<std::unique_ptr<AST::Param>> function_params;
5799 : 3548 : if (lexer.peek_token ()->get_id () != RIGHT_PAREN)
5800 : : {
5801 : : function_params
5802 : 623 : = parse_function_params ([] (TokenId id) { return id == RIGHT_PAREN; });
5803 : :
5804 : 623 : if (function_params.empty ())
5805 : : {
5806 : 0 : Error error (
5807 : 0 : lexer.peek_token ()->get_locus (),
5808 : : "failed to parse function params in trait impl %s definition",
5809 : : is_method ? "method" : "function");
5810 : 0 : add_error (std::move (error));
5811 : :
5812 : 0 : skip_after_next_block ();
5813 : 0 : return nullptr;
5814 : 0 : }
5815 : : }
5816 : :
5817 : 1774 : if (initial_param.has_value ())
5818 : 1661 : function_params.insert (function_params.begin (),
5819 : 1661 : std::move (*initial_param));
5820 : :
5821 : : // DEBUG
5822 : 1774 : rust_debug ("successfully parsed function params in function or method "
5823 : : "trait impl item");
5824 : :
5825 : 1774 : if (!skip_token (RIGHT_PAREN))
5826 : : {
5827 : 0 : skip_after_next_block ();
5828 : 0 : return nullptr;
5829 : : }
5830 : :
5831 : : // parse return type (optional)
5832 : 1774 : std::unique_ptr<AST::Type> return_type = parse_function_return_type ();
5833 : :
5834 : : // DEBUG
5835 : 1774 : rust_debug (
5836 : : "successfully parsed return type in function or method trait impl item");
5837 : :
5838 : : // parse where clause (optional)
5839 : 1774 : AST::WhereClause where_clause = parse_where_clause ();
5840 : :
5841 : : // DEBUG
5842 : 1774 : rust_debug (
5843 : : "successfully parsed where clause in function or method trait impl item");
5844 : :
5845 : : // parse function definition (in block) - semicolon not allowed
5846 : 1774 : tl::optional<std::unique_ptr<AST::BlockExpr>> body = tl::nullopt;
5847 : :
5848 : 3548 : if (lexer.peek_token ()->get_id () == SEMICOLON)
5849 : 1 : lexer.skip_token ();
5850 : : else
5851 : : {
5852 : 1773 : auto result = parse_block_expr ();
5853 : 1773 : if (result == nullptr)
5854 : : {
5855 : 0 : Error error (lexer.peek_token ()->get_locus (),
5856 : : "could not parse definition in trait impl %s definition",
5857 : : is_method ? "method" : "function");
5858 : 0 : add_error (std::move (error));
5859 : :
5860 : 0 : skip_after_end_block ();
5861 : 0 : return nullptr;
5862 : 0 : }
5863 : 1773 : body = std::move (result);
5864 : 1773 : }
5865 : :
5866 : 1774 : return std::unique_ptr<AST::Function> (
5867 : 7095 : new AST::Function (std::move (ident), std::move (qualifiers),
5868 : : std::move (generic_params), std::move (function_params),
5869 : : std::move (return_type), std::move (where_clause),
5870 : : std::move (body), std::move (vis),
5871 : 1774 : std::move (outer_attrs), locus, is_default));
5872 : 5322 : }
5873 : :
5874 : : // Parses an extern block of declarations.
5875 : : template <typename ManagedTokenSource>
5876 : : std::unique_ptr<AST::ExternBlock>
5877 : 1035 : Parser<ManagedTokenSource>::parse_extern_block (AST::Visibility vis,
5878 : : AST::AttrVec outer_attrs)
5879 : : {
5880 : 1035 : location_t locus = lexer.peek_token ()->get_locus ();
5881 : 1035 : skip_token (EXTERN_KW);
5882 : :
5883 : : // detect optional abi name
5884 : 1035 : std::string abi;
5885 : 1035 : const_TokenPtr next_tok = lexer.peek_token ();
5886 : 1035 : if (next_tok->get_id () == STRING_LITERAL)
5887 : : {
5888 : 1035 : lexer.skip_token ();
5889 : 1035 : abi = next_tok->get_str ();
5890 : : }
5891 : :
5892 : 1035 : if (!skip_token (LEFT_CURLY))
5893 : : {
5894 : 0 : skip_after_end_block ();
5895 : 0 : return nullptr;
5896 : : }
5897 : :
5898 : 1035 : AST::AttrVec inner_attrs = parse_inner_attributes ();
5899 : :
5900 : : // parse declarations inside extern block
5901 : 1035 : std::vector<std::unique_ptr<AST::ExternalItem>> extern_items;
5902 : :
5903 : 1035 : const_TokenPtr t = lexer.peek_token ();
5904 : 2635 : while (t->get_id () != RIGHT_CURLY)
5905 : : {
5906 : 1601 : std::unique_ptr<AST::ExternalItem> extern_item = parse_external_item ();
5907 : :
5908 : 1601 : if (extern_item == nullptr)
5909 : : {
5910 : 1 : Error error (t->get_locus (),
5911 : : "failed to parse external item despite not reaching "
5912 : : "end of extern block");
5913 : 1 : add_error (std::move (error));
5914 : :
5915 : 1 : return nullptr;
5916 : 1 : }
5917 : :
5918 : 1600 : extern_items.push_back (std::move (extern_item));
5919 : :
5920 : 1600 : t = lexer.peek_token ();
5921 : : }
5922 : :
5923 : 1034 : if (!skip_token (RIGHT_CURLY))
5924 : : {
5925 : : // skip somewhere
5926 : 0 : return nullptr;
5927 : : }
5928 : :
5929 : : extern_items.shrink_to_fit ();
5930 : :
5931 : : return std::unique_ptr<AST::ExternBlock> (
5932 : 1034 : new AST::ExternBlock (std::move (abi), std::move (extern_items),
5933 : : std::move (vis), std::move (inner_attrs),
5934 : 1034 : std::move (outer_attrs), locus));
5935 : 2070 : }
5936 : :
5937 : : template <typename ManagedTokenSource>
5938 : : AST::NamedFunctionParam
5939 : : Parser<ManagedTokenSource>::parse_named_function_param ()
5940 : : {
5941 : : AST::AttrVec outer_attrs = parse_outer_attributes ();
5942 : : location_t locus = lexer.peek_token ()->get_locus ();
5943 : :
5944 : : if (lexer.peek_token ()->get_id () == ELLIPSIS) // Unnamed variadic
5945 : : {
5946 : : lexer.skip_token (); // Skip ellipsis
5947 : : return AST::NamedFunctionParam (std::move (outer_attrs), locus);
5948 : : }
5949 : :
5950 : : // parse identifier/_
5951 : : std::string name;
5952 : :
5953 : : const_TokenPtr t = lexer.peek_token ();
5954 : : location_t name_location = t->get_locus ();
5955 : : switch (t->get_id ())
5956 : : {
5957 : : case IDENTIFIER:
5958 : : name = t->get_str ();
5959 : : lexer.skip_token ();
5960 : : break;
5961 : : case UNDERSCORE:
5962 : : name = "_";
5963 : : lexer.skip_token ();
5964 : : break;
5965 : : default:
5966 : : // this is not a function param, but not necessarily an error
5967 : : return AST::NamedFunctionParam::create_error ();
5968 : : }
5969 : :
5970 : : if (!skip_token (COLON))
5971 : : {
5972 : : // skip after somewhere?
5973 : : return AST::NamedFunctionParam::create_error ();
5974 : : }
5975 : :
5976 : : if (lexer.peek_token ()->get_id () == ELLIPSIS) // Named variadic
5977 : : {
5978 : : lexer.skip_token (); // Skip ellipsis
5979 : : return AST::NamedFunctionParam (std::move (name), std::move (outer_attrs),
5980 : : locus);
5981 : : }
5982 : :
5983 : : // parse (required) type
5984 : : std::unique_ptr<AST::Type> param_type = parse_type ();
5985 : : if (param_type == nullptr)
5986 : : {
5987 : : Error error (
5988 : : lexer.peek_token ()->get_locus (),
5989 : : "could not parse param type in extern block function declaration");
5990 : : add_error (std::move (error));
5991 : :
5992 : : skip_after_semicolon ();
5993 : : return AST::NamedFunctionParam::create_error ();
5994 : : }
5995 : :
5996 : : return AST::NamedFunctionParam (std::move (name), std::move (param_type),
5997 : : std::move (outer_attrs), name_location);
5998 : : }
5999 : :
6000 : : template <typename ManagedTokenSource>
6001 : : template <typename EndTokenPred>
6002 : : std::vector<AST::NamedFunctionParam>
6003 : : Parser<ManagedTokenSource>::parse_named_function_params (
6004 : : EndTokenPred is_end_token)
6005 : : {
6006 : : std::vector<AST::NamedFunctionParam> params;
6007 : : if (is_end_token (lexer.peek_token ()->get_id ()))
6008 : : return params;
6009 : :
6010 : : auto initial_param = parse_named_function_param ();
6011 : : if (initial_param.is_error ())
6012 : : return params;
6013 : :
6014 : : params.push_back (std::move (initial_param));
6015 : : auto t = lexer.peek_token ();
6016 : : while (t->get_id () == COMMA)
6017 : : {
6018 : : lexer.skip_token ();
6019 : : if (is_end_token (lexer.peek_token ()->get_id ()))
6020 : : break;
6021 : :
6022 : : auto param = parse_named_function_param ();
6023 : : if (param.is_error ())
6024 : : {
6025 : : Error error (lexer.peek_token ()->get_locus (),
6026 : : "failed to parse param in c function params");
6027 : : add_error (error);
6028 : : return std::vector<AST::NamedFunctionParam> ();
6029 : : }
6030 : : params.push_back (std::move (param));
6031 : : t = lexer.peek_token ();
6032 : : }
6033 : : params.shrink_to_fit ();
6034 : : return params;
6035 : : }
6036 : :
6037 : : // Parses a single extern block item (static or function declaration).
6038 : : template <typename ManagedTokenSource>
6039 : : std::unique_ptr<AST::ExternalItem>
6040 : 1604 : Parser<ManagedTokenSource>::parse_external_item ()
6041 : : {
6042 : : // parse optional outer attributes
6043 : 1604 : AST::AttrVec outer_attrs = parse_outer_attributes ();
6044 : :
6045 : 1604 : location_t locus = lexer.peek_token ()->get_locus ();
6046 : :
6047 : : // parse optional visibility
6048 : 1604 : AST::Visibility vis = parse_visibility ();
6049 : :
6050 : 1604 : const_TokenPtr t = lexer.peek_token ();
6051 : 1604 : switch (t->get_id ())
6052 : : {
6053 : 2 : case IDENTIFIER:
6054 : 4 : return parse_macro_invocation_semi (outer_attrs);
6055 : 1 : case STATIC_KW: {
6056 : : // parse extern static item
6057 : 1 : lexer.skip_token ();
6058 : :
6059 : : // parse mut (optional)
6060 : 1 : bool has_mut = false;
6061 : 2 : if (lexer.peek_token ()->get_id () == MUT)
6062 : : {
6063 : 0 : lexer.skip_token ();
6064 : 0 : has_mut = true;
6065 : : }
6066 : :
6067 : : // parse identifier
6068 : 1 : const_TokenPtr ident_tok = expect_token (IDENTIFIER);
6069 : 1 : if (ident_tok == nullptr)
6070 : : {
6071 : 0 : skip_after_semicolon ();
6072 : 0 : return nullptr;
6073 : : }
6074 : 1 : Identifier ident{ident_tok};
6075 : :
6076 : 1 : if (!skip_token (COLON))
6077 : : {
6078 : 0 : skip_after_semicolon ();
6079 : 0 : return nullptr;
6080 : : }
6081 : :
6082 : : // parse type (required)
6083 : 1 : std::unique_ptr<AST::Type> type = parse_type ();
6084 : 1 : if (type == nullptr)
6085 : : {
6086 : 0 : Error error (lexer.peek_token ()->get_locus (),
6087 : : "failed to parse type in external static item");
6088 : 0 : add_error (std::move (error));
6089 : :
6090 : 0 : skip_after_semicolon ();
6091 : 0 : return nullptr;
6092 : 0 : }
6093 : :
6094 : 1 : if (!skip_token (SEMICOLON))
6095 : : {
6096 : : // skip after somewhere?
6097 : 0 : return nullptr;
6098 : : }
6099 : :
6100 : 1 : return std::unique_ptr<AST::ExternalStaticItem> (
6101 : 2 : new AST::ExternalStaticItem (std::move (ident), std::move (type),
6102 : : has_mut, std::move (vis),
6103 : 1 : std::move (outer_attrs), locus));
6104 : 3 : }
6105 : 1597 : case FN_KW:
6106 : 3194 : return parse_function (std::move (vis), std::move (outer_attrs), true);
6107 : :
6108 : 4 : case TYPE:
6109 : 4 : return parse_external_type_item (std::move (vis),
6110 : 4 : std::move (outer_attrs));
6111 : 0 : default:
6112 : : // error
6113 : 0 : add_error (
6114 : 0 : Error (t->get_locus (),
6115 : : "unrecognised token %qs in extern block item declaration",
6116 : : t->get_token_description ()));
6117 : :
6118 : 0 : skip_after_semicolon ();
6119 : 0 : return nullptr;
6120 : : }
6121 : 1604 : }
6122 : :
6123 : : // Parses a statement (will further disambiguate any statement).
6124 : : template <typename ManagedTokenSource>
6125 : : std::unique_ptr<AST::Stmt>
6126 : 664 : Parser<ManagedTokenSource>::parse_stmt (ParseRestrictions restrictions)
6127 : : {
6128 : : // quick exit for empty statement
6129 : : // FIXME: Can we have empty statements without semicolons? Just nothing?
6130 : 664 : const_TokenPtr t = lexer.peek_token ();
6131 : 664 : if (t->get_id () == SEMICOLON)
6132 : : {
6133 : 30 : lexer.skip_token ();
6134 : 30 : return std::unique_ptr<AST::EmptyStmt> (
6135 : 30 : new AST::EmptyStmt (t->get_locus ()));
6136 : : }
6137 : :
6138 : : // parse outer attributes
6139 : 634 : AST::AttrVec outer_attrs = parse_outer_attributes ();
6140 : :
6141 : : // parsing this will be annoying because of the many different possibilities
6142 : : /* best may be just to copy paste in parse_item switch, and failing that try
6143 : : * to parse outer attributes, and then pass them in to either a let
6144 : : * statement or (fallback) expression statement. */
6145 : : // FIXME: think of a way to do this without such a large switch?
6146 : 634 : t = lexer.peek_token ();
6147 : 634 : switch (t->get_id ())
6148 : : {
6149 : 200 : case LET:
6150 : : // let statement
6151 : 200 : return parse_let_stmt (std::move (outer_attrs), restrictions);
6152 : 185 : case PUB:
6153 : : case MOD:
6154 : : case EXTERN_KW:
6155 : : case USE:
6156 : : case FN_KW:
6157 : : case TYPE:
6158 : : case STRUCT_KW:
6159 : : case ENUM_KW:
6160 : : case CONST:
6161 : : case STATIC_KW:
6162 : : case AUTO:
6163 : : case TRAIT:
6164 : : case IMPL:
6165 : : case MACRO:
6166 : : /* TODO: implement union keyword but not really because of
6167 : : * context-dependence crappy hack way to parse a union written below to
6168 : : * separate it from the good code. */
6169 : : // case UNION:
6170 : : case UNSAFE: // maybe - unsafe traits are a thing
6171 : : /* if any of these (should be all possible VisItem prefixes), parse a
6172 : : * VisItem can't parse item because would require reparsing outer
6173 : : * attributes */
6174 : : // may also be unsafe block
6175 : 370 : if (lexer.peek_token (1)->get_id () == LEFT_CURLY)
6176 : : {
6177 : 1 : return parse_expr_stmt (std::move (outer_attrs), restrictions);
6178 : : }
6179 : : else
6180 : : {
6181 : 184 : return parse_vis_item (std::move (outer_attrs));
6182 : : }
6183 : : break;
6184 : : // crappy hack to do union "keyword"
6185 : 216 : case IDENTIFIER:
6186 : 216 : if (t->get_str () == Values::WeakKeywords::UNION
6187 : 216 : && lexer.peek_token (1)->get_id () == IDENTIFIER)
6188 : : {
6189 : 0 : return parse_vis_item (std::move (outer_attrs));
6190 : : // or should this go straight to parsing union?
6191 : : }
6192 : 432 : else if (is_macro_rules_def (t))
6193 : : {
6194 : : // macro_rules! macro item
6195 : 1 : return parse_macro_rules_def (std::move (outer_attrs));
6196 : : }
6197 : : gcc_fallthrough ();
6198 : : // TODO: find out how to disable gcc "implicit fallthrough" warning
6199 : : default:
6200 : : // fallback: expression statement
6201 : 248 : return parse_expr_stmt (std::move (outer_attrs), restrictions);
6202 : : break;
6203 : : }
6204 : 634 : }
6205 : :
6206 : : // Parses a let statement.
6207 : : template <typename ManagedTokenSource>
6208 : : std::unique_ptr<AST::LetStmt>
6209 : 10414 : Parser<ManagedTokenSource>::parse_let_stmt (AST::AttrVec outer_attrs,
6210 : : ParseRestrictions restrictions)
6211 : : {
6212 : 10414 : location_t locus = lexer.peek_token ()->get_locus ();
6213 : 10414 : skip_token (LET);
6214 : :
6215 : : // parse pattern (required)
6216 : 10414 : std::unique_ptr<AST::Pattern> pattern = parse_pattern ();
6217 : 10414 : if (pattern == nullptr)
6218 : : {
6219 : 0 : Error error (lexer.peek_token ()->get_locus (),
6220 : : "failed to parse pattern in let statement");
6221 : 0 : add_error (std::move (error));
6222 : :
6223 : 0 : skip_after_semicolon ();
6224 : 0 : return nullptr;
6225 : 0 : }
6226 : :
6227 : : // parse type declaration (optional)
6228 : 10414 : std::unique_ptr<AST::Type> type = nullptr;
6229 : 20828 : if (lexer.peek_token ()->get_id () == COLON)
6230 : : {
6231 : : // must have a type declaration
6232 : 1696 : lexer.skip_token ();
6233 : :
6234 : 1696 : type = parse_type ();
6235 : 1696 : if (type == nullptr)
6236 : : {
6237 : 0 : Error error (lexer.peek_token ()->get_locus (),
6238 : : "failed to parse type in let statement");
6239 : 0 : add_error (std::move (error));
6240 : :
6241 : 0 : skip_after_semicolon ();
6242 : 0 : return nullptr;
6243 : 0 : }
6244 : : }
6245 : :
6246 : : // parse expression to set variable to (optional)
6247 : 10414 : std::unique_ptr<AST::Expr> expr = nullptr;
6248 : 20828 : if (lexer.peek_token ()->get_id () == EQUAL)
6249 : : {
6250 : : // must have an expression
6251 : 9373 : lexer.skip_token ();
6252 : :
6253 : 9373 : expr = parse_expr ();
6254 : 9373 : if (expr == nullptr)
6255 : : {
6256 : 15 : Error error (lexer.peek_token ()->get_locus (),
6257 : : "failed to parse expression in let statement");
6258 : 15 : add_error (std::move (error));
6259 : :
6260 : 15 : skip_after_semicolon ();
6261 : 15 : return nullptr;
6262 : 15 : }
6263 : : }
6264 : :
6265 : 10399 : if (restrictions.consume_semi)
6266 : : {
6267 : : // `stmt` macro variables are parsed without a semicolon, but should be
6268 : : // parsed as a full statement when interpolated. This should be handled
6269 : : // by having the interpolated statement be distinguishable from normal
6270 : : // tokens, e.g. by NT tokens.
6271 : 10254 : if (restrictions.allow_close_after_expr_stmt)
6272 : 55 : maybe_skip_token (SEMICOLON);
6273 : 10199 : else if (!skip_token (SEMICOLON))
6274 : 0 : return nullptr;
6275 : : }
6276 : :
6277 : : return std::unique_ptr<AST::LetStmt> (
6278 : 10399 : new AST::LetStmt (std::move (pattern), std::move (expr), std::move (type),
6279 : 10399 : std::move (outer_attrs), locus));
6280 : 10414 : }
6281 : :
6282 : : // Parses a type path.
6283 : : template <typename ManagedTokenSource>
6284 : : AST::TypePath
6285 : 31466 : Parser<ManagedTokenSource>::parse_type_path ()
6286 : : {
6287 : 31466 : bool has_opening_scope_resolution = false;
6288 : 31466 : location_t locus = lexer.peek_token ()->get_locus ();
6289 : 62932 : if (lexer.peek_token ()->get_id () == SCOPE_RESOLUTION)
6290 : : {
6291 : 4 : has_opening_scope_resolution = true;
6292 : 4 : lexer.skip_token ();
6293 : : }
6294 : :
6295 : : // create segment vector
6296 : 31466 : std::vector<std::unique_ptr<AST::TypePathSegment>> segments;
6297 : :
6298 : : // parse required initial segment
6299 : 31466 : std::unique_ptr<AST::TypePathSegment> initial_segment
6300 : : = parse_type_path_segment ();
6301 : 31466 : if (initial_segment == nullptr)
6302 : : {
6303 : : // skip after somewhere?
6304 : : // don't necessarily throw error but yeah
6305 : 149 : return AST::TypePath::create_error ();
6306 : : }
6307 : 31317 : segments.push_back (std::move (initial_segment));
6308 : :
6309 : : // parse optional segments (as long as scope resolution operator exists)
6310 : 31317 : const_TokenPtr t = lexer.peek_token ();
6311 : 32211 : while (t->get_id () == SCOPE_RESOLUTION)
6312 : : {
6313 : : // skip scope resolution operator
6314 : 894 : lexer.skip_token ();
6315 : :
6316 : : // parse the actual segment - it is an error if it doesn't exist now
6317 : 894 : std::unique_ptr<AST::TypePathSegment> segment
6318 : : = parse_type_path_segment ();
6319 : 894 : if (segment == nullptr)
6320 : : {
6321 : : // skip after somewhere?
6322 : 0 : Error error (t->get_locus (), "could not parse type path segment");
6323 : 0 : add_error (std::move (error));
6324 : :
6325 : 0 : return AST::TypePath::create_error ();
6326 : 0 : }
6327 : :
6328 : 894 : segments.push_back (std::move (segment));
6329 : :
6330 : 894 : t = lexer.peek_token ();
6331 : : }
6332 : :
6333 : : segments.shrink_to_fit ();
6334 : :
6335 : 62634 : return AST::TypePath (std::move (segments), locus,
6336 : 31317 : has_opening_scope_resolution);
6337 : 31466 : }
6338 : :
6339 : : template <typename ManagedTokenSource>
6340 : : AST::GenericArg
6341 : 2264 : Parser<ManagedTokenSource>::parse_generic_arg ()
6342 : : {
6343 : 2264 : auto tok = lexer.peek_token ();
6344 : 2264 : std::unique_ptr<AST::Expr> expr = nullptr;
6345 : :
6346 : 2264 : switch (tok->get_id ())
6347 : : {
6348 : 1556 : case IDENTIFIER: {
6349 : : // This is a bit of a weird situation: With an identifier token, we
6350 : : // could either have a valid type or a macro (FIXME: anything else?). So
6351 : : // we need one bit of lookahead to differentiate if this is really
6352 : 1556 : auto next_tok = lexer.peek_token (1);
6353 : 1556 : if (next_tok->get_id () == LEFT_ANGLE
6354 : 1554 : || next_tok->get_id () == SCOPE_RESOLUTION
6355 : 3107 : || next_tok->get_id () == EXCLAM)
6356 : : {
6357 : 13 : auto type = parse_type ();
6358 : 13 : if (type)
6359 : 13 : return AST::GenericArg::create_type (std::move (type));
6360 : : else
6361 : 0 : return AST::GenericArg::create_error ();
6362 : 13 : }
6363 : 1543 : else if (next_tok->get_id () == COLON)
6364 : : {
6365 : 1 : lexer.skip_token (); // skip ident
6366 : 1 : lexer.skip_token (); // skip colon
6367 : :
6368 : 1 : auto tok = lexer.peek_token ();
6369 : 1 : std::vector<std::unique_ptr<AST::TypeParamBound>> bounds
6370 : : = parse_type_param_bounds ();
6371 : :
6372 : 1 : auto type = std::unique_ptr<AST::TraitObjectType> (
6373 : 1 : new AST::TraitObjectType (std::move (bounds), tok->get_locus (),
6374 : : false));
6375 : 1 : if (type)
6376 : 1 : return AST::GenericArg::create_type (std::move (type));
6377 : : else
6378 : : return AST::GenericArg::create_error ();
6379 : 2 : }
6380 : 1542 : lexer.skip_token ();
6381 : 3084 : return AST::GenericArg::create_ambiguous (tok->get_str (),
6382 : 3084 : tok->get_locus ());
6383 : 1556 : }
6384 : 13 : case LEFT_CURLY:
6385 : 13 : expr = parse_block_expr ();
6386 : 13 : break;
6387 : 18 : case MINUS:
6388 : : case STRING_LITERAL:
6389 : : case CHAR_LITERAL:
6390 : : case INT_LITERAL:
6391 : : case FLOAT_LITERAL:
6392 : : case TRUE_LITERAL:
6393 : : case FALSE_LITERAL:
6394 : 18 : expr = parse_literal_expr ();
6395 : 18 : break;
6396 : : // FIXME: Because of this, error reporting is garbage for const generic
6397 : : // parameter's default values
6398 : 677 : default: {
6399 : 677 : auto type = parse_type ();
6400 : : // FIXME: Find a better way to do this?
6401 : 677 : if (type)
6402 : 676 : return AST::GenericArg::create_type (std::move (type));
6403 : : else
6404 : 1 : return AST::GenericArg::create_error ();
6405 : 677 : }
6406 : : }
6407 : :
6408 : 31 : if (!expr)
6409 : 0 : return AST::GenericArg::create_error ();
6410 : :
6411 : 31 : return AST::GenericArg::create_const (std::move (expr));
6412 : 2264 : }
6413 : :
6414 : : // Parses the generic arguments in each path segment.
6415 : : template <typename ManagedTokenSource>
6416 : : AST::GenericArgs
6417 : 2118 : Parser<ManagedTokenSource>::parse_path_generic_args ()
6418 : : {
6419 : 4236 : if (lexer.peek_token ()->get_id () == LEFT_SHIFT)
6420 : 4 : lexer.split_current_token (LEFT_ANGLE, LEFT_ANGLE);
6421 : :
6422 : 2118 : if (!skip_token (LEFT_ANGLE))
6423 : : {
6424 : : // skip after somewhere?
6425 : 0 : return AST::GenericArgs::create_empty ();
6426 : : }
6427 : :
6428 : : // We need to parse all lifetimes, then parse types and const generics in
6429 : : // any order.
6430 : :
6431 : : // try to parse lifetimes first
6432 : 2118 : std::vector<AST::Lifetime> lifetime_args;
6433 : :
6434 : 2118 : const_TokenPtr t = lexer.peek_token ();
6435 : 2118 : location_t locus = t->get_locus ();
6436 : 4240 : while (!is_right_angle_tok (t->get_id ()))
6437 : : {
6438 : 2122 : AST::Lifetime lifetime = parse_lifetime (false);
6439 : 2140 : if (lifetime.is_error ())
6440 : : {
6441 : : // not necessarily an error
6442 : : break;
6443 : : }
6444 : :
6445 : 22 : lifetime_args.push_back (std::move (lifetime));
6446 : :
6447 : : // if next token isn't comma, then it must be end of list
6448 : 44 : if (lexer.peek_token ()->get_id () != COMMA)
6449 : : {
6450 : : break;
6451 : : }
6452 : : // skip comma
6453 : 4 : lexer.skip_token ();
6454 : :
6455 : 4 : t = lexer.peek_token ();
6456 : : }
6457 : :
6458 : : // try to parse types and const generics second
6459 : 2118 : std::vector<AST::GenericArg> generic_args;
6460 : :
6461 : : // TODO: think of better control structure
6462 : 2118 : t = lexer.peek_token ();
6463 : 6465 : while (!is_right_angle_tok (t->get_id ()))
6464 : : {
6465 : : // FIXME: Is it fine to break if there is one binding? Can't there be
6466 : : // bindings in between types?
6467 : :
6468 : : // ensure not binding being parsed as type accidently
6469 : 3676 : if (t->get_id () == IDENTIFIER
6470 : 3874 : && lexer.peek_token (1)->get_id () == EQUAL)
6471 : : break;
6472 : :
6473 : 2247 : auto arg = parse_generic_arg ();
6474 : 2247 : if (!arg.is_error ())
6475 : : {
6476 : 2247 : generic_args.emplace_back (std::move (arg));
6477 : : }
6478 : :
6479 : : // FIXME: Do we need to break if we encounter an error?
6480 : :
6481 : : // if next token isn't comma, then it must be end of list
6482 : 4494 : if (lexer.peek_token ()->get_id () != COMMA)
6483 : : break;
6484 : :
6485 : : // skip comma
6486 : 183 : lexer.skip_token ();
6487 : 183 : t = lexer.peek_token ();
6488 : : }
6489 : :
6490 : : // try to parse bindings third
6491 : 2118 : std::vector<AST::GenericArgsBinding> binding_args;
6492 : :
6493 : : // TODO: think of better control structure
6494 : 2118 : t = lexer.peek_token ();
6495 : 2155 : while (!is_right_angle_tok (t->get_id ()))
6496 : : {
6497 : 37 : AST::GenericArgsBinding binding = parse_generic_args_binding ();
6498 : 37 : if (binding.is_error ())
6499 : : {
6500 : : // not necessarily an error
6501 : : break;
6502 : : }
6503 : :
6504 : 37 : binding_args.push_back (std::move (binding));
6505 : :
6506 : : // if next token isn't comma, then it must be end of list
6507 : 74 : if (lexer.peek_token ()->get_id () != COMMA)
6508 : : {
6509 : : break;
6510 : : }
6511 : : // skip comma
6512 : 1 : lexer.skip_token ();
6513 : :
6514 : 1 : t = lexer.peek_token ();
6515 : : }
6516 : :
6517 : : // skip any trailing commas
6518 : 4236 : if (lexer.peek_token ()->get_id () == COMMA)
6519 : 0 : lexer.skip_token ();
6520 : :
6521 : 2118 : if (!skip_generics_right_angle ())
6522 : 0 : return AST::GenericArgs::create_empty ();
6523 : :
6524 : : lifetime_args.shrink_to_fit ();
6525 : : generic_args.shrink_to_fit ();
6526 : 2118 : binding_args.shrink_to_fit ();
6527 : :
6528 : 2118 : return AST::GenericArgs (std::move (lifetime_args), std::move (generic_args),
6529 : 2118 : std::move (binding_args), locus);
6530 : 4236 : }
6531 : :
6532 : : // Parses a binding in a generic args path segment.
6533 : : template <typename ManagedTokenSource>
6534 : : AST::GenericArgsBinding
6535 : 37 : Parser<ManagedTokenSource>::parse_generic_args_binding ()
6536 : : {
6537 : 37 : const_TokenPtr ident_tok = lexer.peek_token ();
6538 : 37 : if (ident_tok->get_id () != IDENTIFIER)
6539 : : {
6540 : : // allow non error-inducing use
6541 : : // skip somewhere?
6542 : 0 : return AST::GenericArgsBinding::create_error ();
6543 : : }
6544 : 37 : lexer.skip_token ();
6545 : 37 : Identifier ident{ident_tok};
6546 : :
6547 : 37 : if (!skip_token (EQUAL))
6548 : : {
6549 : : // skip after somewhere?
6550 : 0 : return AST::GenericArgsBinding::create_error ();
6551 : : }
6552 : :
6553 : : // parse type (required)
6554 : 37 : std::unique_ptr<AST::Type> type = parse_type ();
6555 : 37 : if (type == nullptr)
6556 : : {
6557 : : // skip somewhere?
6558 : 0 : return AST::GenericArgsBinding::create_error ();
6559 : : }
6560 : :
6561 : 74 : return AST::GenericArgsBinding (std::move (ident), std::move (type),
6562 : 74 : ident_tok->get_locus ());
6563 : 74 : }
6564 : :
6565 : : /* Parses a single type path segment (not including opening scope resolution,
6566 : : * but includes any internal ones). Includes generic args or type path
6567 : : * functions too. */
6568 : : template <typename ManagedTokenSource>
6569 : : std::unique_ptr<AST::TypePathSegment>
6570 : 32606 : Parser<ManagedTokenSource>::parse_type_path_segment ()
6571 : : {
6572 : 32606 : location_t locus = lexer.peek_token ()->get_locus ();
6573 : : // parse ident segment part
6574 : 32606 : AST::PathIdentSegment ident_segment = parse_path_ident_segment ();
6575 : 32606 : if (ident_segment.is_error ())
6576 : : {
6577 : : // not necessarily an error
6578 : 149 : return nullptr;
6579 : : }
6580 : :
6581 : : /* lookahead to determine if variants exist - only consume scope resolution
6582 : : * then */
6583 : 32457 : bool has_separating_scope_resolution = false;
6584 : 32457 : const_TokenPtr next = lexer.peek_token (1);
6585 : 64914 : if (lexer.peek_token ()->get_id () == SCOPE_RESOLUTION
6586 : 32457 : && (next->get_id () == LEFT_ANGLE || next->get_id () == LEFT_PAREN))
6587 : : {
6588 : 0 : has_separating_scope_resolution = true;
6589 : 0 : lexer.skip_token ();
6590 : : }
6591 : :
6592 : : // branch into variants on next token
6593 : 32457 : const_TokenPtr t = lexer.peek_token ();
6594 : 32457 : switch (t->get_id ())
6595 : : {
6596 : 1525 : case LEFT_SHIFT:
6597 : : case LEFT_ANGLE: {
6598 : : // parse generic args
6599 : 1525 : AST::GenericArgs generic_args = parse_path_generic_args ();
6600 : :
6601 : 1525 : return std::unique_ptr<AST::TypePathSegmentGeneric> (
6602 : 3050 : new AST::TypePathSegmentGeneric (std::move (ident_segment),
6603 : : has_separating_scope_resolution,
6604 : 1525 : std::move (generic_args), locus));
6605 : 1525 : }
6606 : 19 : case LEFT_PAREN: {
6607 : : // parse type path function
6608 : 19 : AST::TypePathFunction type_path_function
6609 : : = parse_type_path_function (locus);
6610 : :
6611 : 19 : if (type_path_function.is_error ())
6612 : : {
6613 : : // skip after somewhere?
6614 : 0 : return nullptr;
6615 : : }
6616 : :
6617 : 19 : return std::unique_ptr<AST::TypePathSegmentFunction> (
6618 : 57 : new AST::TypePathSegmentFunction (std::move (ident_segment),
6619 : : has_separating_scope_resolution,
6620 : : std::move (type_path_function),
6621 : 19 : locus));
6622 : 19 : }
6623 : 30913 : default:
6624 : : // neither of them
6625 : : return std::unique_ptr<AST::TypePathSegment> (
6626 : 30913 : new AST::TypePathSegment (std::move (ident_segment),
6627 : 30913 : has_separating_scope_resolution, locus));
6628 : : }
6629 : : rust_unreachable ();
6630 : 64914 : }
6631 : :
6632 : : // Parses a function call representation inside a type path.
6633 : : template <typename ManagedTokenSource>
6634 : : AST::TypePathFunction
6635 : 19 : Parser<ManagedTokenSource>::parse_type_path_function (location_t id_location)
6636 : : {
6637 : 19 : if (!skip_token (LEFT_PAREN))
6638 : : {
6639 : : // skip somewhere?
6640 : : return AST::TypePathFunction::create_error ();
6641 : : }
6642 : :
6643 : : // parse function inputs
6644 : 19 : std::vector<std::unique_ptr<AST::Type>> inputs;
6645 : :
6646 : 57 : while (lexer.peek_token ()->get_id () != RIGHT_PAREN)
6647 : : {
6648 : 19 : std::unique_ptr<AST::Type> type = parse_type ();
6649 : 19 : if (type == nullptr)
6650 : : {
6651 : : /* this is an error as there should've been a ')' there if there
6652 : : * wasn't a type */
6653 : 0 : Error error (
6654 : 0 : lexer.peek_token ()->get_locus (),
6655 : : "failed to parse type in parameters of type path function");
6656 : 0 : add_error (std::move (error));
6657 : :
6658 : : // skip somewhere?
6659 : 0 : return AST::TypePathFunction::create_error ();
6660 : 0 : }
6661 : :
6662 : 19 : inputs.push_back (std::move (type));
6663 : :
6664 : : // skip commas, including trailing commas
6665 : 38 : if (lexer.peek_token ()->get_id () != COMMA)
6666 : : break;
6667 : :
6668 : 0 : lexer.skip_token ();
6669 : : }
6670 : :
6671 : 19 : if (!skip_token (RIGHT_PAREN))
6672 : : {
6673 : : // skip somewhere?
6674 : : return AST::TypePathFunction::create_error ();
6675 : : }
6676 : :
6677 : : // parse optional return type
6678 : 19 : std::unique_ptr<AST::Type> return_type = parse_function_return_type ();
6679 : :
6680 : 19 : inputs.shrink_to_fit ();
6681 : 19 : return AST::TypePathFunction (std::move (inputs), id_location,
6682 : 19 : std::move (return_type));
6683 : 19 : }
6684 : :
6685 : : // Parses a path inside an expression that allows generic arguments.
6686 : : template <typename ManagedTokenSource>
6687 : : AST::PathInExpression
6688 : 24561 : Parser<ManagedTokenSource>::parse_path_in_expression ()
6689 : : {
6690 : 24561 : location_t locus = UNKNOWN_LOCATION;
6691 : 24561 : bool has_opening_scope_resolution = false;
6692 : 49122 : if (lexer.peek_token ()->get_id () == SCOPE_RESOLUTION)
6693 : : {
6694 : 0 : has_opening_scope_resolution = true;
6695 : :
6696 : 0 : locus = lexer.peek_token ()->get_locus ();
6697 : :
6698 : 0 : lexer.skip_token ();
6699 : : }
6700 : :
6701 : : // create segment vector
6702 : 24561 : std::vector<AST::PathExprSegment> segments;
6703 : :
6704 : 24561 : if (locus == UNKNOWN_LOCATION)
6705 : : {
6706 : 49122 : locus = lexer.peek_token ()->get_locus ();
6707 : : }
6708 : :
6709 : : // parse required initial segment
6710 : 24561 : AST::PathExprSegment initial_segment = parse_path_expr_segment ();
6711 : 24561 : if (initial_segment.is_error ())
6712 : : {
6713 : : // skip after somewhere?
6714 : : // don't necessarily throw error but yeah
6715 : 2 : return AST::PathInExpression::create_error ();
6716 : : }
6717 : 24559 : segments.push_back (std::move (initial_segment));
6718 : :
6719 : : // parse optional segments (as long as scope resolution operator exists)
6720 : 24559 : const_TokenPtr t = lexer.peek_token ();
6721 : 26024 : while (t->get_id () == SCOPE_RESOLUTION)
6722 : : {
6723 : : // skip scope resolution operator
6724 : 1465 : lexer.skip_token ();
6725 : :
6726 : : // parse the actual segment - it is an error if it doesn't exist now
6727 : 1465 : AST::PathExprSegment segment = parse_path_expr_segment ();
6728 : 1465 : if (segment.is_error ())
6729 : : {
6730 : : // skip after somewhere?
6731 : 0 : Error error (t->get_locus (),
6732 : : "could not parse path expression segment");
6733 : 0 : add_error (std::move (error));
6734 : :
6735 : 0 : return AST::PathInExpression::create_error ();
6736 : 0 : }
6737 : :
6738 : 1465 : segments.push_back (std::move (segment));
6739 : :
6740 : 1465 : t = lexer.peek_token ();
6741 : : }
6742 : :
6743 : : segments.shrink_to_fit ();
6744 : :
6745 : 24559 : return AST::PathInExpression (std::move (segments), {}, locus,
6746 : 24559 : has_opening_scope_resolution);
6747 : 49120 : }
6748 : :
6749 : : /* Parses a single path in expression path segment (including generic
6750 : : * arguments). */
6751 : : template <typename ManagedTokenSource>
6752 : : AST::PathExprSegment
6753 : 28239 : Parser<ManagedTokenSource>::parse_path_expr_segment ()
6754 : : {
6755 : 28239 : location_t locus = lexer.peek_token ()->get_locus ();
6756 : : // parse ident segment
6757 : 28239 : AST::PathIdentSegment ident = parse_path_ident_segment ();
6758 : 28239 : if (ident.is_error ())
6759 : : {
6760 : : // not necessarily an error?
6761 : 2 : return AST::PathExprSegment::create_error ();
6762 : : }
6763 : :
6764 : : // parse generic args (and turbofish), if they exist
6765 : : /* use lookahead to determine if they actually exist (don't want to
6766 : : * accidently parse over next ident segment) */
6767 : 56474 : if (lexer.peek_token ()->get_id () == SCOPE_RESOLUTION
6768 : 33647 : && (lexer.peek_token (1)->get_id () == LEFT_ANGLE
6769 : 5921 : || lexer.peek_token (1)->get_id () == LEFT_SHIFT))
6770 : : {
6771 : : // skip scope resolution
6772 : 321 : lexer.skip_token ();
6773 : :
6774 : : // Let parse_path_generic_args split "<<" tokens
6775 : 321 : AST::GenericArgs generic_args = parse_path_generic_args ();
6776 : :
6777 : 642 : return AST::PathExprSegment (std::move (ident), locus,
6778 : 321 : std::move (generic_args));
6779 : 321 : }
6780 : :
6781 : : // return a generic parameter-less expr segment if not found
6782 : 27916 : return AST::PathExprSegment (std::move (ident), locus);
6783 : 28239 : }
6784 : :
6785 : : /* Parses a fully qualified path in expression (i.e. a pattern). FIXME does
6786 : : * not parse outer attrs. */
6787 : : template <typename ManagedTokenSource>
6788 : : AST::QualifiedPathInExpression
6789 : 80 : Parser<ManagedTokenSource>::parse_qualified_path_in_expression (
6790 : : location_t pratt_parsed_loc)
6791 : : {
6792 : : /* Note: the Rust grammar is defined in such a way that it is impossible to
6793 : : * determine whether a prospective qualified path is a
6794 : : * QualifiedPathInExpression or QualifiedPathInType in all cases by the
6795 : : * rules themselves (the only possible difference is a TypePathSegment with
6796 : : * function, and lookahead to find this is too difficult). However, as this
6797 : : * is a pattern and QualifiedPathInType is a type, I believe it that their
6798 : : * construction will not be confused (due to rules regarding patterns vs
6799 : : * types).
6800 : : * As such, this function will not attempt to minimise errors created by
6801 : : * their confusion. */
6802 : :
6803 : : // parse the qualified path type (required)
6804 : 80 : AST::QualifiedPathType qual_path_type
6805 : : = parse_qualified_path_type (pratt_parsed_loc);
6806 : 80 : if (qual_path_type.is_error ())
6807 : : {
6808 : : // TODO: should this create a parse error?
6809 : 0 : return AST::QualifiedPathInExpression::create_error ();
6810 : : }
6811 : 80 : location_t locus = qual_path_type.get_locus ();
6812 : :
6813 : : // parse path segments
6814 : 80 : std::vector<AST::PathExprSegment> segments;
6815 : :
6816 : : // parse initial required segment
6817 : 160 : if (!expect_token (SCOPE_RESOLUTION))
6818 : : {
6819 : : // skip after somewhere?
6820 : :
6821 : 0 : return AST::QualifiedPathInExpression::create_error ();
6822 : : }
6823 : 80 : AST::PathExprSegment initial_segment = parse_path_expr_segment ();
6824 : 80 : if (initial_segment.is_error ())
6825 : : {
6826 : : // skip after somewhere?
6827 : 0 : Error error (lexer.peek_token ()->get_locus (),
6828 : : "required initial path expression segment in "
6829 : : "qualified path in expression could not be parsed");
6830 : 0 : add_error (std::move (error));
6831 : :
6832 : 0 : return AST::QualifiedPathInExpression::create_error ();
6833 : 0 : }
6834 : 80 : segments.push_back (std::move (initial_segment));
6835 : :
6836 : : // parse optional segments (as long as scope resolution operator exists)
6837 : 80 : const_TokenPtr t = lexer.peek_token ();
6838 : 80 : while (t->get_id () == SCOPE_RESOLUTION)
6839 : : {
6840 : : // skip scope resolution operator
6841 : 0 : lexer.skip_token ();
6842 : :
6843 : : // parse the actual segment - it is an error if it doesn't exist now
6844 : 0 : AST::PathExprSegment segment = parse_path_expr_segment ();
6845 : 0 : if (segment.is_error ())
6846 : : {
6847 : : // skip after somewhere?
6848 : 0 : Error error (t->get_locus (),
6849 : : "could not parse path expression segment in qualified "
6850 : : "path in expression");
6851 : 0 : add_error (std::move (error));
6852 : :
6853 : 0 : return AST::QualifiedPathInExpression::create_error ();
6854 : 0 : }
6855 : :
6856 : 0 : segments.push_back (std::move (segment));
6857 : :
6858 : 0 : t = lexer.peek_token ();
6859 : : }
6860 : :
6861 : : segments.shrink_to_fit ();
6862 : :
6863 : : // FIXME: outer attr parsing
6864 : 160 : return AST::QualifiedPathInExpression (std::move (qual_path_type),
6865 : 80 : std::move (segments), {}, locus);
6866 : 160 : }
6867 : :
6868 : : // Parses the type syntactical construction at the start of a qualified path.
6869 : : template <typename ManagedTokenSource>
6870 : : AST::QualifiedPathType
6871 : 326 : Parser<ManagedTokenSource>::parse_qualified_path_type (
6872 : : location_t pratt_parsed_loc)
6873 : : {
6874 : 326 : location_t locus = pratt_parsed_loc;
6875 : : /* TODO: should this actually be error? is there anywhere where this could
6876 : : * be valid? */
6877 : 326 : if (locus == UNKNOWN_LOCATION)
6878 : : {
6879 : 246 : locus = lexer.peek_token ()->get_locus ();
6880 : :
6881 : 492 : if (lexer.peek_token ()->get_id () == LEFT_SHIFT)
6882 : 1 : lexer.split_current_token (LEFT_ANGLE, LEFT_ANGLE);
6883 : :
6884 : : // skip after somewhere?
6885 : 246 : if (!skip_token (LEFT_ANGLE))
6886 : 0 : return AST::QualifiedPathType::create_error ();
6887 : : }
6888 : :
6889 : : // parse type (required)
6890 : 326 : std::unique_ptr<AST::Type> type = parse_type ();
6891 : 326 : if (type == nullptr)
6892 : : {
6893 : 0 : Error error (lexer.peek_token ()->get_locus (),
6894 : : "could not parse type in qualified path type");
6895 : 0 : add_error (std::move (error));
6896 : :
6897 : : // skip somewhere?
6898 : 0 : return AST::QualifiedPathType::create_error ();
6899 : 0 : }
6900 : :
6901 : : // parse optional as clause
6902 : 326 : AST::TypePath as_type_path = AST::TypePath::create_error ();
6903 : 652 : if (lexer.peek_token ()->get_id () == AS)
6904 : : {
6905 : 309 : lexer.skip_token ();
6906 : :
6907 : : // parse type path, which is required now
6908 : 309 : as_type_path = parse_type_path ();
6909 : 309 : if (as_type_path.is_error ())
6910 : : {
6911 : 0 : Error error (
6912 : 0 : lexer.peek_token ()->get_locus (),
6913 : : "could not parse type path in as clause in qualified path type");
6914 : 0 : add_error (std::move (error));
6915 : :
6916 : : // skip somewhere?
6917 : 0 : return AST::QualifiedPathType::create_error ();
6918 : 0 : }
6919 : : }
6920 : :
6921 : : /* NOTE: should actually be a right-angle token, so
6922 : : * skip_generics_right_angle shouldn't be required */
6923 : 326 : if (!skip_token (RIGHT_ANGLE))
6924 : : {
6925 : : // skip after somewhere?
6926 : 0 : return AST::QualifiedPathType::create_error ();
6927 : : }
6928 : :
6929 : 326 : return AST::QualifiedPathType (std::move (type), locus,
6930 : 326 : std::move (as_type_path));
6931 : 326 : }
6932 : :
6933 : : // Parses a fully qualified path in type (i.e. a type).
6934 : : template <typename ManagedTokenSource>
6935 : : AST::QualifiedPathInType
6936 : 246 : Parser<ManagedTokenSource>::parse_qualified_path_in_type ()
6937 : : {
6938 : 246 : location_t locus = lexer.peek_token ()->get_locus ();
6939 : : // parse the qualified path type (required)
6940 : 246 : AST::QualifiedPathType qual_path_type = parse_qualified_path_type ();
6941 : 246 : if (qual_path_type.is_error ())
6942 : : {
6943 : : // TODO: should this create a parse error?
6944 : 0 : return AST::QualifiedPathInType::create_error ();
6945 : : }
6946 : :
6947 : : // parse initial required segment
6948 : 492 : if (!expect_token (SCOPE_RESOLUTION))
6949 : : {
6950 : : // skip after somewhere?
6951 : :
6952 : 0 : return AST::QualifiedPathInType::create_error ();
6953 : : }
6954 : 246 : std::unique_ptr<AST::TypePathSegment> initial_segment
6955 : : = parse_type_path_segment ();
6956 : 246 : if (initial_segment == nullptr)
6957 : : {
6958 : : // skip after somewhere?
6959 : 0 : Error error (lexer.peek_token ()->get_locus (),
6960 : : "required initial type path segment in qualified path in "
6961 : : "type could not be parsed");
6962 : 0 : add_error (std::move (error));
6963 : :
6964 : 0 : return AST::QualifiedPathInType::create_error ();
6965 : 0 : }
6966 : :
6967 : : // parse optional segments (as long as scope resolution operator exists)
6968 : 246 : std::vector<std::unique_ptr<AST::TypePathSegment>> segments;
6969 : 246 : const_TokenPtr t = lexer.peek_token ();
6970 : 246 : while (t->get_id () == SCOPE_RESOLUTION)
6971 : : {
6972 : : // skip scope resolution operator
6973 : 0 : lexer.skip_token ();
6974 : :
6975 : : // parse the actual segment - it is an error if it doesn't exist now
6976 : 0 : std::unique_ptr<AST::TypePathSegment> segment
6977 : : = parse_type_path_segment ();
6978 : 0 : if (segment == nullptr)
6979 : : {
6980 : : // skip after somewhere?
6981 : 0 : Error error (
6982 : : t->get_locus (),
6983 : : "could not parse type path segment in qualified path in type");
6984 : 0 : add_error (std::move (error));
6985 : :
6986 : 0 : return AST::QualifiedPathInType::create_error ();
6987 : 0 : }
6988 : :
6989 : 0 : segments.push_back (std::move (segment));
6990 : :
6991 : 0 : t = lexer.peek_token ();
6992 : : }
6993 : :
6994 : 246 : segments.shrink_to_fit ();
6995 : :
6996 : 492 : return AST::QualifiedPathInType (std::move (qual_path_type),
6997 : : std::move (initial_segment),
6998 : 246 : std::move (segments), locus);
6999 : 246 : }
7000 : :
7001 : : // Parses a self param. Also handles self param not existing.
7002 : : template <typename ManagedTokenSource>
7003 : : tl::expected<std::unique_ptr<AST::Param>, ParseSelfError>
7004 : 11374 : Parser<ManagedTokenSource>::parse_self_param ()
7005 : : {
7006 : 11374 : bool has_reference = false;
7007 : 11374 : AST::Lifetime lifetime = AST::Lifetime::elided ();
7008 : :
7009 : 11374 : location_t locus = lexer.peek_token ()->get_locus ();
7010 : :
7011 : : // TODO: Feels off, find a better way to clearly express this
7012 : 45496 : std::vector<std::vector<TokenId>> ptrs
7013 : : = {{ASTERISK, SELF} /* *self */,
7014 : : {ASTERISK, CONST, SELF} /* *const self */,
7015 : : {ASTERISK, MUT, SELF} /* *mut self */};
7016 : :
7017 : 45490 : for (auto &s : ptrs)
7018 : : {
7019 : : size_t i = 0;
7020 : 34130 : for (i = 0; i < s.size (); i++)
7021 : 68254 : if (lexer.peek_token (i)->get_id () != s[i])
7022 : : break;
7023 : 34119 : if (i == s.size ())
7024 : : {
7025 : 3 : rust_error_at (lexer.peek_token ()->get_locus (),
7026 : : "cannot pass %<self%> by raw pointer");
7027 : 3 : return tl::make_unexpected (ParseSelfError::SELF_PTR);
7028 : : }
7029 : : }
7030 : :
7031 : : // Trying to find those patterns:
7032 : : //
7033 : : // &'lifetime mut self
7034 : : // &'lifetime self
7035 : : // & mut self
7036 : : // & self
7037 : : // mut self
7038 : : // self
7039 : : //
7040 : : // If not found, it is probably a function, exit and let function parsing
7041 : : // handle it.
7042 : : bool is_self = false;
7043 : 68226 : for (size_t i = 0; i < 5; i++)
7044 : 113710 : if (lexer.peek_token (i)->get_id () == SELF)
7045 : 3551 : is_self = true;
7046 : :
7047 : 11371 : if (!is_self)
7048 : 7822 : return tl::make_unexpected (ParseSelfError::NOT_SELF);
7049 : :
7050 : : // test if self is a reference parameter
7051 : 7098 : if (lexer.peek_token ()->get_id () == AMP)
7052 : : {
7053 : 1750 : has_reference = true;
7054 : 1750 : lexer.skip_token ();
7055 : :
7056 : : // now test whether it has a lifetime
7057 : 3500 : if (lexer.peek_token ()->get_id () == LIFETIME)
7058 : : {
7059 : 0 : lifetime = parse_lifetime (true);
7060 : :
7061 : : // something went wrong somehow
7062 : 3549 : if (lifetime.is_error ())
7063 : : {
7064 : 0 : Error error (lexer.peek_token ()->get_locus (),
7065 : : "failed to parse lifetime in self param");
7066 : 0 : add_error (std::move (error));
7067 : :
7068 : : // skip after somewhere?
7069 : 0 : return tl::make_unexpected (ParseSelfError::PARSING);
7070 : 0 : }
7071 : : }
7072 : : }
7073 : :
7074 : : // test for mut
7075 : 3549 : bool has_mut = false;
7076 : 7098 : if (lexer.peek_token ()->get_id () == MUT)
7077 : : {
7078 : 184 : has_mut = true;
7079 : 184 : lexer.skip_token ();
7080 : : }
7081 : :
7082 : : // skip self token
7083 : 3549 : const_TokenPtr self_tok = lexer.peek_token ();
7084 : 3549 : if (self_tok->get_id () != SELF)
7085 : : {
7086 : : // skip after somewhere?
7087 : 2 : return tl::make_unexpected (ParseSelfError::NOT_SELF);
7088 : : }
7089 : 3547 : lexer.skip_token ();
7090 : :
7091 : : // parse optional type
7092 : 3547 : std::unique_ptr<AST::Type> type = nullptr;
7093 : 7094 : if (lexer.peek_token ()->get_id () == COLON)
7094 : : {
7095 : 1 : lexer.skip_token ();
7096 : :
7097 : : // type is now required
7098 : 1 : type = parse_type ();
7099 : 1 : if (type == nullptr)
7100 : : {
7101 : 0 : Error error (lexer.peek_token ()->get_locus (),
7102 : : "could not parse type in self param");
7103 : 0 : add_error (std::move (error));
7104 : :
7105 : : // skip after somewhere?
7106 : 0 : return tl::make_unexpected (ParseSelfError::PARSING);
7107 : 0 : }
7108 : : }
7109 : :
7110 : : // ensure that cannot have both type and reference
7111 : 3547 : if (type != nullptr && has_reference)
7112 : : {
7113 : 0 : Error error (
7114 : 0 : lexer.peek_token ()->get_locus (),
7115 : : "cannot have both a reference and a type specified in a self param");
7116 : 0 : add_error (std::move (error));
7117 : :
7118 : : // skip after somewhere?
7119 : 0 : return tl::make_unexpected (ParseSelfError::PARSING);
7120 : 0 : }
7121 : :
7122 : 3547 : if (has_reference)
7123 : : {
7124 : 1750 : return Rust::make_unique<AST::SelfParam> (std::move (lifetime), has_mut,
7125 : 1750 : locus);
7126 : : }
7127 : : else
7128 : : {
7129 : : // note that type may be nullptr here and that's fine
7130 : 1797 : return Rust::make_unique<AST::SelfParam> (std::move (type), has_mut,
7131 : 1797 : locus);
7132 : : }
7133 : 14921 : }
7134 : :
7135 : : /* Parses an expression or macro statement. */
7136 : : template <typename ManagedTokenSource>
7137 : : std::unique_ptr<AST::Stmt>
7138 : 249 : Parser<ManagedTokenSource>::parse_expr_stmt (AST::AttrVec outer_attrs,
7139 : : ParseRestrictions restrictions)
7140 : : {
7141 : 249 : location_t locus = lexer.peek_token ()->get_locus ();
7142 : :
7143 : 249 : std::unique_ptr<AST::Expr> expr;
7144 : :
7145 : 498 : switch (lexer.peek_token ()->get_id ())
7146 : : {
7147 : 217 : case IDENTIFIER:
7148 : : case CRATE:
7149 : : case SUPER:
7150 : : case SELF:
7151 : : case SELF_ALIAS:
7152 : : case DOLLAR_SIGN:
7153 : : case SCOPE_RESOLUTION: {
7154 : 217 : AST::PathInExpression path = parse_path_in_expression ();
7155 : 217 : std::unique_ptr<AST::Expr> null_denotation;
7156 : :
7157 : 434 : if (lexer.peek_token ()->get_id () == EXCLAM)
7158 : : {
7159 : : // Bind a reference to avoid -Wredundant-move on post-P1825R0
7160 : : // compilers. Change to non-reference type and remove the moves
7161 : : // below once C++20 is required to build gcc.
7162 : 60 : std::unique_ptr<AST::MacroInvocation> &&invoc
7163 : 120 : = parse_macro_invocation_partial (std::move (path),
7164 : : std::move (outer_attrs));
7165 : :
7166 : 60 : if (restrictions.consume_semi && maybe_skip_token (SEMICOLON))
7167 : : {
7168 : 59 : invoc->add_semicolon ();
7169 : : // Macro invocation with semicolon.
7170 : 59 : return std::move (invoc);
7171 : : }
7172 : :
7173 : 1 : TokenId after_macro = lexer.peek_token ()->get_id ();
7174 : :
7175 : 1 : if (restrictions.allow_close_after_expr_stmt
7176 : 1 : && (after_macro == RIGHT_PAREN || after_macro == RIGHT_CURLY
7177 : : || after_macro == RIGHT_SQUARE))
7178 : 1 : return std::move (invoc);
7179 : :
7180 : 0 : if (invoc->get_invoc_data ().get_delim_tok_tree ().get_delim_type ()
7181 : : == AST::CURLY
7182 : 0 : && after_macro != DOT && after_macro != QUESTION_MARK)
7183 : : {
7184 : 0 : rust_debug ("braced macro statement");
7185 : 0 : return std::move (invoc);
7186 : : }
7187 : :
7188 : 0 : null_denotation = std::move (invoc);
7189 : 60 : }
7190 : : else
7191 : : {
7192 : : null_denotation
7193 : 157 : = null_denotation_path (std::move (path), {}, restrictions);
7194 : : }
7195 : :
7196 : 157 : expr = left_denotations (std::move (null_denotation), LBP_LOWEST,
7197 : : std::move (outer_attrs), restrictions);
7198 : : break;
7199 : 217 : }
7200 : 32 : default:
7201 : 32 : restrictions.expr_can_be_stmt = true;
7202 : 32 : expr = parse_expr (std::move (outer_attrs), restrictions);
7203 : 32 : break;
7204 : : }
7205 : :
7206 : 189 : if (expr == nullptr)
7207 : : {
7208 : : // expr is required, error
7209 : 0 : Error error (lexer.peek_token ()->get_locus (),
7210 : : "failed to parse expr in expr statement");
7211 : 0 : add_error (std::move (error));
7212 : :
7213 : 0 : skip_after_semicolon ();
7214 : 0 : return nullptr;
7215 : 0 : }
7216 : :
7217 : 189 : bool has_semi = false;
7218 : :
7219 : 189 : if (restrictions.consume_semi)
7220 : : {
7221 : 175 : if (maybe_skip_token (SEMICOLON))
7222 : : {
7223 : : has_semi = true;
7224 : : }
7225 : 38 : else if (expr->is_expr_without_block ())
7226 : : {
7227 : 7 : if (restrictions.allow_close_after_expr_stmt)
7228 : : {
7229 : 7 : TokenId id = lexer.peek_token ()->get_id ();
7230 : 7 : if (id != RIGHT_PAREN && id != RIGHT_CURLY && id != RIGHT_SQUARE)
7231 : : {
7232 : 2 : expect_token (SEMICOLON);
7233 : 2 : return nullptr;
7234 : : }
7235 : : }
7236 : : else
7237 : : {
7238 : 0 : expect_token (SEMICOLON);
7239 : 0 : return nullptr;
7240 : : }
7241 : : }
7242 : : }
7243 : :
7244 : 187 : return std::unique_ptr<AST::ExprStmt> (
7245 : 187 : new AST::ExprStmt (std::move (expr), locus, has_semi));
7246 : 249 : }
7247 : :
7248 : : // Parses a block expression, including the curly braces at start and end.
7249 : : template <typename ManagedTokenSource>
7250 : : std::unique_ptr<AST::BlockExpr>
7251 : 13259 : Parser<ManagedTokenSource>::parse_block_expr (AST::AttrVec outer_attrs,
7252 : : AST::LoopLabel label,
7253 : : location_t pratt_parsed_loc)
7254 : : {
7255 : 13259 : location_t locus = pratt_parsed_loc;
7256 : 13259 : if (locus == UNKNOWN_LOCATION)
7257 : : {
7258 : 12567 : locus = lexer.peek_token ()->get_locus ();
7259 : 12567 : if (!skip_token (LEFT_CURLY))
7260 : : {
7261 : 0 : skip_after_end_block ();
7262 : 0 : return nullptr;
7263 : : }
7264 : : }
7265 : :
7266 : 13259 : AST::AttrVec inner_attrs = parse_inner_attributes ();
7267 : :
7268 : : // parse statements and expression
7269 : 13259 : std::vector<std::unique_ptr<AST::Stmt>> stmts;
7270 : 13259 : std::unique_ptr<AST::Expr> expr = nullptr;
7271 : :
7272 : 13259 : const_TokenPtr t = lexer.peek_token ();
7273 : 38467 : while (t->get_id () != RIGHT_CURLY)
7274 : : {
7275 : 25208 : ExprOrStmt expr_or_stmt = parse_stmt_or_expr ();
7276 : 25208 : if (expr_or_stmt.is_error ())
7277 : : {
7278 : 21 : Error error (
7279 : : t->get_locus (),
7280 : : "failed to parse statement or expression in block expression");
7281 : 21 : add_error (std::move (error));
7282 : :
7283 : 21 : return nullptr;
7284 : 21 : }
7285 : :
7286 : 25187 : t = lexer.peek_token ();
7287 : :
7288 : 25187 : if (expr_or_stmt.stmt != nullptr)
7289 : : {
7290 : 16580 : stmts.push_back (std::move (expr_or_stmt.stmt));
7291 : : }
7292 : : else
7293 : : {
7294 : : // assign to expression and end parsing inside
7295 : 8607 : expr = std::move (expr_or_stmt.expr);
7296 : : break;
7297 : : }
7298 : : }
7299 : :
7300 : 13238 : location_t end_locus = t->get_locus ();
7301 : :
7302 : 13238 : if (!skip_token (RIGHT_CURLY))
7303 : : {
7304 : 0 : Error error (t->get_locus (),
7305 : : "error may be from having an expression (as opposed to "
7306 : : "statement) in the body of the function but not last");
7307 : 0 : add_error (std::move (error));
7308 : :
7309 : 0 : skip_after_end_block ();
7310 : 0 : return nullptr;
7311 : 0 : }
7312 : :
7313 : : // grammar allows for empty block expressions
7314 : :
7315 : : stmts.shrink_to_fit ();
7316 : :
7317 : : return std::unique_ptr<AST::BlockExpr> (
7318 : 13238 : new AST::BlockExpr (std::move (stmts), std::move (expr),
7319 : : std::move (inner_attrs), std::move (outer_attrs),
7320 : 13238 : std::move (label), locus, end_locus));
7321 : 13259 : }
7322 : :
7323 : : /* Parses a "grouped" expression (expression in parentheses), used to control
7324 : : * precedence. */
7325 : : template <typename ManagedTokenSource>
7326 : : std::unique_ptr<AST::GroupedExpr>
7327 : : Parser<ManagedTokenSource>::parse_grouped_expr (AST::AttrVec outer_attrs)
7328 : : {
7329 : : location_t locus = lexer.peek_token ()->get_locus ();
7330 : : skip_token (LEFT_PAREN);
7331 : :
7332 : : AST::AttrVec inner_attrs = parse_inner_attributes ();
7333 : :
7334 : : // parse required expr inside parentheses
7335 : : std::unique_ptr<AST::Expr> expr_in_parens = parse_expr ();
7336 : : if (expr_in_parens == nullptr)
7337 : : {
7338 : : // skip after somewhere?
7339 : : // error?
7340 : : return nullptr;
7341 : : }
7342 : :
7343 : : if (!skip_token (RIGHT_PAREN))
7344 : : {
7345 : : // skip after somewhere?
7346 : : return nullptr;
7347 : : }
7348 : :
7349 : : return std::unique_ptr<AST::GroupedExpr> (
7350 : : new AST::GroupedExpr (std::move (expr_in_parens), std::move (inner_attrs),
7351 : : std::move (outer_attrs), locus));
7352 : : }
7353 : :
7354 : : // Parses a closure expression (closure definition).
7355 : : template <typename ManagedTokenSource>
7356 : : std::unique_ptr<AST::ClosureExpr>
7357 : : Parser<ManagedTokenSource>::parse_closure_expr (AST::AttrVec outer_attrs)
7358 : : {
7359 : : location_t locus = lexer.peek_token ()->get_locus ();
7360 : : // detect optional "move"
7361 : : bool has_move = false;
7362 : : if (lexer.peek_token ()->get_id () == MOVE)
7363 : : {
7364 : : lexer.skip_token ();
7365 : : has_move = true;
7366 : : }
7367 : :
7368 : : // handle parameter list
7369 : : std::vector<AST::ClosureParam> params;
7370 : :
7371 : : const_TokenPtr t = lexer.peek_token ();
7372 : : switch (t->get_id ())
7373 : : {
7374 : : case OR:
7375 : : // skip token, no parameters
7376 : : lexer.skip_token ();
7377 : : break;
7378 : : case PIPE:
7379 : : // actually may have parameters
7380 : : lexer.skip_token ();
7381 : : t = lexer.peek_token ();
7382 : :
7383 : : while (t->get_id () != PIPE)
7384 : : {
7385 : : AST::ClosureParam param = parse_closure_param ();
7386 : : if (param.is_error ())
7387 : : {
7388 : : // TODO is this really an error?
7389 : : Error error (t->get_locus (), "could not parse closure param");
7390 : : add_error (std::move (error));
7391 : :
7392 : : break;
7393 : : }
7394 : : params.push_back (std::move (param));
7395 : :
7396 : : if (lexer.peek_token ()->get_id () != COMMA)
7397 : : {
7398 : : lexer.skip_token ();
7399 : : // not an error but means param list is done
7400 : : break;
7401 : : }
7402 : : // skip comma
7403 : : lexer.skip_token ();
7404 : :
7405 : : t = lexer.peek_token ();
7406 : : }
7407 : : params.shrink_to_fit ();
7408 : : break;
7409 : : default:
7410 : : add_error (Error (t->get_locus (),
7411 : : "unexpected token %qs in closure expression - expected "
7412 : : "%<|%> or %<||%>",
7413 : : t->get_token_description ()));
7414 : :
7415 : : // skip somewhere?
7416 : : return nullptr;
7417 : : }
7418 : :
7419 : : // again branch based on next token
7420 : : t = lexer.peek_token ();
7421 : : if (t->get_id () == RETURN_TYPE)
7422 : : {
7423 : : // must be return type closure with block expr
7424 : :
7425 : : // skip "return type" token
7426 : : lexer.skip_token ();
7427 : :
7428 : : // parse actual type, which is required
7429 : : std::unique_ptr<AST::TypeNoBounds> type = parse_type_no_bounds ();
7430 : : if (type == nullptr)
7431 : : {
7432 : : // error
7433 : : Error error (t->get_locus (), "failed to parse type for closure");
7434 : : add_error (std::move (error));
7435 : :
7436 : : // skip somewhere?
7437 : : return nullptr;
7438 : : }
7439 : :
7440 : : // parse block expr, which is required
7441 : : std::unique_ptr<AST::BlockExpr> block = parse_block_expr ();
7442 : : if (block == nullptr)
7443 : : {
7444 : : // error
7445 : : Error error (lexer.peek_token ()->get_locus (),
7446 : : "failed to parse block expr in closure");
7447 : : add_error (std::move (error));
7448 : :
7449 : : // skip somewhere?
7450 : : return nullptr;
7451 : : }
7452 : :
7453 : : return std::unique_ptr<AST::ClosureExprInnerTyped> (
7454 : : new AST::ClosureExprInnerTyped (std::move (type), std::move (block),
7455 : : std::move (params), locus, has_move,
7456 : : std::move (outer_attrs)));
7457 : : }
7458 : : else
7459 : : {
7460 : : // must be expr-only closure
7461 : :
7462 : : // parse expr, which is required
7463 : : std::unique_ptr<AST::Expr> expr = parse_expr ();
7464 : : if (expr == nullptr)
7465 : : {
7466 : : Error error (t->get_locus (),
7467 : : "failed to parse expression in closure");
7468 : : add_error (std::move (error));
7469 : :
7470 : : // skip somewhere?
7471 : : return nullptr;
7472 : : }
7473 : :
7474 : : return std::unique_ptr<AST::ClosureExprInner> (
7475 : : new AST::ClosureExprInner (std::move (expr), std::move (params), locus,
7476 : : has_move, std::move (outer_attrs)));
7477 : : }
7478 : : }
7479 : :
7480 : : // Parses a literal token (to literal expression).
7481 : : template <typename ManagedTokenSource>
7482 : : std::unique_ptr<AST::LiteralExpr>
7483 : 3410 : Parser<ManagedTokenSource>::parse_literal_expr (AST::AttrVec outer_attrs)
7484 : : {
7485 : : // TODO: change if literal representation in lexer changes
7486 : :
7487 : 3410 : std::string literal_value;
7488 : 3410 : AST::Literal::LitType type = AST::Literal::STRING;
7489 : :
7490 : : // branch based on token
7491 : 3410 : const_TokenPtr t = lexer.peek_token ();
7492 : 3410 : switch (t->get_id ())
7493 : : {
7494 : 2 : case CHAR_LITERAL:
7495 : 2 : type = AST::Literal::CHAR;
7496 : 2 : literal_value = t->get_str ();
7497 : 2 : lexer.skip_token ();
7498 : : break;
7499 : 119 : case STRING_LITERAL:
7500 : 119 : type = AST::Literal::STRING;
7501 : 119 : literal_value = t->get_str ();
7502 : 119 : lexer.skip_token ();
7503 : : break;
7504 : 0 : case BYTE_CHAR_LITERAL:
7505 : 0 : type = AST::Literal::BYTE;
7506 : 0 : literal_value = t->get_str ();
7507 : 0 : lexer.skip_token ();
7508 : : break;
7509 : 1 : case BYTE_STRING_LITERAL:
7510 : 1 : type = AST::Literal::BYTE_STRING;
7511 : 1 : literal_value = t->get_str ();
7512 : 1 : lexer.skip_token ();
7513 : : break;
7514 : 3282 : case INT_LITERAL:
7515 : 3282 : type = AST::Literal::INT;
7516 : 3282 : literal_value = t->get_str ();
7517 : 3282 : lexer.skip_token ();
7518 : : break;
7519 : 1 : case FLOAT_LITERAL:
7520 : 1 : type = AST::Literal::FLOAT;
7521 : 1 : literal_value = t->get_str ();
7522 : 1 : lexer.skip_token ();
7523 : : break;
7524 : : // case BOOL_LITERAL
7525 : : // use true and false keywords rather than "bool literal" Rust terminology
7526 : 0 : case TRUE_LITERAL:
7527 : 0 : type = AST::Literal::BOOL;
7528 : 0 : literal_value = Values::Keywords::TRUE_LITERAL;
7529 : 0 : lexer.skip_token ();
7530 : : break;
7531 : 0 : case FALSE_LITERAL:
7532 : 0 : type = AST::Literal::BOOL;
7533 : 0 : literal_value = Values::Keywords::FALSE_LITERAL;
7534 : 0 : lexer.skip_token ();
7535 : : break;
7536 : 5 : default:
7537 : : // error - cannot be a literal expr
7538 : 5 : add_error (Error (t->get_locus (),
7539 : : "unexpected token %qs when parsing literal expression",
7540 : : t->get_token_description ()));
7541 : :
7542 : : // skip?
7543 : 5 : return nullptr;
7544 : : }
7545 : :
7546 : : // create literal based on stuff in switch
7547 : : return std::unique_ptr<AST::LiteralExpr> (
7548 : 3528 : new AST::LiteralExpr (std::move (literal_value), std::move (type),
7549 : : t->get_type_hint (), std::move (outer_attrs),
7550 : 3405 : t->get_locus ()));
7551 : 3410 : }
7552 : :
7553 : : // Parses a return expression (including any expression to return).
7554 : : template <typename ManagedTokenSource>
7555 : : std::unique_ptr<AST::ReturnExpr>
7556 : 326 : Parser<ManagedTokenSource>::parse_return_expr (AST::AttrVec outer_attrs,
7557 : : location_t pratt_parsed_loc)
7558 : : {
7559 : 326 : location_t locus = pratt_parsed_loc;
7560 : 326 : if (locus == UNKNOWN_LOCATION)
7561 : : {
7562 : 0 : locus = lexer.peek_token ()->get_locus ();
7563 : 0 : skip_token (RETURN_KW);
7564 : : }
7565 : :
7566 : : // parse expression to return, if it exists
7567 : 326 : ParseRestrictions restrictions;
7568 : 326 : restrictions.expr_can_be_null = true;
7569 : 326 : std::unique_ptr<AST::Expr> returned_expr
7570 : 326 : = parse_expr (AST::AttrVec (), restrictions);
7571 : :
7572 : : return std::unique_ptr<AST::ReturnExpr> (
7573 : 326 : new AST::ReturnExpr (std::move (returned_expr), std::move (outer_attrs),
7574 : 326 : locus));
7575 : 326 : }
7576 : :
7577 : : /* Parses a break expression (including any label to break to AND any return
7578 : : * expression). */
7579 : : template <typename ManagedTokenSource>
7580 : : std::unique_ptr<AST::BreakExpr>
7581 : 68 : Parser<ManagedTokenSource>::parse_break_expr (AST::AttrVec outer_attrs,
7582 : : location_t pratt_parsed_loc)
7583 : : {
7584 : 68 : location_t locus = pratt_parsed_loc;
7585 : 68 : if (locus == UNKNOWN_LOCATION)
7586 : : {
7587 : 0 : locus = lexer.peek_token ()->get_locus ();
7588 : 0 : skip_token (BREAK);
7589 : : }
7590 : :
7591 : : // parse label (lifetime) if it exists - create dummy first
7592 : 68 : AST::Lifetime label = AST::Lifetime::error ();
7593 : 136 : if (lexer.peek_token ()->get_id () == LIFETIME)
7594 : : {
7595 : 20 : label = parse_lifetime (false);
7596 : : }
7597 : :
7598 : : // parse break return expression if it exists
7599 : 68 : ParseRestrictions restrictions;
7600 : 68 : restrictions.expr_can_be_null = true;
7601 : 68 : std::unique_ptr<AST::Expr> return_expr
7602 : 68 : = parse_expr (AST::AttrVec (), restrictions);
7603 : :
7604 : : return std::unique_ptr<AST::BreakExpr> (
7605 : 68 : new AST::BreakExpr (std::move (label), std::move (return_expr),
7606 : 68 : std::move (outer_attrs), locus));
7607 : 68 : }
7608 : :
7609 : : // Parses a continue expression (including any label to continue from).
7610 : : template <typename ManagedTokenSource>
7611 : : std::unique_ptr<AST::ContinueExpr>
7612 : 10 : Parser<ManagedTokenSource>::parse_continue_expr (AST::AttrVec outer_attrs,
7613 : : location_t pratt_parsed_loc)
7614 : : {
7615 : 10 : location_t locus = pratt_parsed_loc;
7616 : 10 : if (locus == UNKNOWN_LOCATION)
7617 : : {
7618 : 0 : locus = lexer.peek_token ()->get_locus ();
7619 : 0 : skip_token (CONTINUE);
7620 : : }
7621 : :
7622 : : // parse label (lifetime) if it exists - create dummy first
7623 : 10 : AST::Lifetime label = AST::Lifetime::error ();
7624 : 20 : if (lexer.peek_token ()->get_id () == LIFETIME)
7625 : : {
7626 : 1 : label = parse_lifetime (false);
7627 : : }
7628 : :
7629 : : return std::unique_ptr<AST::ContinueExpr> (
7630 : 10 : new AST::ContinueExpr (std::move (label), std::move (outer_attrs), locus));
7631 : 10 : }
7632 : :
7633 : : // Parses a loop label used in loop expressions.
7634 : : template <typename ManagedTokenSource>
7635 : : AST::LoopLabel
7636 : 33 : Parser<ManagedTokenSource>::parse_loop_label (const_TokenPtr tok)
7637 : : {
7638 : : // parse lifetime - if doesn't exist, assume no label
7639 : 33 : if (tok->get_id () != LIFETIME)
7640 : : {
7641 : : // not necessarily an error
7642 : 0 : return AST::LoopLabel::error ();
7643 : : }
7644 : : /* FIXME: check for named lifetime requirement here? or check in semantic
7645 : : * analysis phase? */
7646 : 33 : AST::Lifetime label = lifetime_from_token (tok);
7647 : :
7648 : 33 : if (!skip_token (COLON))
7649 : : {
7650 : : // skip somewhere?
7651 : 0 : return AST::LoopLabel::error ();
7652 : : }
7653 : :
7654 : 33 : return AST::LoopLabel (std::move (label), tok->get_locus ());
7655 : 33 : }
7656 : :
7657 : : /* Parses an if expression of any kind, including with else, else if, else if
7658 : : * let, and neither. Note that any outer attributes will be ignored because if
7659 : : * expressions don't support them. */
7660 : : template <typename ManagedTokenSource>
7661 : : std::unique_ptr<AST::IfExpr>
7662 : 654 : Parser<ManagedTokenSource>::parse_if_expr (AST::AttrVec outer_attrs,
7663 : : location_t pratt_parsed_loc)
7664 : : {
7665 : : // TODO: make having outer attributes an error?
7666 : 654 : location_t locus = pratt_parsed_loc;
7667 : 654 : if (locus == UNKNOWN_LOCATION)
7668 : : {
7669 : 39 : locus = lexer.peek_token ()->get_locus ();
7670 : 39 : if (!skip_token (IF))
7671 : : {
7672 : 0 : skip_after_end_block ();
7673 : 0 : return nullptr;
7674 : : }
7675 : : }
7676 : :
7677 : : // detect accidental if let
7678 : 1308 : if (lexer.peek_token ()->get_id () == LET)
7679 : : {
7680 : 0 : Error error (lexer.peek_token ()->get_locus (),
7681 : : "if let expression probably exists, but is being parsed "
7682 : : "as an if expression. This may be a parser error");
7683 : 0 : add_error (std::move (error));
7684 : :
7685 : : // skip somewhere?
7686 : 0 : return nullptr;
7687 : 0 : }
7688 : :
7689 : : /* parse required condition expr - HACK to prevent struct expr from being
7690 : : * parsed */
7691 : 654 : ParseRestrictions no_struct_expr;
7692 : 654 : no_struct_expr.can_be_struct_expr = false;
7693 : 654 : std::unique_ptr<AST::Expr> condition = parse_expr ({}, no_struct_expr);
7694 : 654 : if (condition == nullptr)
7695 : : {
7696 : 0 : Error error (lexer.peek_token ()->get_locus (),
7697 : : "failed to parse condition expression in if expression");
7698 : 0 : add_error (std::move (error));
7699 : :
7700 : : // skip somewhere?
7701 : 0 : return nullptr;
7702 : 0 : }
7703 : :
7704 : : // parse required block expr
7705 : 654 : std::unique_ptr<AST::BlockExpr> if_body = parse_block_expr ();
7706 : 654 : if (if_body == nullptr)
7707 : : {
7708 : 1 : Error error (lexer.peek_token ()->get_locus (),
7709 : : "failed to parse if body block expression in if expression");
7710 : 1 : add_error (std::move (error));
7711 : :
7712 : : // skip somewhere?
7713 : 1 : return nullptr;
7714 : 1 : }
7715 : :
7716 : : // branch to parse end or else (and then else, else if, or else if let)
7717 : 1306 : if (lexer.peek_token ()->get_id () != ELSE)
7718 : : {
7719 : : // single selection - end of if expression
7720 : : return std::unique_ptr<AST::IfExpr> (
7721 : 300 : new AST::IfExpr (std::move (condition), std::move (if_body),
7722 : 300 : std::move (outer_attrs), locus));
7723 : : }
7724 : : else
7725 : : {
7726 : : // double or multiple selection - branch on end, else if, or else if let
7727 : :
7728 : : // skip "else"
7729 : 353 : lexer.skip_token ();
7730 : :
7731 : : // branch on whether next token is '{' or 'if'
7732 : 353 : const_TokenPtr t = lexer.peek_token ();
7733 : 353 : switch (t->get_id ())
7734 : : {
7735 : 314 : case LEFT_CURLY: {
7736 : : // double selection - else
7737 : : // parse else block expr (required)
7738 : 314 : std::unique_ptr<AST::BlockExpr> else_body = parse_block_expr ();
7739 : 314 : if (else_body == nullptr)
7740 : : {
7741 : 0 : Error error (lexer.peek_token ()->get_locus (),
7742 : : "failed to parse else body block expression in "
7743 : : "if expression");
7744 : 0 : add_error (std::move (error));
7745 : :
7746 : : // skip somewhere?
7747 : 0 : return nullptr;
7748 : 0 : }
7749 : :
7750 : 314 : return std::unique_ptr<AST::IfExprConseqElse> (
7751 : 314 : new AST::IfExprConseqElse (std::move (condition),
7752 : : std::move (if_body),
7753 : : std::move (else_body),
7754 : 314 : std::move (outer_attrs), locus));
7755 : 314 : }
7756 : 39 : case IF: {
7757 : : // multiple selection - else if or else if let
7758 : : // branch on whether next token is 'let' or not
7759 : 78 : if (lexer.peek_token (1)->get_id () == LET)
7760 : : {
7761 : : // parse if let expr (required)
7762 : 1 : std::unique_ptr<AST::IfLetExpr> if_let_expr
7763 : 1 : = parse_if_let_expr ();
7764 : 1 : if (if_let_expr == nullptr)
7765 : : {
7766 : 0 : Error error (lexer.peek_token ()->get_locus (),
7767 : : "failed to parse (else) if let expression "
7768 : : "after if expression");
7769 : 0 : add_error (std::move (error));
7770 : :
7771 : : // skip somewhere?
7772 : 0 : return nullptr;
7773 : 0 : }
7774 : :
7775 : 1 : return std::unique_ptr<AST::IfExprConseqElse> (
7776 : 1 : new AST::IfExprConseqElse (std::move (condition),
7777 : : std::move (if_body),
7778 : : std::move (if_let_expr),
7779 : 1 : std::move (outer_attrs), locus));
7780 : 1 : }
7781 : : else
7782 : : {
7783 : : // parse if expr (required)
7784 : 38 : std::unique_ptr<AST::IfExpr> if_expr = parse_if_expr ();
7785 : 38 : if (if_expr == nullptr)
7786 : : {
7787 : 0 : Error error (lexer.peek_token ()->get_locus (),
7788 : : "failed to parse (else) if expression after "
7789 : : "if expression");
7790 : 0 : add_error (std::move (error));
7791 : :
7792 : : // skip somewhere?
7793 : 0 : return nullptr;
7794 : 0 : }
7795 : :
7796 : 38 : return std::unique_ptr<AST::IfExprConseqElse> (
7797 : 38 : new AST::IfExprConseqElse (std::move (condition),
7798 : : std::move (if_body),
7799 : : std::move (if_expr),
7800 : 38 : std::move (outer_attrs), locus));
7801 : 38 : }
7802 : : }
7803 : 0 : default:
7804 : : // error - invalid token
7805 : 0 : add_error (Error (t->get_locus (),
7806 : : "unexpected token %qs after else in if expression",
7807 : : t->get_token_description ()));
7808 : :
7809 : : // skip somewhere?
7810 : 0 : return nullptr;
7811 : : }
7812 : 353 : }
7813 : 654 : }
7814 : :
7815 : : /* Parses an if let expression of any kind, including with else, else if, else
7816 : : * if let, and none. Note that any outer attributes will be ignored as if let
7817 : : * expressions don't support them. */
7818 : : template <typename ManagedTokenSource>
7819 : : std::unique_ptr<AST::IfLetExpr>
7820 : 3 : Parser<ManagedTokenSource>::parse_if_let_expr (AST::AttrVec outer_attrs,
7821 : : location_t pratt_parsed_loc)
7822 : : {
7823 : : // TODO: make having outer attributes an error?
7824 : 3 : location_t locus = pratt_parsed_loc;
7825 : 3 : if (locus == UNKNOWN_LOCATION)
7826 : : {
7827 : 1 : locus = lexer.peek_token ()->get_locus ();
7828 : 1 : if (!skip_token (IF))
7829 : : {
7830 : 0 : skip_after_end_block ();
7831 : 0 : return nullptr;
7832 : : }
7833 : : }
7834 : :
7835 : : // detect accidental if expr parsed as if let expr
7836 : 6 : if (lexer.peek_token ()->get_id () != LET)
7837 : : {
7838 : 0 : Error error (lexer.peek_token ()->get_locus (),
7839 : : "if expression probably exists, but is being parsed as an "
7840 : : "if let expression. This may be a parser error");
7841 : 0 : add_error (std::move (error));
7842 : :
7843 : : // skip somewhere?
7844 : 0 : return nullptr;
7845 : 0 : }
7846 : 3 : lexer.skip_token ();
7847 : :
7848 : : // parse match arm patterns (which are required)
7849 : 3 : std::vector<std::unique_ptr<AST::Pattern>> match_arm_patterns
7850 : : = parse_match_arm_patterns (EQUAL);
7851 : 3 : if (match_arm_patterns.empty ())
7852 : : {
7853 : 0 : Error error (
7854 : 0 : lexer.peek_token ()->get_locus (),
7855 : : "failed to parse any match arm patterns in if let expression");
7856 : 0 : add_error (std::move (error));
7857 : :
7858 : : // skip somewhere?
7859 : 0 : return nullptr;
7860 : 0 : }
7861 : :
7862 : 3 : if (!skip_token (EQUAL))
7863 : : {
7864 : : // skip somewhere?
7865 : 0 : return nullptr;
7866 : : }
7867 : :
7868 : : // parse expression (required) - HACK to prevent struct expr being parsed
7869 : 3 : ParseRestrictions no_struct_expr;
7870 : 3 : no_struct_expr.can_be_struct_expr = false;
7871 : 3 : std::unique_ptr<AST::Expr> scrutinee_expr = parse_expr ({}, no_struct_expr);
7872 : 3 : if (scrutinee_expr == nullptr)
7873 : : {
7874 : 0 : Error error (lexer.peek_token ()->get_locus (),
7875 : : "failed to parse scrutinee expression in if let expression");
7876 : 0 : add_error (std::move (error));
7877 : :
7878 : : // skip somewhere?
7879 : 0 : return nullptr;
7880 : 0 : }
7881 : : /* TODO: check for expression not being a struct expression or lazy boolean
7882 : : * expression here? or actually probably in semantic analysis. */
7883 : :
7884 : : // parse block expression (required)
7885 : 3 : std::unique_ptr<AST::BlockExpr> if_let_body = parse_block_expr ();
7886 : 3 : if (if_let_body == nullptr)
7887 : : {
7888 : 0 : Error error (
7889 : 0 : lexer.peek_token ()->get_locus (),
7890 : : "failed to parse if let body block expression in if let expression");
7891 : 0 : add_error (std::move (error));
7892 : :
7893 : : // skip somewhere?
7894 : 0 : return nullptr;
7895 : 0 : }
7896 : :
7897 : : // branch to parse end or else (and then else, else if, or else if let)
7898 : 6 : if (lexer.peek_token ()->get_id () != ELSE)
7899 : : {
7900 : : // single selection - end of if let expression
7901 : : return std::unique_ptr<AST::IfLetExpr> (
7902 : 1 : new AST::IfLetExpr (std::move (match_arm_patterns),
7903 : : std::move (scrutinee_expr), std::move (if_let_body),
7904 : 1 : std::move (outer_attrs), locus));
7905 : : }
7906 : : else
7907 : : {
7908 : : // double or multiple selection - branch on end, else if, or else if let
7909 : :
7910 : : // skip "else"
7911 : 2 : lexer.skip_token ();
7912 : :
7913 : : // branch on whether next token is '{' or 'if'
7914 : 2 : const_TokenPtr t = lexer.peek_token ();
7915 : 2 : switch (t->get_id ())
7916 : : {
7917 : 1 : case LEFT_CURLY: {
7918 : : // double selection - else
7919 : : // parse else block expr (required)
7920 : 1 : std::unique_ptr<AST::BlockExpr> else_body = parse_block_expr ();
7921 : 1 : if (else_body == nullptr)
7922 : : {
7923 : 0 : Error error (lexer.peek_token ()->get_locus (),
7924 : : "failed to parse else body block expression in "
7925 : : "if let expression");
7926 : 0 : add_error (std::move (error));
7927 : :
7928 : : // skip somewhere?
7929 : 0 : return nullptr;
7930 : 0 : }
7931 : :
7932 : 1 : return std::unique_ptr<AST::IfLetExprConseqElse> (
7933 : 1 : new AST::IfLetExprConseqElse (std::move (match_arm_patterns),
7934 : : std::move (scrutinee_expr),
7935 : : std::move (if_let_body),
7936 : : std::move (else_body),
7937 : 1 : std::move (outer_attrs), locus));
7938 : 1 : }
7939 : 1 : case IF: {
7940 : : // multiple selection - else if or else if let
7941 : : // branch on whether next token is 'let' or not
7942 : 2 : if (lexer.peek_token (1)->get_id () == LET)
7943 : : {
7944 : : // parse if let expr (required)
7945 : 0 : std::unique_ptr<AST::IfLetExpr> if_let_expr
7946 : 0 : = parse_if_let_expr ();
7947 : 0 : if (if_let_expr == nullptr)
7948 : : {
7949 : 0 : Error error (lexer.peek_token ()->get_locus (),
7950 : : "failed to parse (else) if let expression "
7951 : : "after if let expression");
7952 : 0 : add_error (std::move (error));
7953 : :
7954 : : // skip somewhere?
7955 : 0 : return nullptr;
7956 : 0 : }
7957 : :
7958 : 0 : return std::unique_ptr<AST::IfLetExprConseqElse> (
7959 : 0 : new AST::IfLetExprConseqElse (
7960 : : std::move (match_arm_patterns), std::move (scrutinee_expr),
7961 : : std::move (if_let_body), std::move (if_let_expr),
7962 : 0 : std::move (outer_attrs), locus));
7963 : 0 : }
7964 : : else
7965 : : {
7966 : : // parse if expr (required)
7967 : 1 : std::unique_ptr<AST::IfExpr> if_expr = parse_if_expr ();
7968 : 1 : if (if_expr == nullptr)
7969 : : {
7970 : 0 : Error error (lexer.peek_token ()->get_locus (),
7971 : : "failed to parse (else) if expression after "
7972 : : "if let expression");
7973 : 0 : add_error (std::move (error));
7974 : :
7975 : : // skip somewhere?
7976 : 0 : return nullptr;
7977 : 0 : }
7978 : :
7979 : 1 : return std::unique_ptr<AST::IfLetExprConseqElse> (
7980 : 1 : new AST::IfLetExprConseqElse (
7981 : : std::move (match_arm_patterns), std::move (scrutinee_expr),
7982 : : std::move (if_let_body), std::move (if_expr),
7983 : 1 : std::move (outer_attrs), locus));
7984 : 1 : }
7985 : : }
7986 : 0 : default:
7987 : : // error - invalid token
7988 : 0 : add_error (
7989 : 0 : Error (t->get_locus (),
7990 : : "unexpected token %qs after else in if let expression",
7991 : : t->get_token_description ()));
7992 : :
7993 : : // skip somewhere?
7994 : 0 : return nullptr;
7995 : : }
7996 : 2 : }
7997 : 3 : }
7998 : :
7999 : : /* TODO: possibly decide on different method of handling label (i.e. not
8000 : : * parameter) */
8001 : :
8002 : : /* Parses a "loop" infinite loop expression. Label is not parsed and should be
8003 : : * parsed via parse_labelled_loop_expr, which would call this. */
8004 : : template <typename ManagedTokenSource>
8005 : : std::unique_ptr<AST::LoopExpr>
8006 : 98 : Parser<ManagedTokenSource>::parse_loop_expr (AST::AttrVec outer_attrs,
8007 : : AST::LoopLabel label,
8008 : : location_t pratt_parsed_loc)
8009 : : {
8010 : 98 : location_t locus = pratt_parsed_loc;
8011 : 98 : if (locus == UNKNOWN_LOCATION)
8012 : : {
8013 : 32 : if (label.is_error ())
8014 : 0 : locus = lexer.peek_token ()->get_locus ();
8015 : : else
8016 : 32 : locus = label.get_locus ();
8017 : :
8018 : 32 : if (!skip_token (LOOP))
8019 : : {
8020 : 0 : skip_after_end_block ();
8021 : 0 : return nullptr;
8022 : : }
8023 : : }
8024 : : else
8025 : : {
8026 : 0 : if (!label.is_error ())
8027 : 0 : locus = label.get_locus ();
8028 : : }
8029 : :
8030 : : // parse loop body, which is required
8031 : 98 : std::unique_ptr<AST::BlockExpr> loop_body = parse_block_expr ();
8032 : 98 : if (loop_body == nullptr)
8033 : : {
8034 : 1 : Error error (lexer.peek_token ()->get_locus (),
8035 : : "could not parse loop body in (infinite) loop expression");
8036 : 1 : add_error (std::move (error));
8037 : :
8038 : 1 : return nullptr;
8039 : 1 : }
8040 : :
8041 : : return std::unique_ptr<AST::LoopExpr> (
8042 : 97 : new AST::LoopExpr (std::move (loop_body), locus, std::move (label),
8043 : 97 : std::move (outer_attrs)));
8044 : 98 : }
8045 : :
8046 : : /* Parses a "while" loop expression. Label is not parsed and should be parsed
8047 : : * via parse_labelled_loop_expr, which would call this. */
8048 : : template <typename ManagedTokenSource>
8049 : : std::unique_ptr<AST::WhileLoopExpr>
8050 : 35 : Parser<ManagedTokenSource>::parse_while_loop_expr (AST::AttrVec outer_attrs,
8051 : : AST::LoopLabel label,
8052 : : location_t pratt_parsed_loc)
8053 : : {
8054 : 35 : location_t locus = pratt_parsed_loc;
8055 : 35 : if (locus == UNKNOWN_LOCATION)
8056 : : {
8057 : 1 : if (label.is_error ())
8058 : 0 : locus = lexer.peek_token ()->get_locus ();
8059 : : else
8060 : 1 : locus = label.get_locus ();
8061 : :
8062 : 1 : if (!skip_token (WHILE))
8063 : : {
8064 : 0 : skip_after_end_block ();
8065 : 0 : return nullptr;
8066 : : }
8067 : : }
8068 : : else
8069 : : {
8070 : 0 : if (!label.is_error ())
8071 : 0 : locus = label.get_locus ();
8072 : : }
8073 : :
8074 : : // ensure it isn't a while let loop
8075 : 70 : if (lexer.peek_token ()->get_id () == LET)
8076 : : {
8077 : 0 : Error error (lexer.peek_token ()->get_locus (),
8078 : : "appears to be while let loop but is being parsed by "
8079 : : "while loop - this may be a compiler issue");
8080 : 0 : add_error (std::move (error));
8081 : :
8082 : : // skip somewhere?
8083 : 0 : return nullptr;
8084 : 0 : }
8085 : :
8086 : : // parse loop predicate (required) with HACK to prevent struct expr parsing
8087 : 35 : ParseRestrictions no_struct_expr;
8088 : 35 : no_struct_expr.can_be_struct_expr = false;
8089 : 35 : std::unique_ptr<AST::Expr> predicate = parse_expr ({}, no_struct_expr);
8090 : 35 : if (predicate == nullptr)
8091 : : {
8092 : 0 : Error error (lexer.peek_token ()->get_locus (),
8093 : : "failed to parse predicate expression in while loop");
8094 : 0 : add_error (std::move (error));
8095 : :
8096 : : // skip somewhere?
8097 : 0 : return nullptr;
8098 : 0 : }
8099 : : /* TODO: check that it isn't struct expression here? actually, probably in
8100 : : * semantic analysis */
8101 : :
8102 : : // parse loop body (required)
8103 : 35 : std::unique_ptr<AST::BlockExpr> body = parse_block_expr ();
8104 : 35 : if (body == nullptr)
8105 : : {
8106 : 0 : Error error (lexer.peek_token ()->get_locus (),
8107 : : "failed to parse loop body block expression in while loop");
8108 : 0 : add_error (std::move (error));
8109 : :
8110 : : // skip somewhere
8111 : 0 : return nullptr;
8112 : 0 : }
8113 : :
8114 : : return std::unique_ptr<AST::WhileLoopExpr> (
8115 : 35 : new AST::WhileLoopExpr (std::move (predicate), std::move (body), locus,
8116 : 35 : std::move (label), std::move (outer_attrs)));
8117 : 35 : }
8118 : :
8119 : : /* Parses a "while let" loop expression. Label is not parsed and should be
8120 : : * parsed via parse_labelled_loop_expr, which would call this. */
8121 : : template <typename ManagedTokenSource>
8122 : : std::unique_ptr<AST::WhileLetLoopExpr>
8123 : 1 : Parser<ManagedTokenSource>::parse_while_let_loop_expr (AST::AttrVec outer_attrs,
8124 : : AST::LoopLabel label)
8125 : : {
8126 : 1 : location_t locus = UNKNOWN_LOCATION;
8127 : 0 : if (label.is_error ())
8128 : 2 : locus = lexer.peek_token ()->get_locus ();
8129 : : else
8130 : 0 : locus = label.get_locus ();
8131 : 1 : maybe_skip_token (WHILE);
8132 : :
8133 : : /* check for possible accidental recognition of a while loop as a while let
8134 : : * loop */
8135 : 2 : if (lexer.peek_token ()->get_id () != LET)
8136 : : {
8137 : 0 : Error error (lexer.peek_token ()->get_locus (),
8138 : : "appears to be a while loop but is being parsed by "
8139 : : "while let loop - this may be a compiler issue");
8140 : 0 : add_error (std::move (error));
8141 : :
8142 : : // skip somewhere
8143 : 0 : return nullptr;
8144 : 0 : }
8145 : : // as this token is definitely let now, save the computation of comparison
8146 : 1 : lexer.skip_token ();
8147 : :
8148 : : // parse predicate patterns
8149 : 1 : std::vector<std::unique_ptr<AST::Pattern>> predicate_patterns
8150 : : = parse_match_arm_patterns (EQUAL);
8151 : : // TODO: have to ensure that there is at least 1 pattern?
8152 : :
8153 : 1 : if (!skip_token (EQUAL))
8154 : : {
8155 : : // skip somewhere?
8156 : 0 : return nullptr;
8157 : : }
8158 : :
8159 : : /* parse predicate expression, which is required (and HACK to prevent struct
8160 : : * expr) */
8161 : 1 : ParseRestrictions no_struct_expr;
8162 : 1 : no_struct_expr.can_be_struct_expr = false;
8163 : 1 : std::unique_ptr<AST::Expr> predicate_expr = parse_expr ({}, no_struct_expr);
8164 : 1 : if (predicate_expr == nullptr)
8165 : : {
8166 : 0 : Error error (lexer.peek_token ()->get_locus (),
8167 : : "failed to parse predicate expression in while let loop");
8168 : 0 : add_error (std::move (error));
8169 : :
8170 : : // skip somewhere?
8171 : 0 : return nullptr;
8172 : 0 : }
8173 : : /* TODO: ensure that struct expression is not parsed? Actually, probably in
8174 : : * semantic analysis. */
8175 : :
8176 : : // parse loop body, which is required
8177 : 1 : std::unique_ptr<AST::BlockExpr> body = parse_block_expr ();
8178 : 1 : if (body == nullptr)
8179 : : {
8180 : 0 : Error error (lexer.peek_token ()->get_locus (),
8181 : : "failed to parse block expr (loop body) of while let loop");
8182 : 0 : add_error (std::move (error));
8183 : :
8184 : : // skip somewhere?
8185 : 0 : return nullptr;
8186 : 0 : }
8187 : :
8188 : 1 : return std::unique_ptr<AST::WhileLetLoopExpr> (new AST::WhileLetLoopExpr (
8189 : : std::move (predicate_patterns), std::move (predicate_expr),
8190 : 1 : std::move (body), locus, std::move (label), std::move (outer_attrs)));
8191 : 1 : }
8192 : :
8193 : : /* Parses a "for" iterative loop. Label is not parsed and should be parsed via
8194 : : * parse_labelled_loop_expr, which would call this. */
8195 : : template <typename ManagedTokenSource>
8196 : : std::unique_ptr<AST::ForLoopExpr>
8197 : 3 : Parser<ManagedTokenSource>::parse_for_loop_expr (AST::AttrVec outer_attrs,
8198 : : AST::LoopLabel label)
8199 : : {
8200 : 3 : location_t locus = UNKNOWN_LOCATION;
8201 : 0 : if (label.is_error ())
8202 : 6 : locus = lexer.peek_token ()->get_locus ();
8203 : : else
8204 : 0 : locus = label.get_locus ();
8205 : 3 : maybe_skip_token (FOR);
8206 : :
8207 : : // parse pattern, which is required
8208 : 3 : std::unique_ptr<AST::Pattern> pattern = parse_pattern ();
8209 : 3 : if (pattern == nullptr)
8210 : : {
8211 : 0 : Error error (lexer.peek_token ()->get_locus (),
8212 : : "failed to parse iterator pattern in for loop");
8213 : 0 : add_error (std::move (error));
8214 : :
8215 : : // skip somewhere?
8216 : 0 : return nullptr;
8217 : 0 : }
8218 : :
8219 : 3 : if (!skip_token (IN))
8220 : : {
8221 : : // skip somewhere?
8222 : 0 : return nullptr;
8223 : : }
8224 : :
8225 : : /* parse iterator expression, which is required - also HACK to prevent
8226 : : * struct expr */
8227 : 3 : ParseRestrictions no_struct_expr;
8228 : 3 : no_struct_expr.can_be_struct_expr = false;
8229 : 3 : std::unique_ptr<AST::Expr> expr = parse_expr ({}, no_struct_expr);
8230 : 3 : if (expr == nullptr)
8231 : : {
8232 : 0 : Error error (lexer.peek_token ()->get_locus (),
8233 : : "failed to parse iterator expression in for loop");
8234 : 0 : add_error (std::move (error));
8235 : :
8236 : : // skip somewhere?
8237 : 0 : return nullptr;
8238 : 0 : }
8239 : : // TODO: check to ensure this isn't struct expr? Or in semantic analysis.
8240 : :
8241 : : // parse loop body, which is required
8242 : 3 : std::unique_ptr<AST::BlockExpr> body = parse_block_expr ();
8243 : 3 : if (body == nullptr)
8244 : : {
8245 : 0 : Error error (lexer.peek_token ()->get_locus (),
8246 : : "failed to parse loop body block expression in for loop");
8247 : 0 : add_error (std::move (error));
8248 : :
8249 : : // skip somewhere?
8250 : 0 : return nullptr;
8251 : 0 : }
8252 : :
8253 : : return std::unique_ptr<AST::ForLoopExpr> (
8254 : 3 : new AST::ForLoopExpr (std::move (pattern), std::move (expr),
8255 : : std::move (body), locus, std::move (label),
8256 : 3 : std::move (outer_attrs)));
8257 : 3 : }
8258 : :
8259 : : // Parses a loop expression with label (any kind of loop - disambiguates).
8260 : : template <typename ManagedTokenSource>
8261 : : std::unique_ptr<AST::Expr>
8262 : 33 : Parser<ManagedTokenSource>::parse_labelled_loop_expr (const_TokenPtr tok,
8263 : : AST::AttrVec outer_attrs)
8264 : : {
8265 : : /* TODO: decide whether it should not work if there is no label, or parse it
8266 : : * with no label at the moment, I will make it not work with no label
8267 : : * because that's the implication. */
8268 : :
8269 : 33 : if (tok->get_id () != LIFETIME)
8270 : : {
8271 : 0 : Error error (tok->get_locus (),
8272 : : "expected lifetime in labelled loop expr (to parse loop "
8273 : : "label) - found %qs",
8274 : : tok->get_token_description ());
8275 : 0 : add_error (std::move (error));
8276 : :
8277 : : // skip?
8278 : 0 : return nullptr;
8279 : 0 : }
8280 : :
8281 : : // parse loop label (required)
8282 : 66 : AST::LoopLabel label = parse_loop_label (tok);
8283 : 33 : if (label.is_error ())
8284 : : {
8285 : 0 : Error error (lexer.peek_token ()->get_locus (),
8286 : : "failed to parse loop label in labelled loop expr");
8287 : 0 : add_error (std::move (error));
8288 : :
8289 : : // skip?
8290 : 0 : return nullptr;
8291 : 0 : }
8292 : :
8293 : : // branch on next token
8294 : 33 : const_TokenPtr t = lexer.peek_token ();
8295 : 33 : switch (t->get_id ())
8296 : : {
8297 : 32 : case LOOP:
8298 : 32 : return parse_loop_expr (std::move (outer_attrs), std::move (label));
8299 : 0 : case FOR:
8300 : 0 : return parse_for_loop_expr (std::move (outer_attrs), std::move (label));
8301 : 1 : case WHILE:
8302 : : // further disambiguate into while vs while let
8303 : 2 : if (lexer.peek_token (1)->get_id () == LET)
8304 : : {
8305 : 0 : return parse_while_let_loop_expr (std::move (outer_attrs),
8306 : 0 : std::move (label));
8307 : : }
8308 : : else
8309 : : {
8310 : 1 : return parse_while_loop_expr (std::move (outer_attrs),
8311 : 1 : std::move (label));
8312 : : }
8313 : 0 : case LEFT_CURLY:
8314 : 0 : return parse_block_expr (std::move (outer_attrs), std::move (label));
8315 : 0 : default:
8316 : : // error
8317 : 0 : add_error (Error (t->get_locus (),
8318 : : "unexpected token %qs when parsing labelled loop",
8319 : : t->get_token_description ()));
8320 : :
8321 : : // skip?
8322 : 0 : return nullptr;
8323 : : }
8324 : 33 : }
8325 : :
8326 : : // Parses a match expression.
8327 : : template <typename ManagedTokenSource>
8328 : : std::unique_ptr<AST::MatchExpr>
8329 : 203 : Parser<ManagedTokenSource>::parse_match_expr (AST::AttrVec outer_attrs,
8330 : : location_t pratt_parsed_loc)
8331 : : {
8332 : 203 : location_t locus = pratt_parsed_loc;
8333 : 203 : if (locus == UNKNOWN_LOCATION)
8334 : : {
8335 : 0 : locus = lexer.peek_token ()->get_locus ();
8336 : 0 : skip_token (MATCH_KW);
8337 : : }
8338 : :
8339 : : /* parse scrutinee expression, which is required (and HACK to prevent struct
8340 : : * expr) */
8341 : 203 : ParseRestrictions no_struct_expr;
8342 : 203 : no_struct_expr.can_be_struct_expr = false;
8343 : 203 : std::unique_ptr<AST::Expr> scrutinee = parse_expr ({}, no_struct_expr);
8344 : 203 : if (scrutinee == nullptr)
8345 : : {
8346 : 0 : Error error (lexer.peek_token ()->get_locus (),
8347 : : "failed to parse scrutinee expression in match expression");
8348 : 0 : add_error (std::move (error));
8349 : :
8350 : : // skip somewhere?
8351 : 0 : return nullptr;
8352 : 0 : }
8353 : : /* TODO: check for scrutinee expr not being struct expr? or do so in
8354 : : * semantic analysis */
8355 : :
8356 : 203 : if (!skip_token (LEFT_CURLY))
8357 : : {
8358 : : // skip somewhere?
8359 : 0 : return nullptr;
8360 : : }
8361 : :
8362 : : // parse inner attributes (if they exist)
8363 : 203 : AST::AttrVec inner_attrs = parse_inner_attributes ();
8364 : :
8365 : : // parse match arms (if they exist)
8366 : : // std::vector<std::unique_ptr<AST::MatchCase> > match_arms;
8367 : 203 : std::vector<AST::MatchCase> match_arms;
8368 : :
8369 : : // parse match cases
8370 : 1911 : while (lexer.peek_token ()->get_id () != RIGHT_CURLY)
8371 : : {
8372 : : // parse match arm itself, which is required
8373 : 505 : AST::MatchArm arm = parse_match_arm ();
8374 : 505 : if (arm.is_error ())
8375 : : {
8376 : : // TODO is this worth throwing everything away?
8377 : 0 : Error error (lexer.peek_token ()->get_locus (),
8378 : : "failed to parse match arm in match arms");
8379 : 0 : add_error (std::move (error));
8380 : :
8381 : 0 : return nullptr;
8382 : 0 : }
8383 : :
8384 : 505 : if (!skip_token (MATCH_ARROW))
8385 : : {
8386 : : // skip after somewhere?
8387 : : // TODO is returning here a good idea? or is break better?
8388 : 0 : return nullptr;
8389 : : }
8390 : :
8391 : 505 : ParseRestrictions restrictions;
8392 : 505 : restrictions.expr_can_be_stmt = true;
8393 : :
8394 : 505 : std::unique_ptr<AST::Expr> expr = parse_expr ({}, restrictions);
8395 : :
8396 : 505 : if (expr == nullptr)
8397 : : {
8398 : 0 : Error error (lexer.peek_token ()->get_locus (),
8399 : : "failed to parse expr in match arm in match expr");
8400 : 0 : add_error (std::move (error));
8401 : :
8402 : : // skip somewhere?
8403 : 0 : return nullptr;
8404 : 0 : }
8405 : :
8406 : 505 : bool is_expr_without_block = expr->is_expr_without_block ();
8407 : :
8408 : 1010 : match_arms.push_back (AST::MatchCase (std::move (arm), std::move (expr)));
8409 : :
8410 : : // handle comma presence
8411 : 1010 : if (lexer.peek_token ()->get_id () != COMMA)
8412 : : {
8413 : 307 : if (!is_expr_without_block)
8414 : : {
8415 : : // allowed even if not final case
8416 : : continue;
8417 : : }
8418 : 5 : else if (is_expr_without_block
8419 : 10 : && lexer.peek_token ()->get_id () != RIGHT_CURLY)
8420 : : {
8421 : : // not allowed if not final case
8422 : 1 : Error error (lexer.peek_token ()->get_locus (),
8423 : : "exprwithoutblock requires comma after match case "
8424 : : "expression in match arm (if not final case)");
8425 : 1 : add_error (std::move (error));
8426 : :
8427 : 1 : return nullptr;
8428 : 1 : }
8429 : : else
8430 : : {
8431 : : // otherwise, must be final case, so fine
8432 : : break;
8433 : : }
8434 : : }
8435 : 198 : lexer.skip_token ();
8436 : : }
8437 : :
8438 : 202 : if (!skip_token (RIGHT_CURLY))
8439 : : {
8440 : : // skip somewhere?
8441 : 0 : return nullptr;
8442 : : }
8443 : :
8444 : : match_arms.shrink_to_fit ();
8445 : :
8446 : : return std::unique_ptr<AST::MatchExpr> (
8447 : 202 : new AST::MatchExpr (std::move (scrutinee), std::move (match_arms),
8448 : : std::move (inner_attrs), std::move (outer_attrs),
8449 : 202 : locus));
8450 : 203 : }
8451 : :
8452 : : // Parses the "pattern" part of the match arm (the 'case x:' equivalent).
8453 : : template <typename ManagedTokenSource>
8454 : : AST::MatchArm
8455 : 505 : Parser<ManagedTokenSource>::parse_match_arm ()
8456 : : {
8457 : : // parse optional outer attributes
8458 : 505 : AST::AttrVec outer_attrs = parse_outer_attributes ();
8459 : :
8460 : : // DEBUG
8461 : 505 : rust_debug ("about to start parsing match arm patterns");
8462 : :
8463 : : // break early if find right curly
8464 : 1010 : if (lexer.peek_token ()->get_id () == RIGHT_CURLY)
8465 : : {
8466 : : // not an error
8467 : 0 : return AST::MatchArm::create_error ();
8468 : : }
8469 : :
8470 : : // parse match arm patterns - at least 1 is required
8471 : 505 : std::vector<std::unique_ptr<AST::Pattern>> match_arm_patterns
8472 : : = parse_match_arm_patterns (RIGHT_CURLY);
8473 : 505 : if (match_arm_patterns.empty ())
8474 : : {
8475 : 0 : Error error (lexer.peek_token ()->get_locus (),
8476 : : "failed to parse any patterns in match arm");
8477 : 0 : add_error (std::move (error));
8478 : :
8479 : : // skip somewhere?
8480 : 0 : return AST::MatchArm::create_error ();
8481 : 0 : }
8482 : :
8483 : : // DEBUG
8484 : 505 : rust_debug ("successfully parsed match arm patterns");
8485 : :
8486 : : // parse match arm guard expr if it exists
8487 : 505 : std::unique_ptr<AST::Expr> guard_expr = nullptr;
8488 : 1010 : if (lexer.peek_token ()->get_id () == IF)
8489 : : {
8490 : 1 : lexer.skip_token ();
8491 : :
8492 : 1 : guard_expr = parse_expr ();
8493 : 1 : if (guard_expr == nullptr)
8494 : : {
8495 : 0 : Error error (lexer.peek_token ()->get_locus (),
8496 : : "failed to parse guard expression in match arm");
8497 : 0 : add_error (std::move (error));
8498 : :
8499 : : // skip somewhere?
8500 : 0 : return AST::MatchArm::create_error ();
8501 : 0 : }
8502 : : }
8503 : :
8504 : : // DEBUG
8505 : 505 : rust_debug ("successfully parsed match arm");
8506 : :
8507 : 1010 : return AST::MatchArm (std::move (match_arm_patterns),
8508 : 1010 : lexer.peek_token ()->get_locus (),
8509 : 505 : std::move (guard_expr), std::move (outer_attrs));
8510 : 505 : }
8511 : :
8512 : : /* Parses the patterns used in a match arm. End token id is the id of the
8513 : : * token that would exist after the patterns are done (e.g. '}' for match
8514 : : * expr, '=' for if let and while let). */
8515 : : template <typename ManagedTokenSource>
8516 : : std::vector<std::unique_ptr<AST::Pattern>>
8517 : 509 : Parser<ManagedTokenSource>::parse_match_arm_patterns (TokenId end_token_id)
8518 : : {
8519 : : // skip optional leading '|'
8520 : 1018 : if (lexer.peek_token ()->get_id () == PIPE)
8521 : 0 : lexer.skip_token ();
8522 : : /* TODO: do I even need to store the result of this? can't be used.
8523 : : * If semantically different, I need a wrapped "match arm patterns" object
8524 : : * for this. */
8525 : :
8526 : 509 : std::vector<std::unique_ptr<AST::Pattern>> patterns;
8527 : :
8528 : : // quick break out if end_token_id
8529 : 1018 : if (lexer.peek_token ()->get_id () == end_token_id)
8530 : 0 : return patterns;
8531 : :
8532 : : // parse required pattern - if doesn't exist, return empty
8533 : 509 : std::unique_ptr<AST::Pattern> initial_pattern = parse_pattern ();
8534 : 509 : if (initial_pattern == nullptr)
8535 : : {
8536 : : // FIXME: should this be an error?
8537 : 0 : return patterns;
8538 : : }
8539 : 509 : patterns.push_back (std::move (initial_pattern));
8540 : :
8541 : : // DEBUG
8542 : 509 : rust_debug ("successfully parsed initial match arm pattern");
8543 : :
8544 : : // parse new patterns as long as next char is '|'
8545 : 509 : const_TokenPtr t = lexer.peek_token ();
8546 : 509 : while (t->get_id () == PIPE)
8547 : : {
8548 : : // skip pipe token
8549 : 0 : lexer.skip_token ();
8550 : :
8551 : : // break if hit end token id
8552 : 0 : if (lexer.peek_token ()->get_id () == end_token_id)
8553 : : break;
8554 : :
8555 : : // parse pattern
8556 : 0 : std::unique_ptr<AST::Pattern> pattern = parse_pattern ();
8557 : 0 : if (pattern == nullptr)
8558 : : {
8559 : : // this is an error
8560 : 0 : Error error (lexer.peek_token ()->get_locus (),
8561 : : "failed to parse pattern in match arm patterns");
8562 : 0 : add_error (std::move (error));
8563 : :
8564 : : // skip somewhere?
8565 : 0 : return {};
8566 : 0 : }
8567 : :
8568 : 0 : patterns.push_back (std::move (pattern));
8569 : :
8570 : 0 : t = lexer.peek_token ();
8571 : : }
8572 : :
8573 : 509 : patterns.shrink_to_fit ();
8574 : :
8575 : 509 : return patterns;
8576 : 509 : }
8577 : :
8578 : : // Parses an async block expression.
8579 : : template <typename ManagedTokenSource>
8580 : : std::unique_ptr<AST::AsyncBlockExpr>
8581 : : Parser<ManagedTokenSource>::parse_async_block_expr (AST::AttrVec outer_attrs)
8582 : : {
8583 : : location_t locus = lexer.peek_token ()->get_locus ();
8584 : : skip_token (ASYNC);
8585 : :
8586 : : // detect optional move token
8587 : : bool has_move = false;
8588 : : if (lexer.peek_token ()->get_id () == MOVE)
8589 : : {
8590 : : lexer.skip_token ();
8591 : : has_move = true;
8592 : : }
8593 : :
8594 : : // parse block expression (required)
8595 : : std::unique_ptr<AST::BlockExpr> block_expr = parse_block_expr ();
8596 : : if (block_expr == nullptr)
8597 : : {
8598 : : Error error (
8599 : : lexer.peek_token ()->get_locus (),
8600 : : "failed to parse block expression of async block expression");
8601 : : add_error (std::move (error));
8602 : :
8603 : : // skip somewhere?
8604 : : return nullptr;
8605 : : }
8606 : :
8607 : : return std::unique_ptr<AST::AsyncBlockExpr> (
8608 : : new AST::AsyncBlockExpr (std::move (block_expr), has_move,
8609 : : std::move (outer_attrs), locus));
8610 : : }
8611 : :
8612 : : // Parses an unsafe block expression.
8613 : : template <typename ManagedTokenSource>
8614 : : std::unique_ptr<AST::UnsafeBlockExpr>
8615 : 2503 : Parser<ManagedTokenSource>::parse_unsafe_block_expr (
8616 : : AST::AttrVec outer_attrs, location_t pratt_parsed_loc)
8617 : : {
8618 : 2503 : location_t locus = pratt_parsed_loc;
8619 : 2503 : if (locus == UNKNOWN_LOCATION)
8620 : : {
8621 : 0 : locus = lexer.peek_token ()->get_locus ();
8622 : 0 : skip_token (UNSAFE);
8623 : : }
8624 : :
8625 : : // parse block expression (required)
8626 : 2503 : std::unique_ptr<AST::BlockExpr> block_expr = parse_block_expr ();
8627 : 2503 : if (block_expr == nullptr)
8628 : : {
8629 : 0 : Error error (
8630 : 0 : lexer.peek_token ()->get_locus (),
8631 : : "failed to parse block expression of unsafe block expression");
8632 : 0 : add_error (std::move (error));
8633 : :
8634 : : // skip somewhere?
8635 : 0 : return nullptr;
8636 : 0 : }
8637 : :
8638 : : return std::unique_ptr<AST::UnsafeBlockExpr> (
8639 : 2503 : new AST::UnsafeBlockExpr (std::move (block_expr), std::move (outer_attrs),
8640 : 2503 : locus));
8641 : 2503 : }
8642 : :
8643 : : // Parses an array definition expression.
8644 : : template <typename ManagedTokenSource>
8645 : : std::unique_ptr<AST::ArrayExpr>
8646 : 301 : Parser<ManagedTokenSource>::parse_array_expr (AST::AttrVec outer_attrs,
8647 : : location_t pratt_parsed_loc)
8648 : : {
8649 : 301 : location_t locus = pratt_parsed_loc;
8650 : 301 : if (locus == UNKNOWN_LOCATION)
8651 : : {
8652 : 0 : locus = lexer.peek_token ()->get_locus ();
8653 : 0 : skip_token (LEFT_SQUARE);
8654 : : }
8655 : :
8656 : : // parse optional inner attributes
8657 : 301 : AST::AttrVec inner_attrs = parse_inner_attributes ();
8658 : :
8659 : : // parse the "array elements" section, which is optional
8660 : 602 : if (lexer.peek_token ()->get_id () == RIGHT_SQUARE)
8661 : : {
8662 : : // no array elements
8663 : 1 : lexer.skip_token ();
8664 : :
8665 : 1 : std::vector<std::unique_ptr<AST::Expr>> exprs;
8666 : 1 : auto array_elems
8667 : : = Rust::make_unique<AST::ArrayElemsValues> (std::move (exprs), locus);
8668 : : return Rust::make_unique<AST::ArrayExpr> (std::move (array_elems),
8669 : : std::move (inner_attrs),
8670 : 1 : std::move (outer_attrs), locus);
8671 : 1 : }
8672 : : else
8673 : : {
8674 : : // should have array elements
8675 : : // parse initial expression, which is required for either
8676 : 300 : std::unique_ptr<AST::Expr> initial_expr = parse_expr ();
8677 : 300 : if (initial_expr == nullptr)
8678 : : {
8679 : 0 : Error error (lexer.peek_token ()->get_locus (),
8680 : : "could not parse expression in array expression "
8681 : : "(even though arrayelems seems to be present)");
8682 : 0 : add_error (std::move (error));
8683 : :
8684 : : // skip somewhere?
8685 : 0 : return nullptr;
8686 : 0 : }
8687 : :
8688 : 600 : if (lexer.peek_token ()->get_id () == SEMICOLON)
8689 : : {
8690 : : // copy array elems
8691 : 109 : lexer.skip_token ();
8692 : :
8693 : : // parse copy amount expression (required)
8694 : 109 : std::unique_ptr<AST::Expr> copy_amount = parse_expr ();
8695 : 109 : if (copy_amount == nullptr)
8696 : : {
8697 : 0 : Error error (lexer.peek_token ()->get_locus (),
8698 : : "could not parse copy amount expression in array "
8699 : : "expression (arrayelems)");
8700 : 0 : add_error (std::move (error));
8701 : :
8702 : : // skip somewhere?
8703 : 0 : return nullptr;
8704 : 0 : }
8705 : :
8706 : 109 : skip_token (RIGHT_SQUARE);
8707 : :
8708 : 109 : std::unique_ptr<AST::ArrayElemsCopied> copied_array_elems (
8709 : 109 : new AST::ArrayElemsCopied (std::move (initial_expr),
8710 : : std::move (copy_amount), locus));
8711 : : return std::unique_ptr<AST::ArrayExpr> (
8712 : 109 : new AST::ArrayExpr (std::move (copied_array_elems),
8713 : : std::move (inner_attrs),
8714 : 109 : std::move (outer_attrs), locus));
8715 : 109 : }
8716 : 382 : else if (lexer.peek_token ()->get_id () == RIGHT_SQUARE)
8717 : : {
8718 : : // single-element array expression
8719 : 28 : std::vector<std::unique_ptr<AST::Expr>> exprs;
8720 : 28 : exprs.reserve (1);
8721 : 28 : exprs.push_back (std::move (initial_expr));
8722 : : exprs.shrink_to_fit ();
8723 : :
8724 : 28 : skip_token (RIGHT_SQUARE);
8725 : :
8726 : 28 : std::unique_ptr<AST::ArrayElemsValues> array_elems (
8727 : 28 : new AST::ArrayElemsValues (std::move (exprs), locus));
8728 : : return std::unique_ptr<AST::ArrayExpr> (
8729 : 28 : new AST::ArrayExpr (std::move (array_elems),
8730 : : std::move (inner_attrs),
8731 : 28 : std::move (outer_attrs), locus));
8732 : 28 : }
8733 : 326 : else if (lexer.peek_token ()->get_id () == COMMA)
8734 : : {
8735 : : // multi-element array expression (or trailing comma)
8736 : 163 : std::vector<std::unique_ptr<AST::Expr>> exprs;
8737 : 163 : exprs.push_back (std::move (initial_expr));
8738 : :
8739 : 163 : const_TokenPtr t = lexer.peek_token ();
8740 : 814 : while (t->get_id () == COMMA)
8741 : : {
8742 : 658 : lexer.skip_token ();
8743 : :
8744 : : // quick break if right square bracket
8745 : 1316 : if (lexer.peek_token ()->get_id () == RIGHT_SQUARE)
8746 : : break;
8747 : :
8748 : : // parse expression (required)
8749 : 651 : std::unique_ptr<AST::Expr> expr = parse_expr ();
8750 : 651 : if (expr == nullptr)
8751 : : {
8752 : 0 : Error error (lexer.peek_token ()->get_locus (),
8753 : : "failed to parse element in array expression");
8754 : 0 : add_error (std::move (error));
8755 : :
8756 : : // skip somewhere?
8757 : 0 : return nullptr;
8758 : 0 : }
8759 : 651 : exprs.push_back (std::move (expr));
8760 : :
8761 : 651 : t = lexer.peek_token ();
8762 : : }
8763 : :
8764 : 163 : skip_token (RIGHT_SQUARE);
8765 : :
8766 : : exprs.shrink_to_fit ();
8767 : :
8768 : 163 : std::unique_ptr<AST::ArrayElemsValues> array_elems (
8769 : 163 : new AST::ArrayElemsValues (std::move (exprs), locus));
8770 : : return std::unique_ptr<AST::ArrayExpr> (
8771 : 163 : new AST::ArrayExpr (std::move (array_elems),
8772 : : std::move (inner_attrs),
8773 : 163 : std::move (outer_attrs), locus));
8774 : 326 : }
8775 : : else
8776 : : {
8777 : : // error
8778 : 0 : Error error (lexer.peek_token ()->get_locus (),
8779 : : "unexpected token %qs in array expression (arrayelems)",
8780 : 0 : lexer.peek_token ()->get_token_description ());
8781 : 0 : add_error (std::move (error));
8782 : :
8783 : : // skip somewhere?
8784 : 0 : return nullptr;
8785 : 0 : }
8786 : 300 : }
8787 : 301 : }
8788 : :
8789 : : // Parses a single parameter used in a closure definition.
8790 : : template <typename ManagedTokenSource>
8791 : : AST::ClosureParam
8792 : 64 : Parser<ManagedTokenSource>::parse_closure_param ()
8793 : : {
8794 : 64 : AST::AttrVec outer_attrs = parse_outer_attributes ();
8795 : :
8796 : : // parse pattern (which is required)
8797 : 64 : std::unique_ptr<AST::Pattern> pattern = parse_pattern_no_alt ();
8798 : 64 : if (pattern == nullptr)
8799 : : {
8800 : : // not necessarily an error
8801 : 0 : return AST::ClosureParam::create_error ();
8802 : : }
8803 : :
8804 : : // parse optional type of param
8805 : 64 : std::unique_ptr<AST::Type> type = nullptr;
8806 : 128 : if (lexer.peek_token ()->get_id () == COLON)
8807 : : {
8808 : 56 : lexer.skip_token ();
8809 : :
8810 : : // parse type, which is now required
8811 : 56 : type = parse_type ();
8812 : 56 : if (type == nullptr)
8813 : : {
8814 : 0 : Error error (lexer.peek_token ()->get_locus (),
8815 : : "failed to parse type in closure parameter");
8816 : 0 : add_error (std::move (error));
8817 : :
8818 : : // skip somewhere?
8819 : 0 : return AST::ClosureParam::create_error ();
8820 : 0 : }
8821 : : }
8822 : :
8823 : 64 : location_t loc = pattern->get_locus ();
8824 : 64 : return AST::ClosureParam (std::move (pattern), loc, std::move (type),
8825 : 64 : std::move (outer_attrs));
8826 : 64 : }
8827 : :
8828 : : // Parses a grouped or tuple expression (disambiguates).
8829 : : template <typename ManagedTokenSource>
8830 : : std::unique_ptr<AST::ExprWithoutBlock>
8831 : 498 : Parser<ManagedTokenSource>::parse_grouped_or_tuple_expr (
8832 : : AST::AttrVec outer_attrs, location_t pratt_parsed_loc)
8833 : : {
8834 : : // adjustment to allow Pratt parsing to reuse function without copy-paste
8835 : 498 : location_t locus = pratt_parsed_loc;
8836 : 498 : if (locus == UNKNOWN_LOCATION)
8837 : : {
8838 : 0 : locus = lexer.peek_token ()->get_locus ();
8839 : 0 : skip_token (LEFT_PAREN);
8840 : : }
8841 : :
8842 : : // parse optional inner attributes
8843 : 498 : AST::AttrVec inner_attrs = parse_inner_attributes ();
8844 : :
8845 : 996 : if (lexer.peek_token ()->get_id () == RIGHT_PAREN)
8846 : : {
8847 : : // must be empty tuple
8848 : 72 : lexer.skip_token ();
8849 : :
8850 : : // create tuple with empty tuple elems
8851 : 72 : return std::unique_ptr<AST::TupleExpr> (
8852 : 72 : new AST::TupleExpr (std::vector<std::unique_ptr<AST::Expr>> (),
8853 : : std::move (inner_attrs), std::move (outer_attrs),
8854 : 72 : locus));
8855 : : }
8856 : :
8857 : : // parse first expression (required)
8858 : 426 : std::unique_ptr<AST::Expr> first_expr = parse_expr ();
8859 : 426 : if (first_expr == nullptr)
8860 : : {
8861 : 0 : Error error (lexer.peek_token ()->get_locus (),
8862 : : "failed to parse expression in grouped or tuple expression");
8863 : 0 : add_error (std::move (error));
8864 : :
8865 : : // skip after somewhere?
8866 : 0 : return nullptr;
8867 : 0 : }
8868 : :
8869 : : // detect whether grouped expression with right parentheses as next token
8870 : 852 : if (lexer.peek_token ()->get_id () == RIGHT_PAREN)
8871 : : {
8872 : : // must be grouped expr
8873 : 162 : lexer.skip_token ();
8874 : :
8875 : : // create grouped expr
8876 : 162 : return std::unique_ptr<AST::GroupedExpr> (
8877 : 162 : new AST::GroupedExpr (std::move (first_expr), std::move (inner_attrs),
8878 : 162 : std::move (outer_attrs), locus));
8879 : : }
8880 : 528 : else if (lexer.peek_token ()->get_id () == COMMA)
8881 : : {
8882 : : // tuple expr
8883 : 263 : std::vector<std::unique_ptr<AST::Expr>> exprs;
8884 : 263 : exprs.push_back (std::move (first_expr));
8885 : :
8886 : : // parse potential other tuple exprs
8887 : 263 : const_TokenPtr t = lexer.peek_token ();
8888 : 646 : while (t->get_id () == COMMA)
8889 : : {
8890 : 407 : lexer.skip_token ();
8891 : :
8892 : : // break out if right paren
8893 : 814 : if (lexer.peek_token ()->get_id () == RIGHT_PAREN)
8894 : : break;
8895 : :
8896 : : // parse expr, which is now required
8897 : 383 : std::unique_ptr<AST::Expr> expr = parse_expr ();
8898 : 383 : if (expr == nullptr)
8899 : : {
8900 : 0 : Error error (lexer.peek_token ()->get_locus (),
8901 : : "failed to parse expr in tuple expr");
8902 : 0 : add_error (std::move (error));
8903 : :
8904 : : // skip somewhere?
8905 : 0 : return nullptr;
8906 : 0 : }
8907 : 383 : exprs.push_back (std::move (expr));
8908 : :
8909 : 383 : t = lexer.peek_token ();
8910 : : }
8911 : :
8912 : : // skip right paren
8913 : 263 : skip_token (RIGHT_PAREN);
8914 : :
8915 : 263 : return std::unique_ptr<AST::TupleExpr> (
8916 : 263 : new AST::TupleExpr (std::move (exprs), std::move (inner_attrs),
8917 : 263 : std::move (outer_attrs), locus));
8918 : 263 : }
8919 : : else
8920 : : {
8921 : : // error
8922 : 1 : const_TokenPtr t = lexer.peek_token ();
8923 : 1 : Error error (t->get_locus (),
8924 : : "unexpected token %qs in grouped or tuple expression "
8925 : : "(parenthesised expression) - expected %<)%> for grouped "
8926 : : "expr and %<,%> for tuple expr",
8927 : : t->get_token_description ());
8928 : 1 : add_error (std::move (error));
8929 : :
8930 : : // skip somewhere?
8931 : 1 : return nullptr;
8932 : 2 : }
8933 : 498 : }
8934 : :
8935 : : // Parses a type (will further disambiguate any type).
8936 : : template <typename ManagedTokenSource>
8937 : : std::unique_ptr<AST::Type>
8938 : 25993 : Parser<ManagedTokenSource>::parse_type (bool save_errors)
8939 : : {
8940 : : /* rules for all types:
8941 : : * NeverType: '!'
8942 : : * SliceType: '[' Type ']'
8943 : : * InferredType: '_'
8944 : : * MacroInvocation: SimplePath '!' DelimTokenTree
8945 : : * ParenthesisedType: '(' Type ')'
8946 : : * ImplTraitType: 'impl' TypeParamBounds
8947 : : * TypeParamBounds (not type) TypeParamBound ( '+' TypeParamBound )* '+'?
8948 : : * TypeParamBound Lifetime | TraitBound
8949 : : * ImplTraitTypeOneBound: 'impl' TraitBound
8950 : : * TraitObjectType: 'dyn'? TypeParamBounds
8951 : : * TraitObjectTypeOneBound: 'dyn'? TraitBound
8952 : : * TraitBound '?'? ForLifetimes? TypePath | '(' '?'?
8953 : : * ForLifetimes? TypePath ')' BareFunctionType: ForLifetimes?
8954 : : * FunctionQualifiers 'fn' etc. ForLifetimes (not type) 'for' '<'
8955 : : * LifetimeParams '>' FunctionQualifiers ( 'async' | 'const' )?
8956 : : * 'unsafe'?
8957 : : * ('extern' abi?)? QualifiedPathInType: '<' Type ( 'as' TypePath )? '>'
8958 : : * (
8959 : : * '::' TypePathSegment )+ TypePath: '::'? TypePathSegment (
8960 : : * '::' TypePathSegment)* ArrayType: '[' Type ';' Expr ']'
8961 : : * ReferenceType: '&' Lifetime? 'mut'? TypeNoBounds
8962 : : * RawPointerType: '*' ( 'mut' | 'const' ) TypeNoBounds
8963 : : * TupleType: '(' Type etc. - regular tuple stuff. Also
8964 : : * regular tuple vs parenthesised precedence
8965 : : *
8966 : : * Disambiguate between macro and type path via type path being parsed, and
8967 : : * then if '!' found, convert type path to simple path for macro. Usual
8968 : : * disambiguation for tuple vs parenthesised. For ImplTraitType and
8969 : : * TraitObjectType individual disambiguations, they seem more like "special
8970 : : * cases", so probably just try to parse the more general ImplTraitType or
8971 : : * TraitObjectType and return OneBound versions if they satisfy those
8972 : : * criteria. */
8973 : :
8974 : 25993 : const_TokenPtr t = lexer.peek_token ();
8975 : 25993 : switch (t->get_id ())
8976 : : {
8977 : 23 : case EXCLAM:
8978 : : // never type - can't be macro as no path beforehand
8979 : 23 : lexer.skip_token ();
8980 : 23 : return std::unique_ptr<AST::NeverType> (
8981 : 23 : new AST::NeverType (t->get_locus ()));
8982 : 593 : case LEFT_SQUARE:
8983 : : // slice type or array type - requires further disambiguation
8984 : 593 : return parse_slice_or_array_type ();
8985 : 225 : case LEFT_SHIFT:
8986 : : case LEFT_ANGLE: {
8987 : : // qualified path in type
8988 : 225 : AST::QualifiedPathInType path = parse_qualified_path_in_type ();
8989 : 225 : if (path.is_error ())
8990 : : {
8991 : 0 : if (save_errors)
8992 : : {
8993 : 0 : Error error (t->get_locus (),
8994 : : "failed to parse qualified path in type");
8995 : 0 : add_error (std::move (error));
8996 : 0 : }
8997 : :
8998 : 0 : return nullptr;
8999 : : }
9000 : 225 : return std::unique_ptr<AST::QualifiedPathInType> (
9001 : 225 : new AST::QualifiedPathInType (std::move (path)));
9002 : 225 : }
9003 : 94 : case UNDERSCORE:
9004 : : // inferred type
9005 : 94 : lexer.skip_token ();
9006 : 94 : return std::unique_ptr<AST::InferredType> (
9007 : 94 : new AST::InferredType (t->get_locus ()));
9008 : 2051 : case ASTERISK:
9009 : : // raw pointer type
9010 : 2051 : return parse_raw_pointer_type ();
9011 : 1882 : case AMP: // does this also include AMP_AMP?
9012 : : case LOGICAL_AND:
9013 : : // reference type
9014 : 1882 : return parse_reference_type ();
9015 : 0 : case LIFETIME: {
9016 : : /* probably a lifetime bound, so probably type param bounds in
9017 : : * TraitObjectType */
9018 : 0 : std::vector<std::unique_ptr<AST::TypeParamBound>> bounds
9019 : : = parse_type_param_bounds ();
9020 : :
9021 : 0 : return std::unique_ptr<AST::TraitObjectType> (
9022 : 0 : new AST::TraitObjectType (std::move (bounds), t->get_locus (),
9023 : 0 : false));
9024 : 0 : }
9025 : 20825 : case IDENTIFIER:
9026 : : case SUPER:
9027 : : case SELF:
9028 : : case SELF_ALIAS:
9029 : : case CRATE:
9030 : : case DOLLAR_SIGN:
9031 : : case SCOPE_RESOLUTION: {
9032 : : // macro invocation or type path - requires further disambiguation.
9033 : : /* for parsing path component of each rule, perhaps parse it as a
9034 : : * typepath and attempt conversion to simplepath if a trailing '!' is
9035 : : * found */
9036 : : /* Type path also includes TraitObjectTypeOneBound BUT if it starts
9037 : : * with it, it is exactly the same as a TypePath syntactically, so
9038 : : * this is a syntactical ambiguity. As such, the parser will parse it
9039 : : * as a TypePath. This, however, does not prevent TraitObjectType from
9040 : : * starting with a typepath. */
9041 : :
9042 : : // parse path as type path
9043 : 20825 : AST::TypePath path = parse_type_path ();
9044 : 20825 : if (path.is_error ())
9045 : : {
9046 : 0 : if (save_errors)
9047 : : {
9048 : 0 : Error error (t->get_locus (),
9049 : : "failed to parse path as first component of type");
9050 : 0 : add_error (std::move (error));
9051 : 0 : }
9052 : :
9053 : 0 : return nullptr;
9054 : : }
9055 : 20825 : location_t locus = path.get_locus ();
9056 : :
9057 : : // branch on next token
9058 : 20825 : t = lexer.peek_token ();
9059 : 20825 : switch (t->get_id ())
9060 : : {
9061 : 19 : case EXCLAM: {
9062 : : // macro invocation
9063 : : // convert to simple path
9064 : 19 : AST::SimplePath macro_path = path.as_simple_path ();
9065 : 19 : if (macro_path.is_empty ())
9066 : : {
9067 : 0 : if (save_errors)
9068 : : {
9069 : 0 : Error error (t->get_locus (),
9070 : : "failed to parse simple path in macro "
9071 : : "invocation (for type)");
9072 : 0 : add_error (std::move (error));
9073 : 0 : }
9074 : :
9075 : 0 : return nullptr;
9076 : : }
9077 : :
9078 : 19 : lexer.skip_token ();
9079 : :
9080 : 19 : AST::DelimTokenTree tok_tree = parse_delim_token_tree ();
9081 : :
9082 : 38 : return AST::MacroInvocation::Regular (
9083 : 38 : AST::MacroInvocData (std::move (macro_path),
9084 : : std::move (tok_tree)),
9085 : 19 : {}, locus);
9086 : 38 : }
9087 : 0 : case PLUS: {
9088 : : // type param bounds
9089 : 0 : std::vector<std::unique_ptr<AST::TypeParamBound>> bounds;
9090 : :
9091 : : // convert type path to trait bound
9092 : 0 : std::unique_ptr<AST::TraitBound> path_bound (
9093 : 0 : new AST::TraitBound (std::move (path), locus, false, false));
9094 : 0 : bounds.push_back (std::move (path_bound));
9095 : :
9096 : : /* parse rest of bounds - FIXME: better way to find when to stop
9097 : : * parsing */
9098 : 0 : while (t->get_id () == PLUS)
9099 : : {
9100 : 0 : lexer.skip_token ();
9101 : :
9102 : : // parse bound if it exists - if not, assume end of sequence
9103 : 0 : std::unique_ptr<AST::TypeParamBound> bound
9104 : : = parse_type_param_bound ();
9105 : 0 : if (bound == nullptr)
9106 : : {
9107 : : break;
9108 : : }
9109 : 0 : bounds.push_back (std::move (bound));
9110 : :
9111 : 0 : t = lexer.peek_token ();
9112 : : }
9113 : :
9114 : 0 : return std::unique_ptr<AST::TraitObjectType> (
9115 : 0 : new AST::TraitObjectType (std::move (bounds), locus, false));
9116 : 0 : }
9117 : 20806 : default:
9118 : : // assume that this is a type path and not an error
9119 : 20806 : return std::unique_ptr<AST::TypePath> (
9120 : 20806 : new AST::TypePath (std::move (path)));
9121 : : }
9122 : 20825 : }
9123 : 239 : case LEFT_PAREN:
9124 : : /* tuple type or parenthesised type - requires further disambiguation
9125 : : * (the usual). ok apparently can be a parenthesised TraitBound too, so
9126 : : * could be TraitObjectTypeOneBound or TraitObjectType */
9127 : 239 : return parse_paren_prefixed_type ();
9128 : 2 : case FOR:
9129 : : // TraitObjectTypeOneBound or BareFunctionType
9130 : 2 : return parse_for_prefixed_type ();
9131 : 35 : case ASYNC:
9132 : : case CONST:
9133 : : case UNSAFE:
9134 : : case EXTERN_KW:
9135 : : case FN_KW:
9136 : : // bare function type (with no for lifetimes)
9137 : 35 : return parse_bare_function_type (std::vector<AST::LifetimeParam> ());
9138 : 0 : case IMPL:
9139 : 0 : lexer.skip_token ();
9140 : 0 : if (lexer.peek_token ()->get_id () == LIFETIME)
9141 : : {
9142 : : /* cannot be one bound because lifetime prevents it from being
9143 : : * traitbound */
9144 : 0 : std::vector<std::unique_ptr<AST::TypeParamBound>> bounds
9145 : : = parse_type_param_bounds ();
9146 : :
9147 : 0 : return std::unique_ptr<AST::ImplTraitType> (
9148 : 0 : new AST::ImplTraitType (std::move (bounds), t->get_locus ()));
9149 : 0 : }
9150 : : else
9151 : : {
9152 : : // should be trait bound, so parse trait bound
9153 : 0 : std::unique_ptr<AST::TraitBound> initial_bound = parse_trait_bound ();
9154 : 0 : if (initial_bound == nullptr)
9155 : : {
9156 : 0 : if (save_errors)
9157 : : {
9158 : 0 : Error error (lexer.peek_token ()->get_locus (),
9159 : : "failed to parse ImplTraitType initial bound");
9160 : 0 : add_error (std::move (error));
9161 : 0 : }
9162 : :
9163 : 0 : return nullptr;
9164 : : }
9165 : :
9166 : 0 : location_t locus = t->get_locus ();
9167 : :
9168 : : // short cut if next token isn't '+'
9169 : 0 : t = lexer.peek_token ();
9170 : 0 : if (t->get_id () != PLUS)
9171 : : {
9172 : : // convert trait bound to value object
9173 : 0 : AST::TraitBound value_bound (*initial_bound);
9174 : :
9175 : : // DEBUG: removed as unique ptr, so should auto-delete
9176 : : // delete initial_bound;
9177 : :
9178 : 0 : return std::unique_ptr<AST::ImplTraitTypeOneBound> (
9179 : 0 : new AST::ImplTraitTypeOneBound (std::move (value_bound),
9180 : 0 : locus));
9181 : 0 : }
9182 : :
9183 : : // parse additional type param bounds
9184 : 0 : std::vector<std::unique_ptr<AST::TypeParamBound>> bounds;
9185 : 0 : bounds.push_back (std::move (initial_bound));
9186 : 0 : while (t->get_id () == PLUS)
9187 : : {
9188 : 0 : lexer.skip_token ();
9189 : :
9190 : : // parse bound if it exists
9191 : 0 : std::unique_ptr<AST::TypeParamBound> bound
9192 : : = parse_type_param_bound ();
9193 : 0 : if (bound == nullptr)
9194 : : {
9195 : : // not an error as trailing plus may exist
9196 : : break;
9197 : : }
9198 : 0 : bounds.push_back (std::move (bound));
9199 : :
9200 : 0 : t = lexer.peek_token ();
9201 : : }
9202 : :
9203 : 0 : return std::unique_ptr<AST::ImplTraitType> (
9204 : 0 : new AST::ImplTraitType (std::move (bounds), locus));
9205 : 0 : }
9206 : 21 : case DYN:
9207 : : case QUESTION_MARK: {
9208 : : // either TraitObjectType or TraitObjectTypeOneBound
9209 : 21 : bool has_dyn = false;
9210 : 21 : if (t->get_id () == DYN)
9211 : : {
9212 : 21 : lexer.skip_token ();
9213 : 21 : has_dyn = true;
9214 : : }
9215 : :
9216 : 42 : if (lexer.peek_token ()->get_id () == LIFETIME)
9217 : : {
9218 : : /* cannot be one bound because lifetime prevents it from being
9219 : : * traitbound */
9220 : 0 : std::vector<std::unique_ptr<AST::TypeParamBound>> bounds
9221 : : = parse_type_param_bounds ();
9222 : :
9223 : 0 : return std::unique_ptr<AST::TraitObjectType> (
9224 : 0 : new AST::TraitObjectType (std::move (bounds), t->get_locus (),
9225 : 0 : has_dyn));
9226 : 0 : }
9227 : : else
9228 : : {
9229 : : // should be trait bound, so parse trait bound
9230 : 21 : std::unique_ptr<AST::TraitBound> initial_bound
9231 : : = parse_trait_bound ();
9232 : 21 : if (initial_bound == nullptr)
9233 : : {
9234 : 0 : if (save_errors)
9235 : : {
9236 : 0 : Error error (
9237 : 0 : lexer.peek_token ()->get_locus (),
9238 : : "failed to parse TraitObjectType initial bound");
9239 : 0 : add_error (std::move (error));
9240 : 0 : }
9241 : :
9242 : 0 : return nullptr;
9243 : : }
9244 : :
9245 : : // short cut if next token isn't '+'
9246 : 21 : t = lexer.peek_token ();
9247 : 21 : if (t->get_id () != PLUS)
9248 : : {
9249 : : // convert trait bound to value object
9250 : 14 : AST::TraitBound value_bound (*initial_bound);
9251 : :
9252 : : // DEBUG: removed as unique ptr, so should auto delete
9253 : : // delete initial_bound;
9254 : :
9255 : 14 : return std::unique_ptr<AST::TraitObjectTypeOneBound> (
9256 : 28 : new AST::TraitObjectTypeOneBound (std::move (value_bound),
9257 : 14 : t->get_locus (), has_dyn));
9258 : 14 : }
9259 : :
9260 : : // parse additional type param bounds
9261 : 7 : std::vector<std::unique_ptr<AST::TypeParamBound>> bounds;
9262 : 7 : bounds.push_back (std::move (initial_bound));
9263 : 14 : while (t->get_id () == PLUS)
9264 : : {
9265 : 7 : lexer.skip_token ();
9266 : :
9267 : : // parse bound if it exists
9268 : 7 : std::unique_ptr<AST::TypeParamBound> bound
9269 : : = parse_type_param_bound ();
9270 : 7 : if (bound == nullptr)
9271 : : {
9272 : : // not an error as trailing plus may exist
9273 : : break;
9274 : : }
9275 : 7 : bounds.push_back (std::move (bound));
9276 : :
9277 : 7 : t = lexer.peek_token ();
9278 : : }
9279 : :
9280 : 7 : return std::unique_ptr<AST::TraitObjectType> (
9281 : 7 : new AST::TraitObjectType (std::move (bounds), t->get_locus (),
9282 : 7 : has_dyn));
9283 : 21 : }
9284 : : }
9285 : 3 : default:
9286 : 3 : if (save_errors)
9287 : 3 : add_error (Error (t->get_locus (), "unrecognised token %qs in type",
9288 : : t->get_token_description ()));
9289 : :
9290 : 3 : return nullptr;
9291 : : }
9292 : 25993 : }
9293 : :
9294 : : /* Parses a type that has '(' as its first character. Returns a tuple type,
9295 : : * parenthesised type, TraitObjectTypeOneBound, or TraitObjectType depending
9296 : : * on following characters. */
9297 : : template <typename ManagedTokenSource>
9298 : : std::unique_ptr<AST::Type>
9299 : 239 : Parser<ManagedTokenSource>::parse_paren_prefixed_type ()
9300 : : {
9301 : : /* NOTE: Syntactical ambiguity of a parenthesised trait bound is considered
9302 : : * a trait bound, not a parenthesised type, so that it can still be used in
9303 : : * type param bounds. */
9304 : :
9305 : : /* NOTE: this implementation is really shit but I couldn't think of a better
9306 : : * one. It requires essentially breaking polymorphism and downcasting via
9307 : : * virtual method abuse, as it was copied from the rustc implementation (in
9308 : : * which types are reified due to tagged union), after a more OOP attempt by
9309 : : * me failed. */
9310 : 239 : location_t left_delim_locus = lexer.peek_token ()->get_locus ();
9311 : :
9312 : : // skip left delim
9313 : 239 : lexer.skip_token ();
9314 : : /* while next token isn't close delim, parse comma-separated types, saving
9315 : : * whether trailing comma happens */
9316 : 239 : const_TokenPtr t = lexer.peek_token ();
9317 : 239 : bool trailing_comma = true;
9318 : 239 : std::vector<std::unique_ptr<AST::Type>> types;
9319 : :
9320 : 444 : while (t->get_id () != RIGHT_PAREN)
9321 : : {
9322 : 396 : std::unique_ptr<AST::Type> type = parse_type ();
9323 : 396 : if (type == nullptr)
9324 : : {
9325 : 0 : Error error (t->get_locus (),
9326 : : "failed to parse type inside parentheses (probably "
9327 : : "tuple or parenthesised)");
9328 : 0 : add_error (std::move (error));
9329 : :
9330 : 0 : return nullptr;
9331 : 0 : }
9332 : 396 : types.push_back (std::move (type));
9333 : :
9334 : 396 : t = lexer.peek_token ();
9335 : 396 : if (t->get_id () != COMMA)
9336 : : {
9337 : 191 : trailing_comma = false;
9338 : : break;
9339 : : }
9340 : 205 : lexer.skip_token ();
9341 : :
9342 : 205 : t = lexer.peek_token ();
9343 : : }
9344 : :
9345 : 239 : if (!skip_token (RIGHT_PAREN))
9346 : : {
9347 : 0 : return nullptr;
9348 : : }
9349 : :
9350 : : // if only one type and no trailing comma, then not a tuple type
9351 : 239 : if (types.size () == 1 && !trailing_comma)
9352 : : {
9353 : : // must be a TraitObjectType (with more than one bound)
9354 : 0 : if (lexer.peek_token ()->get_id () == PLUS)
9355 : : {
9356 : : // create type param bounds vector
9357 : 0 : std::vector<std::unique_ptr<AST::TypeParamBound>> bounds;
9358 : :
9359 : : // HACK: convert type to traitbound and add to bounds
9360 : 0 : std::unique_ptr<AST::Type> released_ptr = std::move (types[0]);
9361 : 0 : std::unique_ptr<AST::TraitBound> converted_bound (
9362 : 0 : released_ptr->to_trait_bound (true));
9363 : 0 : if (converted_bound == nullptr)
9364 : : {
9365 : 0 : Error error (
9366 : 0 : lexer.peek_token ()->get_locus (),
9367 : : "failed to hackily converted parsed type to trait bound");
9368 : 0 : add_error (std::move (error));
9369 : :
9370 : 0 : return nullptr;
9371 : 0 : }
9372 : 0 : bounds.push_back (std::move (converted_bound));
9373 : :
9374 : 0 : t = lexer.peek_token ();
9375 : 0 : while (t->get_id () == PLUS)
9376 : : {
9377 : 0 : lexer.skip_token ();
9378 : :
9379 : : // attempt to parse typeparambound
9380 : 0 : std::unique_ptr<AST::TypeParamBound> bound
9381 : : = parse_type_param_bound ();
9382 : 0 : if (bound == nullptr)
9383 : : {
9384 : : // not an error if null
9385 : : break;
9386 : : }
9387 : 0 : bounds.push_back (std::move (bound));
9388 : :
9389 : 0 : t = lexer.peek_token ();
9390 : : }
9391 : :
9392 : 0 : return std::unique_ptr<AST::TraitObjectType> (
9393 : 0 : new AST::TraitObjectType (std::move (bounds), left_delim_locus,
9394 : 0 : false));
9395 : 0 : }
9396 : : else
9397 : : {
9398 : : // release vector pointer
9399 : 0 : std::unique_ptr<AST::Type> released_ptr = std::move (types[0]);
9400 : : /* HACK: attempt to convert to trait bound. if fails, parenthesised
9401 : : * type */
9402 : 0 : std::unique_ptr<AST::TraitBound> converted_bound (
9403 : 0 : released_ptr->to_trait_bound (true));
9404 : 0 : if (converted_bound == nullptr)
9405 : : {
9406 : : // parenthesised type
9407 : 0 : return std::unique_ptr<AST::ParenthesisedType> (
9408 : 0 : new AST::ParenthesisedType (std::move (released_ptr),
9409 : 0 : left_delim_locus));
9410 : : }
9411 : : else
9412 : : {
9413 : : // trait object type (one bound)
9414 : :
9415 : : // get value semantics trait bound
9416 : 0 : AST::TraitBound value_bound (*converted_bound);
9417 : :
9418 : 0 : return std::unique_ptr<AST::TraitObjectTypeOneBound> (
9419 : 0 : new AST::TraitObjectTypeOneBound (value_bound,
9420 : 0 : left_delim_locus));
9421 : 0 : }
9422 : 0 : }
9423 : : }
9424 : : else
9425 : : {
9426 : 239 : return std::unique_ptr<AST::TupleType> (
9427 : 239 : new AST::TupleType (std::move (types), left_delim_locus));
9428 : : }
9429 : : /* TODO: ensure that this ensures that dynamic dispatch for traits is not
9430 : : * lost somehow */
9431 : 239 : }
9432 : :
9433 : : /* Parses a type that has 'for' as its first character. This means it has a
9434 : : * "for lifetimes", so returns either a BareFunctionType, TraitObjectType, or
9435 : : * TraitObjectTypeOneBound depending on following characters. */
9436 : : template <typename ManagedTokenSource>
9437 : : std::unique_ptr<AST::Type>
9438 : 2 : Parser<ManagedTokenSource>::parse_for_prefixed_type ()
9439 : : {
9440 : 2 : location_t for_locus = lexer.peek_token ()->get_locus ();
9441 : : // parse for lifetimes in type
9442 : 2 : std::vector<AST::LifetimeParam> for_lifetimes = parse_for_lifetimes ();
9443 : :
9444 : : // branch on next token - either function or a trait type
9445 : 2 : const_TokenPtr t = lexer.peek_token ();
9446 : 2 : switch (t->get_id ())
9447 : : {
9448 : 2 : case ASYNC:
9449 : : case CONST:
9450 : : case UNSAFE:
9451 : : case EXTERN_KW:
9452 : : case FN_KW:
9453 : 2 : return parse_bare_function_type (std::move (for_lifetimes));
9454 : 0 : case SCOPE_RESOLUTION:
9455 : : case IDENTIFIER:
9456 : : case SUPER:
9457 : : case SELF:
9458 : : case SELF_ALIAS:
9459 : : case CRATE:
9460 : : case DOLLAR_SIGN: {
9461 : : // path, so trait type
9462 : :
9463 : : // parse type path to finish parsing trait bound
9464 : 0 : AST::TypePath path = parse_type_path ();
9465 : :
9466 : 0 : t = lexer.peek_token ();
9467 : 0 : if (t->get_id () != PLUS)
9468 : : {
9469 : : // must be one-bound trait type
9470 : : // create trait bound value object
9471 : 0 : AST::TraitBound bound (std::move (path), for_locus, false, false,
9472 : : std::move (for_lifetimes));
9473 : :
9474 : 0 : return std::unique_ptr<AST::TraitObjectTypeOneBound> (
9475 : 0 : new AST::TraitObjectTypeOneBound (std::move (bound), for_locus));
9476 : 0 : }
9477 : :
9478 : : /* more than one bound trait type (or at least parsed as it - could be
9479 : : * trailing '+') create trait bound pointer and bounds */
9480 : 0 : std::unique_ptr<AST::TraitBound> initial_bound (
9481 : 0 : new AST::TraitBound (std::move (path), for_locus, false, false,
9482 : : std::move (for_lifetimes)));
9483 : 0 : std::vector<std::unique_ptr<AST::TypeParamBound>> bounds;
9484 : 0 : bounds.push_back (std::move (initial_bound));
9485 : :
9486 : 0 : while (t->get_id () == PLUS)
9487 : : {
9488 : 0 : lexer.skip_token ();
9489 : :
9490 : : // parse type param bound if it exists
9491 : 0 : std::unique_ptr<AST::TypeParamBound> bound
9492 : : = parse_type_param_bound ();
9493 : 0 : if (bound == nullptr)
9494 : : {
9495 : : // not an error - e.g. trailing plus
9496 : 0 : return nullptr;
9497 : : }
9498 : 0 : bounds.push_back (std::move (bound));
9499 : :
9500 : 0 : t = lexer.peek_token ();
9501 : : }
9502 : :
9503 : 0 : return std::unique_ptr<AST::TraitObjectType> (
9504 : 0 : new AST::TraitObjectType (std::move (bounds), for_locus, false));
9505 : 0 : }
9506 : 0 : default:
9507 : : // error
9508 : 0 : add_error (Error (t->get_locus (),
9509 : : "unrecognised token %qs in bare function type or trait "
9510 : : "object type or trait object type one bound",
9511 : : t->get_token_description ()));
9512 : :
9513 : 0 : return nullptr;
9514 : : }
9515 : 2 : }
9516 : :
9517 : : // Parses a maybe named param used in bare function types.
9518 : : template <typename ManagedTokenSource>
9519 : : AST::MaybeNamedParam
9520 : 37 : Parser<ManagedTokenSource>::parse_maybe_named_param (AST::AttrVec outer_attrs)
9521 : : {
9522 : : /* Basically guess that param is named if first token is identifier or
9523 : : * underscore and second token is semicolon. This should probably have no
9524 : : * exceptions. rustc uses backtracking to parse these, but at the time of
9525 : : * writing gccrs has no backtracking capabilities. */
9526 : 37 : const_TokenPtr current = lexer.peek_token ();
9527 : 37 : const_TokenPtr next = lexer.peek_token (1);
9528 : :
9529 : 37 : Identifier name;
9530 : 37 : AST::MaybeNamedParam::ParamKind kind = AST::MaybeNamedParam::UNNAMED;
9531 : :
9532 : 37 : if (current->get_id () == IDENTIFIER && next->get_id () == COLON)
9533 : : {
9534 : : // named param
9535 : 1 : name = {current};
9536 : 1 : kind = AST::MaybeNamedParam::IDENTIFIER;
9537 : 1 : lexer.skip_token (1);
9538 : : }
9539 : 36 : else if (current->get_id () == UNDERSCORE && next->get_id () == COLON)
9540 : : {
9541 : : // wildcard param
9542 : 0 : name = {Values::Keywords::UNDERSCORE, current->get_locus ()};
9543 : 0 : kind = AST::MaybeNamedParam::WILDCARD;
9544 : 0 : lexer.skip_token (1);
9545 : : }
9546 : :
9547 : : // parse type (required)
9548 : 37 : std::unique_ptr<AST::Type> type = parse_type ();
9549 : 37 : if (type == nullptr)
9550 : : {
9551 : 0 : Error error (lexer.peek_token ()->get_locus (),
9552 : : "failed to parse type in maybe named param");
9553 : 0 : add_error (std::move (error));
9554 : :
9555 : 0 : return AST::MaybeNamedParam::create_error ();
9556 : 0 : }
9557 : :
9558 : 74 : return AST::MaybeNamedParam (std::move (name), kind, std::move (type),
9559 : 37 : std::move (outer_attrs), current->get_locus ());
9560 : 74 : }
9561 : :
9562 : : /* Parses a bare function type (with the given for lifetimes for convenience -
9563 : : * does not parse them itself). */
9564 : : template <typename ManagedTokenSource>
9565 : : std::unique_ptr<AST::BareFunctionType>
9566 : 38 : Parser<ManagedTokenSource>::parse_bare_function_type (
9567 : : std::vector<AST::LifetimeParam> for_lifetimes)
9568 : : {
9569 : : // TODO: pass in for lifetime location as param
9570 : 38 : location_t best_try_locus = lexer.peek_token ()->get_locus ();
9571 : :
9572 : 38 : AST::FunctionQualifiers qualifiers = parse_function_qualifiers ();
9573 : :
9574 : 38 : if (!skip_token (FN_KW))
9575 : 0 : return nullptr;
9576 : :
9577 : 38 : if (!skip_token (LEFT_PAREN))
9578 : 0 : return nullptr;
9579 : :
9580 : : // parse function params, if they exist
9581 : 38 : std::vector<AST::MaybeNamedParam> params;
9582 : 38 : bool is_variadic = false;
9583 : 38 : AST::AttrVec variadic_attrs;
9584 : :
9585 : 38 : const_TokenPtr t = lexer.peek_token ();
9586 : 77 : while (t->get_id () != RIGHT_PAREN)
9587 : : {
9588 : 37 : AST::AttrVec temp_attrs = parse_outer_attributes ();
9589 : :
9590 : 74 : if (lexer.peek_token ()->get_id () == ELLIPSIS)
9591 : : {
9592 : 0 : lexer.skip_token ();
9593 : 0 : is_variadic = true;
9594 : 0 : variadic_attrs = std::move (temp_attrs);
9595 : :
9596 : 0 : t = lexer.peek_token ();
9597 : :
9598 : 0 : if (t->get_id () != RIGHT_PAREN)
9599 : : {
9600 : 0 : Error error (t->get_locus (),
9601 : : "expected right parentheses after variadic in maybe "
9602 : : "named function "
9603 : : "parameters, found %qs",
9604 : : t->get_token_description ());
9605 : 0 : add_error (std::move (error));
9606 : :
9607 : 0 : return nullptr;
9608 : 0 : }
9609 : :
9610 : : break;
9611 : : }
9612 : :
9613 : 37 : AST::MaybeNamedParam param
9614 : 37 : = parse_maybe_named_param (std::move (temp_attrs));
9615 : 37 : if (param.is_error ())
9616 : : {
9617 : 0 : Error error (
9618 : 0 : lexer.peek_token ()->get_locus (),
9619 : : "failed to parse maybe named param in bare function type");
9620 : 0 : add_error (std::move (error));
9621 : :
9622 : 0 : return nullptr;
9623 : 0 : }
9624 : 37 : params.push_back (std::move (param));
9625 : :
9626 : 74 : if (lexer.peek_token ()->get_id () != COMMA)
9627 : : break;
9628 : :
9629 : 2 : lexer.skip_token ();
9630 : 2 : t = lexer.peek_token ();
9631 : : }
9632 : :
9633 : 38 : if (!skip_token (RIGHT_PAREN))
9634 : 0 : return nullptr;
9635 : :
9636 : : // bare function return type, if exists
9637 : 38 : std::unique_ptr<AST::TypeNoBounds> return_type = nullptr;
9638 : 76 : if (lexer.peek_token ()->get_id () == RETURN_TYPE)
9639 : : {
9640 : 34 : lexer.skip_token ();
9641 : :
9642 : : // parse required TypeNoBounds
9643 : 34 : return_type = parse_type_no_bounds ();
9644 : 34 : if (return_type == nullptr)
9645 : : {
9646 : 0 : Error error (lexer.peek_token ()->get_locus (),
9647 : : "failed to parse return type (type no bounds) in bare "
9648 : : "function type");
9649 : 0 : add_error (std::move (error));
9650 : :
9651 : 0 : return nullptr;
9652 : 0 : }
9653 : : }
9654 : :
9655 : : return std::unique_ptr<AST::BareFunctionType> (
9656 : 38 : new AST::BareFunctionType (std::move (for_lifetimes),
9657 : : std::move (qualifiers), std::move (params),
9658 : : is_variadic, std::move (variadic_attrs),
9659 : 38 : std::move (return_type), best_try_locus));
9660 : 76 : }
9661 : :
9662 : : template <typename ManagedTokenSource>
9663 : : std::unique_ptr<AST::ReferenceType>
9664 : 1904 : Parser<ManagedTokenSource>::parse_reference_type_inner (location_t locus)
9665 : : {
9666 : : // parse optional lifetime
9667 : 1904 : AST::Lifetime lifetime = AST::Lifetime::elided ();
9668 : 3808 : if (lexer.peek_token ()->get_id () == LIFETIME)
9669 : : {
9670 : 310 : lifetime = parse_lifetime (true);
9671 : 1904 : if (lifetime.is_error ())
9672 : : {
9673 : 0 : Error error (lexer.peek_token ()->get_locus (),
9674 : : "failed to parse lifetime in reference type");
9675 : 0 : add_error (std::move (error));
9676 : :
9677 : 0 : return nullptr;
9678 : 0 : }
9679 : : }
9680 : :
9681 : 1904 : bool is_mut = false;
9682 : 3808 : if (lexer.peek_token ()->get_id () == MUT)
9683 : : {
9684 : 177 : lexer.skip_token ();
9685 : 177 : is_mut = true;
9686 : : }
9687 : :
9688 : : // parse type no bounds, which is required
9689 : 1904 : std::unique_ptr<AST::TypeNoBounds> type = parse_type_no_bounds ();
9690 : 1904 : if (type == nullptr)
9691 : : {
9692 : 0 : Error error (lexer.peek_token ()->get_locus (),
9693 : : "failed to parse referenced type in reference type");
9694 : 0 : add_error (std::move (error));
9695 : :
9696 : 0 : return nullptr;
9697 : 0 : }
9698 : :
9699 : : return std::unique_ptr<AST::ReferenceType> (
9700 : 3808 : new AST::ReferenceType (is_mut, std::move (type), locus,
9701 : 1904 : std::move (lifetime)));
9702 : 1904 : }
9703 : :
9704 : : // Parses a reference type (mutable or immutable, with given lifetime).
9705 : : template <typename ManagedTokenSource>
9706 : : std::unique_ptr<AST::ReferenceType>
9707 : 1904 : Parser<ManagedTokenSource>::parse_reference_type ()
9708 : : {
9709 : 1904 : auto t = lexer.peek_token ();
9710 : 1904 : auto locus = t->get_locus ();
9711 : :
9712 : 1904 : switch (t->get_id ())
9713 : : {
9714 : 1890 : case AMP:
9715 : 1890 : skip_token (AMP);
9716 : 1890 : return parse_reference_type_inner (locus);
9717 : 14 : case LOGICAL_AND:
9718 : 14 : skip_token (LOGICAL_AND);
9719 : : return std::unique_ptr<AST::ReferenceType> (
9720 : 28 : new AST::ReferenceType (false, parse_reference_type_inner (locus),
9721 : 14 : locus));
9722 : 0 : default:
9723 : 0 : rust_unreachable ();
9724 : : }
9725 : 1904 : }
9726 : :
9727 : : // Parses a raw (unsafe) pointer type.
9728 : : template <typename ManagedTokenSource>
9729 : : std::unique_ptr<AST::RawPointerType>
9730 : 4735 : Parser<ManagedTokenSource>::parse_raw_pointer_type ()
9731 : : {
9732 : 4735 : location_t locus = lexer.peek_token ()->get_locus ();
9733 : 4735 : skip_token (ASTERISK);
9734 : :
9735 : 4735 : AST::RawPointerType::PointerType kind = AST::RawPointerType::CONST;
9736 : :
9737 : : // branch on next token for pointer kind info
9738 : 4735 : const_TokenPtr t = lexer.peek_token ();
9739 : 4735 : switch (t->get_id ())
9740 : : {
9741 : 360 : case MUT:
9742 : 360 : kind = AST::RawPointerType::MUT;
9743 : 360 : lexer.skip_token ();
9744 : : break;
9745 : 4375 : case CONST:
9746 : 4375 : kind = AST::RawPointerType::CONST;
9747 : 4375 : lexer.skip_token ();
9748 : : break;
9749 : 0 : default:
9750 : 0 : add_error (Error (t->get_locus (),
9751 : : "unrecognised token %qs in raw pointer type",
9752 : : t->get_token_description ()));
9753 : :
9754 : 0 : return nullptr;
9755 : : }
9756 : :
9757 : : // parse type no bounds (required)
9758 : 4735 : std::unique_ptr<AST::TypeNoBounds> type = parse_type_no_bounds ();
9759 : 4735 : if (type == nullptr)
9760 : : {
9761 : 0 : Error error (lexer.peek_token ()->get_locus (),
9762 : : "failed to parse pointed type of raw pointer type");
9763 : 0 : add_error (std::move (error));
9764 : :
9765 : 0 : return nullptr;
9766 : 0 : }
9767 : :
9768 : : return std::unique_ptr<AST::RawPointerType> (
9769 : 4735 : new AST::RawPointerType (kind, std::move (type), locus));
9770 : 4735 : }
9771 : :
9772 : : /* Parses a slice or array type, depending on following arguments (as
9773 : : * lookahead is not possible). */
9774 : : template <typename ManagedTokenSource>
9775 : : std::unique_ptr<AST::TypeNoBounds>
9776 : 1142 : Parser<ManagedTokenSource>::parse_slice_or_array_type ()
9777 : : {
9778 : 1142 : location_t locus = lexer.peek_token ()->get_locus ();
9779 : 1142 : skip_token (LEFT_SQUARE);
9780 : :
9781 : : // parse inner type (required)
9782 : 1142 : std::unique_ptr<AST::Type> inner_type = parse_type ();
9783 : 1142 : if (inner_type == nullptr)
9784 : : {
9785 : 0 : Error error (lexer.peek_token ()->get_locus (),
9786 : : "failed to parse inner type in slice or array type");
9787 : 0 : add_error (std::move (error));
9788 : :
9789 : 0 : return nullptr;
9790 : 0 : }
9791 : :
9792 : : // branch on next token
9793 : 1142 : const_TokenPtr t = lexer.peek_token ();
9794 : 1142 : switch (t->get_id ())
9795 : : {
9796 : 749 : case RIGHT_SQUARE:
9797 : : // slice type
9798 : 749 : lexer.skip_token ();
9799 : :
9800 : 749 : return std::unique_ptr<AST::SliceType> (
9801 : 749 : new AST::SliceType (std::move (inner_type), locus));
9802 : 393 : case SEMICOLON: {
9803 : : // array type
9804 : 393 : lexer.skip_token ();
9805 : :
9806 : : // parse required array size expression
9807 : 393 : std::unique_ptr<AST::Expr> size = parse_expr ();
9808 : 393 : if (size == nullptr)
9809 : : {
9810 : 0 : Error error (lexer.peek_token ()->get_locus (),
9811 : : "failed to parse size expression in array type");
9812 : 0 : add_error (std::move (error));
9813 : :
9814 : 0 : return nullptr;
9815 : 0 : }
9816 : :
9817 : 393 : if (!skip_token (RIGHT_SQUARE))
9818 : : {
9819 : 0 : return nullptr;
9820 : : }
9821 : :
9822 : 393 : return std::unique_ptr<AST::ArrayType> (
9823 : 393 : new AST::ArrayType (std::move (inner_type), std::move (size), locus));
9824 : 393 : }
9825 : 0 : default:
9826 : : // error
9827 : 0 : add_error (
9828 : 0 : Error (t->get_locus (),
9829 : : "unrecognised token %qs in slice or array type after inner type",
9830 : : t->get_token_description ()));
9831 : :
9832 : 0 : return nullptr;
9833 : : }
9834 : 1142 : }
9835 : :
9836 : : // Parses a type, taking into account type boundary disambiguation.
9837 : : template <typename ManagedTokenSource>
9838 : : std::unique_ptr<AST::TypeNoBounds>
9839 : 10034 : Parser<ManagedTokenSource>::parse_type_no_bounds ()
9840 : : {
9841 : 10034 : const_TokenPtr t = lexer.peek_token ();
9842 : 10034 : switch (t->get_id ())
9843 : : {
9844 : 0 : case EXCLAM:
9845 : : // never type - can't be macro as no path beforehand
9846 : 0 : lexer.skip_token ();
9847 : 0 : return std::unique_ptr<AST::NeverType> (
9848 : 0 : new AST::NeverType (t->get_locus ()));
9849 : 549 : case LEFT_SQUARE:
9850 : : // slice type or array type - requires further disambiguation
9851 : 549 : return parse_slice_or_array_type ();
9852 : 21 : case LEFT_SHIFT:
9853 : : case LEFT_ANGLE: {
9854 : : // qualified path in type
9855 : 21 : AST::QualifiedPathInType path = parse_qualified_path_in_type ();
9856 : 21 : if (path.is_error ())
9857 : : {
9858 : 0 : Error error (t->get_locus (),
9859 : : "failed to parse qualified path in type");
9860 : 0 : add_error (std::move (error));
9861 : :
9862 : 0 : return nullptr;
9863 : 0 : }
9864 : 21 : return std::unique_ptr<AST::QualifiedPathInType> (
9865 : 21 : new AST::QualifiedPathInType (std::move (path)));
9866 : 21 : }
9867 : 37 : case UNDERSCORE:
9868 : : // inferred type
9869 : 37 : lexer.skip_token ();
9870 : 37 : return std::unique_ptr<AST::InferredType> (
9871 : 37 : new AST::InferredType (t->get_locus ()));
9872 : 2684 : case ASTERISK:
9873 : : // raw pointer type
9874 : 2684 : return parse_raw_pointer_type ();
9875 : 22 : case AMP: // does this also include AMP_AMP? Yes! Which is... LOGICAL_AND?
9876 : : case LOGICAL_AND:
9877 : : // reference type
9878 : 22 : return parse_reference_type ();
9879 : 0 : case LIFETIME:
9880 : : /* probably a lifetime bound, so probably type param bounds in
9881 : : * TraitObjectType. this is not allowed, but detection here for error
9882 : : * message */
9883 : 0 : add_error (Error (t->get_locus (),
9884 : : "lifetime bounds (i.e. in type param bounds, in "
9885 : : "TraitObjectType) are not allowed as TypeNoBounds"));
9886 : :
9887 : 0 : return nullptr;
9888 : 6622 : case IDENTIFIER:
9889 : : case SUPER:
9890 : : case SELF:
9891 : : case SELF_ALIAS:
9892 : : case CRATE:
9893 : : case DOLLAR_SIGN:
9894 : : case SCOPE_RESOLUTION: {
9895 : : // macro invocation or type path - requires further disambiguation.
9896 : : /* for parsing path component of each rule, perhaps parse it as a
9897 : : * typepath and attempt conversion to simplepath if a trailing '!' is
9898 : : * found */
9899 : : /* Type path also includes TraitObjectTypeOneBound BUT if it starts
9900 : : * with it, it is exactly the same as a TypePath syntactically, so
9901 : : * this is a syntactical ambiguity. As such, the parser will parse it
9902 : : * as a TypePath. This, however, does not prevent TraitObjectType from
9903 : : * starting with a typepath. */
9904 : :
9905 : : // parse path as type path
9906 : 6622 : AST::TypePath path = parse_type_path ();
9907 : 6622 : if (path.is_error ())
9908 : : {
9909 : 0 : Error error (
9910 : : t->get_locus (),
9911 : : "failed to parse path as first component of type no bounds");
9912 : 0 : add_error (std::move (error));
9913 : :
9914 : 0 : return nullptr;
9915 : 0 : }
9916 : 6622 : location_t locus = path.get_locus ();
9917 : :
9918 : : // branch on next token
9919 : 6622 : t = lexer.peek_token ();
9920 : 6622 : switch (t->get_id ())
9921 : : {
9922 : 1 : case EXCLAM: {
9923 : : // macro invocation
9924 : : // convert to simple path
9925 : 1 : AST::SimplePath macro_path = path.as_simple_path ();
9926 : 1 : if (macro_path.is_empty ())
9927 : : {
9928 : 0 : Error error (t->get_locus (),
9929 : : "failed to parse simple path in macro "
9930 : : "invocation (for type)");
9931 : 0 : add_error (std::move (error));
9932 : :
9933 : 0 : return nullptr;
9934 : 0 : }
9935 : :
9936 : 1 : lexer.skip_token ();
9937 : :
9938 : 1 : AST::DelimTokenTree tok_tree = parse_delim_token_tree ();
9939 : :
9940 : 2 : return AST::MacroInvocation::Regular (
9941 : 2 : AST::MacroInvocData (std::move (macro_path),
9942 : : std::move (tok_tree)),
9943 : 1 : {}, locus);
9944 : 2 : }
9945 : 6621 : default:
9946 : : // assume that this is a type path and not an error
9947 : 6621 : return std::unique_ptr<AST::TypePath> (
9948 : 6621 : new AST::TypePath (std::move (path)));
9949 : : }
9950 : 6622 : }
9951 : 9 : case LEFT_PAREN:
9952 : : /* tuple type or parenthesised type - requires further disambiguation
9953 : : * (the usual). ok apparently can be a parenthesised TraitBound too, so
9954 : : * could be TraitObjectTypeOneBound */
9955 : 9 : return parse_paren_prefixed_type_no_bounds ();
9956 : 1 : case FOR:
9957 : : case ASYNC:
9958 : : case CONST:
9959 : : case UNSAFE:
9960 : : case EXTERN_KW:
9961 : : case FN_KW:
9962 : : // bare function type (with no for lifetimes)
9963 : 1 : return parse_bare_function_type (std::vector<AST::LifetimeParam> ());
9964 : 0 : case IMPL:
9965 : 0 : lexer.skip_token ();
9966 : 0 : if (lexer.peek_token ()->get_id () == LIFETIME)
9967 : : {
9968 : : /* cannot be one bound because lifetime prevents it from being
9969 : : * traitbound not allowed as type no bounds, only here for error
9970 : : * message */
9971 : 0 : Error error (
9972 : 0 : lexer.peek_token ()->get_locus (),
9973 : : "lifetime (probably lifetime bound, in type param "
9974 : : "bounds, in ImplTraitType) is not allowed in TypeNoBounds");
9975 : 0 : add_error (std::move (error));
9976 : :
9977 : 0 : return nullptr;
9978 : 0 : }
9979 : : else
9980 : : {
9981 : : // should be trait bound, so parse trait bound
9982 : 0 : std::unique_ptr<AST::TraitBound> initial_bound = parse_trait_bound ();
9983 : 0 : if (initial_bound == nullptr)
9984 : : {
9985 : 0 : Error error (lexer.peek_token ()->get_locus (),
9986 : : "failed to parse ImplTraitTypeOneBound bound");
9987 : 0 : add_error (std::move (error));
9988 : :
9989 : 0 : return nullptr;
9990 : 0 : }
9991 : :
9992 : 0 : location_t locus = t->get_locus ();
9993 : :
9994 : : // ensure not a trait with multiple bounds
9995 : 0 : t = lexer.peek_token ();
9996 : 0 : if (t->get_id () == PLUS)
9997 : : {
9998 : 0 : Error error (t->get_locus (),
9999 : : "plus after trait bound means an ImplTraitType, "
10000 : : "which is not allowed as a TypeNoBounds");
10001 : 0 : add_error (std::move (error));
10002 : :
10003 : 0 : return nullptr;
10004 : 0 : }
10005 : :
10006 : : // convert trait bound to value object
10007 : 0 : AST::TraitBound value_bound (*initial_bound);
10008 : :
10009 : 0 : return std::unique_ptr<AST::ImplTraitTypeOneBound> (
10010 : 0 : new AST::ImplTraitTypeOneBound (std::move (value_bound), locus));
10011 : 0 : }
10012 : 89 : case DYN:
10013 : : case QUESTION_MARK: {
10014 : : // either TraitObjectTypeOneBound
10015 : 89 : bool has_dyn = false;
10016 : 89 : if (t->get_id () == DYN)
10017 : : {
10018 : 89 : lexer.skip_token ();
10019 : 89 : has_dyn = true;
10020 : : }
10021 : :
10022 : 178 : if (lexer.peek_token ()->get_id () == LIFETIME)
10023 : : {
10024 : : /* means that cannot be TraitObjectTypeOneBound - so here for
10025 : : * error message */
10026 : 0 : Error error (lexer.peek_token ()->get_locus (),
10027 : : "lifetime as bound in TraitObjectTypeOneBound "
10028 : : "is not allowed, so cannot be TypeNoBounds");
10029 : 0 : add_error (std::move (error));
10030 : :
10031 : 0 : return nullptr;
10032 : 0 : }
10033 : :
10034 : : // should be trait bound, so parse trait bound
10035 : 89 : std::unique_ptr<AST::TraitBound> initial_bound = parse_trait_bound ();
10036 : 89 : if (initial_bound == nullptr)
10037 : : {
10038 : 0 : Error error (
10039 : 0 : lexer.peek_token ()->get_locus (),
10040 : : "failed to parse TraitObjectTypeOneBound initial bound");
10041 : 0 : add_error (std::move (error));
10042 : :
10043 : 0 : return nullptr;
10044 : 0 : }
10045 : :
10046 : 89 : location_t locus = t->get_locus ();
10047 : :
10048 : : // detect error with plus as next token
10049 : 89 : t = lexer.peek_token ();
10050 : 89 : if (t->get_id () == PLUS)
10051 : : {
10052 : 0 : Error error (t->get_locus (),
10053 : : "plus after trait bound means a TraitObjectType, "
10054 : : "which is not allowed as a TypeNoBounds");
10055 : 0 : add_error (std::move (error));
10056 : :
10057 : 0 : return nullptr;
10058 : 0 : }
10059 : :
10060 : : // convert trait bound to value object
10061 : 89 : AST::TraitBound value_bound (*initial_bound);
10062 : :
10063 : 89 : return std::unique_ptr<AST::TraitObjectTypeOneBound> (
10064 : 178 : new AST::TraitObjectTypeOneBound (std::move (value_bound), locus,
10065 : 89 : has_dyn));
10066 : 89 : }
10067 : 0 : default:
10068 : 0 : add_error (Error (t->get_locus (),
10069 : : "unrecognised token %qs in type no bounds",
10070 : : t->get_token_description ()));
10071 : :
10072 : 0 : return nullptr;
10073 : : }
10074 : 10034 : }
10075 : :
10076 : : // Parses a type no bounds beginning with '('.
10077 : : template <typename ManagedTokenSource>
10078 : : std::unique_ptr<AST::TypeNoBounds>
10079 : 9 : Parser<ManagedTokenSource>::parse_paren_prefixed_type_no_bounds ()
10080 : : {
10081 : : /* NOTE: this could probably be parsed without the HACK solution of
10082 : : * parse_paren_prefixed_type, but I was lazy. So FIXME for future.*/
10083 : :
10084 : : /* NOTE: again, syntactical ambiguity of a parenthesised trait bound is
10085 : : * considered a trait bound, not a parenthesised type, so that it can still
10086 : : * be used in type param bounds. */
10087 : :
10088 : 9 : location_t left_paren_locus = lexer.peek_token ()->get_locus ();
10089 : :
10090 : : // skip left delim
10091 : 9 : lexer.skip_token ();
10092 : : /* while next token isn't close delim, parse comma-separated types, saving
10093 : : * whether trailing comma happens */
10094 : 9 : const_TokenPtr t = lexer.peek_token ();
10095 : 9 : bool trailing_comma = true;
10096 : 9 : std::vector<std::unique_ptr<AST::Type>> types;
10097 : :
10098 : 9 : while (t->get_id () != RIGHT_PAREN)
10099 : : {
10100 : 0 : std::unique_ptr<AST::Type> type = parse_type ();
10101 : 0 : if (type == nullptr)
10102 : : {
10103 : 0 : Error error (t->get_locus (),
10104 : : "failed to parse type inside parentheses (probably "
10105 : : "tuple or parenthesised)");
10106 : 0 : add_error (std::move (error));
10107 : :
10108 : 0 : return nullptr;
10109 : 0 : }
10110 : 0 : types.push_back (std::move (type));
10111 : :
10112 : 0 : t = lexer.peek_token ();
10113 : 0 : if (t->get_id () != COMMA)
10114 : : {
10115 : 0 : trailing_comma = false;
10116 : : break;
10117 : : }
10118 : 0 : lexer.skip_token ();
10119 : :
10120 : 0 : t = lexer.peek_token ();
10121 : : }
10122 : :
10123 : 9 : if (!skip_token (RIGHT_PAREN))
10124 : : {
10125 : 0 : return nullptr;
10126 : : }
10127 : :
10128 : : // if only one type and no trailing comma, then not a tuple type
10129 : 9 : if (types.size () == 1 && !trailing_comma)
10130 : : {
10131 : : // must be a TraitObjectType (with more than one bound)
10132 : 0 : if (lexer.peek_token ()->get_id () == PLUS)
10133 : : {
10134 : : // error - this is not allowed for type no bounds
10135 : 0 : Error error (lexer.peek_token ()->get_locus (),
10136 : : "plus (implying TraitObjectType as type param "
10137 : : "bounds) is not allowed in type no bounds");
10138 : 0 : add_error (std::move (error));
10139 : :
10140 : 0 : return nullptr;
10141 : 0 : }
10142 : : else
10143 : : {
10144 : : // release vector pointer
10145 : 0 : std::unique_ptr<AST::Type> released_ptr = std::move (types[0]);
10146 : : /* HACK: attempt to convert to trait bound. if fails, parenthesised
10147 : : * type */
10148 : 0 : std::unique_ptr<AST::TraitBound> converted_bound (
10149 : 0 : released_ptr->to_trait_bound (true));
10150 : 0 : if (converted_bound == nullptr)
10151 : : {
10152 : : // parenthesised type
10153 : 0 : return std::unique_ptr<AST::ParenthesisedType> (
10154 : 0 : new AST::ParenthesisedType (std::move (released_ptr),
10155 : 0 : left_paren_locus));
10156 : : }
10157 : : else
10158 : : {
10159 : : // trait object type (one bound)
10160 : :
10161 : : // get value semantics trait bound
10162 : 0 : AST::TraitBound value_bound (*converted_bound);
10163 : :
10164 : 0 : return std::unique_ptr<AST::TraitObjectTypeOneBound> (
10165 : 0 : new AST::TraitObjectTypeOneBound (value_bound,
10166 : 0 : left_paren_locus));
10167 : 0 : }
10168 : 0 : }
10169 : : }
10170 : : else
10171 : : {
10172 : 9 : return std::unique_ptr<AST::TupleType> (
10173 : 9 : new AST::TupleType (std::move (types), left_paren_locus));
10174 : : }
10175 : : /* TODO: ensure that this ensures that dynamic dispatch for traits is not
10176 : : * lost somehow */
10177 : 9 : }
10178 : :
10179 : : /* Parses a literal pattern or range pattern. Assumes that literals passed in
10180 : : * are valid range pattern bounds. Do not pass in paths in expressions, for
10181 : : * instance. */
10182 : : template <typename ManagedTokenSource>
10183 : : std::unique_ptr<AST::Pattern>
10184 : 147 : Parser<ManagedTokenSource>::parse_literal_or_range_pattern ()
10185 : : {
10186 : 147 : const_TokenPtr range_lower = lexer.peek_token ();
10187 : 147 : AST::Literal::LitType type = AST::Literal::STRING;
10188 : 147 : bool has_minus = false;
10189 : :
10190 : : // get lit type
10191 : 147 : switch (range_lower->get_id ())
10192 : : {
10193 : 28 : case CHAR_LITERAL:
10194 : 28 : type = AST::Literal::CHAR;
10195 : 28 : lexer.skip_token ();
10196 : : break;
10197 : 21 : case BYTE_CHAR_LITERAL:
10198 : 21 : type = AST::Literal::BYTE;
10199 : 21 : lexer.skip_token ();
10200 : : break;
10201 : 98 : case INT_LITERAL:
10202 : 98 : type = AST::Literal::INT;
10203 : 98 : lexer.skip_token ();
10204 : : break;
10205 : 0 : case FLOAT_LITERAL:
10206 : 0 : type = AST::Literal::FLOAT;
10207 : 0 : lexer.skip_token ();
10208 : : break;
10209 : 0 : case MINUS:
10210 : : // branch on next token
10211 : 0 : range_lower = lexer.peek_token (1);
10212 : 0 : switch (range_lower->get_id ())
10213 : : {
10214 : 0 : case INT_LITERAL:
10215 : 0 : type = AST::Literal::INT;
10216 : 0 : has_minus = true;
10217 : 0 : lexer.skip_token (1);
10218 : 0 : break;
10219 : 0 : case FLOAT_LITERAL:
10220 : 0 : type = AST::Literal::FLOAT;
10221 : 0 : has_minus = true;
10222 : 0 : lexer.skip_token (1);
10223 : 0 : break;
10224 : 0 : default:
10225 : 0 : add_error (Error (range_lower->get_locus (),
10226 : : "token type %qs cannot be parsed as range pattern "
10227 : : "bound or literal after minus symbol",
10228 : : range_lower->get_token_description ()));
10229 : :
10230 : 0 : return nullptr;
10231 : : }
10232 : : break;
10233 : 0 : default:
10234 : 0 : add_error (
10235 : 0 : Error (range_lower->get_locus (),
10236 : : "token type %qs cannot be parsed as range pattern bound",
10237 : : range_lower->get_token_description ()));
10238 : :
10239 : 0 : return nullptr;
10240 : : }
10241 : :
10242 : 147 : const_TokenPtr next = lexer.peek_token ();
10243 : 147 : if (next->get_id () == DOT_DOT_EQ || next->get_id () == ELLIPSIS)
10244 : : {
10245 : : // range pattern
10246 : 14 : lexer.skip_token ();
10247 : 14 : std::unique_ptr<AST::RangePatternBound> lower (
10248 : 28 : new AST::RangePatternBoundLiteral (
10249 : 28 : AST::Literal (range_lower->get_str (), type,
10250 : : PrimitiveCoreType::CORETYPE_UNKNOWN),
10251 : : range_lower->get_locus (), has_minus));
10252 : :
10253 : 14 : std::unique_ptr<AST::RangePatternBound> upper
10254 : : = parse_range_pattern_bound ();
10255 : 14 : if (upper == nullptr)
10256 : : {
10257 : 0 : Error error (next->get_locus (),
10258 : : "failed to parse range pattern bound in range pattern");
10259 : 0 : add_error (std::move (error));
10260 : :
10261 : 0 : return nullptr;
10262 : 0 : }
10263 : :
10264 : 14 : return std::unique_ptr<AST::RangePattern> (
10265 : 14 : new AST::RangePattern (std::move (lower), std::move (upper),
10266 : 14 : range_lower->get_locus ()));
10267 : 14 : }
10268 : : else
10269 : : {
10270 : : // literal pattern
10271 : 133 : return std::unique_ptr<AST::LiteralPattern> (
10272 : 308 : new AST::LiteralPattern (range_lower->get_str (), type,
10273 : : range_lower->get_locus (),
10274 : 133 : range_lower->get_type_hint ()));
10275 : : }
10276 : 147 : }
10277 : :
10278 : : // Parses a range pattern bound (value only).
10279 : : template <typename ManagedTokenSource>
10280 : : std::unique_ptr<AST::RangePatternBound>
10281 : 21 : Parser<ManagedTokenSource>::parse_range_pattern_bound ()
10282 : : {
10283 : 21 : const_TokenPtr range_lower = lexer.peek_token ();
10284 : 21 : location_t range_lower_locus = range_lower->get_locus ();
10285 : :
10286 : : // get lit type
10287 : 21 : switch (range_lower->get_id ())
10288 : : {
10289 : 7 : case CHAR_LITERAL:
10290 : 7 : lexer.skip_token ();
10291 : 7 : return std::unique_ptr<AST::RangePatternBoundLiteral> (
10292 : 14 : new AST::RangePatternBoundLiteral (
10293 : 21 : AST::Literal (range_lower->get_str (), AST::Literal::CHAR,
10294 : : range_lower->get_type_hint ()),
10295 : 7 : range_lower_locus));
10296 : 0 : case BYTE_CHAR_LITERAL:
10297 : 0 : lexer.skip_token ();
10298 : 0 : return std::unique_ptr<AST::RangePatternBoundLiteral> (
10299 : 0 : new AST::RangePatternBoundLiteral (
10300 : 0 : AST::Literal (range_lower->get_str (), AST::Literal::BYTE,
10301 : : range_lower->get_type_hint ()),
10302 : 0 : range_lower_locus));
10303 : 0 : case INT_LITERAL:
10304 : 0 : lexer.skip_token ();
10305 : 0 : return std::unique_ptr<AST::RangePatternBoundLiteral> (
10306 : 0 : new AST::RangePatternBoundLiteral (
10307 : 0 : AST::Literal (range_lower->get_str (), AST::Literal::INT,
10308 : : range_lower->get_type_hint ()),
10309 : 0 : range_lower_locus));
10310 : 0 : case FLOAT_LITERAL:
10311 : 0 : lexer.skip_token ();
10312 : 0 : rust_debug ("warning: used deprecated float range pattern bound");
10313 : 0 : return std::unique_ptr<AST::RangePatternBoundLiteral> (
10314 : 0 : new AST::RangePatternBoundLiteral (
10315 : 0 : AST::Literal (range_lower->get_str (), AST::Literal::FLOAT,
10316 : : range_lower->get_type_hint ()),
10317 : 0 : range_lower_locus));
10318 : 0 : case MINUS:
10319 : : // branch on next token
10320 : 0 : range_lower = lexer.peek_token (1);
10321 : 0 : switch (range_lower->get_id ())
10322 : : {
10323 : 0 : case INT_LITERAL:
10324 : 0 : lexer.skip_token (1);
10325 : 0 : return std::unique_ptr<AST::RangePatternBoundLiteral> (
10326 : 0 : new AST::RangePatternBoundLiteral (
10327 : 0 : AST::Literal (range_lower->get_str (), AST::Literal::INT,
10328 : : range_lower->get_type_hint ()),
10329 : 0 : range_lower_locus, true));
10330 : 0 : case FLOAT_LITERAL:
10331 : 0 : lexer.skip_token (1);
10332 : 0 : rust_debug ("warning: used deprecated float range pattern bound");
10333 : 0 : return std::unique_ptr<AST::RangePatternBoundLiteral> (
10334 : 0 : new AST::RangePatternBoundLiteral (
10335 : 0 : AST::Literal (range_lower->get_str (), AST::Literal::FLOAT,
10336 : : range_lower->get_type_hint ()),
10337 : 0 : range_lower_locus, true));
10338 : 0 : default:
10339 : 0 : add_error (Error (range_lower->get_locus (),
10340 : : "token type %qs cannot be parsed as range pattern "
10341 : : "bound after minus symbol",
10342 : : range_lower->get_token_description ()));
10343 : :
10344 : 0 : return nullptr;
10345 : : }
10346 : 14 : case IDENTIFIER:
10347 : : case SUPER:
10348 : : case SELF:
10349 : : case SELF_ALIAS:
10350 : : case CRATE:
10351 : : case SCOPE_RESOLUTION:
10352 : : case DOLLAR_SIGN: {
10353 : : // path in expression
10354 : 14 : AST::PathInExpression path = parse_path_in_expression ();
10355 : 14 : if (path.is_error ())
10356 : : {
10357 : 0 : Error error (
10358 : : range_lower->get_locus (),
10359 : : "failed to parse path in expression range pattern bound");
10360 : 0 : add_error (std::move (error));
10361 : :
10362 : 0 : return nullptr;
10363 : 0 : }
10364 : 14 : return std::unique_ptr<AST::RangePatternBoundPath> (
10365 : 14 : new AST::RangePatternBoundPath (std::move (path)));
10366 : 14 : }
10367 : 0 : case LEFT_SHIFT:
10368 : : case LEFT_ANGLE: {
10369 : : // qualified path in expression
10370 : 0 : AST::QualifiedPathInExpression path
10371 : : = parse_qualified_path_in_expression ();
10372 : 0 : if (path.is_error ())
10373 : : {
10374 : 0 : Error error (range_lower->get_locus (),
10375 : : "failed to parse qualified path in expression range "
10376 : : "pattern bound");
10377 : 0 : add_error (std::move (error));
10378 : :
10379 : 0 : return nullptr;
10380 : 0 : }
10381 : 0 : return std::unique_ptr<AST::RangePatternBoundQualPath> (
10382 : 0 : new AST::RangePatternBoundQualPath (std::move (path)));
10383 : 0 : }
10384 : 0 : default:
10385 : 0 : add_error (
10386 : 0 : Error (range_lower->get_locus (),
10387 : : "token type %qs cannot be parsed as range pattern bound",
10388 : : range_lower->get_token_description ()));
10389 : :
10390 : 0 : return nullptr;
10391 : : }
10392 : 21 : }
10393 : :
10394 : : template <typename ManagedTokenSource>
10395 : : std::unique_ptr<AST::Pattern>
10396 : 17160 : Parser<ManagedTokenSource>::parse_pattern ()
10397 : : {
10398 : 17160 : location_t start_locus = lexer.peek_token ()->get_locus ();
10399 : :
10400 : : /* skip optional starting pipe */
10401 : 17160 : maybe_skip_token (PIPE);
10402 : :
10403 : 17160 : auto first = parse_pattern_no_alt ();
10404 : :
10405 : 34320 : if (lexer.peek_token ()->get_id () != PIPE)
10406 : : /* no alternates */
10407 : 17114 : return first;
10408 : :
10409 : 46 : std::vector<std::unique_ptr<AST::Pattern>> alts;
10410 : 46 : alts.push_back (std::move (first));
10411 : :
10412 : : do
10413 : : {
10414 : 61 : lexer.skip_token ();
10415 : 61 : alts.push_back (parse_pattern_no_alt ());
10416 : : }
10417 : :
10418 : 122 : while (lexer.peek_token ()->get_id () == PIPE);
10419 : :
10420 : : /* alternates */
10421 : : return std::unique_ptr<AST::Pattern> (
10422 : 46 : new AST::AltPattern (std::move (alts), start_locus));
10423 : 17160 : }
10424 : :
10425 : : // Parses a pattern without alternates ('|')
10426 : : // (will further disambiguate any pattern).
10427 : : template <typename ManagedTokenSource>
10428 : : std::unique_ptr<AST::Pattern>
10429 : 17317 : Parser<ManagedTokenSource>::parse_pattern_no_alt ()
10430 : : {
10431 : 17317 : const_TokenPtr t = lexer.peek_token ();
10432 : 17317 : switch (t->get_id ())
10433 : : {
10434 : 17 : case TRUE_LITERAL:
10435 : 17 : lexer.skip_token ();
10436 : 17 : return std::unique_ptr<AST::LiteralPattern> (
10437 : 51 : new AST::LiteralPattern (Values::Keywords::TRUE_LITERAL,
10438 : : AST::Literal::BOOL, t->get_locus (),
10439 : 17 : t->get_type_hint ()));
10440 : 9 : case FALSE_LITERAL:
10441 : 9 : lexer.skip_token ();
10442 : 9 : return std::unique_ptr<AST::LiteralPattern> (
10443 : 27 : new AST::LiteralPattern (Values::Keywords::FALSE_LITERAL,
10444 : : AST::Literal::BOOL, t->get_locus (),
10445 : 9 : t->get_type_hint ()));
10446 : 147 : case CHAR_LITERAL:
10447 : : case BYTE_CHAR_LITERAL:
10448 : : case INT_LITERAL:
10449 : : case FLOAT_LITERAL:
10450 : 147 : return parse_literal_or_range_pattern ();
10451 : 0 : case STRING_LITERAL:
10452 : 0 : lexer.skip_token ();
10453 : 0 : return std::unique_ptr<AST::LiteralPattern> (
10454 : 0 : new AST::LiteralPattern (t->get_str (), AST::Literal::STRING,
10455 : 0 : t->get_locus (), t->get_type_hint ()));
10456 : 0 : case BYTE_STRING_LITERAL:
10457 : 0 : lexer.skip_token ();
10458 : 0 : return std::unique_ptr<AST::LiteralPattern> (
10459 : 0 : new AST::LiteralPattern (t->get_str (), AST::Literal::BYTE_STRING,
10460 : 0 : t->get_locus (), t->get_type_hint ()));
10461 : : // raw string and raw byte string literals too if they are readded to
10462 : : // lexer
10463 : 0 : case MINUS:
10464 : 0 : if (lexer.peek_token (1)->get_id () == INT_LITERAL)
10465 : : {
10466 : 0 : return parse_literal_or_range_pattern ();
10467 : : }
10468 : 0 : else if (lexer.peek_token (1)->get_id () == FLOAT_LITERAL)
10469 : : {
10470 : 0 : return parse_literal_or_range_pattern ();
10471 : : }
10472 : : else
10473 : : {
10474 : 0 : Error error (t->get_locus (), "unexpected token %<-%> in pattern - "
10475 : : "did you forget an integer literal");
10476 : 0 : add_error (std::move (error));
10477 : :
10478 : 0 : return nullptr;
10479 : 0 : }
10480 : 307 : case UNDERSCORE:
10481 : 307 : lexer.skip_token ();
10482 : 307 : return std::unique_ptr<AST::WildcardPattern> (
10483 : 307 : new AST::WildcardPattern (t->get_locus ()));
10484 : 2 : case DOT_DOT:
10485 : 2 : lexer.skip_token ();
10486 : 2 : return std::unique_ptr<AST::RestPattern> (
10487 : 2 : new AST::RestPattern (t->get_locus ()));
10488 : 595 : case REF:
10489 : : case MUT:
10490 : 595 : return parse_identifier_pattern ();
10491 : 15995 : case IDENTIFIER:
10492 : : /* if identifier with no scope resolution afterwards, identifier
10493 : : * pattern. if scope resolution afterwards, path pattern (or range
10494 : : * pattern or struct pattern or tuple struct pattern) or macro
10495 : : * invocation */
10496 : 15995 : return parse_ident_leading_pattern ();
10497 : 32 : case AMP:
10498 : : case LOGICAL_AND:
10499 : : // reference pattern
10500 : 32 : return parse_reference_pattern ();
10501 : 209 : case LEFT_PAREN:
10502 : : // tuple pattern or grouped pattern
10503 : 209 : return parse_grouped_or_tuple_pattern ();
10504 : 3 : case LEFT_SQUARE:
10505 : : // slice pattern
10506 : 3 : return parse_slice_pattern ();
10507 : 0 : case LEFT_SHIFT:
10508 : : case LEFT_ANGLE: {
10509 : : // qualified path in expression or qualified range pattern bound
10510 : 0 : AST::QualifiedPathInExpression path
10511 : : = parse_qualified_path_in_expression ();
10512 : :
10513 : 0 : if (lexer.peek_token ()->get_id () == DOT_DOT_EQ
10514 : 0 : || lexer.peek_token ()->get_id () == ELLIPSIS)
10515 : : {
10516 : : // qualified range pattern bound, so parse rest of range pattern
10517 : 0 : bool has_ellipsis_syntax
10518 : 0 : = lexer.peek_token ()->get_id () == ELLIPSIS;
10519 : 0 : lexer.skip_token ();
10520 : :
10521 : 0 : std::unique_ptr<AST::RangePatternBoundQualPath> lower_bound (
10522 : 0 : new AST::RangePatternBoundQualPath (std::move (path)));
10523 : 0 : std::unique_ptr<AST::RangePatternBound> upper_bound
10524 : : = parse_range_pattern_bound ();
10525 : :
10526 : 0 : return std::unique_ptr<AST::RangePattern> (
10527 : 0 : new AST::RangePattern (std::move (lower_bound),
10528 : : std::move (upper_bound), t->get_locus (),
10529 : 0 : has_ellipsis_syntax));
10530 : 0 : }
10531 : : else
10532 : : {
10533 : : // just qualified path in expression
10534 : 0 : return std::unique_ptr<AST::QualifiedPathInExpression> (
10535 : 0 : new AST::QualifiedPathInExpression (std::move (path)));
10536 : : }
10537 : 0 : }
10538 : 1 : case SUPER:
10539 : : case SELF:
10540 : : case SELF_ALIAS:
10541 : : case CRATE:
10542 : : case SCOPE_RESOLUTION:
10543 : : case DOLLAR_SIGN: {
10544 : : // path in expression or range pattern bound
10545 : 1 : AST::PathInExpression path = parse_path_in_expression ();
10546 : :
10547 : 1 : const_TokenPtr next = lexer.peek_token ();
10548 : 1 : switch (next->get_id ())
10549 : : {
10550 : 0 : case DOT_DOT_EQ:
10551 : : case ELLIPSIS: {
10552 : : // qualified range pattern bound, so parse rest of range pattern
10553 : 0 : bool has_ellipsis_syntax
10554 : 0 : = lexer.peek_token ()->get_id () == ELLIPSIS;
10555 : 0 : lexer.skip_token ();
10556 : :
10557 : 0 : std::unique_ptr<AST::RangePatternBoundPath> lower_bound (
10558 : 0 : new AST::RangePatternBoundPath (std::move (path)));
10559 : 0 : std::unique_ptr<AST::RangePatternBound> upper_bound
10560 : : = parse_range_pattern_bound ();
10561 : :
10562 : 0 : return std::unique_ptr<AST::RangePattern> (
10563 : 0 : new AST::RangePattern (std::move (lower_bound),
10564 : : std::move (upper_bound),
10565 : 0 : UNKNOWN_LOCATION, has_ellipsis_syntax));
10566 : 0 : }
10567 : 0 : case EXCLAM:
10568 : 0 : return parse_macro_invocation_partial (std::move (path),
10569 : 0 : AST::AttrVec ());
10570 : 0 : case LEFT_PAREN: {
10571 : : // tuple struct
10572 : 0 : lexer.skip_token ();
10573 : :
10574 : : // parse items
10575 : 0 : std::unique_ptr<AST::TupleStructItems> items
10576 : : = parse_tuple_struct_items ();
10577 : 0 : if (items == nullptr)
10578 : : {
10579 : 0 : Error error (lexer.peek_token ()->get_locus (),
10580 : : "failed to parse tuple struct items");
10581 : 0 : add_error (std::move (error));
10582 : :
10583 : 0 : return nullptr;
10584 : 0 : }
10585 : :
10586 : 0 : if (!skip_token (RIGHT_PAREN))
10587 : : {
10588 : 0 : return nullptr;
10589 : : }
10590 : :
10591 : 0 : return std::unique_ptr<AST::TupleStructPattern> (
10592 : 0 : new AST::TupleStructPattern (std::move (path),
10593 : 0 : std::move (items)));
10594 : 0 : }
10595 : 0 : case LEFT_CURLY: {
10596 : : // struct
10597 : 0 : lexer.skip_token ();
10598 : :
10599 : : // parse elements (optional)
10600 : 0 : AST::StructPatternElements elems = parse_struct_pattern_elems ();
10601 : :
10602 : 0 : if (!skip_token (RIGHT_CURLY))
10603 : : {
10604 : 0 : return nullptr;
10605 : : }
10606 : :
10607 : 0 : return std::unique_ptr<AST::StructPattern> (
10608 : 0 : new AST::StructPattern (std::move (path), t->get_locus (),
10609 : 0 : std::move (elems)));
10610 : 0 : }
10611 : 1 : default:
10612 : : // assume path in expression
10613 : 1 : return std::unique_ptr<AST::PathInExpression> (
10614 : 1 : new AST::PathInExpression (std::move (path)));
10615 : : }
10616 : 1 : }
10617 : 0 : default:
10618 : 0 : add_error (Error (t->get_locus (), "unexpected token %qs in pattern",
10619 : : t->get_token_description ()));
10620 : :
10621 : 0 : return nullptr;
10622 : : }
10623 : 17317 : }
10624 : :
10625 : : // Parses a single or double reference pattern.
10626 : : template <typename ManagedTokenSource>
10627 : : std::unique_ptr<AST::ReferencePattern>
10628 : 32 : Parser<ManagedTokenSource>::parse_reference_pattern ()
10629 : : {
10630 : : // parse double or single ref
10631 : 32 : bool is_double_ref = false;
10632 : 32 : const_TokenPtr t = lexer.peek_token ();
10633 : 32 : switch (t->get_id ())
10634 : : {
10635 : 23 : case AMP:
10636 : : // still false
10637 : 23 : lexer.skip_token ();
10638 : : break;
10639 : 9 : case LOGICAL_AND:
10640 : 9 : is_double_ref = true;
10641 : 9 : lexer.skip_token ();
10642 : : break;
10643 : 0 : default:
10644 : 0 : add_error (Error (t->get_locus (),
10645 : : "unexpected token %qs in reference pattern",
10646 : : t->get_token_description ()));
10647 : :
10648 : 0 : return nullptr;
10649 : : }
10650 : :
10651 : : // parse mut (if it exists)
10652 : 32 : bool is_mut = false;
10653 : 64 : if (lexer.peek_token ()->get_id () == MUT)
10654 : : {
10655 : 2 : is_mut = true;
10656 : 2 : lexer.skip_token ();
10657 : : }
10658 : :
10659 : : // parse pattern to get reference of (required)
10660 : 32 : std::unique_ptr<AST::Pattern> pattern = parse_pattern_no_alt ();
10661 : 32 : if (pattern == nullptr)
10662 : : {
10663 : 0 : Error error (lexer.peek_token ()->get_locus (),
10664 : : "failed to parse pattern in reference pattern");
10665 : 0 : add_error (std::move (error));
10666 : :
10667 : : // skip somewhere?
10668 : 0 : return nullptr;
10669 : 0 : }
10670 : :
10671 : : return std::unique_ptr<AST::ReferencePattern> (
10672 : 32 : new AST::ReferencePattern (std::move (pattern), is_mut, is_double_ref,
10673 : 32 : t->get_locus ()));
10674 : 32 : }
10675 : :
10676 : : /* Parses a grouped pattern or tuple pattern. Prefers grouped over tuple if
10677 : : * only a single element with no commas. */
10678 : : template <typename ManagedTokenSource>
10679 : : std::unique_ptr<AST::Pattern>
10680 : 209 : Parser<ManagedTokenSource>::parse_grouped_or_tuple_pattern ()
10681 : : {
10682 : 209 : location_t paren_locus = lexer.peek_token ()->get_locus ();
10683 : 209 : skip_token (LEFT_PAREN);
10684 : :
10685 : : // detect '..' token (ranged with no lower range)
10686 : 418 : if (lexer.peek_token ()->get_id () == DOT_DOT)
10687 : : {
10688 : 0 : lexer.skip_token ();
10689 : :
10690 : : // parse new patterns while next token is a comma
10691 : 0 : std::vector<std::unique_ptr<AST::Pattern>> patterns;
10692 : :
10693 : 0 : const_TokenPtr t = lexer.peek_token ();
10694 : 0 : while (t->get_id () == COMMA)
10695 : : {
10696 : 0 : lexer.skip_token ();
10697 : :
10698 : : // break if next token is ')'
10699 : 0 : if (lexer.peek_token ()->get_id () == RIGHT_PAREN)
10700 : : {
10701 : : break;
10702 : : }
10703 : :
10704 : : // parse pattern, which is required
10705 : 0 : std::unique_ptr<AST::Pattern> pattern = parse_pattern ();
10706 : 0 : if (pattern == nullptr)
10707 : : {
10708 : 0 : Error error (
10709 : 0 : lexer.peek_token ()->get_locus (),
10710 : : "failed to parse pattern inside ranged tuple pattern");
10711 : 0 : add_error (std::move (error));
10712 : :
10713 : : // skip somewhere?
10714 : 0 : return nullptr;
10715 : 0 : }
10716 : 0 : patterns.push_back (std::move (pattern));
10717 : :
10718 : 0 : t = lexer.peek_token ();
10719 : : }
10720 : :
10721 : 0 : if (!skip_token (RIGHT_PAREN))
10722 : : {
10723 : : // skip somewhere?
10724 : 0 : return nullptr;
10725 : : }
10726 : :
10727 : : // create ranged tuple pattern items with only upper items
10728 : 0 : std::unique_ptr<AST::TuplePatternItemsRanged> items (
10729 : 0 : new AST::TuplePatternItemsRanged (
10730 : 0 : std::vector<std::unique_ptr<AST::Pattern>> (), std::move (patterns)));
10731 : 0 : return std::unique_ptr<AST::TuplePattern> (
10732 : 0 : new AST::TuplePattern (std::move (items), paren_locus));
10733 : 0 : }
10734 : 418 : else if (lexer.peek_token ()->get_id () == RIGHT_PAREN)
10735 : : {
10736 : 1 : skip_token (RIGHT_PAREN);
10737 : 1 : auto items = std::unique_ptr<AST::TuplePatternItemsMultiple> (
10738 : 1 : new AST::TuplePatternItemsMultiple (
10739 : 1 : std::vector<std::unique_ptr<AST::Pattern>> ()));
10740 : 1 : return std::unique_ptr<AST::TuplePattern> (
10741 : 1 : new AST::TuplePattern (std::move (items), paren_locus));
10742 : 1 : }
10743 : :
10744 : : // parse initial pattern (required)
10745 : 208 : std::unique_ptr<AST::Pattern> initial_pattern = parse_pattern ();
10746 : 208 : if (initial_pattern == nullptr)
10747 : : {
10748 : 0 : Error error (lexer.peek_token ()->get_locus (),
10749 : : "failed to parse pattern in grouped or tuple pattern");
10750 : 0 : add_error (std::move (error));
10751 : :
10752 : 0 : return nullptr;
10753 : 0 : }
10754 : :
10755 : : // branch on whether next token is a comma or not
10756 : 208 : const_TokenPtr t = lexer.peek_token ();
10757 : 208 : switch (t->get_id ())
10758 : : {
10759 : 43 : case RIGHT_PAREN:
10760 : : // grouped pattern
10761 : 43 : lexer.skip_token ();
10762 : :
10763 : 43 : return std::unique_ptr<AST::GroupedPattern> (
10764 : 43 : new AST::GroupedPattern (std::move (initial_pattern), paren_locus));
10765 : 165 : case COMMA: {
10766 : : // tuple pattern
10767 : 165 : lexer.skip_token ();
10768 : :
10769 : : // create vector of patterns
10770 : 165 : std::vector<std::unique_ptr<AST::Pattern>> patterns;
10771 : 165 : patterns.push_back (std::move (initial_pattern));
10772 : :
10773 : 165 : t = lexer.peek_token ();
10774 : 349 : while (t->get_id () != RIGHT_PAREN && t->get_id () != DOT_DOT)
10775 : : {
10776 : : // parse pattern (required)
10777 : 184 : std::unique_ptr<AST::Pattern> pattern = parse_pattern ();
10778 : 184 : if (pattern == nullptr)
10779 : : {
10780 : 0 : Error error (t->get_locus (),
10781 : : "failed to parse pattern in tuple pattern");
10782 : 0 : add_error (std::move (error));
10783 : :
10784 : 0 : return nullptr;
10785 : 0 : }
10786 : 184 : patterns.push_back (std::move (pattern));
10787 : :
10788 : 368 : if (lexer.peek_token ()->get_id () != COMMA)
10789 : : break;
10790 : :
10791 : 21 : lexer.skip_token ();
10792 : 21 : t = lexer.peek_token ();
10793 : : }
10794 : :
10795 : 165 : t = lexer.peek_token ();
10796 : 165 : if (t->get_id () == RIGHT_PAREN)
10797 : : {
10798 : : // non-ranged tuple pattern
10799 : 165 : lexer.skip_token ();
10800 : :
10801 : 165 : std::unique_ptr<AST::TuplePatternItemsMultiple> items (
10802 : 165 : new AST::TuplePatternItemsMultiple (std::move (patterns)));
10803 : 165 : return std::unique_ptr<AST::TuplePattern> (
10804 : 165 : new AST::TuplePattern (std::move (items), paren_locus));
10805 : 165 : }
10806 : 0 : else if (t->get_id () == DOT_DOT)
10807 : : {
10808 : : // ranged tuple pattern
10809 : 0 : lexer.skip_token ();
10810 : :
10811 : : // parse upper patterns
10812 : 0 : std::vector<std::unique_ptr<AST::Pattern>> upper_patterns;
10813 : 0 : t = lexer.peek_token ();
10814 : 0 : while (t->get_id () == COMMA)
10815 : : {
10816 : 0 : lexer.skip_token ();
10817 : :
10818 : : // break if end
10819 : 0 : if (lexer.peek_token ()->get_id () == RIGHT_PAREN)
10820 : : break;
10821 : :
10822 : : // parse pattern (required)
10823 : 0 : std::unique_ptr<AST::Pattern> pattern = parse_pattern ();
10824 : 0 : if (pattern == nullptr)
10825 : : {
10826 : 0 : Error error (lexer.peek_token ()->get_locus (),
10827 : : "failed to parse pattern in tuple pattern");
10828 : 0 : add_error (std::move (error));
10829 : :
10830 : 0 : return nullptr;
10831 : 0 : }
10832 : 0 : upper_patterns.push_back (std::move (pattern));
10833 : :
10834 : 0 : t = lexer.peek_token ();
10835 : : }
10836 : :
10837 : 0 : if (!skip_token (RIGHT_PAREN))
10838 : : {
10839 : 0 : return nullptr;
10840 : : }
10841 : :
10842 : 0 : std::unique_ptr<AST::TuplePatternItemsRanged> items (
10843 : 0 : new AST::TuplePatternItemsRanged (std::move (patterns),
10844 : : std::move (upper_patterns)));
10845 : 0 : return std::unique_ptr<AST::TuplePattern> (
10846 : 0 : new AST::TuplePattern (std::move (items), paren_locus));
10847 : 0 : }
10848 : : else
10849 : : {
10850 : : // some kind of error
10851 : 0 : Error error (t->get_locus (),
10852 : : "failed to parse tuple pattern (probably) or maybe "
10853 : : "grouped pattern");
10854 : 0 : add_error (std::move (error));
10855 : :
10856 : 0 : return nullptr;
10857 : 0 : }
10858 : 165 : }
10859 : 0 : default:
10860 : : // error
10861 : 0 : add_error (Error (t->get_locus (),
10862 : : "unrecognised token %qs in grouped or tuple pattern "
10863 : : "after first pattern",
10864 : : t->get_token_description ()));
10865 : :
10866 : 0 : return nullptr;
10867 : : }
10868 : 208 : }
10869 : :
10870 : : /* Parses a slice pattern that can match arrays or slices. Parses the square
10871 : : * brackets too. */
10872 : : template <typename ManagedTokenSource>
10873 : : std::unique_ptr<AST::SlicePattern>
10874 : 3 : Parser<ManagedTokenSource>::parse_slice_pattern ()
10875 : : {
10876 : 6 : location_t square_locus = lexer.peek_token ()->get_locus ();
10877 : 3 : std::vector<std::unique_ptr<AST::Pattern>> patterns;
10878 : 3 : skip_token (LEFT_SQUARE);
10879 : :
10880 : 6 : if (lexer.peek_token ()->get_id () == RIGHT_SQUARE)
10881 : : {
10882 : 1 : skip_token (RIGHT_SQUARE);
10883 : : return std::unique_ptr<AST::SlicePattern> (
10884 : 1 : new AST::SlicePattern (std::move (patterns), square_locus));
10885 : : }
10886 : :
10887 : : // parse initial pattern (required)
10888 : 2 : std::unique_ptr<AST::Pattern> initial_pattern = parse_pattern ();
10889 : 2 : if (initial_pattern == nullptr)
10890 : : {
10891 : 0 : Error error (lexer.peek_token ()->get_locus (),
10892 : : "failed to parse initial pattern in slice pattern");
10893 : 0 : add_error (std::move (error));
10894 : :
10895 : 0 : return nullptr;
10896 : 0 : }
10897 : :
10898 : 2 : patterns.push_back (std::move (initial_pattern));
10899 : :
10900 : 2 : const_TokenPtr t = lexer.peek_token ();
10901 : 4 : while (t->get_id () == COMMA)
10902 : : {
10903 : 2 : lexer.skip_token ();
10904 : :
10905 : : // break if end bracket
10906 : 4 : if (lexer.peek_token ()->get_id () == RIGHT_SQUARE)
10907 : : break;
10908 : :
10909 : : // parse pattern (required)
10910 : 2 : std::unique_ptr<AST::Pattern> pattern = parse_pattern ();
10911 : 2 : if (pattern == nullptr)
10912 : : {
10913 : 0 : Error error (lexer.peek_token ()->get_locus (),
10914 : : "failed to parse pattern in slice pattern");
10915 : 0 : add_error (std::move (error));
10916 : :
10917 : 0 : return nullptr;
10918 : 0 : }
10919 : 2 : patterns.push_back (std::move (pattern));
10920 : :
10921 : 2 : t = lexer.peek_token ();
10922 : : }
10923 : :
10924 : 2 : if (!skip_token (RIGHT_SQUARE))
10925 : : {
10926 : 0 : return nullptr;
10927 : : }
10928 : :
10929 : : return std::unique_ptr<AST::SlicePattern> (
10930 : 2 : new AST::SlicePattern (std::move (patterns), square_locus));
10931 : 3 : }
10932 : :
10933 : : /* Parses an identifier pattern (pattern that binds a value matched to a
10934 : : * variable). */
10935 : : template <typename ManagedTokenSource>
10936 : : std::unique_ptr<AST::IdentifierPattern>
10937 : 595 : Parser<ManagedTokenSource>::parse_identifier_pattern ()
10938 : : {
10939 : 595 : location_t locus = lexer.peek_token ()->get_locus ();
10940 : :
10941 : 595 : bool has_ref = false;
10942 : 1190 : if (lexer.peek_token ()->get_id () == REF)
10943 : : {
10944 : 2 : has_ref = true;
10945 : 2 : lexer.skip_token ();
10946 : :
10947 : : // DEBUG
10948 : 2 : rust_debug ("parsed ref in identifier pattern");
10949 : : }
10950 : :
10951 : 595 : bool has_mut = false;
10952 : 1190 : if (lexer.peek_token ()->get_id () == MUT)
10953 : : {
10954 : 594 : has_mut = true;
10955 : 594 : lexer.skip_token ();
10956 : : }
10957 : :
10958 : : // parse identifier (required)
10959 : 595 : const_TokenPtr ident_tok = expect_token (IDENTIFIER);
10960 : 595 : if (ident_tok == nullptr)
10961 : : {
10962 : : // skip somewhere?
10963 : 0 : return nullptr;
10964 : : }
10965 : 595 : Identifier ident{ident_tok};
10966 : :
10967 : : // DEBUG
10968 : 595 : rust_debug ("parsed identifier in identifier pattern");
10969 : :
10970 : : // parse optional pattern binding thing
10971 : 595 : std::unique_ptr<AST::Pattern> bind_pattern = nullptr;
10972 : 1190 : if (lexer.peek_token ()->get_id () == PATTERN_BIND)
10973 : : {
10974 : 0 : lexer.skip_token ();
10975 : :
10976 : : // parse required pattern to bind
10977 : 0 : bind_pattern = parse_pattern ();
10978 : 0 : if (bind_pattern == nullptr)
10979 : : {
10980 : 0 : Error error (lexer.peek_token ()->get_locus (),
10981 : : "failed to parse pattern to bind in identifier pattern");
10982 : 0 : add_error (std::move (error));
10983 : :
10984 : 0 : return nullptr;
10985 : 0 : }
10986 : : }
10987 : :
10988 : : // DEBUG
10989 : 595 : rust_debug ("about to return identifier pattern");
10990 : :
10991 : : return std::unique_ptr<AST::IdentifierPattern> (
10992 : 595 : new AST::IdentifierPattern (std::move (ident), locus, has_ref, has_mut,
10993 : 595 : std::move (bind_pattern)));
10994 : 595 : }
10995 : :
10996 : : /* Parses a pattern that opens with an identifier. This includes identifier
10997 : : * patterns, path patterns (and derivatives such as struct patterns, tuple
10998 : : * struct patterns, and macro invocations), and ranges. */
10999 : : template <typename ManagedTokenSource>
11000 : : std::unique_ptr<AST::Pattern>
11001 : 15995 : Parser<ManagedTokenSource>::parse_ident_leading_pattern ()
11002 : : {
11003 : : // ensure first token is actually identifier
11004 : 15995 : const_TokenPtr initial_tok = lexer.peek_token ();
11005 : 15995 : if (initial_tok->get_id () != IDENTIFIER)
11006 : : {
11007 : 0 : return nullptr;
11008 : : }
11009 : :
11010 : : // save initial identifier as it may be useful (but don't skip)
11011 : 15995 : std::string initial_ident = initial_tok->get_str ();
11012 : :
11013 : : // parse next tokens as a PathInExpression
11014 : 15995 : AST::PathInExpression path = parse_path_in_expression ();
11015 : :
11016 : : // branch on next token
11017 : 15995 : const_TokenPtr t = lexer.peek_token ();
11018 : 15995 : switch (t->get_id ())
11019 : : {
11020 : 0 : case EXCLAM:
11021 : 0 : return parse_macro_invocation_partial (std::move (path), AST::AttrVec ());
11022 : 193 : case LEFT_PAREN: {
11023 : : // tuple struct
11024 : 193 : lexer.skip_token ();
11025 : :
11026 : : // DEBUG
11027 : 193 : rust_debug ("parsing tuple struct pattern");
11028 : :
11029 : : // parse items
11030 : 193 : std::unique_ptr<AST::TupleStructItems> items
11031 : : = parse_tuple_struct_items ();
11032 : 193 : if (items == nullptr)
11033 : : {
11034 : 0 : Error error (lexer.peek_token ()->get_locus (),
11035 : : "failed to parse tuple struct items");
11036 : 0 : add_error (std::move (error));
11037 : :
11038 : 0 : return nullptr;
11039 : 0 : }
11040 : :
11041 : : // DEBUG
11042 : 193 : rust_debug ("successfully parsed tuple struct items");
11043 : :
11044 : 193 : if (!skip_token (RIGHT_PAREN))
11045 : : {
11046 : 0 : return nullptr;
11047 : : }
11048 : :
11049 : : // DEBUG
11050 : 193 : rust_debug ("successfully parsed tuple struct pattern");
11051 : :
11052 : 193 : return std::unique_ptr<AST::TupleStructPattern> (
11053 : 193 : new AST::TupleStructPattern (std::move (path), std::move (items)));
11054 : 193 : }
11055 : 36 : case LEFT_CURLY: {
11056 : : // struct
11057 : 36 : lexer.skip_token ();
11058 : :
11059 : : // parse elements (optional)
11060 : 36 : AST::StructPatternElements elems = parse_struct_pattern_elems ();
11061 : :
11062 : 36 : if (!skip_token (RIGHT_CURLY))
11063 : : {
11064 : 0 : return nullptr;
11065 : : }
11066 : :
11067 : : // DEBUG
11068 : 36 : rust_debug ("successfully parsed struct pattern");
11069 : :
11070 : 36 : return std::unique_ptr<AST::StructPattern> (
11071 : 72 : new AST::StructPattern (std::move (path), initial_tok->get_locus (),
11072 : 36 : std::move (elems)));
11073 : 36 : }
11074 : 7 : case DOT_DOT_EQ:
11075 : : case ELLIPSIS: {
11076 : : // range
11077 : 7 : bool has_ellipsis_syntax = lexer.peek_token ()->get_id () == ELLIPSIS;
11078 : :
11079 : 7 : lexer.skip_token ();
11080 : :
11081 : 7 : std::unique_ptr<AST::RangePatternBoundPath> lower_bound (
11082 : 7 : new AST::RangePatternBoundPath (std::move (path)));
11083 : 7 : std::unique_ptr<AST::RangePatternBound> upper_bound
11084 : : = parse_range_pattern_bound ();
11085 : :
11086 : 7 : return std::unique_ptr<AST::RangePattern> (
11087 : 7 : new AST::RangePattern (std::move (lower_bound),
11088 : : std::move (upper_bound), UNKNOWN_LOCATION,
11089 : 7 : has_ellipsis_syntax));
11090 : 7 : }
11091 : 0 : case PATTERN_BIND: {
11092 : : // only allow on single-segment paths
11093 : 0 : if (path.is_single_segment ())
11094 : : {
11095 : : // identifier with pattern bind
11096 : 0 : lexer.skip_token ();
11097 : :
11098 : 0 : std::unique_ptr<AST::Pattern> bind_pattern = parse_pattern ();
11099 : 0 : if (bind_pattern == nullptr)
11100 : : {
11101 : 0 : Error error (
11102 : : t->get_locus (),
11103 : : "failed to parse pattern to bind to identifier pattern");
11104 : 0 : add_error (std::move (error));
11105 : :
11106 : 0 : return nullptr;
11107 : 0 : }
11108 : 0 : return std::unique_ptr<AST::IdentifierPattern> (
11109 : 0 : new AST::IdentifierPattern (std::move (initial_ident),
11110 : : initial_tok->get_locus (), false,
11111 : 0 : false, std::move (bind_pattern)));
11112 : 0 : }
11113 : 0 : Error error (
11114 : : t->get_locus (),
11115 : : "failed to parse pattern bind to a path, not an identifier");
11116 : 0 : add_error (std::move (error));
11117 : :
11118 : 0 : return nullptr;
11119 : 0 : }
11120 : 15759 : default:
11121 : : // assume identifier if single segment
11122 : 15759 : if (path.is_single_segment ())
11123 : : {
11124 : 15630 : return std::unique_ptr<AST::IdentifierPattern> (
11125 : 31260 : new AST::IdentifierPattern (std::move (initial_ident),
11126 : 15630 : initial_tok->get_locus ()));
11127 : : }
11128 : : // return path otherwise
11129 : 129 : return std::unique_ptr<AST::PathInExpression> (
11130 : 129 : new AST::PathInExpression (std::move (path)));
11131 : : }
11132 : 15995 : }
11133 : :
11134 : : // Parses tuple struct items if they exist. Does not parse parentheses.
11135 : : template <typename ManagedTokenSource>
11136 : : std::unique_ptr<AST::TupleStructItems>
11137 : 193 : Parser<ManagedTokenSource>::parse_tuple_struct_items ()
11138 : : {
11139 : 193 : std::vector<std::unique_ptr<AST::Pattern>> lower_patterns;
11140 : :
11141 : : // DEBUG
11142 : 193 : rust_debug ("started parsing tuple struct items");
11143 : :
11144 : : // check for '..' at front
11145 : 386 : if (lexer.peek_token ()->get_id () == DOT_DOT)
11146 : : {
11147 : : // only parse upper patterns
11148 : 0 : lexer.skip_token ();
11149 : :
11150 : : // DEBUG
11151 : 0 : rust_debug ("'..' at front in tuple struct items detected");
11152 : :
11153 : 0 : std::vector<std::unique_ptr<AST::Pattern>> upper_patterns;
11154 : :
11155 : 0 : const_TokenPtr t = lexer.peek_token ();
11156 : 0 : while (t->get_id () == COMMA)
11157 : : {
11158 : 0 : lexer.skip_token ();
11159 : :
11160 : : // break if right paren
11161 : 0 : if (lexer.peek_token ()->get_id () == RIGHT_PAREN)
11162 : : break;
11163 : :
11164 : : // parse pattern, which is now required
11165 : 0 : std::unique_ptr<AST::Pattern> pattern = parse_pattern ();
11166 : 0 : if (pattern == nullptr)
11167 : : {
11168 : 0 : Error error (lexer.peek_token ()->get_locus (),
11169 : : "failed to parse pattern in tuple struct items");
11170 : 0 : add_error (std::move (error));
11171 : :
11172 : 0 : return nullptr;
11173 : 0 : }
11174 : 0 : upper_patterns.push_back (std::move (pattern));
11175 : :
11176 : 0 : t = lexer.peek_token ();
11177 : : }
11178 : :
11179 : : // DEBUG
11180 : 0 : rust_debug (
11181 : : "finished parsing tuple struct items ranged (upper/none only)");
11182 : :
11183 : 0 : return std::unique_ptr<AST::TupleStructItemsRange> (
11184 : 0 : new AST::TupleStructItemsRange (std::move (lower_patterns),
11185 : 0 : std::move (upper_patterns)));
11186 : 0 : }
11187 : :
11188 : : // has at least some lower patterns
11189 : 193 : const_TokenPtr t = lexer.peek_token ();
11190 : 436 : while (t->get_id () != RIGHT_PAREN && t->get_id () != DOT_DOT)
11191 : : {
11192 : : // DEBUG
11193 : 243 : rust_debug ("about to parse pattern in tuple struct items");
11194 : :
11195 : : // parse pattern, which is required
11196 : 243 : std::unique_ptr<AST::Pattern> pattern = parse_pattern ();
11197 : 243 : if (pattern == nullptr)
11198 : : {
11199 : 0 : Error error (t->get_locus (),
11200 : : "failed to parse pattern in tuple struct items");
11201 : 0 : add_error (std::move (error));
11202 : :
11203 : 0 : return nullptr;
11204 : 0 : }
11205 : 243 : lower_patterns.push_back (std::move (pattern));
11206 : :
11207 : : // DEBUG
11208 : 243 : rust_debug ("successfully parsed pattern in tuple struct items");
11209 : :
11210 : 486 : if (lexer.peek_token ()->get_id () != COMMA)
11211 : : {
11212 : : // DEBUG
11213 : 192 : rust_debug ("broke out of parsing patterns in tuple struct "
11214 : : "items as no comma");
11215 : :
11216 : : break;
11217 : : }
11218 : 51 : lexer.skip_token ();
11219 : 51 : t = lexer.peek_token ();
11220 : : }
11221 : :
11222 : : // branch on next token
11223 : 193 : t = lexer.peek_token ();
11224 : 193 : switch (t->get_id ())
11225 : : {
11226 : 193 : case RIGHT_PAREN:
11227 : 193 : return std::unique_ptr<AST::TupleStructItemsNoRange> (
11228 : 193 : new AST::TupleStructItemsNoRange (std::move (lower_patterns)));
11229 : 0 : case DOT_DOT: {
11230 : : // has an upper range that must be parsed separately
11231 : 0 : lexer.skip_token ();
11232 : :
11233 : 0 : std::vector<std::unique_ptr<AST::Pattern>> upper_patterns;
11234 : :
11235 : 0 : t = lexer.peek_token ();
11236 : 0 : while (t->get_id () == COMMA)
11237 : : {
11238 : 0 : lexer.skip_token ();
11239 : :
11240 : : // break if next token is right paren
11241 : 0 : if (lexer.peek_token ()->get_id () == RIGHT_PAREN)
11242 : : break;
11243 : :
11244 : : // parse pattern, which is required
11245 : 0 : std::unique_ptr<AST::Pattern> pattern = parse_pattern ();
11246 : 0 : if (pattern == nullptr)
11247 : : {
11248 : 0 : Error error (lexer.peek_token ()->get_locus (),
11249 : : "failed to parse pattern in tuple struct items");
11250 : 0 : add_error (std::move (error));
11251 : :
11252 : 0 : return nullptr;
11253 : 0 : }
11254 : 0 : upper_patterns.push_back (std::move (pattern));
11255 : :
11256 : 0 : t = lexer.peek_token ();
11257 : : }
11258 : :
11259 : 0 : return std::unique_ptr<AST::TupleStructItemsRange> (
11260 : 0 : new AST::TupleStructItemsRange (std::move (lower_patterns),
11261 : 0 : std::move (upper_patterns)));
11262 : 0 : }
11263 : 0 : default:
11264 : : // error
11265 : 0 : add_error (Error (t->get_locus (),
11266 : : "unexpected token %qs in tuple struct items",
11267 : : t->get_token_description ()));
11268 : :
11269 : 0 : return nullptr;
11270 : : }
11271 : 193 : }
11272 : :
11273 : : // Parses struct pattern elements if they exist.
11274 : : template <typename ManagedTokenSource>
11275 : : AST::StructPatternElements
11276 : 36 : Parser<ManagedTokenSource>::parse_struct_pattern_elems ()
11277 : : {
11278 : 36 : std::vector<std::unique_ptr<AST::StructPatternField>> fields;
11279 : :
11280 : 36 : AST::AttrVec etc_attrs;
11281 : 36 : bool has_etc = false;
11282 : :
11283 : : // try parsing struct pattern fields
11284 : 36 : const_TokenPtr t = lexer.peek_token ();
11285 : 134 : while (t->get_id () != RIGHT_CURLY)
11286 : : {
11287 : 67 : AST::AttrVec outer_attrs = parse_outer_attributes ();
11288 : :
11289 : : // parse etc (must be last in struct pattern, so breaks)
11290 : 134 : if (lexer.peek_token ()->get_id () == DOT_DOT)
11291 : : {
11292 : 0 : lexer.skip_token ();
11293 : 0 : etc_attrs = std::move (outer_attrs);
11294 : 0 : has_etc = true;
11295 : 0 : break;
11296 : : }
11297 : :
11298 : 67 : std::unique_ptr<AST::StructPatternField> field
11299 : 67 : = parse_struct_pattern_field_partial (std::move (outer_attrs));
11300 : 67 : if (field == nullptr)
11301 : : {
11302 : 0 : Error error (lexer.peek_token ()->get_locus (),
11303 : : "failed to parse struct pattern field");
11304 : 0 : add_error (std::move (error));
11305 : :
11306 : : // skip after somewhere?
11307 : 0 : return AST::StructPatternElements::create_empty ();
11308 : 0 : }
11309 : 67 : fields.push_back (std::move (field));
11310 : :
11311 : 134 : if (lexer.peek_token ()->get_id () != COMMA)
11312 : : break;
11313 : :
11314 : : // skip comma
11315 : 31 : lexer.skip_token ();
11316 : 31 : t = lexer.peek_token ();
11317 : : }
11318 : :
11319 : 36 : if (has_etc)
11320 : 0 : return AST::StructPatternElements (std::move (fields),
11321 : 0 : std::move (etc_attrs));
11322 : : else
11323 : 36 : return AST::StructPatternElements (std::move (fields));
11324 : 36 : }
11325 : :
11326 : : /* Parses a struct pattern field (tuple index/pattern, identifier/pattern, or
11327 : : * identifier). */
11328 : : template <typename ManagedTokenSource>
11329 : : std::unique_ptr<AST::StructPatternField>
11330 : : Parser<ManagedTokenSource>::parse_struct_pattern_field ()
11331 : : {
11332 : : // parse outer attributes (if they exist)
11333 : : AST::AttrVec outer_attrs = parse_outer_attributes ();
11334 : :
11335 : : return parse_struct_pattern_field_partial (std::move (outer_attrs));
11336 : : }
11337 : :
11338 : : /* Parses a struct pattern field (tuple index/pattern, identifier/pattern, or
11339 : : * identifier), with outer attributes passed in. */
11340 : : template <typename ManagedTokenSource>
11341 : : std::unique_ptr<AST::StructPatternField>
11342 : 67 : Parser<ManagedTokenSource>::parse_struct_pattern_field_partial (
11343 : : AST::AttrVec outer_attrs)
11344 : : {
11345 : : // branch based on next token
11346 : 67 : const_TokenPtr t = lexer.peek_token ();
11347 : 67 : switch (t->get_id ())
11348 : : {
11349 : 3 : case INT_LITERAL: {
11350 : : // tuple index
11351 : 3 : std::string index_str = t->get_str ();
11352 : 3 : int index = atoi (index_str.c_str ());
11353 : :
11354 : 3 : lexer.skip_token ();
11355 : :
11356 : 3 : if (!skip_token (COLON))
11357 : : {
11358 : 0 : return nullptr;
11359 : : }
11360 : :
11361 : : // parse required pattern
11362 : 3 : std::unique_ptr<AST::Pattern> pattern = parse_pattern ();
11363 : 3 : if (pattern == nullptr)
11364 : : {
11365 : 0 : Error error (
11366 : : t->get_locus (),
11367 : : "failed to parse pattern in tuple index struct pattern field");
11368 : 0 : add_error (std::move (error));
11369 : :
11370 : 0 : return nullptr;
11371 : 0 : }
11372 : :
11373 : 3 : return std::unique_ptr<AST::StructPatternFieldTuplePat> (
11374 : 3 : new AST::StructPatternFieldTuplePat (index, std::move (pattern),
11375 : : std::move (outer_attrs),
11376 : 3 : t->get_locus ()));
11377 : 6 : }
11378 : 64 : case IDENTIFIER:
11379 : : // identifier-pattern OR only identifier
11380 : : // branch on next token
11381 : 128 : switch (lexer.peek_token (1)->get_id ())
11382 : : {
11383 : 1 : case COLON: {
11384 : : // identifier-pattern
11385 : 1 : Identifier ident{t};
11386 : 1 : lexer.skip_token ();
11387 : :
11388 : 1 : skip_token (COLON);
11389 : :
11390 : : // parse required pattern
11391 : 1 : std::unique_ptr<AST::Pattern> pattern = parse_pattern ();
11392 : 1 : if (pattern == nullptr)
11393 : : {
11394 : 0 : Error error (t->get_locus (),
11395 : : "failed to parse pattern in struct pattern field");
11396 : 0 : add_error (std::move (error));
11397 : :
11398 : 0 : return nullptr;
11399 : 0 : }
11400 : :
11401 : 1 : return std::unique_ptr<AST::StructPatternFieldIdentPat> (
11402 : 2 : new AST::StructPatternFieldIdentPat (std::move (ident),
11403 : : std::move (pattern),
11404 : : std::move (outer_attrs),
11405 : 1 : t->get_locus ()));
11406 : 1 : }
11407 : 63 : case COMMA:
11408 : : case RIGHT_CURLY: {
11409 : : // identifier only
11410 : 63 : Identifier ident = {t};
11411 : 63 : lexer.skip_token ();
11412 : :
11413 : 63 : return std::unique_ptr<AST::StructPatternFieldIdent> (
11414 : 126 : new AST::StructPatternFieldIdent (std::move (ident), false, false,
11415 : : std::move (outer_attrs),
11416 : 63 : t->get_locus ()));
11417 : 63 : }
11418 : 0 : default:
11419 : : // error
11420 : 0 : add_error (Error (t->get_locus (),
11421 : : "unrecognised token %qs in struct pattern field",
11422 : : t->get_token_description ()));
11423 : :
11424 : 0 : return nullptr;
11425 : : }
11426 : 0 : case REF:
11427 : : case MUT: {
11428 : : // only identifier
11429 : 0 : bool has_ref = false;
11430 : 0 : if (t->get_id () == REF)
11431 : : {
11432 : 0 : has_ref = true;
11433 : 0 : lexer.skip_token ();
11434 : : }
11435 : :
11436 : 0 : bool has_mut = false;
11437 : 0 : if (lexer.peek_token ()->get_id () == MUT)
11438 : : {
11439 : 0 : has_mut = true;
11440 : 0 : lexer.skip_token ();
11441 : : }
11442 : :
11443 : 0 : const_TokenPtr ident_tok = expect_token (IDENTIFIER);
11444 : 0 : if (ident_tok == nullptr)
11445 : : {
11446 : 0 : return nullptr;
11447 : : }
11448 : 0 : Identifier ident{ident_tok};
11449 : :
11450 : 0 : return std::unique_ptr<AST::StructPatternFieldIdent> (
11451 : 0 : new AST::StructPatternFieldIdent (std::move (ident), has_ref, has_mut,
11452 : : std::move (outer_attrs),
11453 : 0 : t->get_locus ()));
11454 : 0 : }
11455 : 0 : default:
11456 : : // not necessarily an error
11457 : 0 : return nullptr;
11458 : : }
11459 : 67 : }
11460 : :
11461 : : /* Parses a statement or expression (depending on whether a trailing semicolon
11462 : : * exists). Useful for block expressions where it cannot be determined through
11463 : : * lookahead whether it is a statement or expression to be parsed. */
11464 : : template <typename ManagedTokenSource>
11465 : : ExprOrStmt
11466 : 25208 : Parser<ManagedTokenSource>::parse_stmt_or_expr ()
11467 : : {
11468 : : // quick exit for empty statement
11469 : 25208 : const_TokenPtr t = lexer.peek_token ();
11470 : 25208 : if (t->get_id () == SEMICOLON)
11471 : : {
11472 : 17 : lexer.skip_token ();
11473 : 17 : std::unique_ptr<AST::EmptyStmt> stmt (
11474 : 17 : new AST::EmptyStmt (t->get_locus ()));
11475 : 17 : return ExprOrStmt (std::move (stmt));
11476 : 17 : }
11477 : :
11478 : : // parse outer attributes
11479 : 25191 : AST::AttrVec outer_attrs = parse_outer_attributes ();
11480 : 25191 : ParseRestrictions restrictions;
11481 : 25191 : restrictions.expr_can_be_stmt = true;
11482 : 25191 : std::unique_ptr<AST::Expr> expr;
11483 : :
11484 : : // parsing this will be annoying because of the many different possibilities
11485 : : /* best may be just to copy paste in parse_item switch, and failing that try
11486 : : * to parse outer attributes, and then pass them in to either a let
11487 : : * statement or (fallback) expression statement. */
11488 : : // FIXME: think of a way to do this without such a large switch?
11489 : :
11490 : : /* FIXME: for expressions at least, the only way that they can really be
11491 : : * parsed properly in this way is if they don't support operators on them.
11492 : : * They must be pratt-parsed otherwise. As such due to composability, only
11493 : : * explicit statements will have special cases here. This should roughly
11494 : : * correspond to "expr-with-block", but this warning is here in case it
11495 : : * isn't the case. */
11496 : 25191 : t = lexer.peek_token ();
11497 : 25191 : switch (t->get_id ())
11498 : : {
11499 : 10214 : case LET: {
11500 : : // let statement
11501 : 10214 : std::unique_ptr<AST::LetStmt> stmt (
11502 : 10214 : parse_let_stmt (std::move (outer_attrs)));
11503 : 10214 : return ExprOrStmt (std::move (stmt));
11504 : 10214 : }
11505 : 249 : case PUB:
11506 : : case MOD:
11507 : : case EXTERN_KW:
11508 : : case USE:
11509 : : case FN_KW:
11510 : : case TYPE:
11511 : : case STRUCT_KW:
11512 : : case ENUM_KW:
11513 : : case CONST:
11514 : : case STATIC_KW:
11515 : : case AUTO:
11516 : : case TRAIT:
11517 : : case IMPL: {
11518 : 249 : std::unique_ptr<AST::VisItem> item (
11519 : 249 : parse_vis_item (std::move (outer_attrs)));
11520 : 249 : return ExprOrStmt (std::move (item));
11521 : 249 : }
11522 : : /* TODO: implement union keyword but not really because of
11523 : : * context-dependence crappy hack way to parse a union written below to
11524 : : * separate it from the good code. */
11525 : : // case UNION:
11526 : 2160 : case UNSAFE: { // maybe - unsafe traits are a thing
11527 : : /* if any of these (should be all possible VisItem prefixes), parse a
11528 : : * VisItem - can't parse item because would require reparsing outer
11529 : : * attributes */
11530 : 2160 : const_TokenPtr t2 = lexer.peek_token (1);
11531 : 2160 : switch (t2->get_id ())
11532 : : {
11533 : 2146 : case LEFT_CURLY: {
11534 : : // unsafe block: parse as expression
11535 : 2146 : expr = parse_expr (std::move (outer_attrs), restrictions);
11536 : : break;
11537 : : }
11538 : 0 : case AUTO:
11539 : : case TRAIT: {
11540 : : // unsafe trait
11541 : 0 : std::unique_ptr<AST::VisItem> item (
11542 : 0 : parse_vis_item (std::move (outer_attrs)));
11543 : 0 : return ExprOrStmt (std::move (item));
11544 : 0 : }
11545 : 14 : case EXTERN_KW:
11546 : : case FN_KW: {
11547 : : // unsafe function
11548 : 14 : std::unique_ptr<AST::VisItem> item (
11549 : 14 : parse_vis_item (std::move (outer_attrs)));
11550 : 14 : return ExprOrStmt (std::move (item));
11551 : 14 : }
11552 : 0 : case IMPL: {
11553 : : // unsafe trait impl
11554 : 0 : std::unique_ptr<AST::VisItem> item (
11555 : 0 : parse_vis_item (std::move (outer_attrs)));
11556 : 0 : return ExprOrStmt (std::move (item));
11557 : 0 : }
11558 : 0 : default:
11559 : 0 : add_error (Error (t2->get_locus (),
11560 : : "unrecognised token %qs after parsing unsafe - "
11561 : : "expected beginning of expression or statement",
11562 : : t->get_token_description ()));
11563 : :
11564 : : // skip somewhere?
11565 : : return ExprOrStmt::create_error ();
11566 : : }
11567 : : break;
11568 : 2160 : }
11569 : : /* FIXME: this is either a macro invocation or macro invocation semi.
11570 : : * start parsing to determine which one it is. */
11571 : : // FIXME: old code there
11572 : :
11573 : : // crappy hack to do union "keyword"
11574 : 7458 : case IDENTIFIER:
11575 : 14215 : if (t->get_str () == Values::WeakKeywords::UNION
11576 : 7494 : && lexer.peek_token (1)->get_id () == IDENTIFIER)
11577 : : {
11578 : 1 : std::unique_ptr<AST::VisItem> item (
11579 : 1 : parse_vis_item (std::move (outer_attrs)));
11580 : 1 : return ExprOrStmt (std::move (item));
11581 : : // or should this go straight to parsing union?
11582 : 1 : }
11583 : 14213 : else if (t->get_str () == Values::WeakKeywords::MACRO_RULES
11584 : 7462 : && lexer.peek_token (1)->get_id () == EXCLAM)
11585 : : {
11586 : : // macro_rules! macro item
11587 : 5 : std::unique_ptr<AST::Item> item (
11588 : 5 : parse_macro_rules_def (std::move (outer_attrs)));
11589 : 5 : return ExprOrStmt (std::move (item));
11590 : 5 : }
11591 : : gcc_fallthrough ();
11592 : : case SUPER:
11593 : : case SELF:
11594 : : case SELF_ALIAS:
11595 : : case CRATE:
11596 : : case SCOPE_RESOLUTION:
11597 : : case DOLLAR_SIGN: {
11598 : 8334 : AST::PathInExpression path = parse_path_in_expression ();
11599 : 8334 : std::unique_ptr<AST::Expr> null_denotation;
11600 : :
11601 : 16668 : if (lexer.peek_token ()->get_id () == EXCLAM)
11602 : : {
11603 : 363 : std::unique_ptr<AST::MacroInvocation> invoc
11604 : 726 : = parse_macro_invocation_partial (std::move (path),
11605 : : std::move (outer_attrs));
11606 : :
11607 : 363 : if (restrictions.consume_semi && maybe_skip_token (SEMICOLON))
11608 : : {
11609 : 279 : invoc->add_semicolon ();
11610 : : // Macro invocation with semicolon.
11611 : : return ExprOrStmt (
11612 : 279 : std::unique_ptr<AST::Stmt> (std::move (invoc)));
11613 : : }
11614 : :
11615 : 168 : TokenId after_macro = lexer.peek_token ()->get_id ();
11616 : :
11617 : 84 : if (invoc->get_invoc_data ().get_delim_tok_tree ().get_delim_type ()
11618 : : == AST::CURLY
11619 : 84 : && after_macro != DOT && after_macro != QUESTION_MARK)
11620 : : {
11621 : 4 : rust_debug ("braced macro statement");
11622 : : return ExprOrStmt (
11623 : 4 : std::unique_ptr<AST::Stmt> (std::move (invoc)));
11624 : : }
11625 : :
11626 : 80 : null_denotation = std::move (invoc);
11627 : 363 : }
11628 : : else
11629 : : {
11630 : : null_denotation
11631 : 7971 : = null_denotation_path (std::move (path), {}, restrictions);
11632 : : }
11633 : :
11634 : 8051 : expr = left_denotations (std::move (null_denotation), LBP_LOWEST,
11635 : : std::move (outer_attrs), restrictions);
11636 : : break;
11637 : 8334 : }
11638 : 4228 : default:
11639 : : /* expression statement or expression itself - parse
11640 : : * expression then make it statement if semi afterwards */
11641 : 4228 : expr = parse_expr (std::move (outer_attrs), restrictions);
11642 : 4228 : break;
11643 : : }
11644 : :
11645 : 14425 : const_TokenPtr after_expr = lexer.peek_token ();
11646 : 14425 : if (after_expr->get_id () == SEMICOLON)
11647 : : {
11648 : : // must be expression statement
11649 : 4929 : lexer.skip_token ();
11650 : :
11651 : 4929 : if (expr)
11652 : : {
11653 : 4928 : std::unique_ptr<AST::ExprStmt> stmt (
11654 : 4928 : new AST::ExprStmt (std::move (expr), t->get_locus (), true));
11655 : 4928 : return ExprOrStmt (std::move (stmt));
11656 : 4928 : }
11657 : : else
11658 : : {
11659 : : return ExprOrStmt::create_error ();
11660 : : }
11661 : : }
11662 : :
11663 : 9491 : if (expr && !expr->is_expr_without_block ()
11664 : 12686 : && after_expr->get_id () != RIGHT_CURLY)
11665 : : {
11666 : : // block expression statement.
11667 : 884 : std::unique_ptr<AST::ExprStmt> stmt (
11668 : 884 : new AST::ExprStmt (std::move (expr), t->get_locus (), false));
11669 : 884 : return ExprOrStmt (std::move (stmt));
11670 : 884 : }
11671 : :
11672 : : // return expression
11673 : 8612 : return ExprOrStmt (std::move (expr));
11674 : 25191 : }
11675 : :
11676 : : // Parses a struct expression field.
11677 : : template <typename ManagedTokenSource>
11678 : : std::unique_ptr<AST::StructExprField>
11679 : 1528 : Parser<ManagedTokenSource>::parse_struct_expr_field ()
11680 : : {
11681 : 1528 : const_TokenPtr t = lexer.peek_token ();
11682 : 1528 : switch (t->get_id ())
11683 : : {
11684 : 1484 : case IDENTIFIER:
11685 : 2968 : if (lexer.peek_token (1)->get_id () == COLON)
11686 : : {
11687 : : // struct expr field with identifier and expr
11688 : 1273 : Identifier ident = {t};
11689 : 1273 : lexer.skip_token (1);
11690 : :
11691 : : // parse expression (required)
11692 : 1273 : std::unique_ptr<AST::Expr> expr = parse_expr ();
11693 : 1273 : if (expr == nullptr)
11694 : : {
11695 : 0 : Error error (t->get_locus (),
11696 : : "failed to parse struct expression field with "
11697 : : "identifier and expression");
11698 : 0 : add_error (std::move (error));
11699 : :
11700 : 0 : return nullptr;
11701 : 0 : }
11702 : :
11703 : 1273 : return std::unique_ptr<AST::StructExprFieldIdentifierValue> (
11704 : 2546 : new AST::StructExprFieldIdentifierValue (std::move (ident),
11705 : : std::move (expr),
11706 : 1273 : t->get_locus ()));
11707 : 1273 : }
11708 : : else
11709 : : {
11710 : : // struct expr field with identifier only
11711 : 211 : Identifier ident{t};
11712 : 211 : lexer.skip_token ();
11713 : :
11714 : 211 : return std::unique_ptr<AST::StructExprFieldIdentifier> (
11715 : 422 : new AST::StructExprFieldIdentifier (std::move (ident),
11716 : 211 : t->get_locus ()));
11717 : 211 : }
11718 : 44 : case INT_LITERAL: {
11719 : : // parse tuple index field
11720 : 44 : int index = atoi (t->get_str ().c_str ());
11721 : 44 : lexer.skip_token ();
11722 : :
11723 : 44 : if (!skip_token (COLON))
11724 : : {
11725 : : // skip somewhere?
11726 : 0 : return nullptr;
11727 : : }
11728 : :
11729 : : // parse field expression (required)
11730 : 44 : std::unique_ptr<AST::Expr> expr = parse_expr ();
11731 : 44 : if (expr == nullptr)
11732 : : {
11733 : 0 : Error error (t->get_locus (),
11734 : : "failed to parse expr in struct (or enum) expr "
11735 : : "field with tuple index");
11736 : 0 : add_error (std::move (error));
11737 : :
11738 : 0 : return nullptr;
11739 : 0 : }
11740 : :
11741 : 44 : return std::unique_ptr<AST::StructExprFieldIndexValue> (
11742 : 44 : new AST::StructExprFieldIndexValue (index, std::move (expr),
11743 : 44 : t->get_locus ()));
11744 : 44 : }
11745 : 0 : case DOT_DOT:
11746 : : /* this is a struct base and can't be parsed here, so just return
11747 : : * nothing without erroring */
11748 : :
11749 : 0 : return nullptr;
11750 : 0 : default:
11751 : 0 : add_error (
11752 : 0 : Error (t->get_locus (),
11753 : : "unrecognised token %qs as first token of struct expr field - "
11754 : : "expected identifier or integer literal",
11755 : : t->get_token_description ()));
11756 : :
11757 : 0 : return nullptr;
11758 : : }
11759 : 1528 : }
11760 : :
11761 : : // "Unexpected token" panic mode - flags gcc error at unexpected token
11762 : : template <typename ManagedTokenSource>
11763 : : void
11764 : : Parser<ManagedTokenSource>::unexpected_token (const_TokenPtr t)
11765 : : {
11766 : : Error error (t->get_locus (), "unexpected token %qs\n",
11767 : : t->get_token_description ());
11768 : : add_error (std::move (error));
11769 : : }
11770 : :
11771 : : /* Crappy "error recovery" performed after error by skipping tokens until a
11772 : : * semi-colon is found */
11773 : : template <typename ManagedTokenSource>
11774 : : void
11775 : 16 : Parser<ManagedTokenSource>::skip_after_semicolon ()
11776 : : {
11777 : 16 : const_TokenPtr t = lexer.peek_token ();
11778 : :
11779 : 20 : while (t->get_id () != END_OF_FILE && t->get_id () != SEMICOLON)
11780 : : {
11781 : 4 : lexer.skip_token ();
11782 : 4 : t = lexer.peek_token ();
11783 : : }
11784 : :
11785 : 16 : if (t->get_id () == SEMICOLON)
11786 : 2 : lexer.skip_token ();
11787 : 16 : }
11788 : :
11789 : : /* Skips the current token */
11790 : : template <typename ManagedTokenSource>
11791 : : void
11792 : 3847 : Parser<ManagedTokenSource>::skip_token ()
11793 : : {
11794 : 3847 : lexer.skip_token ();
11795 : 393 : }
11796 : :
11797 : : /* Checks if current token has inputted id - skips it and returns true if so,
11798 : : * diagnoses an error and returns false otherwise. */
11799 : : template <typename ManagedTokenSource>
11800 : : bool
11801 : 173610 : Parser<ManagedTokenSource>::skip_token (TokenId token_id)
11802 : : {
11803 : 173610 : return expect_token (token_id) != const_TokenPtr ();
11804 : : }
11805 : :
11806 : : /* Checks if current token is similar to inputted token - skips it and returns
11807 : : * true if so, diagnoses an error and returns false otherwise. */
11808 : : template <typename ManagedTokenSource>
11809 : : bool
11810 : 2159 : Parser<ManagedTokenSource>::skip_token (const_TokenPtr token)
11811 : : {
11812 : 6431 : return expect_token (token) != const_TokenPtr ();
11813 : : }
11814 : :
11815 : : /* Checks if current token has inputted id - skips it and returns true if so,
11816 : : * returns false otherwise without diagnosing an error */
11817 : : template <typename ManagedTokenSource>
11818 : : bool
11819 : 20856 : Parser<ManagedTokenSource>::maybe_skip_token (TokenId token_id)
11820 : : {
11821 : 41712 : if (lexer.peek_token ()->get_id () != token_id)
11822 : : return false;
11823 : : else
11824 : 811 : return skip_token (token_id);
11825 : : }
11826 : :
11827 : : /* Checks the current token - if id is same as expected, skips and returns it,
11828 : : * otherwise diagnoses error and returns null. */
11829 : : template <typename ManagedTokenSource>
11830 : : const_TokenPtr
11831 : 196004 : Parser<ManagedTokenSource>::expect_token (TokenId token_id)
11832 : : {
11833 : 196004 : const_TokenPtr t = lexer.peek_token ();
11834 : 196004 : if (t->get_id () == token_id)
11835 : : {
11836 : 194596 : lexer.skip_token ();
11837 : 194596 : return t;
11838 : : }
11839 : : else
11840 : : {
11841 : 1408 : Error error (t->get_locus (), "expecting %qs but %qs found",
11842 : : get_token_description (token_id),
11843 : : t->get_token_description ());
11844 : 1408 : add_error (std::move (error));
11845 : :
11846 : 1408 : return const_TokenPtr ();
11847 : 1408 : }
11848 : 196004 : }
11849 : :
11850 : : /* Checks the current token - if same as expected, skips and returns it,
11851 : : * otherwise diagnoses error and returns null. */
11852 : : template <typename ManagedTokenSource>
11853 : : const_TokenPtr
11854 : 2159 : Parser<ManagedTokenSource>::expect_token (const_TokenPtr token_expect)
11855 : : {
11856 : 2159 : const_TokenPtr t = lexer.peek_token ();
11857 : 2159 : if (t->get_id () == token_expect->get_id ()
11858 : 2266 : && (!t->should_have_str () || t->get_str () == token_expect->get_str ()))
11859 : : {
11860 : 2113 : lexer.skip_token ();
11861 : 2113 : return t;
11862 : : }
11863 : : else
11864 : : {
11865 : 46 : Error error (t->get_locus (), "expecting %qs but %qs found",
11866 : : token_expect->get_token_description (),
11867 : : t->get_token_description ());
11868 : 46 : add_error (std::move (error));
11869 : :
11870 : 46 : return const_TokenPtr ();
11871 : 46 : }
11872 : 2159 : }
11873 : :
11874 : : // Skips all tokens until EOF or }. Don't use.
11875 : : template <typename ManagedTokenSource>
11876 : : void
11877 : : Parser<ManagedTokenSource>::skip_after_end ()
11878 : : {
11879 : : const_TokenPtr t = lexer.peek_token ();
11880 : :
11881 : : while (t->get_id () != END_OF_FILE && t->get_id () != RIGHT_CURLY)
11882 : : {
11883 : : lexer.skip_token ();
11884 : : t = lexer.peek_token ();
11885 : : }
11886 : :
11887 : : if (t->get_id () == RIGHT_CURLY)
11888 : : {
11889 : : lexer.skip_token ();
11890 : : }
11891 : : }
11892 : :
11893 : : /* A slightly more aware error-handler that skips all tokens until it reaches
11894 : : * the end of the block scope (i.e. when left curly brackets = right curly
11895 : : * brackets). Note: assumes currently in the middle of a block. Use
11896 : : * skip_after_next_block to skip based on the assumption that the block
11897 : : * has not been entered yet. */
11898 : : template <typename ManagedTokenSource>
11899 : : void
11900 : 9 : Parser<ManagedTokenSource>::skip_after_end_block ()
11901 : : {
11902 : 9 : const_TokenPtr t = lexer.peek_token ();
11903 : 9 : int curly_count = 1;
11904 : :
11905 : 170 : while (curly_count > 0 && t->get_id () != END_OF_FILE)
11906 : : {
11907 : 161 : switch (t->get_id ())
11908 : : {
11909 : 16 : case LEFT_CURLY:
11910 : 16 : curly_count++;
11911 : 16 : break;
11912 : 17 : case RIGHT_CURLY:
11913 : 17 : curly_count--;
11914 : 17 : break;
11915 : : default:
11916 : : break;
11917 : : }
11918 : 161 : lexer.skip_token ();
11919 : 161 : t = lexer.peek_token ();
11920 : : }
11921 : 9 : }
11922 : :
11923 : : /* Skips tokens until the end of the next block. i.e. assumes that the block
11924 : : * has not been entered yet. */
11925 : : template <typename ManagedTokenSource>
11926 : : void
11927 : 1 : Parser<ManagedTokenSource>::skip_after_next_block ()
11928 : : {
11929 : 1 : const_TokenPtr t = lexer.peek_token ();
11930 : :
11931 : : // initial loop - skip until EOF if no left curlies encountered
11932 : 1 : while (t->get_id () != END_OF_FILE && t->get_id () != LEFT_CURLY)
11933 : : {
11934 : 0 : lexer.skip_token ();
11935 : :
11936 : 0 : t = lexer.peek_token ();
11937 : : }
11938 : :
11939 : : // if next token is left, skip it and then skip after the block ends
11940 : 1 : if (t->get_id () == LEFT_CURLY)
11941 : : {
11942 : 1 : lexer.skip_token ();
11943 : :
11944 : 1 : skip_after_end_block ();
11945 : : }
11946 : : // otherwise, do nothing as EOF
11947 : 1 : }
11948 : :
11949 : : /* Skips all tokens until ] (the end of an attribute) - does not skip the ]
11950 : : * (as designed for attribute body use) */
11951 : : template <typename ManagedTokenSource>
11952 : : void
11953 : 0 : Parser<ManagedTokenSource>::skip_after_end_attribute ()
11954 : : {
11955 : 0 : const_TokenPtr t = lexer.peek_token ();
11956 : :
11957 : 0 : while (t->get_id () != RIGHT_SQUARE)
11958 : : {
11959 : 0 : lexer.skip_token ();
11960 : 0 : t = lexer.peek_token ();
11961 : : }
11962 : :
11963 : : // Don't skip the RIGHT_SQUARE token
11964 : 0 : }
11965 : :
11966 : : /* Pratt parser impl of parse_expr. FIXME: this is only provisional and
11967 : : * probably will be changed. */
11968 : : template <typename ManagedTokenSource>
11969 : : std::unique_ptr<AST::Expr>
11970 : 42163 : Parser<ManagedTokenSource>::parse_expr (int right_binding_power,
11971 : : AST::AttrVec outer_attrs,
11972 : : ParseRestrictions restrictions)
11973 : : {
11974 : 42163 : const_TokenPtr current_token = lexer.peek_token ();
11975 : : // Special hack because we are allowed to return nullptr, in that case we
11976 : : // don't want to skip the token, since we don't actually parse it. But if
11977 : : // null isn't allowed it indicates an error, and we want to skip past that.
11978 : : // So return early if it is one of the tokens that ends an expression
11979 : : // (or at least cannot start a new expression).
11980 : 42163 : if (restrictions.expr_can_be_null)
11981 : : {
11982 : 1087 : TokenId id = current_token->get_id ();
11983 : 1087 : if (id == SEMICOLON || id == RIGHT_PAREN || id == RIGHT_CURLY
11984 : : || id == RIGHT_SQUARE || id == COMMA || id == LEFT_CURLY)
11985 : 68 : return nullptr;
11986 : : }
11987 : :
11988 : 42095 : if (current_token->get_id () == LEFT_SHIFT)
11989 : : {
11990 : 2 : lexer.split_current_token (LEFT_ANGLE, LEFT_ANGLE);
11991 : 2 : current_token = lexer.peek_token ();
11992 : : }
11993 : :
11994 : 42095 : lexer.skip_token ();
11995 : :
11996 : 42095 : ParseRestrictions null_denotation_restrictions = restrictions;
11997 : 42095 : null_denotation_restrictions.expr_can_be_stmt = false;
11998 : :
11999 : : // parse null denotation (unary part of expression)
12000 : 42095 : std::unique_ptr<AST::Expr> expr
12001 : 126285 : = null_denotation (current_token, {}, null_denotation_restrictions);
12002 : :
12003 : 42095 : return left_denotations (std::move (expr), right_binding_power,
12004 : 42095 : std::move (outer_attrs), restrictions);
12005 : 42095 : }
12006 : :
12007 : : template <typename ManagedTokenSource>
12008 : : std::unique_ptr<AST::Expr>
12009 : 50303 : Parser<ManagedTokenSource>::left_denotations (std::unique_ptr<AST::Expr> expr,
12010 : : int right_binding_power,
12011 : : AST::AttrVec outer_attrs,
12012 : : ParseRestrictions restrictions)
12013 : : {
12014 : 50303 : if (expr == nullptr)
12015 : : {
12016 : : // DEBUG
12017 : 23 : rust_debug ("null denotation is null; returning null for parse_expr");
12018 : 23 : return nullptr;
12019 : : }
12020 : :
12021 : 50280 : const_TokenPtr current_token = lexer.peek_token ();
12022 : :
12023 : 14958 : if (restrictions.expr_can_be_stmt && !expr->is_expr_without_block ()
12024 : 3682 : && current_token->get_id () != DOT
12025 : 53957 : && current_token->get_id () != QUESTION_MARK)
12026 : : {
12027 : 3677 : rust_debug ("statement expression with block");
12028 : 3677 : expr->set_outer_attrs (std::move (outer_attrs));
12029 : 3677 : return expr;
12030 : : }
12031 : :
12032 : 60556 : restrictions.expr_can_be_stmt = false;
12033 : :
12034 : : // stop parsing if find lower priority token - parse higher priority first
12035 : 181668 : while (right_binding_power < left_binding_power (current_token))
12036 : : {
12037 : 13955 : lexer.skip_token ();
12038 : :
12039 : : // FIXME attributes should generally be applied to the null denotation.
12040 : 41865 : expr = left_denotation (current_token, std::move (expr),
12041 : : std::move (outer_attrs), restrictions);
12042 : :
12043 : 13955 : if (expr == nullptr)
12044 : : {
12045 : : // DEBUG
12046 : 2 : rust_debug ("left denotation is null; returning null for parse_expr");
12047 : :
12048 : 2 : return nullptr;
12049 : : }
12050 : :
12051 : 13953 : current_token = lexer.peek_token ();
12052 : : }
12053 : :
12054 : 46601 : return expr;
12055 : 50280 : }
12056 : :
12057 : : // Parse expression with lowest left binding power.
12058 : : template <typename ManagedTokenSource>
12059 : : std::unique_ptr<AST::Expr>
12060 : 32871 : Parser<ManagedTokenSource>::parse_expr (AST::AttrVec outer_attrs,
12061 : : ParseRestrictions restrictions)
12062 : : {
12063 : 32871 : return parse_expr (LBP_LOWEST, std::move (outer_attrs), restrictions);
12064 : : }
12065 : :
12066 : : /* Determines action to take when finding token at beginning of expression. */
12067 : : template <typename ManagedTokenSource>
12068 : : std::unique_ptr<AST::Expr>
12069 : 42095 : Parser<ManagedTokenSource>::null_denotation (const_TokenPtr tok,
12070 : : AST::AttrVec outer_attrs,
12071 : : ParseRestrictions restrictions)
12072 : : {
12073 : : /* note: tok is previous character in input stream, not current one, as
12074 : : * parse_expr skips it before passing it in */
12075 : :
12076 : : /* as a Pratt parser (which works by decomposing expressions into a null
12077 : : * denotation and then a left denotation), null denotations handle primaries
12078 : : * and unary operands (but only prefix unary operands) */
12079 : :
12080 : 42095 : switch (tok->get_id ())
12081 : : {
12082 : 19110 : case IDENTIFIER:
12083 : : case SELF:
12084 : : case SELF_ALIAS:
12085 : : case DOLLAR_SIGN:
12086 : : case CRATE:
12087 : : case SUPER: {
12088 : : // DEBUG
12089 : 19110 : rust_debug ("beginning null denotation identifier handling");
12090 : :
12091 : : /* best option: parse as path, then extract identifier, macro,
12092 : : * struct/enum, or just path info from it */
12093 : 38220 : AST::PathInExpression path = parse_path_in_expression_pratt (tok);
12094 : :
12095 : 38220 : return null_denotation_path (std::move (path), std::move (outer_attrs),
12096 : 19110 : restrictions);
12097 : 19110 : }
12098 : 0 : case SCOPE_RESOLUTION: {
12099 : : // TODO: fix: this is for global paths, i.e. std::string::whatever
12100 : 0 : Error error (tok->get_locus (),
12101 : : "found null denotation scope resolution operator, and "
12102 : : "have not written handling for it");
12103 : 0 : add_error (std::move (error));
12104 : :
12105 : 0 : return nullptr;
12106 : 0 : }
12107 : 22985 : default:
12108 : 45970 : return null_denotation_not_path (std::move (tok), std::move (outer_attrs),
12109 : 22985 : restrictions);
12110 : : }
12111 : : }
12112 : :
12113 : : // Handling of expresions that start with a path for `null_denotation`.
12114 : : template <typename ManagedTokenSource>
12115 : : std::unique_ptr<AST::Expr>
12116 : 27238 : Parser<ManagedTokenSource>::null_denotation_path (
12117 : : AST::PathInExpression path, AST::AttrVec outer_attrs,
12118 : : ParseRestrictions restrictions)
12119 : : {
12120 : 27238 : rust_debug ("parsing null denotation after path");
12121 : :
12122 : : // HACK: always make "self" by itself a path (regardless of next
12123 : : // tokens)
12124 : 27238 : if (path.is_single_segment () && path.get_segments ()[0].is_lower_self_seg ())
12125 : : {
12126 : : // HACK: add outer attrs to path
12127 : 2844 : path.set_outer_attrs (std::move (outer_attrs));
12128 : 2844 : return std::unique_ptr<AST::PathInExpression> (
12129 : 2844 : new AST::PathInExpression (std::move (path)));
12130 : : }
12131 : :
12132 : : // branch on next token
12133 : 24394 : const_TokenPtr t = lexer.peek_token ();
12134 : 24394 : switch (t->get_id ())
12135 : : {
12136 : 1699 : case EXCLAM:
12137 : : // macro
12138 : 3398 : return parse_macro_invocation_partial (std::move (path),
12139 : 1699 : std::move (outer_attrs));
12140 : 1272 : case LEFT_CURLY: {
12141 : 1272 : bool not_a_block = lexer.peek_token (1)->get_id () == IDENTIFIER
12142 : 3435 : && (lexer.peek_token (2)->get_id () == COMMA
12143 : 2920 : || (lexer.peek_token (2)->get_id () == COLON
12144 : 2251 : && (lexer.peek_token (4)->get_id () == COMMA
12145 : 298 : || !can_tok_start_type (
12146 : 644 : lexer.peek_token (3)->get_id ()))));
12147 : :
12148 : : /* definitely not a block:
12149 : : * path '{' ident ','
12150 : : * path '{' ident ':' [anything] ','
12151 : : * path '{' ident ':' [not a type]
12152 : : * otherwise, assume block expr and thus path */
12153 : : // DEBUG
12154 : 5088 : rust_debug ("values of lookahead: '%s' '%s' '%s' '%s' ",
12155 : : lexer.peek_token (1)->get_token_description (),
12156 : : lexer.peek_token (2)->get_token_description (),
12157 : : lexer.peek_token (3)->get_token_description (),
12158 : : lexer.peek_token (4)->get_token_description ());
12159 : :
12160 : 2362 : rust_debug ("can be struct expr: '%s', not a block: '%s'",
12161 : : restrictions.can_be_struct_expr ? "true" : "false",
12162 : : not_a_block ? "true" : "false");
12163 : :
12164 : : // struct/enum expr struct
12165 : 1272 : if (!restrictions.can_be_struct_expr && !not_a_block)
12166 : : {
12167 : : // HACK: add outer attrs to path
12168 : 413 : path.set_outer_attrs (std::move (outer_attrs));
12169 : 413 : return std::unique_ptr<AST::PathInExpression> (
12170 : 413 : new AST::PathInExpression (std::move (path)));
12171 : : }
12172 : 859 : return parse_struct_expr_struct_partial (std::move (path),
12173 : 859 : std::move (outer_attrs));
12174 : : }
12175 : 6847 : case LEFT_PAREN:
12176 : : // struct/enum expr tuple
12177 : 6847 : if (!restrictions.can_be_struct_expr)
12178 : : {
12179 : : // assume path is returned
12180 : : // HACK: add outer attributes to path
12181 : 79 : path.set_outer_attrs (std::move (outer_attrs));
12182 : 79 : return std::unique_ptr<AST::PathInExpression> (
12183 : 79 : new AST::PathInExpression (std::move (path)));
12184 : : }
12185 : 6768 : return parse_struct_expr_tuple_partial (std::move (path),
12186 : 6768 : std::move (outer_attrs));
12187 : 14576 : default:
12188 : : // assume path is returned if not single segment
12189 : 14576 : if (path.is_single_segment ())
12190 : : {
12191 : : // FIXME: This should probably be returned as a path.
12192 : : /* HACK: may have to become permanent, but this is my current
12193 : : * identifier expression */
12194 : 43059 : return std::unique_ptr<AST::IdentifierExpr> (new AST::IdentifierExpr (
12195 : 28706 : path.get_segments ()[0].get_ident_segment ().as_string (), {},
12196 : 14353 : path.get_locus ()));
12197 : : }
12198 : : // HACK: add outer attrs to path
12199 : 223 : path.set_outer_attrs (std::move (outer_attrs));
12200 : 223 : return std::unique_ptr<AST::PathInExpression> (
12201 : 223 : new AST::PathInExpression (std::move (path)));
12202 : : }
12203 : : rust_unreachable ();
12204 : 24394 : }
12205 : :
12206 : : // Handling of expresions that do not start with a path for `null_denotation`.
12207 : : template <typename ManagedTokenSource>
12208 : : std::unique_ptr<AST::Expr>
12209 : 22985 : Parser<ManagedTokenSource>::null_denotation_not_path (
12210 : : const_TokenPtr tok, AST::AttrVec outer_attrs, ParseRestrictions restrictions)
12211 : : {
12212 : 22985 : switch (tok->get_id ())
12213 : : {
12214 : : // FIXME: Handle in null_denotation_path?
12215 : 80 : case LEFT_SHIFT:
12216 : : case LEFT_ANGLE: {
12217 : : // qualified path
12218 : : // HACK: add outer attrs to path
12219 : 80 : AST::QualifiedPathInExpression path
12220 : : = parse_qualified_path_in_expression (tok->get_locus ());
12221 : 80 : path.set_outer_attrs (std::move (outer_attrs));
12222 : 80 : return std::unique_ptr<AST::QualifiedPathInExpression> (
12223 : 80 : new AST::QualifiedPathInExpression (std::move (path)));
12224 : 80 : }
12225 : : // FIXME: delegate to parse_literal_expr instead? would have to rejig
12226 : : // tokens and whatever.
12227 : : // FIXME: for literal exprs, outer attrs should be passed in, and later
12228 : : // error if it does not make up the entire statement.
12229 : 12268 : case INT_LITERAL:
12230 : : // we should check the range, but ignore for now
12231 : : // encode as int?
12232 : 12268 : return std::unique_ptr<AST::LiteralExpr> (
12233 : 25585 : new AST::LiteralExpr (tok->get_str (), AST::Literal::INT,
12234 : 12268 : tok->get_type_hint (), {}, tok->get_locus ()));
12235 : 331 : case FLOAT_LITERAL:
12236 : : // encode as float?
12237 : 331 : return std::unique_ptr<AST::LiteralExpr> (
12238 : 993 : new AST::LiteralExpr (tok->get_str (), AST::Literal::FLOAT,
12239 : 331 : tok->get_type_hint (), {}, tok->get_locus ()));
12240 : 1477 : case STRING_LITERAL:
12241 : 1477 : return std::unique_ptr<AST::LiteralExpr> (
12242 : 4431 : new AST::LiteralExpr (tok->get_str (), AST::Literal::STRING,
12243 : 1477 : tok->get_type_hint (), {}, tok->get_locus ()));
12244 : 73 : case BYTE_STRING_LITERAL:
12245 : 73 : return std::unique_ptr<AST::LiteralExpr> (
12246 : 219 : new AST::LiteralExpr (tok->get_str (), AST::Literal::BYTE_STRING,
12247 : 73 : tok->get_type_hint (), {}, tok->get_locus ()));
12248 : 190 : case CHAR_LITERAL:
12249 : 190 : return std::unique_ptr<AST::LiteralExpr> (
12250 : 570 : new AST::LiteralExpr (tok->get_str (), AST::Literal::CHAR,
12251 : 190 : tok->get_type_hint (), {}, tok->get_locus ()));
12252 : 57 : case BYTE_CHAR_LITERAL:
12253 : 57 : return std::unique_ptr<AST::LiteralExpr> (
12254 : 171 : new AST::LiteralExpr (tok->get_str (), AST::Literal::BYTE,
12255 : 57 : tok->get_type_hint (), {}, tok->get_locus ()));
12256 : 390 : case TRUE_LITERAL:
12257 : 390 : return std::unique_ptr<AST::LiteralExpr> (
12258 : 1170 : new AST::LiteralExpr (Values::Keywords::TRUE_LITERAL,
12259 : : AST::Literal::BOOL, tok->get_type_hint (), {},
12260 : 390 : tok->get_locus ()));
12261 : 223 : case FALSE_LITERAL:
12262 : 223 : return std::unique_ptr<AST::LiteralExpr> (
12263 : 669 : new AST::LiteralExpr (Values::Keywords::FALSE_LITERAL,
12264 : : AST::Literal::BOOL, tok->get_type_hint (), {},
12265 : 223 : tok->get_locus ()));
12266 : 498 : case LEFT_PAREN:
12267 : 498 : return parse_grouped_or_tuple_expr (std::move (outer_attrs),
12268 : 498 : tok->get_locus ());
12269 : :
12270 : : /*case PLUS: { // unary plus operator
12271 : : // invoke parse_expr recursively with appropriate priority, etc. for
12272 : : below AST::Expr* expr = parse_expr(LBP_UNARY_PLUS);
12273 : :
12274 : : if (expr == nullptr)
12275 : : return nullptr;
12276 : : // can only apply to integer and float expressions
12277 : : if (expr->get_type() != integer_type_node || expr->get_type() !=
12278 : : float_type_node) { rust_error_at(tok->get_locus(), "operand of unary
12279 : : plus must be int or float but it is %s", print_type(expr->get_type()));
12280 : : return nullptr;
12281 : : }
12282 : :
12283 : : return Tree(expr, tok->get_locus());
12284 : : }*/
12285 : : // Rust has no unary plus operator
12286 : 187 : case MINUS: { // unary minus
12287 : 187 : ParseRestrictions entered_from_unary;
12288 : 187 : entered_from_unary.entered_from_unary = true;
12289 : 187 : if (!restrictions.can_be_struct_expr)
12290 : 14 : entered_from_unary.can_be_struct_expr = false;
12291 : 187 : std::unique_ptr<AST::Expr> expr
12292 : 187 : = parse_expr (LBP_UNARY_MINUS, {}, entered_from_unary);
12293 : :
12294 : 187 : if (expr == nullptr)
12295 : 0 : return nullptr;
12296 : : // can only apply to integer and float expressions
12297 : : /*if (expr.get_type() != integer_type_node || expr.get_type() !=
12298 : : float_type_node) { rust_error_at(tok->get_locus(), "operand of unary
12299 : : minus must be int or float but it is %s",
12300 : : print_type(expr.get_type())); return Tree::error();
12301 : : }*/
12302 : : /* FIXME: when implemented the "get type" method on expr, ensure it is
12303 : : * int or float type (except unsigned int). Actually, this would
12304 : : * probably have to be done in semantic analysis (as type checking).
12305 : : */
12306 : :
12307 : : /* FIXME: allow outer attributes on these expressions by having an
12308 : : * outer attrs parameter in function*/
12309 : 187 : return std::unique_ptr<AST::NegationExpr> (
12310 : 187 : new AST::NegationExpr (std::move (expr), NegationOperator::NEGATE,
12311 : 187 : std::move (outer_attrs), tok->get_locus ()));
12312 : 187 : }
12313 : 103 : case EXCLAM: { // logical or bitwise not
12314 : 103 : ParseRestrictions entered_from_unary;
12315 : 103 : entered_from_unary.entered_from_unary = true;
12316 : 103 : if (!restrictions.can_be_struct_expr)
12317 : 63 : entered_from_unary.can_be_struct_expr = false;
12318 : 103 : std::unique_ptr<AST::Expr> expr
12319 : 103 : = parse_expr (LBP_UNARY_EXCLAM, {}, entered_from_unary);
12320 : :
12321 : 103 : if (expr == nullptr)
12322 : 0 : return nullptr;
12323 : : // can only apply to boolean expressions
12324 : : /*if (expr.get_type() != boolean_type_node) {
12325 : : rust_error_at(tok->get_locus(),
12326 : : "operand of logical not must be a boolean but it is %s",
12327 : : print_type(expr.get_type()));
12328 : : return Tree::error();
12329 : : }*/
12330 : : /* FIXME: type checking for boolean or integer expressions in semantic
12331 : : * analysis */
12332 : :
12333 : : // FIXME: allow outer attributes on these expressions
12334 : 103 : return std::unique_ptr<AST::NegationExpr> (
12335 : 103 : new AST::NegationExpr (std::move (expr), NegationOperator::NOT,
12336 : 103 : std::move (outer_attrs), tok->get_locus ()));
12337 : 103 : }
12338 : 1288 : case ASTERISK: {
12339 : : /* pointer dereference only - HACK: as struct expressions should
12340 : : * always be value expressions, cannot be dereferenced */
12341 : 1288 : ParseRestrictions entered_from_unary;
12342 : 1288 : entered_from_unary.entered_from_unary = true;
12343 : 1288 : entered_from_unary.can_be_struct_expr = false;
12344 : 1288 : std::unique_ptr<AST::Expr> expr
12345 : 1288 : = parse_expr (LBP_UNARY_ASTERISK, {}, entered_from_unary);
12346 : : // FIXME: allow outer attributes on expression
12347 : 1288 : return std::unique_ptr<AST::DereferenceExpr> (
12348 : 1288 : new AST::DereferenceExpr (std::move (expr), std::move (outer_attrs),
12349 : 1288 : tok->get_locus ()));
12350 : 1288 : }
12351 : 851 : case AMP: {
12352 : : // (single) "borrow" expression - shared (mutable) or immutable
12353 : 851 : std::unique_ptr<AST::Expr> expr = nullptr;
12354 : 851 : bool is_mut_borrow = false;
12355 : :
12356 : 851 : ParseRestrictions entered_from_unary;
12357 : 851 : entered_from_unary.entered_from_unary = true;
12358 : 851 : if (!restrictions.can_be_struct_expr)
12359 : 0 : entered_from_unary.can_be_struct_expr = false;
12360 : :
12361 : 1702 : if (lexer.peek_token ()->get_id () == MUT)
12362 : : {
12363 : 217 : lexer.skip_token ();
12364 : 217 : expr = parse_expr (LBP_UNARY_AMP_MUT, {}, entered_from_unary);
12365 : 217 : is_mut_borrow = true;
12366 : : }
12367 : : else
12368 : : {
12369 : 634 : expr = parse_expr (LBP_UNARY_AMP, {}, entered_from_unary);
12370 : : }
12371 : :
12372 : : // FIXME: allow outer attributes on expression
12373 : 851 : return std::unique_ptr<AST::BorrowExpr> (
12374 : 851 : new AST::BorrowExpr (std::move (expr), is_mut_borrow, false,
12375 : 851 : std::move (outer_attrs), tok->get_locus ()));
12376 : 851 : }
12377 : 23 : case LOGICAL_AND: {
12378 : : // (double) "borrow" expression - shared (mutable) or immutable
12379 : 23 : std::unique_ptr<AST::Expr> expr = nullptr;
12380 : 23 : bool is_mut_borrow = false;
12381 : :
12382 : 23 : ParseRestrictions entered_from_unary;
12383 : 23 : entered_from_unary.entered_from_unary = true;
12384 : :
12385 : 46 : if (lexer.peek_token ()->get_id () == MUT)
12386 : : {
12387 : 0 : lexer.skip_token ();
12388 : 0 : expr = parse_expr (LBP_UNARY_AMP_MUT, {}, entered_from_unary);
12389 : 0 : is_mut_borrow = true;
12390 : : }
12391 : : else
12392 : : {
12393 : 23 : expr = parse_expr (LBP_UNARY_AMP, {}, entered_from_unary);
12394 : : }
12395 : :
12396 : : // FIXME: allow outer attributes on expression
12397 : 23 : return std::unique_ptr<AST::BorrowExpr> (
12398 : 23 : new AST::BorrowExpr (std::move (expr), is_mut_borrow, true,
12399 : 23 : std::move (outer_attrs), tok->get_locus ()));
12400 : 23 : }
12401 : 61 : case OR:
12402 : : case PIPE:
12403 : : case MOVE:
12404 : : // closure expression
12405 : 183 : return parse_closure_expr_pratt (tok, std::move (outer_attrs));
12406 : 9 : case DOT_DOT:
12407 : : // either "range to" or "range full" expressions
12408 : 27 : return parse_nud_range_exclusive_expr (tok, std::move (outer_attrs));
12409 : 0 : case DOT_DOT_EQ:
12410 : : // range to inclusive expr
12411 : 0 : return parse_range_to_inclusive_expr (tok, std::move (outer_attrs));
12412 : 326 : case RETURN_KW:
12413 : : // FIXME: is this really a null denotation expression?
12414 : 326 : return parse_return_expr (std::move (outer_attrs), tok->get_locus ());
12415 : 68 : case BREAK:
12416 : : // FIXME: is this really a null denotation expression?
12417 : 68 : return parse_break_expr (std::move (outer_attrs), tok->get_locus ());
12418 : 10 : case CONTINUE:
12419 : 10 : return parse_continue_expr (std::move (outer_attrs), tok->get_locus ());
12420 : 692 : case LEFT_CURLY:
12421 : : // ok - this is an expression with block for once.
12422 : 692 : return parse_block_expr (std::move (outer_attrs),
12423 : 1384 : AST::LoopLabel::error (), tok->get_locus ());
12424 : 617 : case IF:
12425 : : // if or if let, so more lookahead to find out
12426 : 1234 : if (lexer.peek_token ()->get_id () == LET)
12427 : : {
12428 : : // if let expr
12429 : 2 : return parse_if_let_expr (std::move (outer_attrs), tok->get_locus ());
12430 : : }
12431 : : else
12432 : : {
12433 : : // if expr
12434 : 615 : return parse_if_expr (std::move (outer_attrs), tok->get_locus ());
12435 : : }
12436 : 33 : case LIFETIME:
12437 : 99 : return parse_labelled_loop_expr (tok, std::move (outer_attrs));
12438 : 66 : case LOOP:
12439 : 66 : return parse_loop_expr (std::move (outer_attrs), AST::LoopLabel::error (),
12440 : 66 : tok->get_locus ());
12441 : 35 : case WHILE:
12442 : 70 : if (lexer.peek_token ()->get_id () == LET)
12443 : : {
12444 : 1 : return parse_while_let_loop_expr (std::move (outer_attrs));
12445 : : }
12446 : : else
12447 : : {
12448 : 34 : return parse_while_loop_expr (std::move (outer_attrs),
12449 : 68 : AST::LoopLabel::error (),
12450 : 34 : tok->get_locus ());
12451 : : }
12452 : 3 : case FOR:
12453 : 3 : return parse_for_loop_expr (std::move (outer_attrs),
12454 : 6 : AST::LoopLabel::error ());
12455 : 203 : case MATCH_KW:
12456 : : // also an expression with block
12457 : 203 : return parse_match_expr (std::move (outer_attrs), tok->get_locus ());
12458 : 301 : case LEFT_SQUARE:
12459 : : // array definition expr (not indexing)
12460 : 301 : return parse_array_expr (std::move (outer_attrs), tok->get_locus ());
12461 : 2503 : case UNSAFE:
12462 : 2503 : return parse_unsafe_block_expr (std::move (outer_attrs),
12463 : 2503 : tok->get_locus ());
12464 : 1 : case UNDERSCORE:
12465 : 1 : add_error (
12466 : 2 : Error (tok->get_locus (),
12467 : : "use of %qs is not allowed on the right-side of an assignment",
12468 : : tok->get_token_description ()));
12469 : 1 : return nullptr;
12470 : 18 : default:
12471 : 18 : if (!restrictions.expr_can_be_null)
12472 : 18 : add_error (Error (tok->get_locus (),
12473 : : "found unexpected token %qs in null denotation",
12474 : : tok->get_token_description ()));
12475 : 18 : return nullptr;
12476 : : }
12477 : : }
12478 : :
12479 : : /* Called for each token that can appear in infix (between) position. Can be
12480 : : * operators or other punctuation. Returns a function pointer to member
12481 : : * function that implements the left denotation for the token given. */
12482 : : template <typename ManagedTokenSource>
12483 : : std::unique_ptr<AST::Expr>
12484 : 13955 : Parser<ManagedTokenSource>::left_denotation (const_TokenPtr tok,
12485 : : std::unique_ptr<AST::Expr> left,
12486 : : AST::AttrVec outer_attrs,
12487 : : ParseRestrictions restrictions)
12488 : : {
12489 : : // Token passed in has already been skipped, so peek gives "next" token
12490 : 13955 : switch (tok->get_id ())
12491 : : {
12492 : : // FIXME: allow for outer attributes to be applied
12493 : 0 : case QUESTION_MARK: {
12494 : 0 : location_t left_locus = left->get_locus ();
12495 : : // error propagation expression - unary postfix
12496 : 0 : return std::unique_ptr<AST::ErrorPropagationExpr> (
12497 : 0 : new AST::ErrorPropagationExpr (std::move (left),
12498 : 0 : std::move (outer_attrs), left_locus));
12499 : : }
12500 : 2647 : case PLUS:
12501 : : // sum expression - binary infix
12502 : : /*return parse_binary_plus_expr (tok, std::move (left),
12503 : : std::move (outer_attrs), restrictions);*/
12504 : 7941 : return parse_arithmetic_or_logical_expr (tok, std::move (left),
12505 : : std::move (outer_attrs),
12506 : : ArithmeticOrLogicalOperator::ADD,
12507 : 2647 : restrictions);
12508 : 677 : case MINUS:
12509 : : // difference expression - binary infix
12510 : : /*return parse_binary_minus_expr (tok, std::move (left),
12511 : : std::move (outer_attrs),
12512 : : restrictions);*/
12513 : 2031 : return parse_arithmetic_or_logical_expr (
12514 : : tok, std::move (left), std::move (outer_attrs),
12515 : 677 : ArithmeticOrLogicalOperator::SUBTRACT, restrictions);
12516 : 172 : case ASTERISK:
12517 : : // product expression - binary infix
12518 : : /*return parse_binary_mult_expr (tok, std::move (left),
12519 : : std::move (outer_attrs), restrictions);*/
12520 : 516 : return parse_arithmetic_or_logical_expr (
12521 : : tok, std::move (left), std::move (outer_attrs),
12522 : 172 : ArithmeticOrLogicalOperator::MULTIPLY, restrictions);
12523 : 30 : case DIV:
12524 : : // quotient expression - binary infix
12525 : : /*return parse_binary_div_expr (tok, std::move (left),
12526 : : std::move (outer_attrs), restrictions);*/
12527 : 90 : return parse_arithmetic_or_logical_expr (
12528 : : tok, std::move (left), std::move (outer_attrs),
12529 : 30 : ArithmeticOrLogicalOperator::DIVIDE, restrictions);
12530 : 36 : case PERCENT:
12531 : : // modulo expression - binary infix
12532 : : /*return parse_binary_mod_expr (tok, std::move (left),
12533 : : std::move (outer_attrs), restrictions);*/
12534 : 108 : return parse_arithmetic_or_logical_expr (
12535 : : tok, std::move (left), std::move (outer_attrs),
12536 : 36 : ArithmeticOrLogicalOperator::MODULUS, restrictions);
12537 : 30 : case AMP:
12538 : : // logical or bitwise and expression - binary infix
12539 : : /*return parse_bitwise_and_expr (tok, std::move (left),
12540 : : std::move (outer_attrs), restrictions);*/
12541 : 90 : return parse_arithmetic_or_logical_expr (
12542 : : tok, std::move (left), std::move (outer_attrs),
12543 : 30 : ArithmeticOrLogicalOperator::BITWISE_AND, restrictions);
12544 : 15 : case PIPE:
12545 : : // logical or bitwise or expression - binary infix
12546 : : /*return parse_bitwise_or_expr (tok, std::move (left),
12547 : : std::move (outer_attrs), restrictions);*/
12548 : 45 : return parse_arithmetic_or_logical_expr (
12549 : : tok, std::move (left), std::move (outer_attrs),
12550 : 15 : ArithmeticOrLogicalOperator::BITWISE_OR, restrictions);
12551 : 14 : case CARET:
12552 : : // logical or bitwise xor expression - binary infix
12553 : : /*return parse_bitwise_xor_expr (tok, std::move (left),
12554 : : std::move (outer_attrs), restrictions);*/
12555 : 42 : return parse_arithmetic_or_logical_expr (
12556 : : tok, std::move (left), std::move (outer_attrs),
12557 : 14 : ArithmeticOrLogicalOperator::BITWISE_XOR, restrictions);
12558 : 16 : case LEFT_SHIFT:
12559 : : // left shift expression - binary infix
12560 : : /*return parse_left_shift_expr (tok, std::move (left),
12561 : : std::move (outer_attrs), restrictions);*/
12562 : 48 : return parse_arithmetic_or_logical_expr (
12563 : : tok, std::move (left), std::move (outer_attrs),
12564 : 16 : ArithmeticOrLogicalOperator::LEFT_SHIFT, restrictions);
12565 : 14 : case RIGHT_SHIFT:
12566 : : // right shift expression - binary infix
12567 : : /*return parse_right_shift_expr (tok, std::move (left),
12568 : : std::move (outer_attrs), restrictions);*/
12569 : 42 : return parse_arithmetic_or_logical_expr (
12570 : : tok, std::move (left), std::move (outer_attrs),
12571 : 14 : ArithmeticOrLogicalOperator::RIGHT_SHIFT, restrictions);
12572 : 434 : case EQUAL_EQUAL:
12573 : : // equal to expression - binary infix (no associativity)
12574 : : /*return parse_binary_equal_expr (tok, std::move (left),
12575 : : std::move (outer_attrs),
12576 : : restrictions);*/
12577 : 1302 : return parse_comparison_expr (tok, std::move (left),
12578 : : std::move (outer_attrs),
12579 : 434 : ComparisonOperator::EQUAL, restrictions);
12580 : 113 : case NOT_EQUAL:
12581 : : // not equal to expression - binary infix (no associativity)
12582 : : /*return parse_binary_not_equal_expr (tok, std::move (left),
12583 : : std::move (outer_attrs),
12584 : : restrictions);*/
12585 : 339 : return parse_comparison_expr (tok, std::move (left),
12586 : : std::move (outer_attrs),
12587 : : ComparisonOperator::NOT_EQUAL,
12588 : 113 : restrictions);
12589 : 216 : case RIGHT_ANGLE:
12590 : : // greater than expression - binary infix (no associativity)
12591 : : /*return parse_binary_greater_than_expr (tok, std::move (left),
12592 : : std::move (outer_attrs),
12593 : : restrictions);*/
12594 : 648 : return parse_comparison_expr (tok, std::move (left),
12595 : : std::move (outer_attrs),
12596 : : ComparisonOperator::GREATER_THAN,
12597 : 216 : restrictions);
12598 : 73 : case LEFT_ANGLE:
12599 : : // less than expression - binary infix (no associativity)
12600 : : /*return parse_binary_less_than_expr (tok, std::move (left),
12601 : : std::move (outer_attrs),
12602 : : restrictions);*/
12603 : 219 : return parse_comparison_expr (tok, std::move (left),
12604 : : std::move (outer_attrs),
12605 : : ComparisonOperator::LESS_THAN,
12606 : 73 : restrictions);
12607 : 14 : case GREATER_OR_EQUAL:
12608 : : // greater than or equal to expression - binary infix (no associativity)
12609 : : /*return parse_binary_greater_equal_expr (tok, std::move (left),
12610 : : std::move (outer_attrs),
12611 : : restrictions);*/
12612 : 42 : return parse_comparison_expr (tok, std::move (left),
12613 : : std::move (outer_attrs),
12614 : : ComparisonOperator::GREATER_OR_EQUAL,
12615 : 14 : restrictions);
12616 : 59 : case LESS_OR_EQUAL:
12617 : : // less than or equal to expression - binary infix (no associativity)
12618 : : /*return parse_binary_less_equal_expr (tok, std::move (left),
12619 : : std::move (outer_attrs),
12620 : : restrictions);*/
12621 : 177 : return parse_comparison_expr (tok, std::move (left),
12622 : : std::move (outer_attrs),
12623 : : ComparisonOperator::LESS_OR_EQUAL,
12624 : 59 : restrictions);
12625 : 56 : case OR:
12626 : : // lazy logical or expression - binary infix
12627 : 168 : return parse_lazy_or_expr (tok, std::move (left), std::move (outer_attrs),
12628 : 56 : restrictions);
12629 : 322 : case LOGICAL_AND:
12630 : : // lazy logical and expression - binary infix
12631 : 966 : return parse_lazy_and_expr (tok, std::move (left),
12632 : 322 : std::move (outer_attrs), restrictions);
12633 : 3330 : case AS:
12634 : : /* type cast expression - kind of binary infix (RHS is actually a
12635 : : * TypeNoBounds) */
12636 : 9990 : return parse_type_cast_expr (tok, std::move (left),
12637 : 3330 : std::move (outer_attrs), restrictions);
12638 : 1664 : case EQUAL:
12639 : : // assignment expression - binary infix (note right-to-left
12640 : : // associativity)
12641 : 4992 : return parse_assig_expr (tok, std::move (left), std::move (outer_attrs),
12642 : 1664 : restrictions);
12643 : 62 : case PLUS_EQ:
12644 : : /* plus-assignment expression - binary infix (note right-to-left
12645 : : * associativity) */
12646 : : /*return parse_plus_assig_expr (tok, std::move (left),
12647 : : std::move (outer_attrs), restrictions);*/
12648 : 186 : return parse_compound_assignment_expr (tok, std::move (left),
12649 : : std::move (outer_attrs),
12650 : : CompoundAssignmentOperator::ADD,
12651 : 62 : restrictions);
12652 : 28 : case MINUS_EQ:
12653 : : /* minus-assignment expression - binary infix (note right-to-left
12654 : : * associativity) */
12655 : : /*return parse_minus_assig_expr (tok, std::move (left),
12656 : : std::move (outer_attrs), restrictions);*/
12657 : 84 : return parse_compound_assignment_expr (
12658 : : tok, std::move (left), std::move (outer_attrs),
12659 : 28 : CompoundAssignmentOperator::SUBTRACT, restrictions);
12660 : 7 : case ASTERISK_EQ:
12661 : : /* multiply-assignment expression - binary infix (note right-to-left
12662 : : * associativity) */
12663 : : /*return parse_mult_assig_expr (tok, std::move (left),
12664 : : std::move (outer_attrs), restrictions);*/
12665 : 21 : return parse_compound_assignment_expr (
12666 : : tok, std::move (left), std::move (outer_attrs),
12667 : 7 : CompoundAssignmentOperator::MULTIPLY, restrictions);
12668 : 7 : case DIV_EQ:
12669 : : /* division-assignment expression - binary infix (note right-to-left
12670 : : * associativity) */
12671 : : /*return parse_div_assig_expr (tok, std::move (left),
12672 : : std::move (outer_attrs), restrictions);*/
12673 : 21 : return parse_compound_assignment_expr (tok, std::move (left),
12674 : : std::move (outer_attrs),
12675 : : CompoundAssignmentOperator::DIVIDE,
12676 : 7 : restrictions);
12677 : 7 : case PERCENT_EQ:
12678 : : /* modulo-assignment expression - binary infix (note right-to-left
12679 : : * associativity) */
12680 : : /*return parse_mod_assig_expr (tok, std::move (left),
12681 : : std::move (outer_attrs), restrictions);*/
12682 : 21 : return parse_compound_assignment_expr (
12683 : : tok, std::move (left), std::move (outer_attrs),
12684 : 7 : CompoundAssignmentOperator::MODULUS, restrictions);
12685 : 21 : case AMP_EQ:
12686 : : /* bitwise and-assignment expression - binary infix (note right-to-left
12687 : : * associativity) */
12688 : : /*return parse_and_assig_expr (tok, std::move (left),
12689 : : std::move (outer_attrs), restrictions);*/
12690 : 63 : return parse_compound_assignment_expr (
12691 : : tok, std::move (left), std::move (outer_attrs),
12692 : 21 : CompoundAssignmentOperator::BITWISE_AND, restrictions);
12693 : 7 : case PIPE_EQ:
12694 : : /* bitwise or-assignment expression - binary infix (note right-to-left
12695 : : * associativity) */
12696 : : /*return parse_or_assig_expr (tok, std::move (left),
12697 : : std::move (outer_attrs), restrictions);*/
12698 : 21 : return parse_compound_assignment_expr (
12699 : : tok, std::move (left), std::move (outer_attrs),
12700 : 7 : CompoundAssignmentOperator::BITWISE_OR, restrictions);
12701 : 7 : case CARET_EQ:
12702 : : /* bitwise xor-assignment expression - binary infix (note right-to-left
12703 : : * associativity) */
12704 : : /*return parse_xor_assig_expr (tok, std::move (left),
12705 : : std::move (outer_attrs), restrictions);*/
12706 : 21 : return parse_compound_assignment_expr (
12707 : : tok, std::move (left), std::move (outer_attrs),
12708 : 7 : CompoundAssignmentOperator::BITWISE_XOR, restrictions);
12709 : 7 : case LEFT_SHIFT_EQ:
12710 : : /* left shift-assignment expression - binary infix (note right-to-left
12711 : : * associativity) */
12712 : : /*return parse_left_shift_assig_expr (tok, std::move (left),
12713 : : std::move (outer_attrs),
12714 : : restrictions);*/
12715 : 21 : return parse_compound_assignment_expr (
12716 : : tok, std::move (left), std::move (outer_attrs),
12717 : 7 : CompoundAssignmentOperator::LEFT_SHIFT, restrictions);
12718 : 7 : case RIGHT_SHIFT_EQ:
12719 : : /* right shift-assignment expression - binary infix (note right-to-left
12720 : : * associativity) */
12721 : : /*return parse_right_shift_assig_expr (tok, std::move (left),
12722 : : std::move (outer_attrs),
12723 : : restrictions);*/
12724 : 21 : return parse_compound_assignment_expr (
12725 : : tok, std::move (left), std::move (outer_attrs),
12726 : 7 : CompoundAssignmentOperator::RIGHT_SHIFT, restrictions);
12727 : 62 : case DOT_DOT:
12728 : : /* range exclusive expression - binary infix (no associativity)
12729 : : * either "range" or "range from" */
12730 : 186 : return parse_led_range_exclusive_expr (tok, std::move (left),
12731 : : std::move (outer_attrs),
12732 : 62 : restrictions);
12733 : 7 : case DOT_DOT_EQ:
12734 : : /* range inclusive expression - binary infix (no associativity)
12735 : : * unambiguously RangeInclusiveExpr */
12736 : 21 : return parse_range_inclusive_expr (tok, std::move (left),
12737 : 7 : std::move (outer_attrs), restrictions);
12738 : 0 : case SCOPE_RESOLUTION:
12739 : : // path expression - binary infix? FIXME should this even be parsed
12740 : : // here?
12741 : 0 : add_error (
12742 : 0 : Error (tok->get_locus (),
12743 : : "found scope resolution operator in left denotation "
12744 : : "function - this should probably be handled elsewhere"));
12745 : :
12746 : 0 : return nullptr;
12747 : 3197 : case DOT: {
12748 : : /* field expression or method call - relies on parentheses after next
12749 : : * identifier or await if token after is "await" (unary postfix) or
12750 : : * tuple index if token after is a decimal int literal */
12751 : :
12752 : 3197 : const_TokenPtr next_tok = lexer.peek_token ();
12753 : 3197 : if (next_tok->get_id () == IDENTIFIER
12754 : 3197 : && next_tok->get_str () == Values::Keywords::AWAIT)
12755 : : {
12756 : : // await expression
12757 : 0 : return parse_await_expr (tok, std::move (left),
12758 : 0 : std::move (outer_attrs));
12759 : : }
12760 : 3197 : else if (next_tok->get_id () == INT_LITERAL)
12761 : : {
12762 : : // tuple index expression - TODO check for decimal int literal
12763 : 2313 : return parse_tuple_index_expr (tok, std::move (left),
12764 : : std::move (outer_attrs),
12765 : 771 : restrictions);
12766 : : }
12767 : 2426 : else if (next_tok->get_id () == FLOAT_LITERAL)
12768 : : {
12769 : : // Lexer has misidentified a tuple index as a float literal
12770 : : // eg: `(x, (y, z)).1.0` -> 1.0 has been identified as a float
12771 : : // literal. This means we should split it into three new separate
12772 : : // tokens, the first tuple index, the dot and the second tuple
12773 : : // index.
12774 : 2 : auto current_loc = next_tok->get_locus ();
12775 : 2 : auto str = next_tok->get_str ();
12776 : 2 : auto dot_pos = str.find (".");
12777 : 2 : auto prefix = str.substr (0, dot_pos);
12778 : 2 : auto suffix = str.substr (dot_pos + 1);
12779 : 2 : if (dot_pos == str.size () - 1)
12780 : 3 : lexer.split_current_token (
12781 : : {Token::make_int (current_loc, std::move (prefix),
12782 : : CORETYPE_PURE_DECIMAL),
12783 : : Token::make (DOT, current_loc + 1)});
12784 : : else
12785 : 4 : lexer.split_current_token (
12786 : : {Token::make_int (current_loc, std::move (prefix),
12787 : : CORETYPE_PURE_DECIMAL),
12788 : : Token::make (DOT, current_loc + 1),
12789 : : Token::make_int (current_loc + 2, std::move (suffix),
12790 : : CORETYPE_PURE_DECIMAL)});
12791 : 6 : return parse_tuple_index_expr (tok, std::move (left),
12792 : : std::move (outer_attrs),
12793 : 2 : restrictions);
12794 : 2 : }
12795 : 4800 : else if (next_tok->get_id () == IDENTIFIER
12796 : 6256 : && lexer.peek_token (1)->get_id () != LEFT_PAREN
12797 : 5288 : && lexer.peek_token (1)->get_id () != SCOPE_RESOLUTION)
12798 : : {
12799 : : /* field expression (or should be) - FIXME: scope resolution right
12800 : : * after identifier should always be method, I'm pretty sure */
12801 : 4158 : return parse_field_access_expr (tok, std::move (left),
12802 : : std::move (outer_attrs),
12803 : 1386 : restrictions);
12804 : : }
12805 : : else
12806 : : {
12807 : : // method call (probably)
12808 : 3114 : return parse_method_call_expr (tok, std::move (left),
12809 : : std::move (outer_attrs),
12810 : 1038 : restrictions);
12811 : : }
12812 : 3197 : }
12813 : 160 : case LEFT_PAREN:
12814 : : // function call - method call is based on dot notation first
12815 : 480 : return parse_function_call_expr (tok, std::move (left),
12816 : 160 : std::move (outer_attrs), restrictions);
12817 : 437 : case LEFT_SQUARE:
12818 : : // array or slice index expression (pseudo binary infix)
12819 : 1311 : return parse_index_expr (tok, std::move (left), std::move (outer_attrs),
12820 : 437 : restrictions);
12821 : 0 : case FLOAT_LITERAL:
12822 : : /* HACK: get around lexer mis-identifying '.0' or '.1' or whatever as a
12823 : : * float literal - TODO does this happen anymore? It shouldn't. */
12824 : 0 : return parse_tuple_index_expr_float (tok, std::move (left),
12825 : : std::move (outer_attrs),
12826 : 0 : restrictions);
12827 : 0 : default:
12828 : 0 : add_error (Error (tok->get_locus (),
12829 : : "found unexpected token %qs in left denotation",
12830 : : tok->get_token_description ()));
12831 : :
12832 : 0 : return nullptr;
12833 : : }
12834 : : }
12835 : :
12836 : : /* Returns the left binding power for the given ArithmeticOrLogicalExpr type.
12837 : : * TODO make constexpr? Would that even do anything useful? */
12838 : : inline binding_powers
12839 : 3651 : get_lbp_for_arithmetic_or_logical_expr (
12840 : : AST::ArithmeticOrLogicalExpr::ExprType expr_type)
12841 : : {
12842 : 3651 : switch (expr_type)
12843 : : {
12844 : : case ArithmeticOrLogicalOperator::ADD:
12845 : : return LBP_PLUS;
12846 : : case ArithmeticOrLogicalOperator::SUBTRACT:
12847 : : return LBP_MINUS;
12848 : : case ArithmeticOrLogicalOperator::MULTIPLY:
12849 : : return LBP_MUL;
12850 : : case ArithmeticOrLogicalOperator::DIVIDE:
12851 : : return LBP_DIV;
12852 : : case ArithmeticOrLogicalOperator::MODULUS:
12853 : : return LBP_MOD;
12854 : : case ArithmeticOrLogicalOperator::BITWISE_AND:
12855 : : return LBP_AMP;
12856 : : case ArithmeticOrLogicalOperator::BITWISE_OR:
12857 : : return LBP_PIPE;
12858 : : case ArithmeticOrLogicalOperator::BITWISE_XOR:
12859 : : return LBP_CARET;
12860 : : case ArithmeticOrLogicalOperator::LEFT_SHIFT:
12861 : : return LBP_L_SHIFT;
12862 : : case ArithmeticOrLogicalOperator::RIGHT_SHIFT:
12863 : : return LBP_R_SHIFT;
12864 : 0 : default:
12865 : : // WTF? should not happen, this is an error
12866 : 0 : rust_unreachable ();
12867 : :
12868 : : return LBP_PLUS;
12869 : : }
12870 : : }
12871 : :
12872 : : // Parses an arithmetic or logical expression (with Pratt parsing).
12873 : : template <typename ManagedTokenSource>
12874 : : std::unique_ptr<AST::ArithmeticOrLogicalExpr>
12875 : 3651 : Parser<ManagedTokenSource>::parse_arithmetic_or_logical_expr (
12876 : : const_TokenPtr, std::unique_ptr<AST::Expr> left, AST::AttrVec,
12877 : : AST::ArithmeticOrLogicalExpr::ExprType expr_type,
12878 : : ParseRestrictions restrictions)
12879 : : {
12880 : : // parse RHS (as tok has already been consumed in parse_expression)
12881 : 3651 : std::unique_ptr<AST::Expr> right
12882 : 3651 : = parse_expr (get_lbp_for_arithmetic_or_logical_expr (expr_type),
12883 : 7302 : AST::AttrVec (), restrictions);
12884 : 3651 : if (right == nullptr)
12885 : 2 : return nullptr;
12886 : :
12887 : : // TODO: check types. actually, do so during semantic analysis
12888 : 3649 : location_t locus = left->get_locus ();
12889 : :
12890 : : return std::unique_ptr<AST::ArithmeticOrLogicalExpr> (
12891 : 3649 : new AST::ArithmeticOrLogicalExpr (std::move (left), std::move (right),
12892 : 3649 : expr_type, locus));
12893 : 3651 : }
12894 : :
12895 : : // Parses a binary addition expression (with Pratt parsing).
12896 : : template <typename ManagedTokenSource>
12897 : : std::unique_ptr<AST::ArithmeticOrLogicalExpr>
12898 : : Parser<ManagedTokenSource>::parse_binary_plus_expr (
12899 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
12900 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
12901 : : {
12902 : : // parse RHS (as tok has already been consumed in parse_expression)
12903 : : std::unique_ptr<AST::Expr> right
12904 : : = parse_expr (LBP_PLUS, AST::AttrVec (), restrictions);
12905 : : if (right == nullptr)
12906 : : return nullptr;
12907 : :
12908 : : // TODO: check types. actually, do so during semantic analysis
12909 : : location_t locus = left->get_locus ();
12910 : :
12911 : : return std::unique_ptr<AST::ArithmeticOrLogicalExpr> (
12912 : : new AST::ArithmeticOrLogicalExpr (std::move (left), std::move (right),
12913 : : ArithmeticOrLogicalOperator::ADD, locus));
12914 : : }
12915 : :
12916 : : // Parses a binary subtraction expression (with Pratt parsing).
12917 : : template <typename ManagedTokenSource>
12918 : : std::unique_ptr<AST::ArithmeticOrLogicalExpr>
12919 : : Parser<ManagedTokenSource>::parse_binary_minus_expr (
12920 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
12921 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
12922 : : {
12923 : : // parse RHS (as tok has already been consumed in parse_expression)
12924 : : std::unique_ptr<AST::Expr> right
12925 : : = parse_expr (LBP_MINUS, AST::AttrVec (), restrictions);
12926 : : if (right == nullptr)
12927 : : return nullptr;
12928 : :
12929 : : // TODO: check types. actually, do so during semantic analysis
12930 : : location_t locus = left->get_locus ();
12931 : :
12932 : : return std::unique_ptr<AST::ArithmeticOrLogicalExpr> (
12933 : : new AST::ArithmeticOrLogicalExpr (std::move (left), std::move (right),
12934 : : ArithmeticOrLogicalOperator::SUBTRACT,
12935 : : locus));
12936 : : }
12937 : :
12938 : : // Parses a binary multiplication expression (with Pratt parsing).
12939 : : template <typename ManagedTokenSource>
12940 : : std::unique_ptr<AST::ArithmeticOrLogicalExpr>
12941 : : Parser<ManagedTokenSource>::parse_binary_mult_expr (
12942 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
12943 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
12944 : : {
12945 : : // parse RHS (as tok has already been consumed in parse_expression)
12946 : : std::unique_ptr<AST::Expr> right
12947 : : = parse_expr (LBP_MUL, AST::AttrVec (), restrictions);
12948 : : if (right == nullptr)
12949 : : return nullptr;
12950 : :
12951 : : // TODO: check types. actually, do so during semantic analysis
12952 : : location_t locus = left->get_locus ();
12953 : :
12954 : : return std::unique_ptr<AST::ArithmeticOrLogicalExpr> (
12955 : : new AST::ArithmeticOrLogicalExpr (std::move (left), std::move (right),
12956 : : ArithmeticOrLogicalOperator::MULTIPLY,
12957 : : locus));
12958 : : }
12959 : :
12960 : : // Parses a binary division expression (with Pratt parsing).
12961 : : template <typename ManagedTokenSource>
12962 : : std::unique_ptr<AST::ArithmeticOrLogicalExpr>
12963 : : Parser<ManagedTokenSource>::parse_binary_div_expr (
12964 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
12965 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
12966 : : {
12967 : : // parse RHS (as tok has already been consumed in parse_expression)
12968 : : std::unique_ptr<AST::Expr> right
12969 : : = parse_expr (LBP_DIV, AST::AttrVec (), restrictions);
12970 : : if (right == nullptr)
12971 : : return nullptr;
12972 : :
12973 : : // TODO: check types. actually, do so during semantic analysis
12974 : : location_t locus = left->get_locus ();
12975 : :
12976 : : return std::unique_ptr<AST::ArithmeticOrLogicalExpr> (
12977 : : new AST::ArithmeticOrLogicalExpr (std::move (left), std::move (right),
12978 : : ArithmeticOrLogicalOperator::DIVIDE,
12979 : : locus));
12980 : : }
12981 : :
12982 : : // Parses a binary modulo expression (with Pratt parsing).
12983 : : template <typename ManagedTokenSource>
12984 : : std::unique_ptr<AST::ArithmeticOrLogicalExpr>
12985 : : Parser<ManagedTokenSource>::parse_binary_mod_expr (
12986 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
12987 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
12988 : : {
12989 : : // parse RHS (as tok has already been consumed in parse_expression)
12990 : : std::unique_ptr<AST::Expr> right
12991 : : = parse_expr (LBP_MOD, AST::AttrVec (), restrictions);
12992 : : if (right == nullptr)
12993 : : return nullptr;
12994 : :
12995 : : // TODO: check types. actually, do so during semantic analysis
12996 : : location_t locus = left->get_locus ();
12997 : :
12998 : : return std::unique_ptr<AST::ArithmeticOrLogicalExpr> (
12999 : : new AST::ArithmeticOrLogicalExpr (std::move (left), std::move (right),
13000 : : ArithmeticOrLogicalOperator::MODULUS,
13001 : : locus));
13002 : : }
13003 : :
13004 : : /* Parses a binary bitwise (or eager logical) and expression (with Pratt
13005 : : * parsing). */
13006 : : template <typename ManagedTokenSource>
13007 : : std::unique_ptr<AST::ArithmeticOrLogicalExpr>
13008 : : Parser<ManagedTokenSource>::parse_bitwise_and_expr (
13009 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13010 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13011 : : {
13012 : : // parse RHS (as tok has already been consumed in parse_expression)
13013 : : std::unique_ptr<AST::Expr> right
13014 : : = parse_expr (LBP_AMP, AST::AttrVec (), restrictions);
13015 : : if (right == nullptr)
13016 : : return nullptr;
13017 : :
13018 : : // TODO: check types. actually, do so during semantic analysis
13019 : : location_t locus = left->get_locus ();
13020 : :
13021 : : return std::unique_ptr<AST::ArithmeticOrLogicalExpr> (
13022 : : new AST::ArithmeticOrLogicalExpr (std::move (left), std::move (right),
13023 : : ArithmeticOrLogicalOperator::BITWISE_AND,
13024 : : locus));
13025 : : }
13026 : :
13027 : : /* Parses a binary bitwise (or eager logical) or expression (with Pratt
13028 : : * parsing). */
13029 : : template <typename ManagedTokenSource>
13030 : : std::unique_ptr<AST::ArithmeticOrLogicalExpr>
13031 : : Parser<ManagedTokenSource>::parse_bitwise_or_expr (
13032 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13033 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13034 : : {
13035 : : // parse RHS (as tok has already been consumed in parse_expression)
13036 : : std::unique_ptr<AST::Expr> right
13037 : : = parse_expr (LBP_PIPE, AST::AttrVec (), restrictions);
13038 : : if (right == nullptr)
13039 : : return nullptr;
13040 : :
13041 : : // TODO: check types. actually, do so during semantic analysis
13042 : : location_t locus = left->get_locus ();
13043 : :
13044 : : return std::unique_ptr<AST::ArithmeticOrLogicalExpr> (
13045 : : new AST::ArithmeticOrLogicalExpr (std::move (left), std::move (right),
13046 : : ArithmeticOrLogicalOperator::BITWISE_OR,
13047 : : locus));
13048 : : }
13049 : :
13050 : : /* Parses a binary bitwise (or eager logical) xor expression (with Pratt
13051 : : * parsing). */
13052 : : template <typename ManagedTokenSource>
13053 : : std::unique_ptr<AST::ArithmeticOrLogicalExpr>
13054 : : Parser<ManagedTokenSource>::parse_bitwise_xor_expr (
13055 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13056 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13057 : : {
13058 : : // parse RHS (as tok has already been consumed in parse_expression)
13059 : : std::unique_ptr<AST::Expr> right
13060 : : = parse_expr (LBP_CARET, AST::AttrVec (), restrictions);
13061 : : if (right == nullptr)
13062 : : return nullptr;
13063 : :
13064 : : // TODO: check types. actually, do so during semantic analysis
13065 : : location_t locus = left->get_locus ();
13066 : :
13067 : : return std::unique_ptr<AST::ArithmeticOrLogicalExpr> (
13068 : : new AST::ArithmeticOrLogicalExpr (std::move (left), std::move (right),
13069 : : ArithmeticOrLogicalOperator::BITWISE_XOR,
13070 : : locus));
13071 : : }
13072 : :
13073 : : // Parses a binary left shift expression (with Pratt parsing).
13074 : : template <typename ManagedTokenSource>
13075 : : std::unique_ptr<AST::ArithmeticOrLogicalExpr>
13076 : : Parser<ManagedTokenSource>::parse_left_shift_expr (
13077 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13078 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13079 : : {
13080 : : // parse RHS (as tok has already been consumed in parse_expression)
13081 : : std::unique_ptr<AST::Expr> right
13082 : : = parse_expr (LBP_L_SHIFT, AST::AttrVec (), restrictions);
13083 : : if (right == nullptr)
13084 : : return nullptr;
13085 : :
13086 : : // TODO: check types. actually, do so during semantic analysis
13087 : : location_t locus = left->get_locus ();
13088 : :
13089 : : return std::unique_ptr<AST::ArithmeticOrLogicalExpr> (
13090 : : new AST::ArithmeticOrLogicalExpr (std::move (left), std::move (right),
13091 : : ArithmeticOrLogicalOperator::LEFT_SHIFT,
13092 : : locus));
13093 : : }
13094 : :
13095 : : // Parses a binary right shift expression (with Pratt parsing).
13096 : : template <typename ManagedTokenSource>
13097 : : std::unique_ptr<AST::ArithmeticOrLogicalExpr>
13098 : : Parser<ManagedTokenSource>::parse_right_shift_expr (
13099 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13100 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13101 : : {
13102 : : // parse RHS (as tok has already been consumed in parse_expression)
13103 : : std::unique_ptr<AST::Expr> right
13104 : : = parse_expr (LBP_R_SHIFT, AST::AttrVec (), restrictions);
13105 : : if (right == nullptr)
13106 : : return nullptr;
13107 : :
13108 : : // TODO: check types. actually, do so during semantic analysis
13109 : : location_t locus = left->get_locus ();
13110 : :
13111 : : return std::unique_ptr<AST::ArithmeticOrLogicalExpr> (
13112 : : new AST::ArithmeticOrLogicalExpr (std::move (left), std::move (right),
13113 : : ArithmeticOrLogicalOperator::RIGHT_SHIFT,
13114 : : locus));
13115 : : }
13116 : :
13117 : : /* Returns the left binding power for the given ComparisonExpr type.
13118 : : * TODO make constexpr? Would that even do anything useful? */
13119 : : inline binding_powers
13120 : 909 : get_lbp_for_comparison_expr (AST::ComparisonExpr::ExprType expr_type)
13121 : : {
13122 : 909 : switch (expr_type)
13123 : : {
13124 : : case ComparisonOperator::EQUAL:
13125 : : return LBP_EQUAL;
13126 : : case ComparisonOperator::NOT_EQUAL:
13127 : : return LBP_NOT_EQUAL;
13128 : : case ComparisonOperator::GREATER_THAN:
13129 : : return LBP_GREATER_THAN;
13130 : : case ComparisonOperator::LESS_THAN:
13131 : : return LBP_SMALLER_THAN;
13132 : : case ComparisonOperator::GREATER_OR_EQUAL:
13133 : : return LBP_GREATER_EQUAL;
13134 : : case ComparisonOperator::LESS_OR_EQUAL:
13135 : : return LBP_SMALLER_EQUAL;
13136 : 0 : default:
13137 : : // WTF? should not happen, this is an error
13138 : 0 : rust_unreachable ();
13139 : :
13140 : : return LBP_EQUAL;
13141 : : }
13142 : : }
13143 : :
13144 : : /* Parses a ComparisonExpr of given type and LBP. TODO find a way to only
13145 : : * specify one and have the other looked up - e.g. specify ExprType and
13146 : : * binding power is looked up? */
13147 : : template <typename ManagedTokenSource>
13148 : : std::unique_ptr<AST::ComparisonExpr>
13149 : 909 : Parser<ManagedTokenSource>::parse_comparison_expr (
13150 : : const_TokenPtr, std::unique_ptr<AST::Expr> left, AST::AttrVec,
13151 : : AST::ComparisonExpr::ExprType expr_type, ParseRestrictions restrictions)
13152 : : {
13153 : : // parse RHS (as tok has already been consumed in parse_expression)
13154 : 909 : std::unique_ptr<AST::Expr> right
13155 : 909 : = parse_expr (get_lbp_for_comparison_expr (expr_type), AST::AttrVec (),
13156 : : restrictions);
13157 : 909 : if (right == nullptr)
13158 : 0 : return nullptr;
13159 : :
13160 : : // TODO: check types. actually, do so during semantic analysis
13161 : 909 : location_t locus = left->get_locus ();
13162 : :
13163 : : return std::unique_ptr<AST::ComparisonExpr> (
13164 : 909 : new AST::ComparisonExpr (std::move (left), std::move (right), expr_type,
13165 : 909 : locus));
13166 : 909 : }
13167 : :
13168 : : // Parses a binary equal to expression (with Pratt parsing).
13169 : : template <typename ManagedTokenSource>
13170 : : std::unique_ptr<AST::ComparisonExpr>
13171 : : Parser<ManagedTokenSource>::parse_binary_equal_expr (
13172 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13173 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13174 : : {
13175 : : // parse RHS (as tok has already been consumed in parse_expression)
13176 : : std::unique_ptr<AST::Expr> right
13177 : : = parse_expr (LBP_EQUAL, AST::AttrVec (), restrictions);
13178 : : if (right == nullptr)
13179 : : return nullptr;
13180 : :
13181 : : // TODO: check types. actually, do so during semantic analysis
13182 : : location_t locus = left->get_locus ();
13183 : :
13184 : : return std::unique_ptr<AST::ComparisonExpr> (
13185 : : new AST::ComparisonExpr (std::move (left), std::move (right),
13186 : : ComparisonOperator::EQUAL, locus));
13187 : : }
13188 : :
13189 : : // Parses a binary not equal to expression (with Pratt parsing).
13190 : : template <typename ManagedTokenSource>
13191 : : std::unique_ptr<AST::ComparisonExpr>
13192 : : Parser<ManagedTokenSource>::parse_binary_not_equal_expr (
13193 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13194 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13195 : : {
13196 : : // parse RHS (as tok has already been consumed in parse_expression)
13197 : : std::unique_ptr<AST::Expr> right
13198 : : = parse_expr (LBP_NOT_EQUAL, AST::AttrVec (), restrictions);
13199 : : if (right == nullptr)
13200 : : return nullptr;
13201 : :
13202 : : // TODO: check types. actually, do so during semantic analysis
13203 : : location_t locus = left->get_locus ();
13204 : :
13205 : : return std::unique_ptr<AST::ComparisonExpr> (
13206 : : new AST::ComparisonExpr (std::move (left), std::move (right),
13207 : : ComparisonOperator::NOT_EQUAL, locus));
13208 : : }
13209 : :
13210 : : // Parses a binary greater than expression (with Pratt parsing).
13211 : : template <typename ManagedTokenSource>
13212 : : std::unique_ptr<AST::ComparisonExpr>
13213 : : Parser<ManagedTokenSource>::parse_binary_greater_than_expr (
13214 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13215 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13216 : : {
13217 : : // parse RHS (as tok has already been consumed in parse_expression)
13218 : : std::unique_ptr<AST::Expr> right
13219 : : = parse_expr (LBP_GREATER_THAN, AST::AttrVec (), restrictions);
13220 : : if (right == nullptr)
13221 : : return nullptr;
13222 : :
13223 : : // TODO: check types. actually, do so during semantic analysis
13224 : : location_t locus = left->get_locus ();
13225 : :
13226 : : return std::unique_ptr<AST::ComparisonExpr> (
13227 : : new AST::ComparisonExpr (std::move (left), std::move (right),
13228 : : ComparisonOperator::GREATER_THAN, locus));
13229 : : }
13230 : :
13231 : : // Parses a binary less than expression (with Pratt parsing).
13232 : : template <typename ManagedTokenSource>
13233 : : std::unique_ptr<AST::ComparisonExpr>
13234 : : Parser<ManagedTokenSource>::parse_binary_less_than_expr (
13235 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13236 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13237 : : {
13238 : : // parse RHS (as tok has already been consumed in parse_expression)
13239 : : std::unique_ptr<AST::Expr> right
13240 : : = parse_expr (LBP_SMALLER_THAN, AST::AttrVec (), restrictions);
13241 : : if (right == nullptr)
13242 : : return nullptr;
13243 : :
13244 : : // TODO: check types. actually, do so during semantic analysis
13245 : : location_t locus = left->get_locus ();
13246 : :
13247 : : return std::unique_ptr<AST::ComparisonExpr> (
13248 : : new AST::ComparisonExpr (std::move (left), std::move (right),
13249 : : ComparisonOperator::LESS_THAN, locus));
13250 : : }
13251 : :
13252 : : // Parses a binary greater than or equal to expression (with Pratt parsing).
13253 : : template <typename ManagedTokenSource>
13254 : : std::unique_ptr<AST::ComparisonExpr>
13255 : : Parser<ManagedTokenSource>::parse_binary_greater_equal_expr (
13256 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13257 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13258 : : {
13259 : : // parse RHS (as tok has already been consumed in parse_expression)
13260 : : std::unique_ptr<AST::Expr> right
13261 : : = parse_expr (LBP_GREATER_EQUAL, AST::AttrVec (), restrictions);
13262 : : if (right == nullptr)
13263 : : return nullptr;
13264 : :
13265 : : // TODO: check types. actually, do so during semantic analysis
13266 : : location_t locus = left->get_locus ();
13267 : :
13268 : : return std::unique_ptr<AST::ComparisonExpr> (
13269 : : new AST::ComparisonExpr (std::move (left), std::move (right),
13270 : : ComparisonOperator::GREATER_OR_EQUAL, locus));
13271 : : }
13272 : :
13273 : : // Parses a binary less than or equal to expression (with Pratt parsing).
13274 : : template <typename ManagedTokenSource>
13275 : : std::unique_ptr<AST::ComparisonExpr>
13276 : : Parser<ManagedTokenSource>::parse_binary_less_equal_expr (
13277 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13278 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13279 : : {
13280 : : // parse RHS (as tok has already been consumed in parse_expression)
13281 : : std::unique_ptr<AST::Expr> right
13282 : : = parse_expr (LBP_SMALLER_EQUAL, AST::AttrVec (), restrictions);
13283 : : if (right == nullptr)
13284 : : return nullptr;
13285 : :
13286 : : // TODO: check types. actually, do so during semantic analysis
13287 : : location_t locus = left->get_locus ();
13288 : :
13289 : : return std::unique_ptr<AST::ComparisonExpr> (
13290 : : new AST::ComparisonExpr (std::move (left), std::move (right),
13291 : : ComparisonOperator::LESS_OR_EQUAL, locus));
13292 : : }
13293 : :
13294 : : // Parses a binary lazy boolean or expression (with Pratt parsing).
13295 : : template <typename ManagedTokenSource>
13296 : : std::unique_ptr<AST::LazyBooleanExpr>
13297 : 56 : Parser<ManagedTokenSource>::parse_lazy_or_expr (
13298 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13299 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13300 : : {
13301 : : // parse RHS (as tok has already been consumed in parse_expression)
13302 : 56 : std::unique_ptr<AST::Expr> right
13303 : 56 : = parse_expr (LBP_LOGICAL_OR, AST::AttrVec (), restrictions);
13304 : 56 : if (right == nullptr)
13305 : 0 : return nullptr;
13306 : :
13307 : : // TODO: check types. actually, do so during semantic analysis
13308 : 56 : location_t locus = left->get_locus ();
13309 : :
13310 : : return std::unique_ptr<AST::LazyBooleanExpr> (
13311 : 56 : new AST::LazyBooleanExpr (std::move (left), std::move (right),
13312 : 56 : LazyBooleanOperator::LOGICAL_OR, locus));
13313 : 56 : }
13314 : :
13315 : : // Parses a binary lazy boolean and expression (with Pratt parsing).
13316 : : template <typename ManagedTokenSource>
13317 : : std::unique_ptr<AST::LazyBooleanExpr>
13318 : 322 : Parser<ManagedTokenSource>::parse_lazy_and_expr (
13319 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13320 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13321 : : {
13322 : : // parse RHS (as tok has already been consumed in parse_expression)
13323 : 322 : std::unique_ptr<AST::Expr> right
13324 : 322 : = parse_expr (LBP_LOGICAL_AND, AST::AttrVec (), restrictions);
13325 : 322 : if (right == nullptr)
13326 : 0 : return nullptr;
13327 : :
13328 : : // TODO: check types. actually, do so during semantic analysis
13329 : 322 : location_t locus = left->get_locus ();
13330 : :
13331 : : return std::unique_ptr<AST::LazyBooleanExpr> (
13332 : 322 : new AST::LazyBooleanExpr (std::move (left), std::move (right),
13333 : 322 : LazyBooleanOperator::LOGICAL_AND, locus));
13334 : 322 : }
13335 : :
13336 : : // Parses a pseudo-binary infix type cast expression (with Pratt parsing).
13337 : : template <typename ManagedTokenSource>
13338 : : std::unique_ptr<AST::TypeCastExpr>
13339 : 3330 : Parser<ManagedTokenSource>::parse_type_cast_expr (
13340 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> expr_to_cast,
13341 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED,
13342 : : ParseRestrictions restrictions ATTRIBUTE_UNUSED)
13343 : : {
13344 : : // parse RHS (as tok has already been consumed in parse_expression)
13345 : 3330 : std::unique_ptr<AST::TypeNoBounds> type = parse_type_no_bounds ();
13346 : 3330 : if (type == nullptr)
13347 : 0 : return nullptr;
13348 : : // FIXME: how do I get precedence put in here?
13349 : :
13350 : : // TODO: check types. actually, do so during semantic analysis
13351 : 3330 : location_t locus = expr_to_cast->get_locus ();
13352 : :
13353 : : return std::unique_ptr<AST::TypeCastExpr> (
13354 : 3330 : new AST::TypeCastExpr (std::move (expr_to_cast), std::move (type), locus));
13355 : 3330 : }
13356 : :
13357 : : // Parses a binary assignment expression (with Pratt parsing).
13358 : : template <typename ManagedTokenSource>
13359 : : std::unique_ptr<AST::AssignmentExpr>
13360 : 1664 : Parser<ManagedTokenSource>::parse_assig_expr (
13361 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13362 : : AST::AttrVec outer_attrs, ParseRestrictions restrictions)
13363 : : {
13364 : : // parse RHS (as tok has already been consumed in parse_expression)
13365 : 1664 : std::unique_ptr<AST::Expr> right
13366 : 1664 : = parse_expr (LBP_ASSIG - 1, AST::AttrVec (), restrictions);
13367 : 1664 : if (right == nullptr)
13368 : 0 : return nullptr;
13369 : : // FIXME: ensure right-associativity for this - 'LBP - 1' may do this?
13370 : :
13371 : : // TODO: check types. actually, do so during semantic analysis
13372 : 1664 : location_t locus = left->get_locus ();
13373 : :
13374 : : return std::unique_ptr<AST::AssignmentExpr> (
13375 : 1664 : new AST::AssignmentExpr (std::move (left), std::move (right),
13376 : 1664 : std::move (outer_attrs), locus));
13377 : 1664 : }
13378 : :
13379 : : /* Returns the left binding power for the given CompoundAssignmentExpr type.
13380 : : * TODO make constexpr? Would that even do anything useful? */
13381 : : inline binding_powers
13382 : 160 : get_lbp_for_compound_assignment_expr (
13383 : : AST::CompoundAssignmentExpr::ExprType expr_type)
13384 : : {
13385 : 160 : switch (expr_type)
13386 : : {
13387 : : case CompoundAssignmentOperator::ADD:
13388 : : return LBP_PLUS;
13389 : : case CompoundAssignmentOperator::SUBTRACT:
13390 : : return LBP_MINUS;
13391 : : case CompoundAssignmentOperator::MULTIPLY:
13392 : : return LBP_MUL;
13393 : : case CompoundAssignmentOperator::DIVIDE:
13394 : : return LBP_DIV;
13395 : : case CompoundAssignmentOperator::MODULUS:
13396 : : return LBP_MOD;
13397 : : case CompoundAssignmentOperator::BITWISE_AND:
13398 : : return LBP_AMP;
13399 : : case CompoundAssignmentOperator::BITWISE_OR:
13400 : : return LBP_PIPE;
13401 : : case CompoundAssignmentOperator::BITWISE_XOR:
13402 : : return LBP_CARET;
13403 : : case CompoundAssignmentOperator::LEFT_SHIFT:
13404 : : return LBP_L_SHIFT;
13405 : : case CompoundAssignmentOperator::RIGHT_SHIFT:
13406 : : return LBP_R_SHIFT;
13407 : 0 : default:
13408 : : // WTF? should not happen, this is an error
13409 : 0 : rust_unreachable ();
13410 : :
13411 : : return LBP_PLUS;
13412 : : }
13413 : : }
13414 : :
13415 : : // Parses a compound assignment expression (with Pratt parsing).
13416 : : template <typename ManagedTokenSource>
13417 : : std::unique_ptr<AST::CompoundAssignmentExpr>
13418 : 160 : Parser<ManagedTokenSource>::parse_compound_assignment_expr (
13419 : : const_TokenPtr, std::unique_ptr<AST::Expr> left, AST::AttrVec,
13420 : : AST::CompoundAssignmentExpr::ExprType expr_type,
13421 : : ParseRestrictions restrictions)
13422 : : {
13423 : : // parse RHS (as tok has already been consumed in parse_expression)
13424 : 160 : std::unique_ptr<AST::Expr> right
13425 : 160 : = parse_expr (get_lbp_for_compound_assignment_expr (expr_type) - 1,
13426 : 320 : AST::AttrVec (), restrictions);
13427 : 160 : if (right == nullptr)
13428 : 0 : return nullptr;
13429 : : // FIXME: ensure right-associativity for this - 'LBP - 1' may do this?
13430 : :
13431 : : // TODO: check types. actually, do so during semantic analysis
13432 : 160 : location_t locus = left->get_locus ();
13433 : :
13434 : : return std::unique_ptr<AST::CompoundAssignmentExpr> (
13435 : 160 : new AST::CompoundAssignmentExpr (std::move (left), std::move (right),
13436 : 160 : expr_type, locus));
13437 : 160 : }
13438 : :
13439 : : // Parses a binary add-assignment expression (with Pratt parsing).
13440 : : template <typename ManagedTokenSource>
13441 : : std::unique_ptr<AST::CompoundAssignmentExpr>
13442 : : Parser<ManagedTokenSource>::parse_plus_assig_expr (
13443 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13444 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13445 : : {
13446 : : // parse RHS (as tok has already been consumed in parse_expression)
13447 : : std::unique_ptr<AST::Expr> right
13448 : : = parse_expr (LBP_PLUS_ASSIG - 1, AST::AttrVec (), restrictions);
13449 : : if (right == nullptr)
13450 : : return nullptr;
13451 : : // FIXME: ensure right-associativity for this - 'LBP - 1' may do this?
13452 : :
13453 : : // TODO: check types. actually, do so during semantic analysis
13454 : : location_t locus = left->get_locus ();
13455 : :
13456 : : return std::unique_ptr<AST::CompoundAssignmentExpr> (
13457 : : new AST::CompoundAssignmentExpr (std::move (left), std::move (right),
13458 : : CompoundAssignmentOperator::ADD, locus));
13459 : : }
13460 : :
13461 : : // Parses a binary minus-assignment expression (with Pratt parsing).
13462 : : template <typename ManagedTokenSource>
13463 : : std::unique_ptr<AST::CompoundAssignmentExpr>
13464 : : Parser<ManagedTokenSource>::parse_minus_assig_expr (
13465 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13466 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13467 : : {
13468 : : // parse RHS (as tok has already been consumed in parse_expression)
13469 : : std::unique_ptr<AST::Expr> right
13470 : : = parse_expr (LBP_MINUS_ASSIG - 1, AST::AttrVec (), restrictions);
13471 : : if (right == nullptr)
13472 : : return nullptr;
13473 : : // FIXME: ensure right-associativity for this - 'LBP - 1' may do this?
13474 : :
13475 : : // TODO: check types. actually, do so during semantic analysis
13476 : : location_t locus = left->get_locus ();
13477 : :
13478 : : return std::unique_ptr<AST::CompoundAssignmentExpr> (
13479 : : new AST::CompoundAssignmentExpr (std::move (left), std::move (right),
13480 : : CompoundAssignmentOperator::SUBTRACT,
13481 : : locus));
13482 : : }
13483 : :
13484 : : // Parses a binary multiplication-assignment expression (with Pratt parsing).
13485 : : template <typename ManagedTokenSource>
13486 : : std::unique_ptr<AST::CompoundAssignmentExpr>
13487 : : Parser<ManagedTokenSource>::parse_mult_assig_expr (
13488 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13489 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13490 : : {
13491 : : // parse RHS (as tok has already been consumed in parse_expression)
13492 : : std::unique_ptr<AST::Expr> right
13493 : : = parse_expr (LBP_MULT_ASSIG - 1, AST::AttrVec (), restrictions);
13494 : : if (right == nullptr)
13495 : : return nullptr;
13496 : : // FIXME: ensure right-associativity for this - 'LBP - 1' may do this?
13497 : :
13498 : : // TODO: check types. actually, do so during semantic analysis
13499 : : location_t locus = left->get_locus ();
13500 : :
13501 : : return std::unique_ptr<AST::CompoundAssignmentExpr> (
13502 : : new AST::CompoundAssignmentExpr (std::move (left), std::move (right),
13503 : : CompoundAssignmentOperator::MULTIPLY,
13504 : : locus));
13505 : : }
13506 : :
13507 : : // Parses a binary division-assignment expression (with Pratt parsing).
13508 : : template <typename ManagedTokenSource>
13509 : : std::unique_ptr<AST::CompoundAssignmentExpr>
13510 : : Parser<ManagedTokenSource>::parse_div_assig_expr (
13511 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13512 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13513 : : {
13514 : : // parse RHS (as tok has already been consumed in parse_expression)
13515 : : std::unique_ptr<AST::Expr> right
13516 : : = parse_expr (LBP_DIV_ASSIG - 1, AST::AttrVec (), restrictions);
13517 : : if (right == nullptr)
13518 : : return nullptr;
13519 : : // FIXME: ensure right-associativity for this - 'LBP - 1' may do this?
13520 : :
13521 : : // TODO: check types. actually, do so during semantic analysis
13522 : : location_t locus = left->get_locus ();
13523 : :
13524 : : return std::unique_ptr<AST::CompoundAssignmentExpr> (
13525 : : new AST::CompoundAssignmentExpr (std::move (left), std::move (right),
13526 : : CompoundAssignmentOperator::DIVIDE,
13527 : : locus));
13528 : : }
13529 : :
13530 : : // Parses a binary modulo-assignment expression (with Pratt parsing).
13531 : : template <typename ManagedTokenSource>
13532 : : std::unique_ptr<AST::CompoundAssignmentExpr>
13533 : : Parser<ManagedTokenSource>::parse_mod_assig_expr (
13534 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13535 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13536 : : {
13537 : : // parse RHS (as tok has already been consumed in parse_expression)
13538 : : std::unique_ptr<AST::Expr> right
13539 : : = parse_expr (LBP_MOD_ASSIG - 1, AST::AttrVec (), restrictions);
13540 : : if (right == nullptr)
13541 : : return nullptr;
13542 : : // FIXME: ensure right-associativity for this - 'LBP - 1' may do this?
13543 : :
13544 : : // TODO: check types. actually, do so during semantic analysis
13545 : : location_t locus = left->get_locus ();
13546 : :
13547 : : return std::unique_ptr<AST::CompoundAssignmentExpr> (
13548 : : new AST::CompoundAssignmentExpr (std::move (left), std::move (right),
13549 : : CompoundAssignmentOperator::MODULUS,
13550 : : locus));
13551 : : }
13552 : :
13553 : : // Parses a binary and-assignment expression (with Pratt parsing).
13554 : : template <typename ManagedTokenSource>
13555 : : std::unique_ptr<AST::CompoundAssignmentExpr>
13556 : : Parser<ManagedTokenSource>::parse_and_assig_expr (
13557 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13558 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13559 : : {
13560 : : // parse RHS (as tok has already been consumed in parse_expression)
13561 : : std::unique_ptr<AST::Expr> right
13562 : : = parse_expr (LBP_AMP_ASSIG - 1, AST::AttrVec (), restrictions);
13563 : : if (right == nullptr)
13564 : : return nullptr;
13565 : : // FIXME: ensure right-associativity for this - 'LBP - 1' may do this?
13566 : :
13567 : : // TODO: check types. actually, do so during semantic analysis
13568 : : location_t locus = left->get_locus ();
13569 : :
13570 : : return std::unique_ptr<AST::CompoundAssignmentExpr> (
13571 : : new AST::CompoundAssignmentExpr (std::move (left), std::move (right),
13572 : : CompoundAssignmentOperator::BITWISE_AND,
13573 : : locus));
13574 : : }
13575 : :
13576 : : // Parses a binary or-assignment expression (with Pratt parsing).
13577 : : template <typename ManagedTokenSource>
13578 : : std::unique_ptr<AST::CompoundAssignmentExpr>
13579 : : Parser<ManagedTokenSource>::parse_or_assig_expr (
13580 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13581 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13582 : : {
13583 : : // parse RHS (as tok has already been consumed in parse_expression)
13584 : : std::unique_ptr<AST::Expr> right
13585 : : = parse_expr (LBP_PIPE_ASSIG - 1, AST::AttrVec (), restrictions);
13586 : : if (right == nullptr)
13587 : : return nullptr;
13588 : : // FIXME: ensure right-associativity for this - 'LBP - 1' may do this?
13589 : :
13590 : : // TODO: check types. actually, do so during semantic analysis
13591 : : location_t locus = left->get_locus ();
13592 : :
13593 : : return std::unique_ptr<AST::CompoundAssignmentExpr> (
13594 : : new AST::CompoundAssignmentExpr (std::move (left), std::move (right),
13595 : : CompoundAssignmentOperator::BITWISE_OR,
13596 : : locus));
13597 : : }
13598 : :
13599 : : // Parses a binary xor-assignment expression (with Pratt parsing).
13600 : : template <typename ManagedTokenSource>
13601 : : std::unique_ptr<AST::CompoundAssignmentExpr>
13602 : : Parser<ManagedTokenSource>::parse_xor_assig_expr (
13603 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13604 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13605 : : {
13606 : : // parse RHS (as tok has already been consumed in parse_expression)
13607 : : std::unique_ptr<AST::Expr> right
13608 : : = parse_expr (LBP_CARET_ASSIG - 1, AST::AttrVec (), restrictions);
13609 : : if (right == nullptr)
13610 : : return nullptr;
13611 : : // FIXME: ensure right-associativity for this - 'LBP - 1' may do this?
13612 : :
13613 : : // TODO: check types. actually, do so during semantic analysis
13614 : : location_t locus = left->get_locus ();
13615 : :
13616 : : return std::unique_ptr<AST::CompoundAssignmentExpr> (
13617 : : new AST::CompoundAssignmentExpr (std::move (left), std::move (right),
13618 : : CompoundAssignmentOperator::BITWISE_XOR,
13619 : : locus));
13620 : : }
13621 : :
13622 : : // Parses a binary left shift-assignment expression (with Pratt parsing).
13623 : : template <typename ManagedTokenSource>
13624 : : std::unique_ptr<AST::CompoundAssignmentExpr>
13625 : : Parser<ManagedTokenSource>::parse_left_shift_assig_expr (
13626 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13627 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13628 : : {
13629 : : // parse RHS (as tok has already been consumed in parse_expression)
13630 : : std::unique_ptr<AST::Expr> right
13631 : : = parse_expr (LBP_L_SHIFT_ASSIG - 1, AST::AttrVec (), restrictions);
13632 : : if (right == nullptr)
13633 : : return nullptr;
13634 : : // FIXME: ensure right-associativity for this - 'LBP - 1' may do this?
13635 : :
13636 : : // TODO: check types. actually, do so during semantic analysis
13637 : : location_t locus = left->get_locus ();
13638 : :
13639 : : return std::unique_ptr<AST::CompoundAssignmentExpr> (
13640 : : new AST::CompoundAssignmentExpr (std::move (left), std::move (right),
13641 : : CompoundAssignmentOperator::LEFT_SHIFT,
13642 : : locus));
13643 : : }
13644 : :
13645 : : // Parses a binary right shift-assignment expression (with Pratt parsing).
13646 : : template <typename ManagedTokenSource>
13647 : : std::unique_ptr<AST::CompoundAssignmentExpr>
13648 : : Parser<ManagedTokenSource>::parse_right_shift_assig_expr (
13649 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13650 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13651 : : {
13652 : : // parse RHS (as tok has already been consumed in parse_expression)
13653 : : std::unique_ptr<AST::Expr> right
13654 : : = parse_expr (LBP_R_SHIFT_ASSIG - 1, AST::AttrVec (), restrictions);
13655 : : if (right == nullptr)
13656 : : return nullptr;
13657 : : // FIXME: ensure right-associativity for this - 'LBP - 1' may do this?
13658 : :
13659 : : // TODO: check types. actually, do so during semantic analysis
13660 : : location_t locus = left->get_locus ();
13661 : :
13662 : : return std::unique_ptr<AST::CompoundAssignmentExpr> (
13663 : : new AST::CompoundAssignmentExpr (std::move (left), std::move (right),
13664 : : CompoundAssignmentOperator::RIGHT_SHIFT,
13665 : : locus));
13666 : : }
13667 : :
13668 : : // Parses a postfix unary await expression (with Pratt parsing).
13669 : : template <typename ManagedTokenSource>
13670 : : std::unique_ptr<AST::AwaitExpr>
13671 : 0 : Parser<ManagedTokenSource>::parse_await_expr (
13672 : : const_TokenPtr tok, std::unique_ptr<AST::Expr> expr_to_await,
13673 : : AST::AttrVec outer_attrs)
13674 : : {
13675 : : /* skip "await" identifier (as "." has already been consumed in
13676 : : * parse_expression) this assumes that the identifier was already identified
13677 : : * as await */
13678 : 0 : if (!skip_token (IDENTIFIER))
13679 : : {
13680 : 0 : Error error (tok->get_locus (), "failed to skip %<await%> in await expr "
13681 : : "- this is probably a deep issue");
13682 : 0 : add_error (std::move (error));
13683 : :
13684 : : // skip somewhere?
13685 : 0 : return nullptr;
13686 : 0 : }
13687 : :
13688 : : // TODO: check inside async block in semantic analysis
13689 : 0 : location_t locus = expr_to_await->get_locus ();
13690 : :
13691 : : return std::unique_ptr<AST::AwaitExpr> (
13692 : 0 : new AST::AwaitExpr (std::move (expr_to_await), std::move (outer_attrs),
13693 : 0 : locus));
13694 : : }
13695 : :
13696 : : /* Parses an exclusive range ('..') in left denotation position (i.e.
13697 : : * RangeFromExpr or RangeFromToExpr). */
13698 : : template <typename ManagedTokenSource>
13699 : : std::unique_ptr<AST::RangeExpr>
13700 : 62 : Parser<ManagedTokenSource>::parse_led_range_exclusive_expr (
13701 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13702 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13703 : : {
13704 : : // FIXME: this probably parses expressions accidently or whatever
13705 : : // try parsing RHS (as tok has already been consumed in parse_expression)
13706 : : // Can be nullptr, in which case it is a RangeFromExpr, otherwise a
13707 : : // RangeFromToExpr.
13708 : 62 : restrictions.expr_can_be_null = true;
13709 : 62 : std::unique_ptr<AST::Expr> right
13710 : 62 : = parse_expr (LBP_DOT_DOT, AST::AttrVec (), restrictions);
13711 : :
13712 : 62 : location_t locus = left->get_locus ();
13713 : :
13714 : 62 : if (right == nullptr)
13715 : : {
13716 : : // range from expr
13717 : 9 : return std::unique_ptr<AST::RangeFromExpr> (
13718 : 9 : new AST::RangeFromExpr (std::move (left), locus));
13719 : : }
13720 : : else
13721 : : {
13722 : 53 : return std::unique_ptr<AST::RangeFromToExpr> (
13723 : 53 : new AST::RangeFromToExpr (std::move (left), std::move (right), locus));
13724 : : }
13725 : : // FIXME: make non-associative
13726 : 62 : }
13727 : :
13728 : : /* Parses an exclusive range ('..') in null denotation position (i.e.
13729 : : * RangeToExpr or RangeFullExpr). */
13730 : : template <typename ManagedTokenSource>
13731 : : std::unique_ptr<AST::RangeExpr>
13732 : 9 : Parser<ManagedTokenSource>::parse_nud_range_exclusive_expr (
13733 : : const_TokenPtr tok, AST::AttrVec outer_attrs ATTRIBUTE_UNUSED)
13734 : : {
13735 : 9 : auto restrictions = ParseRestrictions ();
13736 : 9 : restrictions.expr_can_be_null = true;
13737 : :
13738 : : // FIXME: this probably parses expressions accidently or whatever
13739 : : // try parsing RHS (as tok has already been consumed in parse_expression)
13740 : 9 : std::unique_ptr<AST::Expr> right
13741 : 9 : = parse_expr (LBP_DOT_DOT, AST::AttrVec (), restrictions);
13742 : :
13743 : 9 : location_t locus = tok->get_locus ();
13744 : :
13745 : 9 : if (right == nullptr)
13746 : : {
13747 : : // range from expr
13748 : 1 : return std::unique_ptr<AST::RangeFullExpr> (
13749 : 1 : new AST::RangeFullExpr (locus));
13750 : : }
13751 : : else
13752 : : {
13753 : 8 : return std::unique_ptr<AST::RangeToExpr> (
13754 : 8 : new AST::RangeToExpr (std::move (right), locus));
13755 : : }
13756 : : // FIXME: make non-associative
13757 : 9 : }
13758 : :
13759 : : // Parses a full binary range inclusive expression.
13760 : : template <typename ManagedTokenSource>
13761 : : std::unique_ptr<AST::RangeFromToInclExpr>
13762 : 7 : Parser<ManagedTokenSource>::parse_range_inclusive_expr (
13763 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> left,
13764 : : AST::AttrVec outer_attrs ATTRIBUTE_UNUSED, ParseRestrictions restrictions)
13765 : : {
13766 : : // parse RHS (as tok has already been consumed in parse_expression)
13767 : 7 : std::unique_ptr<AST::Expr> right
13768 : 7 : = parse_expr (LBP_DOT_DOT_EQ, AST::AttrVec (), restrictions);
13769 : 7 : if (right == nullptr)
13770 : 0 : return nullptr;
13771 : : // FIXME: make non-associative
13772 : :
13773 : : // TODO: check types. actually, do so during semantic analysis
13774 : 7 : location_t locus = left->get_locus ();
13775 : :
13776 : : return std::unique_ptr<AST::RangeFromToInclExpr> (
13777 : 7 : new AST::RangeFromToInclExpr (std::move (left), std::move (right), locus));
13778 : 7 : }
13779 : :
13780 : : // Parses an inclusive range-to prefix unary expression.
13781 : : template <typename ManagedTokenSource>
13782 : : std::unique_ptr<AST::RangeToInclExpr>
13783 : 0 : Parser<ManagedTokenSource>::parse_range_to_inclusive_expr (
13784 : : const_TokenPtr tok, AST::AttrVec outer_attrs ATTRIBUTE_UNUSED)
13785 : : {
13786 : : // parse RHS (as tok has already been consumed in parse_expression)
13787 : 0 : std::unique_ptr<AST::Expr> right = parse_expr (LBP_DOT_DOT_EQ);
13788 : 0 : if (right == nullptr)
13789 : 0 : return nullptr;
13790 : : // FIXME: make non-associative
13791 : :
13792 : : // TODO: check types. actually, do so during semantic analysis
13793 : :
13794 : : return std::unique_ptr<AST::RangeToInclExpr> (
13795 : 0 : new AST::RangeToInclExpr (std::move (right), tok->get_locus ()));
13796 : 0 : }
13797 : :
13798 : : // Parses a pseudo-binary infix tuple index expression.
13799 : : template <typename ManagedTokenSource>
13800 : : std::unique_ptr<AST::TupleIndexExpr>
13801 : 773 : Parser<ManagedTokenSource>::parse_tuple_index_expr (
13802 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> tuple_expr,
13803 : : AST::AttrVec outer_attrs, ParseRestrictions restrictions ATTRIBUTE_UNUSED)
13804 : : {
13805 : : // parse int literal (as token already skipped)
13806 : 773 : const_TokenPtr index_tok = expect_token (INT_LITERAL);
13807 : 773 : if (index_tok == nullptr)
13808 : : {
13809 : 0 : return nullptr;
13810 : : }
13811 : 773 : std::string index = index_tok->get_str ();
13812 : :
13813 : : // convert to integer
13814 : 773 : if (!index_tok->is_pure_decimal ())
13815 : : {
13816 : 27 : Error error (index_tok->get_locus (),
13817 : : "tuple index should be a pure decimal literal");
13818 : 27 : add_error (std::move (error));
13819 : 27 : }
13820 : 773 : int index_int = atoi (index.c_str ());
13821 : :
13822 : 773 : location_t locus = tuple_expr->get_locus ();
13823 : :
13824 : : return std::unique_ptr<AST::TupleIndexExpr> (
13825 : 773 : new AST::TupleIndexExpr (std::move (tuple_expr), index_int,
13826 : 773 : std::move (outer_attrs), locus));
13827 : 773 : }
13828 : :
13829 : : // Parses a pseudo-binary infix array (or slice) index expression.
13830 : : template <typename ManagedTokenSource>
13831 : : std::unique_ptr<AST::ArrayIndexExpr>
13832 : 437 : Parser<ManagedTokenSource>::parse_index_expr (
13833 : : const_TokenPtr, std::unique_ptr<AST::Expr> array_expr,
13834 : : AST::AttrVec outer_attrs, ParseRestrictions)
13835 : : {
13836 : : // parse RHS (as tok has already been consumed in parse_expression)
13837 : : /*std::unique_ptr<AST::Expr> index_expr
13838 : : = parse_expr (LBP_ARRAY_REF, AST::AttrVec (),
13839 : : restrictions);*/
13840 : : // TODO: conceptually, should treat [] as brackets, so just parse all expr
13841 : 437 : std::unique_ptr<AST::Expr> index_expr = parse_expr ();
13842 : 437 : if (index_expr == nullptr)
13843 : 0 : return nullptr;
13844 : :
13845 : : // skip ']' at end of array
13846 : 437 : if (!skip_token (RIGHT_SQUARE))
13847 : : {
13848 : : // skip somewhere?
13849 : 0 : return nullptr;
13850 : : }
13851 : :
13852 : : // TODO: check types. actually, do so during semantic analysis
13853 : 437 : location_t locus = array_expr->get_locus ();
13854 : :
13855 : : return std::unique_ptr<AST::ArrayIndexExpr> (
13856 : 437 : new AST::ArrayIndexExpr (std::move (array_expr), std::move (index_expr),
13857 : 437 : std::move (outer_attrs), locus));
13858 : 437 : }
13859 : :
13860 : : // Parses a pseudo-binary infix struct field access expression.
13861 : : template <typename ManagedTokenSource>
13862 : : std::unique_ptr<AST::FieldAccessExpr>
13863 : 1386 : Parser<ManagedTokenSource>::parse_field_access_expr (
13864 : : const_TokenPtr tok ATTRIBUTE_UNUSED, std::unique_ptr<AST::Expr> struct_expr,
13865 : : AST::AttrVec outer_attrs, ParseRestrictions restrictions ATTRIBUTE_UNUSED)
13866 : : {
13867 : : /* get field name identifier (assume that this is a field access expr and
13868 : : * not await, for instance) */
13869 : 1386 : const_TokenPtr ident_tok = expect_token (IDENTIFIER);
13870 : 1386 : if (ident_tok == nullptr)
13871 : 0 : return nullptr;
13872 : :
13873 : 2772 : Identifier ident{ident_tok};
13874 : :
13875 : 1386 : location_t locus = struct_expr->get_locus ();
13876 : :
13877 : : // TODO: check types. actually, do so during semantic analysis
13878 : : return std::unique_ptr<AST::FieldAccessExpr> (
13879 : 1386 : new AST::FieldAccessExpr (std::move (struct_expr), std::move (ident),
13880 : 1386 : std::move (outer_attrs), locus));
13881 : 1386 : }
13882 : :
13883 : : // Parses a pseudo-binary infix method call expression.
13884 : : template <typename ManagedTokenSource>
13885 : : std::unique_ptr<AST::MethodCallExpr>
13886 : 1038 : Parser<ManagedTokenSource>::parse_method_call_expr (
13887 : : const_TokenPtr tok, std::unique_ptr<AST::Expr> receiver_expr,
13888 : : AST::AttrVec outer_attrs, ParseRestrictions)
13889 : : {
13890 : : // parse path expr segment
13891 : 1038 : AST::PathExprSegment segment = parse_path_expr_segment ();
13892 : 1038 : if (segment.is_error ())
13893 : : {
13894 : 0 : Error error (tok->get_locus (),
13895 : : "failed to parse path expr segment of method call expr");
13896 : 0 : add_error (std::move (error));
13897 : :
13898 : 0 : return nullptr;
13899 : 0 : }
13900 : :
13901 : : // skip left parentheses
13902 : 1038 : if (!skip_token (LEFT_PAREN))
13903 : : {
13904 : 0 : return nullptr;
13905 : : }
13906 : :
13907 : : // parse method params (if they exist)
13908 : 1038 : std::vector<std::unique_ptr<AST::Expr>> params;
13909 : :
13910 : 1038 : const_TokenPtr t = lexer.peek_token ();
13911 : 1504 : while (t->get_id () != RIGHT_PAREN)
13912 : : {
13913 : 466 : std::unique_ptr<AST::Expr> param = parse_expr ();
13914 : 466 : if (param == nullptr)
13915 : : {
13916 : 0 : Error error (t->get_locus (),
13917 : : "failed to parse method param in method call");
13918 : 0 : add_error (std::move (error));
13919 : :
13920 : 0 : return nullptr;
13921 : 0 : }
13922 : 466 : params.push_back (std::move (param));
13923 : :
13924 : 932 : if (lexer.peek_token ()->get_id () != COMMA)
13925 : : break;
13926 : :
13927 : 0 : lexer.skip_token ();
13928 : 0 : t = lexer.peek_token ();
13929 : : }
13930 : :
13931 : : // skip right paren
13932 : 1038 : if (!skip_token (RIGHT_PAREN))
13933 : : {
13934 : 0 : return nullptr;
13935 : : }
13936 : :
13937 : : // TODO: check types. actually do so in semantic analysis pass.
13938 : 1038 : location_t locus = receiver_expr->get_locus ();
13939 : :
13940 : : return std::unique_ptr<AST::MethodCallExpr> (
13941 : 2076 : new AST::MethodCallExpr (std::move (receiver_expr), std::move (segment),
13942 : : std::move (params), std::move (outer_attrs),
13943 : 1038 : locus));
13944 : 1038 : }
13945 : :
13946 : : // Parses a pseudo-binary infix function call expression.
13947 : : template <typename ManagedTokenSource>
13948 : : std::unique_ptr<AST::CallExpr>
13949 : 160 : Parser<ManagedTokenSource>::parse_function_call_expr (
13950 : : const_TokenPtr, std::unique_ptr<AST::Expr> function_expr,
13951 : : AST::AttrVec outer_attrs, ParseRestrictions)
13952 : : {
13953 : : // parse function params (if they exist)
13954 : 160 : std::vector<std::unique_ptr<AST::Expr>> params;
13955 : :
13956 : 160 : const_TokenPtr t = lexer.peek_token ();
13957 : 247 : while (t->get_id () != RIGHT_PAREN)
13958 : : {
13959 : 87 : std::unique_ptr<AST::Expr> param = parse_expr ();
13960 : 87 : if (param == nullptr)
13961 : : {
13962 : 0 : Error error (t->get_locus (),
13963 : : "failed to parse function param in function call");
13964 : 0 : add_error (std::move (error));
13965 : :
13966 : 0 : return nullptr;
13967 : 0 : }
13968 : 87 : params.push_back (std::move (param));
13969 : :
13970 : 174 : if (lexer.peek_token ()->get_id () != COMMA)
13971 : : break;
13972 : :
13973 : 22 : lexer.skip_token ();
13974 : 22 : t = lexer.peek_token ();
13975 : : }
13976 : :
13977 : : // skip ')' at end of param list
13978 : 160 : if (!skip_token (RIGHT_PAREN))
13979 : : {
13980 : : // skip somewhere?
13981 : 0 : return nullptr;
13982 : : }
13983 : :
13984 : : // TODO: check types. actually, do so during semantic analysis
13985 : 160 : location_t locus = function_expr->get_locus ();
13986 : :
13987 : : return std::unique_ptr<AST::CallExpr> (
13988 : 160 : new AST::CallExpr (std::move (function_expr), std::move (params),
13989 : 160 : std::move (outer_attrs), locus));
13990 : 160 : }
13991 : :
13992 : : /* Parses a macro invocation with a path in expression already parsed (but not
13993 : : * '!' token). */
13994 : : template <typename ManagedTokenSource>
13995 : : std::unique_ptr<AST::MacroInvocation>
13996 : 2122 : Parser<ManagedTokenSource>::parse_macro_invocation_partial (
13997 : : AST::PathInExpression path, AST::AttrVec outer_attrs,
13998 : : ParseRestrictions restrictions)
13999 : : {
14000 : : // macro invocation
14001 : 2122 : if (!skip_token (EXCLAM))
14002 : : {
14003 : 0 : return nullptr;
14004 : : }
14005 : :
14006 : : // convert PathInExpression to SimplePath - if this isn't possible, error
14007 : 2122 : AST::SimplePath converted_path = path.as_simple_path ();
14008 : 2122 : if (converted_path.is_empty ())
14009 : : {
14010 : 0 : Error error (lexer.peek_token ()->get_locus (),
14011 : : "failed to parse simple path in macro invocation");
14012 : 0 : add_error (std::move (error));
14013 : :
14014 : 0 : return nullptr;
14015 : 0 : }
14016 : :
14017 : 2122 : AST::DelimTokenTree tok_tree = parse_delim_token_tree ();
14018 : :
14019 : 2122 : rust_debug ("successfully parsed macro invocation (via partial)");
14020 : :
14021 : 2122 : location_t macro_locus = converted_path.get_locus ();
14022 : :
14023 : 4244 : return AST::MacroInvocation::Regular (
14024 : 4244 : AST::MacroInvocData (std::move (converted_path), std::move (tok_tree)),
14025 : 2122 : std::move (outer_attrs), macro_locus);
14026 : 2122 : }
14027 : :
14028 : : /* Parses a struct expr struct with a path in expression already parsed (but
14029 : : * not
14030 : : * '{' token). */
14031 : : template <typename ManagedTokenSource>
14032 : : std::unique_ptr<AST::StructExprStruct>
14033 : 859 : Parser<ManagedTokenSource>::parse_struct_expr_struct_partial (
14034 : : AST::PathInExpression path, AST::AttrVec outer_attrs)
14035 : : {
14036 : : // assume struct expr struct (as struct-enum disambiguation requires name
14037 : : // lookup) again, make statement if final ';'
14038 : 859 : if (!skip_token (LEFT_CURLY))
14039 : : {
14040 : 0 : return nullptr;
14041 : : }
14042 : :
14043 : : // parse inner attributes
14044 : 859 : AST::AttrVec inner_attrs = parse_inner_attributes ();
14045 : :
14046 : : // branch based on next token
14047 : 859 : const_TokenPtr t = lexer.peek_token ();
14048 : 859 : location_t path_locus = path.get_locus ();
14049 : 859 : switch (t->get_id ())
14050 : : {
14051 : 50 : case RIGHT_CURLY:
14052 : : // struct with no body
14053 : 50 : lexer.skip_token ();
14054 : :
14055 : : return std::unique_ptr<AST::StructExprStruct> (
14056 : 50 : new AST::StructExprStruct (std::move (path), std::move (inner_attrs),
14057 : 50 : std::move (outer_attrs), path_locus));
14058 : 809 : case DOT_DOT:
14059 : : /* technically this would give a struct base-only struct, but this
14060 : : * algorithm should work too. As such, AST type not happening. */
14061 : : case IDENTIFIER:
14062 : : case INT_LITERAL: {
14063 : : // struct with struct expr fields
14064 : :
14065 : : // parse struct expr fields
14066 : 809 : std::vector<std::unique_ptr<AST::StructExprField>> fields;
14067 : :
14068 : 2337 : while (t->get_id () != RIGHT_CURLY && t->get_id () != DOT_DOT)
14069 : : {
14070 : 1528 : std::unique_ptr<AST::StructExprField> field
14071 : : = parse_struct_expr_field ();
14072 : 1528 : if (field == nullptr)
14073 : : {
14074 : 0 : Error error (t->get_locus (),
14075 : : "failed to parse struct (or enum) expr field");
14076 : 0 : add_error (std::move (error));
14077 : :
14078 : 0 : return nullptr;
14079 : 0 : }
14080 : :
14081 : : // DEBUG:
14082 : 1528 : rust_debug ("struct/enum expr field validated to not be null");
14083 : :
14084 : 1528 : fields.push_back (std::move (field));
14085 : :
14086 : : // DEBUG:
14087 : 1528 : rust_debug ("struct/enum expr field pushed back");
14088 : :
14089 : 3056 : if (lexer.peek_token ()->get_id () != COMMA)
14090 : : {
14091 : : // DEBUG:
14092 : 647 : rust_debug ("lack of comma detected in struct/enum expr "
14093 : : "fields - break");
14094 : : break;
14095 : : }
14096 : 881 : lexer.skip_token ();
14097 : :
14098 : : // DEBUG:
14099 : 881 : rust_debug ("struct/enum expr fields comma skipped ");
14100 : :
14101 : 881 : t = lexer.peek_token ();
14102 : : }
14103 : :
14104 : : // DEBUG:
14105 : 809 : rust_debug ("struct/enum expr about to parse struct base ");
14106 : :
14107 : : // parse struct base if it exists
14108 : 809 : AST::StructBase struct_base = AST::StructBase::error ();
14109 : 1618 : if (lexer.peek_token ()->get_id () == DOT_DOT)
14110 : : {
14111 : 63 : location_t dot_dot_location = lexer.peek_token ()->get_locus ();
14112 : 63 : lexer.skip_token ();
14113 : :
14114 : : // parse required struct base expr
14115 : 63 : std::unique_ptr<AST::Expr> base_expr = parse_expr ();
14116 : 63 : if (base_expr == nullptr)
14117 : : {
14118 : 0 : Error error (lexer.peek_token ()->get_locus (),
14119 : : "failed to parse struct base expression in struct "
14120 : : "expression");
14121 : 0 : add_error (std::move (error));
14122 : :
14123 : 0 : return nullptr;
14124 : 0 : }
14125 : :
14126 : : // DEBUG:
14127 : 63 : rust_debug ("struct/enum expr - parsed and validated base expr");
14128 : :
14129 : : struct_base
14130 : 63 : = AST::StructBase (std::move (base_expr), dot_dot_location);
14131 : :
14132 : : // DEBUG:
14133 : 63 : rust_debug ("assigned struct base to new struct base ");
14134 : 63 : }
14135 : :
14136 : 809 : if (!skip_token (RIGHT_CURLY))
14137 : : {
14138 : 0 : return nullptr;
14139 : : }
14140 : :
14141 : : // DEBUG:
14142 : 809 : rust_debug (
14143 : : "struct/enum expr skipped right curly - done and ready to return");
14144 : :
14145 : 809 : return std::unique_ptr<AST::StructExprStructFields> (
14146 : 809 : new AST::StructExprStructFields (std::move (path), std::move (fields),
14147 : : path_locus, std::move (struct_base),
14148 : : std::move (inner_attrs),
14149 : 809 : std::move (outer_attrs)));
14150 : 809 : }
14151 : 0 : default:
14152 : 0 : add_error (
14153 : 0 : Error (t->get_locus (),
14154 : : "unrecognised token %qs in struct (or enum) expression - "
14155 : : "expected %<}%>, identifier, integer literal, or %<..%>",
14156 : : t->get_token_description ()));
14157 : :
14158 : 0 : return nullptr;
14159 : : }
14160 : 859 : }
14161 : :
14162 : : /* Parses a struct expr tuple with a path in expression already parsed (but
14163 : : * not
14164 : : * '(' token).
14165 : : * FIXME: this currently outputs a call expr, as they cannot be disambiguated.
14166 : : * A better solution would be to just get this to call that function directly.
14167 : : * */
14168 : : template <typename ManagedTokenSource>
14169 : : std::unique_ptr<AST::CallExpr>
14170 : 6768 : Parser<ManagedTokenSource>::parse_struct_expr_tuple_partial (
14171 : : AST::PathInExpression path, AST::AttrVec outer_attrs)
14172 : : {
14173 : 6768 : if (!skip_token (LEFT_PAREN))
14174 : : {
14175 : 0 : return nullptr;
14176 : : }
14177 : :
14178 : 6768 : AST::AttrVec inner_attrs = parse_inner_attributes ();
14179 : :
14180 : 6768 : std::vector<std::unique_ptr<AST::Expr>> exprs;
14181 : :
14182 : 6768 : const_TokenPtr t = lexer.peek_token ();
14183 : 14491 : while (t->get_id () != RIGHT_PAREN)
14184 : : {
14185 : : // parse expression (required)
14186 : 7723 : std::unique_ptr<AST::Expr> expr = parse_expr ();
14187 : 7723 : if (expr == nullptr)
14188 : : {
14189 : 0 : Error error (t->get_locus (), "failed to parse expression in "
14190 : : "struct (or enum) expression tuple");
14191 : 0 : add_error (std::move (error));
14192 : :
14193 : 0 : return nullptr;
14194 : 0 : }
14195 : 7723 : exprs.push_back (std::move (expr));
14196 : :
14197 : 15446 : if (lexer.peek_token ()->get_id () != COMMA)
14198 : : break;
14199 : :
14200 : 2609 : lexer.skip_token ();
14201 : :
14202 : 2609 : t = lexer.peek_token ();
14203 : : }
14204 : :
14205 : 6768 : if (!skip_token (RIGHT_PAREN))
14206 : : {
14207 : 0 : return nullptr;
14208 : : }
14209 : :
14210 : 6768 : location_t path_locus = path.get_locus ();
14211 : :
14212 : 6768 : auto pathExpr = std::unique_ptr<AST::PathInExpression> (
14213 : 6768 : new AST::PathInExpression (std::move (path)));
14214 : :
14215 : : return std::unique_ptr<AST::CallExpr> (
14216 : 6768 : new AST::CallExpr (std::move (pathExpr), std::move (exprs),
14217 : 6768 : std::move (outer_attrs), path_locus));
14218 : 13536 : }
14219 : :
14220 : : /* Parses a path in expression with the first token passed as a parameter (as
14221 : : * it is skipped in token stream). Note that this only parses segment-first
14222 : : * paths, not global ones. */
14223 : : template <typename ManagedTokenSource>
14224 : : AST::PathInExpression
14225 : 19110 : Parser<ManagedTokenSource>::parse_path_in_expression_pratt (const_TokenPtr tok)
14226 : : {
14227 : : // HACK-y way of making up for pratt-parsing consuming first token
14228 : :
14229 : : // DEBUG
14230 : 38220 : rust_debug ("current peek token when starting path pratt parse: '%s'",
14231 : : lexer.peek_token ()->get_token_description ());
14232 : :
14233 : : // create segment vector
14234 : 19110 : std::vector<AST::PathExprSegment> segments;
14235 : :
14236 : 19110 : std::string initial_str;
14237 : :
14238 : 19110 : switch (tok->get_id ())
14239 : : {
14240 : 16850 : case IDENTIFIER:
14241 : 16850 : initial_str = tok->get_str ();
14242 : : break;
14243 : 0 : case SUPER:
14244 : 0 : initial_str = Values::Keywords::SUPER;
14245 : : break;
14246 : 2179 : case SELF:
14247 : 2179 : initial_str = Values::Keywords::SELF;
14248 : : break;
14249 : 81 : case SELF_ALIAS:
14250 : 81 : initial_str = Values::Keywords::SELF_ALIAS;
14251 : : break;
14252 : 0 : case CRATE:
14253 : 0 : initial_str = Values::Keywords::CRATE;
14254 : : break;
14255 : 0 : case DOLLAR_SIGN:
14256 : 0 : if (lexer.peek_token ()->get_id () == CRATE)
14257 : : {
14258 : 0 : initial_str = "$crate";
14259 : : break;
14260 : : }
14261 : : gcc_fallthrough ();
14262 : : default:
14263 : 0 : add_error (Error (tok->get_locus (),
14264 : : "unrecognised token %qs in path in expression",
14265 : : tok->get_token_description ()));
14266 : :
14267 : 0 : return AST::PathInExpression::create_error ();
14268 : : }
14269 : :
14270 : : // parse required initial segment
14271 : 19110 : AST::PathExprSegment initial_segment (initial_str, tok->get_locus ());
14272 : : // parse generic args (and turbofish), if they exist
14273 : : /* use lookahead to determine if they actually exist (don't want to
14274 : : * accidently parse over next ident segment) */
14275 : 38220 : if (lexer.peek_token ()->get_id () == SCOPE_RESOLUTION
14276 : 20322 : && lexer.peek_token (1)->get_id () == LEFT_ANGLE)
14277 : : {
14278 : : // skip scope resolution
14279 : 272 : lexer.skip_token ();
14280 : :
14281 : 272 : AST::GenericArgs generic_args = parse_path_generic_args ();
14282 : :
14283 : : initial_segment
14284 : 544 : = AST::PathExprSegment (AST::PathIdentSegment (initial_str,
14285 : : tok->get_locus ()),
14286 : 272 : tok->get_locus (), std::move (generic_args));
14287 : 272 : }
14288 : 19110 : if (initial_segment.is_error ())
14289 : : {
14290 : : // skip after somewhere?
14291 : : // don't necessarily throw error but yeah
14292 : :
14293 : : // DEBUG
14294 : 0 : rust_debug ("initial segment is error - returning null");
14295 : :
14296 : 0 : return AST::PathInExpression::create_error ();
14297 : : }
14298 : 19110 : segments.push_back (std::move (initial_segment));
14299 : :
14300 : : // parse optional segments (as long as scope resolution operator exists)
14301 : 19110 : const_TokenPtr t = lexer.peek_token ();
14302 : 20205 : while (t->get_id () == SCOPE_RESOLUTION)
14303 : : {
14304 : : // skip scope resolution operator
14305 : 1095 : lexer.skip_token ();
14306 : :
14307 : : // parse the actual segment - it is an error if it doesn't exist now
14308 : 1095 : AST::PathExprSegment segment = parse_path_expr_segment ();
14309 : 1095 : if (segment.is_error ())
14310 : : {
14311 : : // skip after somewhere?
14312 : 0 : Error error (t->get_locus (),
14313 : : "could not parse path expression segment");
14314 : 0 : add_error (std::move (error));
14315 : :
14316 : 0 : return AST::PathInExpression::create_error ();
14317 : 0 : }
14318 : :
14319 : 1095 : segments.push_back (std::move (segment));
14320 : :
14321 : 1095 : t = lexer.peek_token ();
14322 : : }
14323 : :
14324 : : // DEBUG:
14325 : 38220 : rust_debug (
14326 : : "current token (just about to return path to null denotation): '%s'",
14327 : : lexer.peek_token ()->get_token_description ());
14328 : :
14329 : 19110 : return AST::PathInExpression (std::move (segments), {}, tok->get_locus (),
14330 : 19110 : false);
14331 : 57330 : }
14332 : :
14333 : : // Parses a closure expression with pratt parsing (from null denotation).
14334 : : template <typename ManagedTokenSource>
14335 : : std::unique_ptr<AST::ClosureExpr>
14336 : 61 : Parser<ManagedTokenSource>::parse_closure_expr_pratt (const_TokenPtr tok,
14337 : : AST::AttrVec outer_attrs)
14338 : : {
14339 : : // TODO: does this need pratt parsing (for precedence)? probably not, but
14340 : : // idk
14341 : 61 : location_t locus = tok->get_locus ();
14342 : 61 : bool has_move = false;
14343 : 61 : if (tok->get_id () == MOVE)
14344 : : {
14345 : 1 : has_move = true;
14346 : 1 : tok = lexer.peek_token ();
14347 : 1 : lexer.skip_token ();
14348 : : // skip token and reassign
14349 : : }
14350 : :
14351 : : // handle parameter list
14352 : 61 : std::vector<AST::ClosureParam> params;
14353 : :
14354 : 61 : switch (tok->get_id ())
14355 : : {
14356 : : case OR:
14357 : : // no parameters, don't skip token
14358 : : break;
14359 : 53 : case PIPE: {
14360 : : // actually may have parameters
14361 : : // don't skip token
14362 : 53 : const_TokenPtr t = lexer.peek_token ();
14363 : 117 : while (t->get_id () != PIPE)
14364 : : {
14365 : 64 : AST::ClosureParam param = parse_closure_param ();
14366 : 64 : if (param.is_error ())
14367 : : {
14368 : : // TODO is this really an error?
14369 : 0 : Error error (t->get_locus (), "could not parse closure param");
14370 : 0 : add_error (std::move (error));
14371 : :
14372 : 0 : return nullptr;
14373 : 0 : }
14374 : 64 : params.push_back (std::move (param));
14375 : :
14376 : 128 : if (lexer.peek_token ()->get_id () != COMMA)
14377 : : {
14378 : 106 : if (lexer.peek_token ()->get_id () == OR)
14379 : 1 : lexer.split_current_token (PIPE, PIPE);
14380 : : // not an error but means param list is done
14381 : : break;
14382 : : }
14383 : : // skip comma
14384 : 11 : lexer.skip_token ();
14385 : :
14386 : 22 : if (lexer.peek_token ()->get_id () == OR)
14387 : 0 : lexer.split_current_token (PIPE, PIPE);
14388 : :
14389 : 11 : t = lexer.peek_token ();
14390 : : }
14391 : :
14392 : 53 : if (!skip_token (PIPE))
14393 : : {
14394 : 0 : return nullptr;
14395 : : }
14396 : : break;
14397 : 53 : }
14398 : 0 : default:
14399 : 0 : add_error (Error (tok->get_locus (),
14400 : : "unexpected token %qs in closure expression - expected "
14401 : : "%<|%> or %<||%>",
14402 : : tok->get_token_description ()));
14403 : :
14404 : : // skip somewhere?
14405 : 0 : return nullptr;
14406 : : }
14407 : :
14408 : : // again branch based on next token
14409 : 61 : tok = lexer.peek_token ();
14410 : 61 : if (tok->get_id () == RETURN_TYPE)
14411 : : {
14412 : : // must be return type closure with block expr
14413 : :
14414 : : // skip "return type" token
14415 : 31 : lexer.skip_token ();
14416 : :
14417 : : // parse actual type, which is required
14418 : 31 : std::unique_ptr<AST::TypeNoBounds> type = parse_type_no_bounds ();
14419 : 31 : if (type == nullptr)
14420 : : {
14421 : : // error
14422 : 0 : Error error (tok->get_locus (), "failed to parse type for closure");
14423 : 0 : add_error (std::move (error));
14424 : :
14425 : : // skip somewhere?
14426 : 0 : return nullptr;
14427 : 0 : }
14428 : :
14429 : : // parse block expr, which is required
14430 : 31 : std::unique_ptr<AST::BlockExpr> block = parse_block_expr ();
14431 : 31 : if (block == nullptr)
14432 : : {
14433 : : // error
14434 : 0 : Error error (lexer.peek_token ()->get_locus (),
14435 : : "failed to parse block expr in closure");
14436 : 0 : add_error (std::move (error));
14437 : :
14438 : : // skip somewhere?
14439 : 0 : return nullptr;
14440 : 0 : }
14441 : :
14442 : 31 : return std::unique_ptr<AST::ClosureExprInnerTyped> (
14443 : 31 : new AST::ClosureExprInnerTyped (std::move (type), std::move (block),
14444 : : std::move (params), locus, has_move,
14445 : 31 : std::move (outer_attrs)));
14446 : 31 : }
14447 : : else
14448 : : {
14449 : : // must be expr-only closure
14450 : :
14451 : : // parse expr, which is required
14452 : 30 : std::unique_ptr<AST::Expr> expr = parse_expr ();
14453 : 30 : if (expr == nullptr)
14454 : : {
14455 : 0 : Error error (tok->get_locus (),
14456 : : "failed to parse expression in closure");
14457 : 0 : add_error (std::move (error));
14458 : :
14459 : : // skip somewhere?
14460 : 0 : return nullptr;
14461 : 0 : }
14462 : :
14463 : 30 : return std::unique_ptr<AST::ClosureExprInner> (
14464 : 30 : new AST::ClosureExprInner (std::move (expr), std::move (params), locus,
14465 : 30 : has_move, std::move (outer_attrs)));
14466 : 30 : }
14467 : 61 : }
14468 : :
14469 : : /* Parses a tuple index expression (pratt-parsed) from a 'float' token as a
14470 : : * result of lexer misidentification. */
14471 : : template <typename ManagedTokenSource>
14472 : : std::unique_ptr<AST::TupleIndexExpr>
14473 : 0 : Parser<ManagedTokenSource>::parse_tuple_index_expr_float (
14474 : : const_TokenPtr tok, std::unique_ptr<AST::Expr> tuple_expr,
14475 : : AST::AttrVec outer_attrs, ParseRestrictions restrictions ATTRIBUTE_UNUSED)
14476 : : {
14477 : : // only works on float literals
14478 : 0 : if (tok->get_id () != FLOAT_LITERAL)
14479 : 0 : return nullptr;
14480 : :
14481 : : // DEBUG:
14482 : 0 : rust_debug ("exact string form of float: '%s'", tok->get_str ().c_str ());
14483 : :
14484 : : // get float string and remove dot and initial 0
14485 : 0 : std::string index_str = tok->get_str ();
14486 : 0 : index_str.erase (index_str.begin ());
14487 : :
14488 : : // get int from string
14489 : 0 : int index = atoi (index_str.c_str ());
14490 : :
14491 : 0 : location_t locus = tuple_expr->get_locus ();
14492 : :
14493 : : return std::unique_ptr<AST::TupleIndexExpr> (
14494 : 0 : new AST::TupleIndexExpr (std::move (tuple_expr), index,
14495 : 0 : std::move (outer_attrs), locus));
14496 : 0 : }
14497 : :
14498 : : // Returns true if the next token is END, ELSE, or EOF;
14499 : : template <typename ManagedTokenSource>
14500 : : bool
14501 : : Parser<ManagedTokenSource>::done_end_or_else ()
14502 : : {
14503 : : const_TokenPtr t = lexer.peek_token ();
14504 : : return (t->get_id () == RIGHT_CURLY || t->get_id () == ELSE
14505 : : || t->get_id () == END_OF_FILE);
14506 : : }
14507 : :
14508 : : // Returns true if the next token is END or EOF.
14509 : : template <typename ManagedTokenSource>
14510 : : bool
14511 : : Parser<ManagedTokenSource>::done_end ()
14512 : : {
14513 : : const_TokenPtr t = lexer.peek_token ();
14514 : : return (t->get_id () == RIGHT_CURLY || t->get_id () == END_OF_FILE);
14515 : : }
14516 : : } // namespace Rust
|
