CSFlexer - einfacher schneller C# Scanner

    • C#

      CSFlexer - einfacher schneller C# Scanner

      Hi,

      Da ich mich in letzer Zeit intensiv mit dem Thema Compilerbau auseinadergesetzt habe, wollte ich euch meinen C# Version eines Scanners nicht vorenthalten. Der Scanner unterteilt einen Text in einzelne sogenante Tokens, die quasi ein Bauteil einer Sprachdefinition entsprechen.

      Beispielsweise die Sprache die mathematische Ausdrücke beschreibt:
      2*(2+4)

      Gibt man diese Zeichenkette in den entsprechenden Scanner werden diese Sprachbestandteile unterschieden/ausgegeben (Jede Zeile repräsentiert ein Token):
      Spoiler anzeigen

      Quellcode

      1. 2
      2. *
      3. (
      4. 2
      5. +
      6. 4
      7. )


      Ich habe mich bei der Umsetzung des Scanners sehr an JFlex orientiert, in welchem eine Scannerregel folgendermaßen aufgebaut ist:

      Quellcode

      1. <Zustand> {
      2. RegExAusdruck1{Anweisung1;}
      4. RegExAusdruck2{Anweisung2;}
      5. }


      Die Zustände funktionieren genauso wie bei einem endlichen Automaten, der Startzustand ist immer INITIAL.

      Wobei der Scanner Methoden für den Pushback sowie den Zustandwechsel bereitstellt.

      Hier nun meine Implementierung davon:

      Die Token-Klasse:
      Spoiler anzeigen

      C#-Quellcode

      1. using System;
      3. namespace CSFlex
      5. {
      7. public enum TokenType{
      9. EOF,
      11. ID,
      13. COMMA,
      15. LSBR,
      17. RSBR,
      19. WS,
      21. NUMBER,
      23. NULL
      25. }
      27. public class Token
      29. {
      31. public String Content{ get; set;}
      33. public TokenType Type{ get; set;}
      35. public int startLine{ get; set;}
      39. public int startColumn{ get; set;}
      41. public Token (string content, TokenType type )
      43. {
      45. this.Content = content;
      47. this.Type = type;
      49. }
      51. public Token (string content, TokenType type, int startLine, int startColumn)
      53. {
      55. this.Content = content;
      57. this.Type = type;
      59. this.startLine = startLine;
      61. this.startColumn = startColumn;
      63. }
      65. }
      67. }



      Die Klasse LexingRule die eine LexerRegel darstellt:

      Spoiler anzeigen

      C#-Quellcode

      1. using System;
      3. using System.Text.RegularExpressions;
      5. namespace CSFlex
      7. {
      9. public enum LexingState{
      11. INITIAL,
      13. NUM,
      15. ERROR
      17. }
      19. public class LexingRule
      21. {
      23. public LexingState[] LexingState{ get; set;}
      25. public Regex Pattern{ get; set;}
      27. public Func<string, Match, Token> Action{ get; set;}
      29. public LexingRule (LexingState[] ls, String pattern, Func<string, Match, Token> action)
      31. {
      33. this.LexingState = ls;
      35. this.Pattern = new Regex ("^" + pattern, RegexOptions.Compiled);
      37. this.Action = action;
      39. }
      41. public Boolean ruleMatches(LexingState ls, String input){
      43. return Array.Exists(LexingState, l => l == ls) && Pattern.IsMatch(input);
      45. }
      47. public Match getMatch(String input){
      49. Match m = Pattern.Match (input);
      51. if (m.Success) {
      53. return m;
      55. }
      57. return null;
      59. }
      61. }
      63. }



      Spoiler anzeigen

      C#-Quellcode

      1. using System;
      3. using System.Collections.Generic;
      5. using System.Text;
      7. using System.Text.RegularExpressions;
      9. namespace CSFlex
      11. {
      13. public class CSFlexer
      15. {
      17. private int startLine =1, startColumn=1;
      19. private string toParse;
      21. private string remainingText;
      23. private List<LexingRule> LRules = new List<LexingRule>();
      25. private LexingState CurrentState = LexingState.INITIAL;
      27. private StringBuilder stringBuffer = new StringBuilder();
      29. private double numBuffer;
      31. public CSFlexer(string text){
      33. startLine = 0;
      35. startColumn = 0;
      37. toParse = text;
      39. remainingText = text;
      41. numBuffer = 0;
      43. loadRules ();
      45. }
      49. public void pushBack(int length){
      51. remainingText = toParse.Substring (toParse.Length - (remainingText.Length + length));
      53. }
      55. public void changeState(LexingState ls){
      57. CurrentState = ls;
      59. }
      61. public void loadRules(){
      65. }
      67. public LexingRule getMatchingRule(ref Match m){
      69. LexingRule result = null;
      71. Match mt = null;
      73. int currentLength = -1;
      75. foreach (LexingRule ls in LRules) {
      77. if (ls.ruleMatches (CurrentState, remainingText)) {
      79. mt = ls.getMatch (remainingText);
      81. if (mt.Length > currentLength) {
      83. result = ls;
      85. currentLength = mt.Length;
      87. m = mt;
      89. }
      91. }
      93. }
      95. return result;
      97. }
      99. public Token nextToken(){
      101. Token resultToken = null;
      103. while(resultToken==null){
      105. Match m = null;
      107. LexingRule lr = getMatchingRule (ref m);
      109. string yytext = "";
      111. if (remainingText != "")
      113. yytext = m.Value;
      115. remainingText = remainingText.Substring (m.Length);
      117. resultToken = lr.Action.Invoke (yytext, m);
      119. }
      121. return resultToken;
      123. }
      125. public List<Token> Tokenize(){
      127. List<Token> result = new List<Token> ();
      129. Token nT = null;
      131. do {
      133. nT = nextToken();
      135. if(nT.Type!=TokenType.WS && nT.Type != TokenType.EOF)
      137. result.Add(nT);
      139. } while ( nT.Type != TokenType.EOF );
      141. return result;
      143. }
      145. }
      147. }


      Die Regeln werden folgendermaßen in der LoadRules Methode hinzugefügt:

      C#-Quellcode

      1. LRules.Add (new LexingRule(new LexingState[]{LexingState.INITIAL}, "[a-zA-Z][a-zA-Z0-9]*",
      2. delegate(string content, Match m)
      3. {
      5. return new Token(content, TokenType.ID);
      6. }
      7. ));



      Das war es auch schon. Hoffe jemand kann damit etwas anfangen.

      8-) faxe1008 8-)

    Facebook
    Telefonspende