十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
这篇文章主要介绍怎么用python写词法分析器,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
创新互联公司是一家集网站建设,伊川企业网站建设,伊川品牌网站建设,网站定制,伊川网站建设报价,网络营销,网络优化,伊川网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。编译原理老师要求写一个java的词法分析器,想了想决定用python写一个。
目标
能识别出变量,数字,运算符,界符和关键字,用excel表打印出来。
有了目标,想想要怎么实现词法分析器。
1.先进行预处理,把注释,多余的空格,空行去掉。
2.一行一行扫描,行里逐字扫描,把界符和运算符当做分割符,遇到就先停下开始判断。
若是以 英文字母、$、下划线开头,则可能是变量和关键字,在判断是关键字还是变量。
若是数字开头,则判断下一位是不是也是数字,直到遇到非数字停止,在把数字取出来。
再来判断分割符是什么类型,是界符还是运算符。
在给不同词添加上识别码
在用excel表打印出来。
代码实现
1. 用列表创建一个关键字表,java关键字有50个。
#保留字 key_word = ['abstract','assert','boolean','break','byte', 'case','catch','char','class','const', 'continue','default','do','double','else', 'enum','extends','final','finally','float', 'for','goto','if','implements','import', 'instanceof','int','interface','long','native', 'new','package','private','protected','public', 'return','short','static','strictfp','super', 'switch','synchronized','this','throw','throws', 'transient','try','void','volatile','while']
2.用列表创建一个运算符表。
#运算符 operator = ['+','-','*','/','%','++','--','+=','-=','+=','/=',#算术运算符 '==','!=','>','<','>=','<=',#关系运算符 '&','|','^','~','<<','>>','>>>',#位运算符 '&&','||','!',#逻辑运算符 '=','+=','-=','*=','/=','%=','<<=','>>=','&=','^=','|=',#赋值运算符 '?:']#条件运算符
3. 用列表创建一个界符表。
#界符 delimiters = ['{','}','[',']','(',')','.',',',':',';']
4.预处理
用正则表达式把注释去掉,在把多余的空行去掉
#预处理 def filterResource(file,new_file): f2 = open(new_file,'w+') txt = ''.join(open(file,'r').readlines()) deal_txt = re.sub(r'\/\*[\s\S]*\*\/|\/\/.*','',txt) for line in deal_txt.split('\n'): line = line.strip() line = line.replace('\\t','') line = line.replace('\\n','') if not line: continue else: f2.write(line+'\n') f2.close() return sys.path[0]+'\\'+ new_file
5.逐行扫描
按照刚刚的思路进行判断,把每一行的单词,添加到word_line列表中,最后在把每一行添加到token列表中。
def Scan(file): lines = open(file,'r').readlines() for line in lines: word = '' word_line = [] i = 0 while i6.根据单词返回是什么类型
按照保留字--界符--运算符--常数的顺序来当识别码。常数识别码是-1,标识符识别码是-2
def check(number): hanzi = '' q = len(key_word) w = len(delimiters) e = len(operator) if 07. 用thinker写一个简单的界面
导入
from tkinter import * from tkinter.filedialog import askdirectory,askopenfilenameroot = Tk() root.title('词法分析') root.resizable(0, 0) path = StringVar() Label(root,text = "目标路径:").grid(row = 0, column = 0) Entry(root, textvariable = path).grid(row = 0, column = 1) Button(root, text = "路径选择", command = openfiles).grid(row = 0, column = 2) Button(root,text='词法分析',command= open_excel).grid(row = 0,column = 3) root.mainloop()打开文件
def openfiles(): fname = askopenfilename(title='打开文件', filetypes=[('All Files', '*')]) path.set(fname)简单的界面
8.导入到excel表中
需要安装包xwings
pip install xwings导入
import xlwings as xw把token里的单词,按照 单词 ---- 识别码 ---类型 打印到excel表中
def open_excel(): # 预处理 row,col=0,0 if path.get()!='': txt = java_analysis.filterResource(path.get(),new_file) print(txt) #扫描 java_analysis.Scan(txt) app = xw.App(visible=True,add_book=False) wb =app.books.open(sys.path[0]+'\\'+'test.xlsx') sheet = wb.sheets.active sheet.clear() print(java_analysis.token) for i in range(len(java_analysis.token)): sheet[row,0].value = '第'+str(i+1)+'行' row +=1 for word in java_analysis.token[i]: for k,w in word.items(): sheet[row,3].value = k sheet[row,5].value = w sheet[row,7].value = java_analysis.check(w) row +=1 sheet.autofit()#整个sheet自动调整 #wb.save()最后就像这样
以上是“怎么用python写词法分析器”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联成都网站设计公司行业资讯频道!
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
网页标题:怎么用python写词法分析器-创新互联
文章源于:http://6mz.cn/article/dcjici.html