windows下python使用requests爬取网页乱码问题

背景在windows下使用python的requests库和re爬取网页并提取js文件,出现提取到的js文件名乱码的问题。示例代码如下:import re import requests res = requests.get('https://xxx.xxx.com/xxx.html') re.findall(r'<script\ssrc="(\S+.js)"&...

Python,bug记录 2023-07-28 PM 55次 0条

python使用requests库下载大文件占用内存高

背景在项目中使用Python的requests库下载大文件时,出现下载一半程序中断的问题,测试发现是内存占用过高导致解决requests.get()增加参数stream=True原下载方式req = requests.get(url_file) with open(path, 'wb') as f: f.write(req.content)改进后req = requests.get(...

Python,bug记录 2023-07-25 PM 87次 0条

uniapp开发微信小程序上传时发布包过大

解决方法勾上这个亲测可以,原本是2.2M一直过不了,勾上后重新打开上传只有1.5M了参考https://blog.csdn.net/maowencai/article/details/126544528?spm=1001.2014.3001.5502

bug记录,技术 2023-02-13 PM 108次 0条

记录Mysql8.0数据迁移到Mysql5.6遇到的问题和解决方法

问题1:编码问题导入数据时报1273编码错误原因mysql8.0和mysql5.6的编码不一致解决方法将导入sql编码批量替换:utf8mb4_0900_ai_ci 替换为 utf8_general_ciutf8mb4替换为utf8utf8mb4_unicode_ci,全部替换为:utf8_general_ci参考https://blog.csdn.net/zhoushengbin3/art...

bug记录,数据库,部署 2023-02-03 AM 131次 0条

Django使用update更新数据无法触发post_save信号的解决方法

背景在项目开发中发现,通过MyModel.objectes.filter(xxx=xxx).update(xxx=xxx)更新数据时,无法触发Django自带的post_save信号,官方的解释是必须是save操作才能触发post_save(update不能触发)但考虑到数据库并发情况又必须要使用MyModel.objectes.filter(xxx=xxx).update(xxx=xxx)...

Django,bug记录 2023-02-01 PM 176次 0条

win11使用python和selenium操作ie浏览器报错

背景win11下使用python和selenium操作ie浏览器时报错:from selenium import webdriver driver = webdriver.Ie(executable_path=r"C:\IEDriverServer.exe") # 使用ie浏览器 driver.get("http://www.baidu.com")...

Python,bug记录 2023-01-05 PM 206次 1条

Selenium中WebDriverWait设置的超时时间不起作用

问题描述Selenium中WebDriverWait设置的超时时间不起作用,在WebDriverWait中设置的超时时间为2秒,但实际要10秒才会报超时错误。代码如下WebDriverWait(self.wd, 2).until(EC.presence_of_element_located((By.ID, 'listtable')))解决方法implicitly_wait和WebDriver...

Python,bug记录 2022-12-19 PM 119次 0条

Python使用Selenium指定用户目录多开谷歌浏览器时报错解决方法

问题Python使用Selenium时指定user-data,并且此时打开的有另外的谷歌浏览器,会报以下错误:(node:14272) UnhandledPromiseRejectionWarning: InvalidArgumentError: invalid argument: user data directory is already in use, please specify a...

Python,bug记录 2022-11-19 PM 103次 0条