前言在前面是实战中,我们都是爬取的没有人机校验机制的网站,如果遇到有人机验证的网站是无法爬取的,具体我们在bs4基础上,增加Web Driver自动化调用浏览器模拟我们的真人请求,对内容进行爬取。
前面的内容:点击跳转
实战内容爬取的网站:http://www.beqege.com/28970/
还是笔趣阁,不过这个比起之前的有人机校验,反爬虫机制,使用之前的代码框架显然不足以满足我们的需求,只会给你返回错误。
给代码加入WebDriver使用以下代码可实现对这种人机校验简单爬取,同时加入了自动化控制浏览器的WebDriver模块、多线程模块。可以多线程的方式爬取网站内容,加快爬取速度,线程可自定义。
博主这里习惯使用的是Google Chrome浏览器,所以是调用的Chrome,请根据自己的实际使用环境决定最后调用的浏览器!
from bs4 import BeautifulSoupfrom selenium import webdriverimport concurrent.futuresimport timedef get_chapter_content(chapter_ur ...
前言现在都在推进国产化系统,对于我一个偶尔使用Linux的人来讲,最常用的就是 neofetch 来展现系统的配置信息。
在Windows这个图形化为主的系统里面,我们如何在 Windows Terminal 上优雅的使用 neofetch 命令展示系统的配置信息呢?
实现方法参考原文链接:点击跳转
使用Scoop安装
打开 Powershell。
进入 Powershell 后,键入以下命令:
iwr -useb get.scoop.sh | iex
iwr 代表 Invoke-WebRequest,并启动会话以访问 Web 上的某些内容。 这 即 commandlet 要求 Powershell 在命令执行后返回一个语句,如果没有 iex,所有语句都将按原样返回。
按 Enter. Powershell 现在将安装 Scoop。
如果一切顺利,您将收到一条绿色回复,说明 Scoop 已成功安装。 安装 Scoop 后,您可以通过命令提示符实现的功能范围现在大大扩展。 是时候安装 Neofetch 了。
打开Power shell。
在Power shell中,输入 ...
前言本文共享的一切技术资源包括但不限于:前后端代码、图片文件 仅用于学习研究钓鱼网站原理及其思路,提示网络安全意识,禁止用于一切非法用途以及真实钓鱼,否则一切后果由用户自负。
当您下载或者阅读本文即代表您已经默认同意以上协议。
钓鱼示例站点-腾讯文档高仿钓鱼成品如下图所示
示例站点:https://g.xingchencloud.top/
前端源代码当用户输入了账号密码点击登录后,后端会将数据按照既定格式存储。
<!DOCTYPE html><html lang="zh-cn"> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> <meta id="viewport" name="viewport" content="width=device-width,minimum-scale=1,maximum-scale=1 ...
前言前面我们使用bs4爬取了笔趣阁,并且实现了去除笔趣阁牛皮藓,但是我们实际上爬虫肯定是不会仅仅输出到终端,都是写入到文件里面,那么我们如何将爬取的数据写入到文本呢?
比如上一篇文章笔趣阁的小说:点击跳转
示例demo,单章节爬取将数据直接保存到txt,不做任何数据格式处理。# 自定义文件保存路径,例如保存到桌面 file_path = "C:\\Users\\你的电脑用户名\\Desktop\\文件名.txt" # 创建或打开txt文件,准备写入内容,注意编码格式哦,这里是utf-8 with open(file_path, "w", encoding="utf-8") as file: # 写入章节标题 for h1 in h1_elements: file.write("本文标题: " + h1.text + "\n") # 写入正文内容,并且删除不需要的文本 for p in p_el ...
前言前面一篇笔记记录了Python如何安装bs4模块,以及简单的bs4爬取重庆能源职业学院新闻中心页面所有url。
详见:点击跳转
实战笔趣阁正文爬取相关介绍本文爬取笔趣阁小说:点击跳转
爬取的第一章节:点击跳转
源代码参考仅爬虫文章,不去除正文内的广告那些 执行结果:
import requestsfrom bs4 import BeautifulSoupfrom urllib.request import Request, urlopen# 创建一个会话对象session = requests.session()# 设置请求的URLhost = "https://www.bqgam.com/index/11303/"# 设置请求的页面page = "https://www.bqgam.com/index/11303/1.html"def requestUrl(url): # 设置请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windo ...
吐槽在学校 经过一个多月的备考,学习,终于来到了今天,感觉考试内容还是很简单的,就是那个破电脑真的卡死了!
做个截图都能卡,最后差点没交上去。
感想最开始自己也想过摆烂算了,但是想了想自己的初心,还是为儿时的梦想在拼搏努力一次!
‘一个月的星辰变幻,键盘声与寂静夜色交织。终于 今日,网络安全工程师考试之旅暂告一段落。心中满溢的并非解脱之喜,而是对未知挑战的热切期待。路漫漫其修远兮,吾将上下而求索。’
虽然学习这个过程很累,每天上完课还要自己去研究考题,周末也找个安静的教室和几个朋友补习,但是一切还是值得的,个人感觉考题很简单,现在静候佳音,期待一个月后顺利拿证。</doge
为什么考证?作为五年制大专学历的我,毕业了感觉说实话没啥大的优势,更何况和是走大数据这一门专业,自己都知道没啥优势,为人处世也不行,所以还是趁明年实习前最后多拿几个证吧!
五年制就3年高职,1年大专,剩下一年自主实习,前三年都被学校要求出去打螺丝了一年,无奈,很多时候都感觉自己能力很少,学历也不行,全是被学院这个中介拉着鼻子走。
现在这个就业环境,结合自己实际情况,最后尝试一次为自己努力,也希望在这 ...
数据库小命令SHOW DATABASES; -- 显示所有数据库CREATE DATABASE cqny; -- 新建数据库# drop 删除(drop database 数据库名)# after 修改(after database 数据库名)# create 创建(create database 数据库名)# 图形化下:新建数据库 -字符集:utf8mb4 -规则:utf8mb4_general_ci-- 创建名为data3的数据库,设置字符集为utf8mb4,校对规则为utf8mb4_general_ci:CREATE DATABASE bookstoreCHARACTER SET utf8mb4COLLATE utf8mb4_general_ci;
常见数据类型:1、字符型中文汉字(2字节)
英文字母、数字、标点符号(1个字节)
(1)char(10)
固长:例如,如果你定义一个 CHAR(10) 字段,那么该字段将始终占用 10 个字符的存储空间,不管你实际存储了多少字符。如果你存储的字符串不足 10 个字符,那么将用空格字符填充,以达到指定的固定长度。
CHAR 是用于存 ...
以下是一些MySQL数据库的基本命令
连接到MySQL服务器:
mysql -u用户名 -p #用户名默认是root
输入密码后即可连接到MySQL服务器。
显示所有数据库:
SHOW DATABASES;
创建数据库:
CREATE DATABASE 数据库名;
选择数据库:
USE 数据库名;
显示当前选定的数据库:
SELECT DATABASE();
显示数据库中的所有表:
SHOW TABLES;
显示表结构:
DESC 表名;
创建表:
CREATE TABLE 表名 ( 列名1 数据类型1, 列名2 数据类型2, ...);
插入数据:
INSERT INTO 表名 (列1, 列2, 列3, ...) VALUES (值1, 值2, 值3, ...);
查询数据:
SELECT 列1, 列2 FROM 表名 WHERE 条件;
更新数据:
UPDATE 表名 SET 列1 = 值1 WHERE 条件;
删除数据:
DELETE FROM 表名 WHERE 条件;
删除表:
DROP TABLE 表名;
删除数据库:
DROP D ...
前言最近想到还有一个闲置的阿里云国外服务器,思来想去决定做一个KMS激活服务器。
声明:本KMS仅用于学习使用用途,禁止用于商业行为!否则造成的一切后果自负。
KMS服务器搭建使用的 @沧水 大佬的这篇文章
支持列表
支持office软件、Windows7(仅支持专业VL版本)及以后的系统。OEM版什么的就肯定不能用kms激活
激活Windows系统要求:尽可能不使用淘宝/电脑城奸商系统,某吧某坛大神精简系统,某木风某白菜某之家某花园某家园魔改ghost系统,等一系列被人二次修改的系统。
激活Office要求:请勿使用各种精简版或上古版本。
双击脚本运行时,windows自带的安全机制会弹出窗口询问你是否要运行!因为脚本是申请了管理员权限的。
0x80070005错误一般是你没用管理员权限运行CMD,请检查是否被拦截运行清除Windows的kms之后需要重启电脑才能重新激活!大多数情况你根本不用到处问来问去,直接根据出错代码自己百度搜索出错原因就行了!
Office激活脚本示例参考本文 @沧水博客
Windows激活脚本示例可以做成bat格式直接右键管理员身份运行 ...
前言本文为个人备考笔记,可能存在部分错误,欢迎社会各界运维师傅们指正!
思科模拟器配置安装与汉化配置同意使用协议,选择安装路径,创建开始菜单文件夹,创建桌面快捷方式,安装完成后,汉化配置。将简体中文汉化包导入软件安装根目录下的languages文件夹中,在软件首选项中选择导入的简体中文,点击确定,重启软件即可。
利用一台型号为2960的交换机将2pc机互连组建一个小型局域网
分别设置pc机的ip地址;
验证pc机间可以互通。
模拟器内准备的设备:Switch_2960 1台;PC 2台;直连线
完成外部线路铺设后,需要去配置交换机与PC的IP地址:
在2台PC上设置IP地址(这里以192.168.15.2和192.168.15.3为例)
在2台PC上设置子网掩码(这里均设置为255.255.255.0)
在2台PC上设置默认网关(这里均设置为192.168.15.1)
最后在模拟器PC中使用ping命令测试两台PC的IP地址是否可以互通。(根据机器ping 192.168.15.2/3)
扩充知识:为什么子网掩码与网关都是一样的呢?因为子网掩码是用来划分子网的,而网关是用 ...