分类： 网站

高考结束，回到开往项目组。大学录取了计算机方向的专业，之前做项目的经历告诉我开发这件事情不能靠别人，自己不太好意思再给别人提需求了，也对同龄人已经熟练使用 Node.js 感到焦虑，所以这几个月自己尝试打开电脑为项目写点东西。

此前用 PHP 和原生 JavaScript 写过一点点东西，但都不算作一个项目——要么就是从网上搜随机数来实现随机动漫图片，要么就是搜索关于数组的处理方法用函数实现了一下并集、补集之类的东西。

这并不算是一个技术笔记，只是我的碎碎念。

编写 Python 数据爬取脚本

开往此前有一个“成员文章同步”的 ToDo，但是一直没有人实现。所以，我来折腾了（实则为捣乱）。

成员文章同步计划用 FreshRSS 实现，现在只需要用一个脚本爬取开往成员的订阅地址，生成一个 OPML 文件就好了。

开往成员的订阅地址从哪里整呢？组里原先有一些想法：弄个平台让站长自行提交；内置订阅地址的一些常见 uri 去测测哪个可以访问……最后，我想到了自己此前维护过的项目——中文博客列表导航。自己之前收集的那些订阅地址不就派上用场了？我可真是一个天才（猪）。

第一次，我的想法是这样的：

但是，当我真的去按照这个思路写代码的时候，电脑报错了。检查之后发现是中文博客列表导航有频率限制。我尝试 sleep 了一下，发现效果不好。这样会给中文博客列表导航发一千多次请求，对项目不友好。

所以，我对思路进行了改进（其实并不是）：首先请求中文博客列表导航和开往的全量数据（相当于复刻了两个项目的数据库），再在中文博客列表导航的数据里查开往的成员网站，找到订阅地址信息。代码碎片如下：

travellingsData = requests.get('https://api.travellings.cn/all', headers = headers)
travellingsData = list(json.loads(travellingsData.text)["data"])

regex = r"^(?:https?:\/\/)?(?:[^@\/\n]+@)?(?:www\.)?([^\/:\?\n]+)"

zhblogsRequestUrl = 'https://www.zhblogs.net/api/blog/list?page=1&pageSize=7000'
zhblogsData = requests.get(zhblogsRequestUrl)
zhblogsData = json.loads(zhblogsData.text)["data"]["data"]

def searchZhblogs(targetDomain, zhblogsAllData):
    for j in zhblogsAllData:
        if targetDomain in j["url"]:
            return j
    return 0

这里有一个细节，中文博客列表导航并没有获取全量数据的接口，怎么办呢？我发现项目的博客列表请求接口时会带一个 Size 参数。我试着把这个 Size 调成一个很大很大的值，这样数据就可以覆盖项目收录的全部博客。我试了一下，果不其然，成功了。我真是一个小机灵鬼。

接下来是如何生成 OPML。我找组里的 Kegongteng 要了一份文件，看了一下文件的结构，感觉还挺简单的，就是这个 xml 不知道要用什么东西搞定。字符串拼接？我之前想过这个东西，但是肉眼可见的麻烦。懒惰的我上网搜了一下 Python 生成 xml 文件的方法，发现了一个东西，让我眼前一亮。

import xml.etree.ElementTree as ET

# 创建根元素
root = ET.Element("RootElement")

# 创建子元素
child1 = ET.SubElement(root, "ChildElement")

# 添加属性
child1.attrib["attribute"] = "value"

# 创建子元素的文本内容
child1.text = "Hello, World!"

# 创建XML文件
tree = ET.ElementTree(root)
tree.write("example.xml")

当时看到这个东西就喜欢上了。这才是适合我这种小菜鸡使用的库。Python 真香！我不知道该怎么形容我喜欢它的原因，可能是“高度的语义化”？不懂。

有了这个库，我就可以不用尝试痛苦的字符串拼接了，直接写成以下代码：

root = Element('opml')
root.attrib["xmlns:frss"] = "https://freshrss.org/opml"
root.attrib["version"] = "2.0"

# head元素
head = SubElement(root, 'head')

# head里套title元素
title = SubElement(head, 'title')
title.text = "开往成员文章订阅"

# body元素
body = SubElement(root, 'body')

outline1 = SubElement(body, 'outline')
outline1.attrib["text"] = "技术博客"

for j in travellingsTechBlogData:
    searchResult = searchZhblogs(re.match(regex, j["url"]).group(1), zhblogsData)
    if searchResult != 0 and searchResult["feed"] != None:
        outline = SubElement(outline1, 'outline')
        outline.attrib["text"] = j["name"]
        outline.attrib["type"] = "rss"
        outline.attrib["xmlUrl"] = searchResult["feed"][0]["url"]
        outline.attrib["htmlUrl"] = j["url"]
        outline.attrib["description"] = searchResult["sign"]

tree = ElementTree(root)

# write out xml data
tree.write('result-tech.xml', encoding = 'utf-8', xml_declaration = True)

最后，拖了一年多的 ToDo 就被我这么折腾完了。

整完成员文章订阅的东西之后，我还弄了一个标签同步的东西，这里不再赘述。

用 Python 写巡查工具后端

开往的巡查工具又是一个拖了很久的东西，之前大蛋糕写的前端代码还在。我来折腾（捣乱）一下。

最开始是跟组里的同学确定一下需求，是这样的：

然后，因为我喜欢折腾，所以这个东西前端和后端分成两个人完成——前端由组里的 Lee 同学负责，后端就由我来糟蹋了。

首先是看看用 Python 的什么开发。Django？太重了，还会把前端的活给刨了。FastAPI？文档看不懂（太真实了）。为什么不用 Node.js 开发呢？因为我看不懂教程。所以，我用 Python Flask 来做后端，因为它够轻，够简单，够友好。

接着，我对要用到的接口进行了整理，大致如下：

这是我第一次做项目。虽然最后没有严格按照这样开发，但我仍然认为这样做是必要的，因为这样做我不再是无头苍蝇了。

然后，我用 PHPStudy 配了一下 MySQL 数据库环境，开始“查文档-写代码-调试”的循环。这个过程超级花时间，我还容易忘记时间。几次下午坐在电脑面前一坐就坐到夜晚。几次我爸我妈教我下楼吃饭，我都还在忙着改 SQL 查询语句，最后我爸把饭端到房间让我边写边吃。

开发过程琐碎。这里列出一些问题，以及我的解决方法（或者是组里的 Lee 和 Xuanzhi 同学告诉我的）

问题	解决方法
路由挤在一个文件里面不利于维护	使用 Flask 的 Blueprint
要防止 SQL 注入攻击	使用参数化查询
CORS 跨域	使用 flask_cors 拓展库
配置参数硬写在代码里不好	使用 .env 以及 Python 相应的库

Xuanzhi 还提了一些关于接口设计的问题，比如不宜用 ifSuccess 作布尔值的名称，而应为 Success 或 isSuccess。我发现我把 is 记成 if 了。

各位大佬可以在 GitHub 上看到本小菜鸡的代码。如果有改进建议，还请批评指出。

（以下内容都是我语音输入出来的，也就是说出来的，你可以想象一个人面对面的在跟你说话）

大家好，我叫林林。就今天加一个博主的微信，然后他开头就问好：“您是开往的林林吗？”那看来我已经臭名昭著了哈哈。呃，几个月之前就看到晓雨（还是叫他网名比较好，虽然比较习惯叫别人的真实名字）在他的博客里面发表了一篇文章《加入开往团队所给我带来的》。啊，看了那篇文章，我感触比较深。之前去邀请一位博主加入另外一个项目的维护组的时候，就发现他在那篇文章里面发现了个华点，就是那个忘记被他打码打掉的那个“你喜欢散兵吗？”。就看那篇文章，自己也在思考：我从开往获得了什么？我让开往获得了什么？

忙这种开源项目，不做编程的话，可能更多的只是忙一些繁琐的事情。就比如说，审核网站、处理issue、跟别人沟通之类。我自己目前还有一个中文博客列表导航，这个项目目前就几乎没有精力去管，项目本身也有人在管理。那个项目刚开始添加网站的方式非常的原始，就是在GitHub上面对一个JSON文件进行编辑，进行人工编辑。那个时候添加网站就是机械式的ctrl+C/V，就今天把友情链接搬过来的时候也用了这个方法，也才20个网站就受不了了。开网在没有用数据库之前也是用这种比较原始的方法添加网站的，就挺好奇刚开始那一会300个网站是怎么加进去的。那在开往做这些事情，其实并没有给我带来什么实质性的东西。甚至我弄博客还要倒贴钱去买域名、买服务器，还要花精力在搞网站，搞服务器，搞CDN，更新域名证书，提交网站备案之类的各种各样繁琐的事情上面。所以参与这个项目更多的给我带来的是成员之间的沟通和交流，以及项目被人夸赞所带来的自豪。

开源项目这种神奇的东西其实一个人就可以完成维护，像听说个站商店目前就是完全由一个人来负责开发，负责审核，负责日常的运维。开往以及中文博客列表导航都经历过这种阶段，但在这个阶段的时候常常会因为维护了这个人的时间精力以及一些状况，导致项目停滞。所以你看，目前两个项目都是有一个团体，当然开往维护组的一位技术说是团伙，来进行日常的开发、日常的维护的。

开往项目里面是有分工的。我之前初中的时候进过一个服务器的建设群，那个群刚刚创建，所以那个时候群里面非常的吵，各种各样的人都会提出他们自己的方案，那个时候喧闹了一个上午都拿不出一个大致的计划。在这个时候，就有人提出要先对建筑、指令、红石的人员进行分类，然后再分组选出组长，再有这些组长来下达命令，来进行讨论。这个方案一经提出就得到了建设群里面全体成员的同意，大家按照这个方案很快就建立起了秩序。在团体里面，除了那种两三个人的小团体，一般都要建立这种分工，因为分工可以提高效率，至少不会无缘无故的吵架，然后吵不出结果。

我在维护组里面大概担任了一个运营的职位，然后目前负责技术的同时也可能担任了一个产品的职位。我经常在维护组里面提需求，比如说要多设计一些跳转的页面，要弄一个**的计划等等。那这个时候产品就会内涵我：“当需求不是自己实现的时候，想象力就会飞出天际。”于是我每次提需求的时候就会说：“这功能很重要，再拖下去开往就不行了，你再把这个需求延期下去，我就要死了。”但事实上，技术，包括中文博客列表导航那边的技术，都挺会咕咕的。中文博客列表导航那里有个功能“统计图表”就拖了几个月。

那有的时候我们也会一起给我们维护组的设计晓雨提需求，提有关页面设计的需求。就最近新版的页面的讨论我因为在学校所以没有参与，但是回到家之后，看他们的聊天记录，感觉就是讨论还是挺频繁的。晓雨做出来一版，然后就被要求改一版。那当我们讨论有关新的跳转页面的需求的时候，大家都非常活跃，除了我们维护组的前端。这个场面用我们那位负责开发的人说的话说，就是“当后端在讨论要如何优化前端的时候，整个办公室都会洋溢着快乐的氛围”。

我们维护组里面也有互怼。之前因为我审核网站比较慢，然后就被那位负责开发的全都给审了。

“你把网站审了干嘛？”
“没有，我就审了超过30天的。”
“不是，超过30天的才能审啊。”
“就看他们呆的太久，就把他们审了。”

那位技术后来还说他一个人每周花个十分钟就可以干完。我就求他这种事情还是留给我来干，毕竟我不会编程，在项目里面也可能做不了什么事情。

最近他帮开往弄了一个能够检测网页有没有挂上开往链接的脚本，我就在后端的仓库里面提一个issue说有些网站被他误判了，那个issue被直接打回。

有些事情写成文字可能就变样了，还是得用脱口秀的方式讲出来。目前不得不承认的是，开往是一个开放、需要群策群力的项目。之后可能会在各种各样的平台发一些有关维护组内部的一些聊天，像今天这样整篇文章都在讲一个项目的个人还是不太受得了，希望之后可以将开往内部的一些讨论分享出来，让大家了解，这是一个有趣的维护组，有趣的小团伙。