念头。遇见不同想法 NIANTOU.NET

在别人的文字里,遇见自己的念头。

独立书写 · 自由阅读

最新念头

按发表时间排列
3154 篇

开始炼丹,如何快速训练一个神经网络

什么是训练 训练是一个不断迭代的过程,每一次迭代,都会计算输出,计算输出的损失(和真实值的差距),收集损失相对参数的导数,然后使用梯度下降优化这些参数。 训练和测试代码 import torch from torch import nn from torchvision import datasets, transforms from torch.utils.data import DataLoader import os # 数据源来自: https://www.kaggle.com/datasets/munir

使用 nftables 屏蔽大量 IP

本文来自 依云's Blog ,转载请注明。 本来我是用 iptables 来屏蔽恶意IP地址的。之所以不使用 ipset,是因为我不想永久屏蔽这些 IP。iptables 规则有命中计数,所以我可以根据最近是否命中来删除「已经变得正常、或者分配给了正常人使用」的 IP。但 iptables 规则有个问题是,它是 O(n) 的时间复杂度。对于反 spam 来说,几千上万条规则问题不大,而且很多 spam 来源是机房的固定 IP。但是以文件下载为主、要反刷下行流量的用途,一万条规则能把下载速率限制在 12MiB/s

程序员阅读清单:我喜欢的 100 篇技术文章(1-20)

清单 1. 《开发者应学习的 10 件有关“学习”的事》 2. 《开发者如何管理自驱力》 3. 《用 Go 语言分析 10 亿行数据,从 95 秒到 1.96 秒》 4. 《在开发高质量软件上的花费值得吗?》 5. 《错误抽象》 6. 《谷歌技术写作课:编写有帮助的错误信息》 7. 《深入 Python 字典——一份“可探索”的解释》 8. 《愿意让自己显得愚蠢》 9. 《我们为什么坚持使用 Ruby on Rails》 10. 《ChatGPT 是互联网的一张模糊的 JPEG 图》 11. 《重新发明 Pytho

泫的新疆游记(二)

Day2 的行程基本都是沙漠公路,好像没有看到一点绿色,今天开始就是满眼的绿意盎然。 接下来两天的行程所见是我在整个旅途中最喜欢的景色,喀纳斯与禾木。

Snowflake:云原生数仓的开创者

Snowflake 由甲骨文的两位员工在 2012 年出来创办,一开始就瞄准云原生数仓,因此架构设计(在当时看来)非常“激进”。超前的视野带来超额的回报,Snowflake 在 2020 年正式上市,市值一度高达 700 亿美金,创造了史上规模最大的软件 IPO 记录。 本文我们综合两篇论文: The Snowflake Elastic Data Warehouse 和 Building An Elastic Query Engine on Disaggregated Storage 来大致聊聊其架构设计。 本文来

'Snowflake: The Pioneer of Cloud-Native Data Warehouses'

Snowflake was founded in 2012 by two former Oracle employees, targeting cloud-native data warehouses from the very beginning. Therefore, its architectural design was (at the time) considered very “radical.” This forward-looking vision brought extraordinary ret

自建图床小记五——费用

自建的图床自 8 月 13 日正式启用以来,已经过去一周多了,具体的费用是多少呢?原先设计的 0 额外投入有没有实现呢? 这是我的博客访问统计,在这一周多的时间内,一共有 1.27k 次页面访问,被 671 个访客访问了 769 次,平均下来每天也有一百多次的页面访问。 Cloudflare Workers 和 Cloudflare R2 的免费额度全部够用,用量全部小于免费额度的 1%。 又拍云联盟每年可以领取 67 元的代金券,平均每天控制在 0.18 元内即可实现白嫖。 可以看到,这一套图床在我博客当前和可见

自建图床小记四——上传脚本编写与图片迁移

前面三篇小记分别讲述了 图床的整体架构 、 用 Workers 构建 Restful API 和 自动更新部署 SSL 证书 ,这一篇c处理由此带来的图片上传问题,主要是要为 Typora 编写自动上传脚本,并为博客原有的图片进行迁移。 自动上传脚本 主要还是给 Typora 用,实现这种效果 #!/bin/bash HOST="upload.example.com" CDN_HOST="cdn.example.com" UPLOAD_PATH="uploads/$(date +%Y/%m/%d)" AUTH_TO

如何巧妙构建“LDAPS”服务器利用JNDI注入

前段时间看到群友问了这样一个问题: ldap: 和 rmi: 关键字被拦截了,是否还可以进行JNDI注入。方法很简单,就是使用ldaps,但后来发现很多人并不知道怎么搭建LDAPS服务器,正好CoNote里有这个功能,写篇简单的文章讲讲。 0x01 LDAPs是什么 在Java JNDI注入的过程中,用户传入一个URL,Java会根据URL的scheme来判断具体使用哪个包来处理,这些包的位置在 ...

第一次的实习经历

六月底的时候,本科老师说有个公司需要做 XXXX 项目,问我想不想去,当时没怎么考虑就直接答应了,管吃管住还有工资,工作内容也很清闲~ > 入...

自建图床小记三—— SSL 证书的自动更新与部署

为什么要自动更新? 众所周知,为站点开启 https 访问需要获得对应 host 的 ssl 证书,而如果希望证书被访客的浏览器所信任,需要拿到由 Certificate Authority (CA) 签发的 ssl 证书。在前一阵子那波 BAT 等大厂提供的云服务停止发放免费的由 TrustAsia/DigiCert 签发的一年有效期免费 ssl 证书之后,市面上已经没有被广泛信任的 CA 签发的免费的一年有效期的 ssl 证书了,于是不得不用回由 Let's Encrypt/ZeroSSL 等 CA 签发三个月

自建图床小记二——使用 Workers 为 R2 构建 Restful API

访问 R2 的两种方式 一般来说,想要访问 Cloudflare R2 中的文件,会有两种方式。 一种是在 R2 的设置界面设置自定义域 另一种是通过 Cloudflare Workers 进行访问 那么应该选择哪种?选择 Cloudflare Workers! 为什么是 Cloudflare Workers? 要回答这个问题比较困难,但可以回答另一个问题——「为什么不设置自定义域实现直接访问?」 自定义域的访问存在限制 设置自定义域的访问方式存在较多的限制,让我们先来复习一下 上一篇博客中 提到的 DNS 解析方

泫的新疆游记(一)

最近赋闲在家,想着自己平时也不怎么出去玩,就计划来一场旅行出去看看风景。 踟蹰于泰国、云南、新疆几个选项,想起来前两个月朋友圈好多人突然就去了新疆旅游,一个叫做阿勒泰的地名给了我答案。 总体来说新疆的风景还是很不错的,写篇文章记录一下我的经历,也给想在 7-8 月去新疆的朋友一个参考。由于我主要看风景,对吃并不讲究,所以美食方面没有很好的建议。 本文中的图片都是由小米 14Pro 拍摄,原图直出。

WP恢复媒体库的数据

我的博客从2016年搭建到现在已经有八年了,期间经历了几次程序更换和数据库被攻击的波折。 之前几次我都是用WordPress自带的导出导入工具来恢复数据库数据,但这样有个很烦人的问题,就是之前上传的图片和视频不会出现在媒体库中,管理起来特别麻烦...

我们毕业啦

这个学期居然一篇文章都没发布,可能是太忙了,总想着忙完这个就发结果一直推到了毕业。~~(本来打算毕业就发的,结果推到了八月)~~ 很多事情当时没有记录所以不会写太详细啦。 从这个学期到现在主要有按照时间顺序有以下几个大事件

旅行是为了什么?

旅行的时候,脑子里有时会冒出一个问题:这是在体验,还是在消费多巴胺。越是在热闹的大城市,这个念头越容易跑出来。

人生是旷野 —— 罗素《幸福之路》

缘于某个播客提了一嘴,便找来书在通勤时听了。这版是傅雷翻在 1939 年译的版本,有一股淡淡的老式白话风。小书不长,几天便听完。我喜欢在走路的时候听东西,所听入耳、所观入眼,哲人的凝言练语、街头的风物百态,总能在心里发生奇妙的化学反应,偶在三伏天都一激灵。 最近心绪颇为起伏,在上下班踱步听这本书时,数次给我宽慰平和,书中指出的快乐和不快乐之因,都命中了我的某些缺点和特点,因此听完觉得还是要写点东西。 罗素《幸福之路》 人类从狩猎时代进入农耕时代后,虽获得了生活的相对安稳,却也失掉了向外的探索和冒险。到工业时代,城市

《21世纪》与主流文化

上周末 《从 21 世纪安全撤离》 (后简称《21》)在深圳点映,一直很期待导演李阳的作品,距离《李献计历险记》已过去十多年了,那时房祖名还在呢。于是一出来就买了票和老婆一起去看了。看完后我和朋友聊的感想是: 我最大感想是,感谢所有资方,感谢电影工业,感谢演职人员,信任李阳,帮他完成这个作品。 没错,李阳在所有中国导演中都是一个异类,只有他能拍出这种味道的东西。怪诞、热血、信息量爆炸、莫名其妙。可以预见,这将会是一种评论两极分化的片子,密集的视效和神奇的转折之下,是破碎的剧情和二维的人物。我个人是很喜欢的,我记得在

使用eUICC卡片将手机变成eSIM手机

虽然离开中国已经快三年了,但是我现在仍然在用国内时候购买的国行iPhone 12手机。我在《 2022年欧洲游记 》这篇文章里也提到过,实体sim卡导致我出门旅游很不方便,每次都要提前至少一个月时间在淘宝买到旅游卡,然后海运来新加坡。如果在Shopee上买,时间虽然短一点,但价格会贵很多。 去年10月去印尼bromo火山,我尝试了另一种方案,因为当时在公司申请了一台pixel 4xl测试机,这台...