
“空块”是指充满空字节的块(文件的各个部分)。 您可以预先计算其哈希值,而无需从源中请求这些块,而是立即将其标记为已加载。
零块不需要存储在磁盘上。 由于使用了稀疏标志,因此操作系统仅将文件的这一部分标记为零,并且不将这些零存储在磁盘上。
同样,显示下载文件的各个部分都填充有零,您可以激励用户拒绝下载和分发损坏的文件。 在我的Shareaza版本中,这些部分在文件上传的进度条上方标有红色条。
文件中的空块从何而来?
- 分发者没有等待文件的完整下载和验证,而是上载了部分文件。
- 损坏分配器磁盘扇区的结果。
这些是我想到的选择。
为什么这些文件继续传播
- 视频/音频文件可以在中间有一个空块并安静地播放,只是跳过捕获空块的位置。 因此,它似乎是完整的。
- 磁盘映像还可以在不同位置具有空块,并且仅在尝试从这些块读取文件时才会显示该块。
如何运作
- 在下载p2p文件之前,客户端会从源接收到一系列列表。
- 将列表中的每个哈希与预先计算的空块哈希进行比较。
- 哈希与空块的哈希匹配的那些块被标记为已加载。 还向用户显示该位置只有零。
计算空块的工具
- RHash-它会直接计算哈希值。
- Lua-将所需数量的零加载到RHash中并显示结果。
常规脚本功能:
local lua = "lua5.1"
不要从EDonkey2000网络下载零
md4(block_data)
ED2K哈希是最简单的。 它的固定块大小为9728000字节。 块由md4函数处理。 您只需要计算一个哈希值。
我们考虑md4哈希:
我们推出:
lua5.1 -l "zero-block-hash" -e"gen_md4_hash()"
结果:
// md4_hash // Hash: D7DEF262A127CD79096A108E7A9FC138 Size: 9728000
来自9,728,000个空字节的MD4: D7DEF262A127CD79096A108E7A9FC138
Shareaza零块检测器ED2K:
BOOL CED2K::IsZeroBlock(uint32 nBlock) const {
GitHub: ED2K.cpp#L334
不要从BitTorrent网络下载零
BitTorrent更为复杂。 BitTorrent的最小块大小为16384字节。 接下来,将块大小加倍。
块哈希是SHA1函数对块数据进行操作的结果:
sha1(block_data)
我们考虑sha1哈希:
我们推出:
lua5.1 -l "zero-block-hash" -e"gen_sha1_hashes()"
我有足够的耐心等待22个零块的计算。 但这很丰富。 我几乎无法想象一个34GB的洪流:
// sha1_hashes // Hash: 897256B6709E1A4DA9DABA92B6BDE39CCFCCD8C1 Size: 16384 // Hash: 5188431849B4613152FD7BDBA6A3FF0A4FD6424B Size: 32768 // Hash: 1ADC95BEBE9EEA8C112D40CD04AB7A8D75C4F961 Size: 65536 // Hash: 67DFD19F3EB3649D6F3F6631E44D0BD36B8D8D19 Size: 131072 // Hash: 2E000FA7E85759C7F4C254D4D9C33EF481E459A7 Size: 262144 // Hash: 6A521E1D2A632C26E53B83D2CC4B0EDECFC1E68C Size: 524288 // Hash: 3B71F43FF30F4B15B5CD85DD9E95EBC7E84EB5A3 Size: 1048576 // Hash: 7D76D48D64D7AC5411D714A4BB83F37E3E5B8DF6 Size: 2097152 // Hash: 2BCCBD2F38F15C13EB7D5A89FD9D85F595E23BC3 Size: 4194304 // Hash: 5FDE1CCE603E6566D20DA811C9C8BCCCB044D4AE Size: 8388608 // Hash: 3B4417FC421CEE30A9AD0FD9319220A8DAE32DA2 Size: 16777216 // Hash: 57B587E1BF2D09335BDAC6DB18902D43DFE76449 Size: 33554432 // Hash: 44FAC4BEDDE4DF04B9572AC665D3AC2C5CD00C7D Size: 67108864 // Hash: BA713B819C1202DCB0D178DF9D2B3222BA1BBA44 Size: 134217728 // Hash: 7B91DBDC56C5781EDF6C8847B4AA6965566C5C75 Size: 268435456 // Hash: 5B088492C9F4778F409B7AE61477DEC124C99033 Size: 536870912 // Hash: 2A492F15396A6768BCBCA016993F4B4C8B0B5307 Size: 1073741824 // Hash: 91D50642DD930E9542C39D36F0516D45F4E1AF0D Size: 2147483648 // Hash: 1BF99EE9F374E58E201E4DDA4F474E570EB77229 Size: 4294967296 // Hash: BCC8C0CA9E402EEE924A6046966D18B1F66EB577 Size: 8589934592 // Hash: DC44DD38511BD6D1233701D63C15B87D0BD9F3A5 Size: 17179869184 // Hash: 7FFB233B3B2806328171FB8B5C209F48DC095B72 Size: 34359738368
Shareaza的Shareaza BitTorrent检测器 BOOL CBTInfo::IsZeroBlock(uint32 nBlock) const { static const uint32 ZeroHash[22][5] = {
GitHub: BTInfo.cpp#L1611
不要从DirectConnect,Gnutella和Gnutella2网络下载零
这三个网络使用Tree Tiger Hash(TTH)。 基于名称,这是一个哈希树 ,并且使用Tiger函数进行计算。 我称这些类型的哈希为“木制”。 在我看来,TTH是最简单的树,由于它的属性,我们可以非常快速地为不同的块大小计算哈希值。
TTH的最小块大小为1024字节。 接下来,每个级别的块大小都会加倍。
计算公式如下:
Tiger(0x00 + block_data)
0x00
字节叶子块前缀
block_data
块数据(在我们的示例中为1024个零字节)
+
-串联
Tiger
哈希函数
此外,为了计算较大的空块,我们使用来自较小空块的哈希。
Tiger(0x01 + hash + hash)
0x01
一对哈希的字节前缀
hash
我们在上一级收到的空块的哈希。
Tiger
哈希函数
我们编写用于计算的函数:
我们推出:
lua5.1 -l "zero-block-hash" -e"gen_tth_hashes()"
结果,我很快得到了37个空块。 此外,在显示脚本的块大小方面存在问题。 但是这些价值是丰富的。 最后一个块的大小为70TB。
// tth_hashes // Hash: 13143C45D95485EACD9C47D72630EF0139436CB77DF2632B Size: 1024 // Hash: 855DCE7FE3E963F50295A673120E6259165CED9F086DB031 Size: 2048 // Hash: 38FB763B44ECA3B13F40182C75694360AC8DA0865DDB29D6 Size: 4096 // Hash: 721BEF53CBBDA47BE44BD26C43EC048F136D371E918200CF Size: 8192 // Hash: AFDDF505C1E1D5AF8FAE007BBE4E64578F34D912345E23D8 Size: 16384 // Hash: 53CC478ED14FF7FB671F94ECE0FD7C8C5DCB2FE611ACAC6B Size: 32768 // Hash: 098B212D6EE0398D319D4F1807E87235A0B8665BA46EF77F Size: 65536 // Hash: 69940A3C20C43576D258BD210339565711D696E94A3511EB Size: 131072 // Hash: FA4317C074C2D7CD9BBFD7F4C8BD3F9F79F330F0C27B61B8 Size: 262144 // Hash: AF8E46E049A800C2339E863AF390C5CFF02BCC39025D44AA Size: 524288 // Hash: 650022207EA4EB454E24D3279539F3CCD92F034E2F83CCB7 Size: 1048576 // Hash: 0BED4DF002309E7D33D52ED0D5C3C24B1ECAA330CBAFB723 Size: 2097152 // Hash: 2FFF449E538E158CD346C5BF7778F2FF67383707955C72C1 Size: 4194304 // Hash: F2D3852A12C25C0C1EE124C07144C6CFA3CD0E72DB9364F8 Size: 8388608 // Hash: 8E6FD02F7F9A0D5233E9287C6D139D44DE76BB80BCBD8BEC Size: 16777216 // Hash: F98C3CB14C4B501DCEF346D6FB92E56AC3F96102B17468F4 Size: 33554432 // Hash: 1830D2019F1A54C7A8A3947E36D34A4E676523FF0735E0FC Size: 67108864 // Hash: 3D002613BA2F88DA7D7E1AB165677FC939B5EC6FFD5D2E73 Size: 134217728 // Hash: BC0466EE7A0C30E31EFD803598BE8F69400B96AE3126AF70 Size: 268435456 // Hash: 31D3A13D9F1BD0D2E16FF2BF6749F830D81693D63E4C1903 Size: 536870912 // Hash: 6EF9A41AEC7C0C0B821D3A845994E6F18E5268E37BC982C1 Size: 1073741824 // Hash: 13132A77BAB0B8A0130FC2B5BF6C36701C622A36AFFBD175 Size: 2147483648 // Hash: E684CA0E3D759457F3F2B4183A0889B25C49F70AB5B5AD8E Size: 4294967296 // Hash: 8C4AEAB1D5A2E3ABBD19848EBC9813121A83D196320EFE54 Size: 8589934592 // Hash: 2CB4627DB09C230212258BAD4120AA0A1C4A185BD2CC4C57 Size: 17179869184 // Hash: B58DE81DC064E964720A0C181AE6EF415F865BAA18E9F019 Size: 34359738368 // Hash: EC0B596EFA9EDBEFE275539914F30757E2E3EB82C30B6FB8 Size: 68719476736 // Hash: BA0078DAD436099159ADA9CFA1457806EB581730364084E0 Size: 137438953472 // Hash: D96DA2416DBF7DAC663872838F8F4E7D8E7C4D2D2A2051AB Size: 274877906944 // Hash: 74816B22B67E4E6995FECAEB84302D01E489BCD76845444B Size: 549755813888 // Hash: 307DB672C03531EB0E9B19FC2ED134ACCEFFB4E04D8EB62D Size: 1099511627776 // Hash: 43CD6009D7931ECC1FFC484D8156A92EC673DEF3D6AE7CF9 Size: 2199023255552 // Hash: 84814323435A450426EECC6700349387D61BD5027F6E7085 Size: 4398046511104 // Hash: 05275B3D69A996B1E8ABDA6EACE8605D5BB7DD8964AC4C79 Size: 8796093022208 // Hash: 434934E2D0EFDEE9864982221FB8A0A872D842B4DA6C59E7 Size: 17592186044416 // Hash: 435396F0F684A6B3E5B5940A79800EE384915CCAD7C52385 Size: 35184372088832 // Hash: 7F377469FB6883D13331667F52CF23194846311094A363C4 Size: 70368744177664
Tigeraza中的TigerTree零块检测器 BOOL CTigerTree::IsZeroBlock(uint32 nBlock) const { static const uint64 ZeroHash[37][3] = {
GitHub: TigerTree.cpp#L1298
尾巴
尾部是文件末尾的不完整块。 该文件有一条尾巴,如果文件中填充了零,我们可以单独计算其哈希值。 如果尾部哈希值和计算出的尾部哈希值重合,我们也将其标记为已加载。
尚未实现此功能。
结论
我希望将采用这些说明并将此功能添加到其对等客户端中,并且更多有用的数据将在网络中流通。
参考文献
脚本: zero-block-hash.lua
用充满零的文件洪流: testfile.torrent