- 博客(161)
- 收藏
- 关注
RSS订阅原创 【论文阅读|cryoET】本周粗读汇总
虽然冷冻电子断层扫描可以以分子分辨率揭示结构，但图像处理算法仍然是解决原位生物分子结构异质性的瓶颈。本文介绍CryoDRGN-ET用于cryoET断层图的异质重建。通过原位恢复肺炎支原体核糖体中已知的翻译状态来验证本文方法。然后对低温聚焦离子束掩模的酿酒酵母细胞进行冷冻电子断层扫描。CryoDRGN-ET揭示了翻译过程中酿酒酵母核糖体的结构景观，并捕获细胞内脂肪酸合酶复合物的连续运动。该方法在CryoDRGN软件中公开可用。（cryoDRGN对ET数据的拓展。
2024-08-28 11:04:48
654
原创 【论文阅读】R2-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction
3DGS 在图像渲染和表面重建方面显示出可喜的结果。然而它在体积重建任务（如X射线计算机断层扫描）中的潜力仍未得到充分探索。本文介绍了R2-Gaussian，这是第一个基于3DGS的稀疏视图断层重建框架。通过仔细推到X射线光栅化函数。我们发现了标准 3DGS 公式中以前未知的积分偏差，这阻碍了准确的体积检索。为了解决这个问题，本文提出了一种新的校正技术，通过将投影从3D重构为2D高斯。
2024-06-11 22:55:19
685
原创 【知识点小结】目标检测深度学习算法网络训练时的一些注意事项
刚开始训练时,模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率,可能带来模型的不稳定(振荡)，选择Warmup预热学习率的方式，可以使得开始训练的几个epoches或者一些steps内学习率较小,在预热的小学习率下，模型可以慢慢趋于稳定,等模型相对稳定后再选择预先设置的学习率进行训练,使得模型收敛速度变得更快，模型效果更佳。为了训练过程中保存更多有用信息，除了保存模型权重外还会保存优化器等信息。若使用时不再需要其他信息，可以载入模型后重新保存权重（仅模型权重）
2024-06-05 11:03:58
318
原创 【论文阅读】A survey of the use of iterative reconstruction algorithms in electron micrography
电子显微镜的关键步骤之一是根据显微镜获取的一组二维 (2D) 投影对所研究样本的三维 (3D) 图进行断层扫描重建。直接傅里叶反演方法、反投影方法、Radon 方法或迭代算法。在本篇综述中，我们将重点介绍迭代算法，解释该类算法在电子显微镜领域引入的不同算法背后的数学原理。我们将介绍它们在单粒子分析 (SPA) 和电子断层扫描 (ET) 中的应用。电子断层扫描 (ET) 中的情况通常特别复杂，因为投影图像数量较少、存在缺失楔形以及图像非常大，对计算资源构成了重大挑战（尤其是在内存方面；
2024-06-04 19:40:48
872
1
原创 【LeetCode热题100总结】239. 滑动窗口最大值
给你一个整数数组 nums，有一个大小为 k 的滑动窗口从数组的最左侧移动到数组的最右侧。你只可以看到在滑动窗口内的 k 个数字。滑动窗口每次只向右移动一位。返回 滑动窗口中的最大值。
2024-06-02 17:27:15
791
1
原创 【论文阅读|cryoET】DeepETPicker：使用弱监督深度学习的快速准确cryoET三维颗粒挑选算法
为了原位解析生物大分子的三维结构，通常需要从冷冻电子断层图中挑选大量颗粒。为了解决以往自动颗粒挑选算法的技术限制，本文开发了DeepETPicker深度学习模型，用于快速且准确地从冷冻电子断层图中挑选颗粒。训练只需要少量简化的标签作为弱监督，来减轻手动标注的负担。简化的标签和定制的轻量级模型架构以及和加速池相结合，可以显著提高性能。在模拟和真实断层图上进行测试时，本文方法通过实现了最高的整体精度和速度，超过了最先进的竞争方法，这转化为挑选颗粒的更高真实性和坐标精度，以及最终重建图的更高分辨率。
2024-05-28 14:27:14
1069
原创 【论文阅读|cryoET】ICE-TIDE
三维cryoET重建的保真度进一步受到采集过程中物理扰动的影响。这些扰动以各种形式表现出来，例如连续采集之间的样本漂移，导致连续投影未对准，或者由于未散射的电子而导致二维投影中的局部变形。传统的冷冻电子断层扫描工作流程需要对齐倾斜序列图像，然后应用标准重建算法，例如迭代最小二乘法（ILS）、代数重建技术（ART）、同步迭代重建技术（SIRT）或更常见的滤波反投影（FBP）。冷冻电子断层扫描流程的第一步是收集三维样本在不同倾斜角度的投影图像。玻璃化样品只能承受有限剂量的电子而不会受到严重损坏。
2024-05-23 10:39:44
1067
1
原创 【论文粗读|arXiv】GaSpCT: Gaussian Splatting for Novel CT Projection View Synthesis
本文提出了一种新颖的视图合成和3D场景表示方法，用于为计算机断层扫描（CT）生成新的投影视图。方法采用了，基于有限的2D图像投影集，无需运动结构（SfM）方法，在CT中实现新颖视图合成。因此，我们减少了总扫描持续时间和患者在扫描期间接受的辐射剂量。我们调整了损失函数来适应我们的任务，即通过使用两个稀疏性促进。最后，我们使用来初始化3D空间中的高斯位置，这个先验分布表示大脑的位置在视野内可能的位置。
2024-05-16 15:01:03
914
原创 【论文阅读 | 三维重建】3D Gaussian Splatting for Real-Time Radiance Field Rendering（3DGS）
对3DGS原文进行翻译，以及部分理解。
2024-05-15 17:05:54
5000
原创 【论文阅读|cryoET】Missing Wedge Completion via Unsupervised Learning with Coordinate Networks
CryoET 是结构生物学中的强大工具，能够以纳米分辨率对生物样本进行详细的3D成像。虽然这项技术很有潜力，但是cryoET仍面临诸如缺失楔问题等挑战，该问题由于数据收集角度不完整而限制了重建质量。最近，利用CNNs的监督深度学习方法在很大程度上解决了这个问题。然而，它们的预训练要求使得它们容易受到重建不准确和存在伪影的影响，特别是在代表性训练数据稀缺的情况下。为了克服这些限制，本文引入了一种使用坐标网络（CN）的概念验证无监督学习方法，该方法可以直接针对输入投影优化网络权重。
2024-05-13 09:36:37
1048
原创 【论文阅读|cryoET】Adaptive differentiable grids for cryo-electron tomography reconstruction and denoising
期刊：Bioinformatics Advances, 2023源码（c++）：https://github.com/yuanhaowang1213/adaptivediffgrid_ex提出了一种cryoET重建框架，使用基于八叉树结构的自适应密度网格联合重建断层图像并对其进行去噪。在神经表示的优化过程中，组成八叉树结构的节点将被划分成新节点、合并或者如果为空则禁用。八叉树更新旨在通过更加重视具有更多特征的区域来加速计算。每个八叉树节点都具有可微密度网格，我们根据捕获的噪声投影对其进行优化。
2024-03-11 21:28:44
699
原创 【论文阅读】TensoRF: Tensorial Radiance Fields 张量辐射场
本文提出了TensoRF，一种建模和重建辐射场的新方法。不同于NeRF中纯粹使用了MLP，本文将场景的辐射场用4D张量表示，代表了一个3D体素网格，每个体素具有多通道特征。中心思想是将4D场景张量分解成多个紧凑的低秩张量分量。在本文框架中应用传统的CP分解（将张量分解成具有紧凑的秩一向量）可以带来对普通NeRF的改进。为了进一步提高性能，本文引入一种新的向量矩阵分解（VM分解），它放宽了张量两种模式的低秩约束，并将张量分解为紧凑的向量和矩阵因子。
2024-03-04 16:07:11
1684
1
原创 【论文阅读|cryoET】Learning Adaptive Tensorial Density Fields for Clean Cryo-ET Reconstruction
本文提出了一种新的基于学习的框架，用于从cryoET倾斜序列数据进行3D结构的重建。该工作通过对扫描样本的3D密度场使用基于自适应张量表示来解决以上挑战。主要工作：1. 优化四叉树结构来划分感兴趣的volume；2. 学习表示每个节点中密度场的张量的vector-matrix分解；3. 使用的损失函数将可微断层扫描形成模型和三个正则化项结合
2024-03-03 11:24:21
949
1
原创 【知识积累|深度度量学习】open-metric-learning简介
度量学习问题（也成为极端分类问题）通常指一种情况，我们有成千上万个实体的ID，但是每个实体只有很少的样本。通通常我们假设在测试阶段将处理未见过的实体，这使得直接应用基本分类流程变得不可能。在很多情况下，获得的embedding被用于执行搜索或匹配任务。以下是CV中一些此类任务的例子：个人/动物重识别，人脸识别，地标识别，在线商店的搜索引擎等等。
2024-01-04 11:02:37
1023
原创 【论文阅读|冷冻电镜】DISCA: High-throughput cryo-ET structural pattern mining
现有的结构排序算法的吞吐量低，或者由于依赖于可用模板和手动标签而固有地受到限制。本文提出了一种高吞吐量的、无需模板和标签的深度学习方法，即。通过学习和建模三维结构特征及其分布，自动检测同质结构的子集。在五个实验数据集上的评估表明，基于无监督深度学习的方法能够检测具有广泛分子大小范围的多样结构。DISCA通过学习由CNN提取的3D结构特征，并统计建模特征分布，自动在大规模冷冻电子断层扫描数据集中检测结构同质的颗粒子集。
2024-01-03 18:47:40
1282
原创 【知识积累】深度度量学习综述
否则，在严格监督的环境中，您不会期望测试集中出现严重超出分布的样本，ArcFace 及其变体绝对是最佳选择，正如最近 Kaggle 竞赛中表现最佳的选手所证明的那样。让我们将其映射到超球面！更重要的是，比赛的重要部分是对给定的鲸鱼是否是新的进行分类。遗憾的是，众所周知的事实是，在酷炫新方法的学术基准上报告的 SOTA 结果可能无法反映其在现实世界问题中的表现。对比方法的主要思想是设计一个损失函数，直接将具有相同标签的样本（即“相似”样本）的嵌入放在一起，并让不相似样本的嵌入彼此远离，因此得名“对比”。
2023-12-13 17:10:38
939
原创 【论文阅读】TomoTwin: generalized 3D localization of macromolecules in cryo-ET with structural data mining
冷冻电子断层成像技术使得对细胞环境进行高度详细地可视化成为可能。然而，仍然需要工具来分析这些密集体积中包含的全部信息。通过亚体积平均进行对大分子的详细分析需要首先在断层图中定位颗粒，这一任务受到多种因素的影响，包括低信噪比和拥挤的细胞空间。目前可用的方法在这方面要么容易出错，要么需要手动注释训练数据。为了帮助这一关键的颗粒拾取步骤，我们提出了TomoTwin：这是一个基于深度度量学习的冷冻电子断层图颗粒拾取的开源通用模型。
2023-12-05 21:48:13
219
原创 【论文阅读】SuperPoint:Self-Supervised Interest Point Detection and Description (CVPR 2018)
这篇论文介绍了一个自监督框架，用于训练适用于计算机视觉中大量多视图几何问题的兴趣点检测器和描述符。与基于图像块的神经网络不同，我们的全卷积模型在完整尺寸图像上进行操作，并在一次前向传递中联合计算像素级兴趣点位置和相关描述符。我们引入了Homographic Adaptation（同质适应），这是一种多尺度、多单应性的方法，用于提高兴趣点检测的可重复性，并进行跨域适应（例如，从合成到真实场景）。
2023-07-26 16:00:45
1649
原创 【论文阅读】Semi-Supervised Keypoint Detector and Descriptor for Retinal Image Matching (ECCV2022)
眼底图像匹配（retinal image matching）作为眼底图像处理和分析的一项重要技术，在眼底图像配准、身份识别、个性化慢病管理等多个任务中起着关键作用。现有方法大多基于传统数字图像处理技术实现。传统技术存在超参数设置复杂，病变条件下匹配质量差，适用任务单一等问题，使得现有方法的适用范围较窄。本文提出了具备端到端学习能力的眼底图像关键点检测和描述网络SuperRetina。注意到当前可用的眼底图像标注数据极其稀少，难以有效支撑深度神经网络的训练。
2023-07-25 17:08:21
936
1
原创 【冷冻电镜】InSilicoTEM 使用手册
InSilicoTEM是一个用来模拟生成冷冻电镜显微图像的软件，原论文是"Image formation modeling in cryo-electron microscopy"。该软件基DIPImage和MATLAB开发。
2023-07-25 09:25:39
444
原创 【冷冻电镜】IMOD使用教程（Etomo tutorial）
使用IMOD对示例数据集进行冷冻电镜断层重建。参考Etomo Tutorial。
2023-06-11 18:00:05
3518
3
原创 【经验】移植环境requirement时报错
ERROR: Could not install packages due to an OSError: [Errno 2] 没有那个文件或目录: ‘/home/conda/feedstock_root/build_artifacts/argon2-cffi-bindings_1666850853622/work’包名＋版本号＋@ file:///tmp/build/xxx/xxx/work。
2023-02-23 15:51:26
1170
1
原创 【经验】Ubuntu系统使用vscode远程报错加载web视图时出错
搜索解决方法时有人建议关机重启，因为嫌麻烦所以我没有试过。如果是ubuntu系统，可能是因为有另一个（或许隐藏的）vscode进程，导致了该问题。关闭vscode，然后打开命令行输入。
2023-02-23 09:48:06
2164
3
原创 【读书笔记】动手学深度学习（阿斯顿·张，李沐等）第二章（更新中）
本文旨在记录阅读本书过程中遇到的在以往学习和使用中忽略的知识点，也包括一些需要加强记忆的重点。此外，原书中主要基于深度学习框架mxnet，但官方网站和对应代码中也提供了pytorch对应的版本，本文主要基于pytorch对应部分进行汇总和整理。（持续更新中）
2023-02-12 15:07:25
601
原创 【论文粗读】(DE-DETR) Towards Data-Efficient Detection Transformers
本文旨在减少 Detection Transformer 类目标检测器对标注数据的依赖程度，提高其数据效率。
2022-12-28 10:17:19
704
2
原创 【论文阅读|cryoET】Isotropic reconstruction for electrontomography with deep learning (解决缺失楔问题&降噪）
低温电子断层扫描（cryoET）允许原位细胞结构的可视化。然而，由固有的缺失楔问题引起的各向异性分辨率给断层成像的可视化和解释性带来了重大挑战。本文开发了IsoNet，一个基于深度学习的软件包，使用从原始断层图像中学习的知识，迭代重建缺失楔信息并提高信噪比。IsoNet 不需要子断层平均，生成的断层图像分辨率各向异性显著降低。IsoNet 应用于三种代表性的cryoET数据表明它让结构的可解释性大大提高。因此，IsoNet 克服了 cryoET 的两个基本限制，使得其功能解释无需子断层平均。
2022-11-28 23:02:17
1452
原创 PyTorch官方文档学习笔记（备忘）
以前学习过一些pytorch教程，平时也会应用到，但发现技术文档才是最好最系统最全面的教材，现在从头学习梳理一遍，本文记录一下平时记不住的内容。
2022-08-10 11:56:15
337
原创 【论文粗读】(NeurIPS 2020) SwAV：对比聚类结果的无监督视觉特征学习
无监督图像表示（Unsupervised image representation）显著地缩小了和有监督预训练的差距，特别是对比学习方法的最新成果。这些对比学习方法通常在线工作，依赖于大量显式的成对特征比较，计算量比较大。本文提出的在线算法SwAV不需要成对比较，它比较不同 view 下的聚类结果（clustering assignment）而不是直接对比特征。具体来说，SwAV 对数据进行聚类的同时，加强对同一图像的不同增强(或“视图”)产生的聚类结果之间的一致性，而不是像对比学习中那样直接比较特征。..
2022-08-09 11:34:36
2149
1
原创 Selective Search学习笔记
选择性搜索是用于目标检测的区域提议算法，它计算速度快，具有很高的召回率，基于颜色，纹理，大小和形状兼容计算相似区域的分层分组。
2022-08-02 13:54:18
680
原创 【笔记】The art of research - (讲好故事和论点）
写文章的时候呢要跟读者建立联系；也就是说，选题已经保证了读者会来读我们的文章，接下来的任务是要让读者信我们写的东西，包括我们对一个问题提出了一个新看法，要让大家认同这个看法；写作的核心是要在脑海中预测和读者的对话，使得在跟人真的对话之前把所有的这种可能性——别人攻击你的地方，以及缺失的理由、论点、论据全部补充起来，这样子就能写出别人相信的故事了。还有一点，不一定需要读者也认同我们的方法是最好的，更多是读者在读了文章以后，跟着一起去探索解决了一个重要问题，读者关心怎样去解决它，并在阅读过程中也进行思考。...
2022-07-28 18:03:40
307
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人